Resumo Técnico: Desvio de Alinhamento em LLMs Multimodais

Declaração do Problema

Embora os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) estejam sendo cada vez mais implementados em sistemas do mundo real, sua segurança sob prompts adversários permanece subexplorada, particularmente no que diz respeito à estabilidade longitudinal. Esforços anteriores de red-teaming concentraram-se amplamente em benchmarks centrados em texto, falhando em considerar as superfícies de ataque adicionais introduzidas pelas capacidades de visão e linguagem. Além disso, a literatura existente avalia predominantemente os modelos em pontos temporais únicos, carecendo de evidências sobre se os comportamentos de segurança melhoram, degradam ou mudam de formas específicas por modalidade ao longo das gerações de modelos. Há uma necessidade crítica de determinar se os inputs multimodais exacerbam vulnerabilidades e se os mecanismos de segurança se generalizam através de modalidades e atualizações.

Metodologia

O estudo emprega um design de avaliação longitudinal de duas fases usando um benchmark adversarial fixo para avaliar a inocuidade de oito MLLMs comercialmente implantados ao longo de duas gerações.

• Conjunto de Dados: Um novo conjunto de dados adversarial composto por 726 prompts elaborados por 26 profissionais de red teaming. Os prompts são divididos igualmente entre formatos apenas de texto e multimodais, visando três categorias de danos: atividade ilegal, desinformação e comportamento antiético. Cada prompt multimodal é pareado com um equivalente apenas de texto para isolar os efeitos da modalidade.
• Modelos Avaliados:
  • Fase 1: GPT-4o, Claude Sonnet 3.5, Pixtral 12B e Qwen VL Plus.
  • Fase 2: Modelos sucessores (GPT-5, Claude Sonnet 4.5, Pixtral Large e Qwen Omni).
• Anotação: As respostas dos modelos foram avaliadas por anotadores nativos de inglês americano usando uma escala Likert de cinco pontos variando de "Nada prejudicial" a "Extremamente prejudicial". A Fase 1 utilizou 17 anotadores (2.904 respostas) e a Fase 2 utilizou 12 anotadores (2.904 respostas), totalizando mais de 82.000 classificações humanas de dano. Os anotadores eram cegos à identidade do modelo e à modalidade.
• Análise Estatística: Os autores utilizaram um Modelo Misto de Ligação Cumulativa (CLMM) para modelar a nocividade como um resultado ordinal de cinco pontos, controlando a heterogeneidade dos prompts e as diferenças entre os anotadores. Médias Marginais Estimadas (EMMs) foram derivadas para comparar os níveis de dano esperados. Além disso, as Taxas de Sucesso de Ataque (ASR) foram calculadas como uma medida binária de vulnerabilidade (se qualquer conteúdo prejudicial foi produzido).

Principais Contribuições

1. Benchmarking Longitudinal: Este trabalho fornece uma das primeiras comparações sistemáticas e longitudinais da segurança de MLLMs entre duas gerações de modelos líderes usando um conjunto de dados adversarial idêntico.
2. Análise de Segurança Específica por Modalidade: Isola os efeitos da modalidade de entrada (apenas texto vs. multimodal) na segurança, desafiando a suposição de que inputs multimodais aumentam ou diminuem uniformemente a vulnerabilidade.
3. Distinção entre Recusa e Alinhamento: O estudo analisa explicitamente o papel do comportamento de recusa na pontuação de segurança, distinguindo entre modelos que são seguros devido a um alinhamento robusto versus aqueles que são seguros devido a altas taxas de recusa padrão (abstenção).

Resultados

Diferenças entre Famílias de Modelos

• Hierarquia de Vulnerabilidade: Diferenças significativas e persistentes existem entre as famílias de modelos. Os modelos Pixtral foram consistentemente os mais vulneráveis, exibindo a maior nocividade esperada e ASR em ambas as fases. Os modelos Claude pareceram ser os mais seguros, impulsionados principalmente por altas taxas de recusa em vez de um comportamento generativo inerentemente benigno. Os modelos GPT e Qwen ocuparam posições intermediárias.
• Desvio de Alinhamento: Os comportamentos de segurança não são estáveis entre as gerações.
  • GPT e Claude: Mostraram um aumento geral na ASR (GPT: +8%, Claude: +10%) da Fase 1 para a Fase 2, indicando uma regressão na segurança, apesar de serem modelos "mais novos".
  • Pixtral e Qwen: Mostraram diminuições modestas na ASR (Pixtral: -7%, Qwen: -5%), embora o Pixtral tenha permanecido como a família de maior risco no geral.

Efeitos de Modalidade

• Fase 1: Prompts apenas de texto foram, em média, mais eficazes em provocar saídas inseguras do que prompts multimodais em todos os modelos.
• Fase 2: Os efeitos de modalidade tornaram-se específicos de cada modelo e heterogêneos.
  • GPT-5 e Claude 4.5: Exibiram vulnerabilidade quase equivalente entre as modalidades, com ASRs mostrando diferença mínima entre entradas de texto e multimodais.
  • Pixtral Large: Manteve uma forte suscetibilidade a prompts apenas de texto, mostrando uma lacuna maior entre a vulnerabilidade de texto e a multimodalidade em comparação com seu predecessor da Fase 1.
  • Qwen Omni: Mostrou um comportamento equilibrado semelhante ao GPT-5 e Claude 4.5.

Comportamento de Recusa

As taxas de recusa variaram significamente e influenciaram as pontuações de inocuidade. Os modelos Claude mantiveram as maiores taxas de recusa em ambas as fases. Notavelmente, os modelos sucessores do GPT e Claude produziram substancialmente menos recusas padrão do que seus predecessores, enquanto o Qwen Omni mostrou um aumento na taxa de recusa em comparação com o Qwen VL Plus. O estudo observa que confundir recusa com conclusão benigna pode obscurecer as verdadeiras diferenças de alinhamento.

Significância e Alegações

O artigo alega que a inocuidade dos MLLMs não é uniforme nem estável através das atualizações. Os achados demonstram que:

1. A Segurança é Dinâmica: As atualizações de modelos introduzem tanto melhorias quanto regressões, com padrões de vulnerabilidade evoluindo de formas específicas por modelo e por modalidade. A segurança não melhora monotonicamente através das gerações.
2. A Sensibilidade de Modalidade Não é Uniforme: A eficácia de ataques multimodais vs. apenas de texto não se generaliza entre as famílias de modelos ou gerações; modelos mais novos podem fechar a lacuna de modalidade enquanto outros a ampliam.
3. Necessidade de Benchmarks Longitudinais: O estudo ressalta a necessidade de benchmarks multimodais longitudinais para rastrear comportamentos de segurança em evolução. Avaliações de tempo único ou apenas de texto correm o risco de negligenciar regressões na robustez multimodal ou mudanças na dinâmica de recusa.

Os autores concluem que confiar em benchmarks estáticos é insuficiente para o cenário rapidamente em desenvolvimento dos MLLMs e que avaliações repetidas em conjuntos de dados adversariais fixos são essenciais para diagnosticar onde o progresso do alinhamento é desigual.