Same Model, Different Weakness: How Language and Modality Reshape the Jailbreak Attack Surface in Frontier MLLMs

Resumo Técnico: Mesmo Modelo, Diferentes Vulnerabilidades

Declaração do Problema
As avaliações de segurança atuais para Modelos de Linguagem Multimodal (MLLMs) frequentemente tratam a linguagem e a modalidade como dimensões independentes, assumindo que a vulnerabilidade de um modelo a ataques de jailbreak é uma propriedade fixa. Este artigo desafia essa premissa, postulando que a superfície de ataque de um MLLM é estruturalmente dependente da linguagem. Os autores argumentam que as falhas de alinhamento não são uniformes entre as línguas; ao contrário, os mecanismos pelos quais ataques linguísticos e visuais contornam filtros de segurança operam através de caminhos distintos. Especificamente, eles hipotetizam que o Aprendizado por Reforço com Feedback Humano (RLHF) calibra os modelos para reconhecer padrões retóricos de ataque (por exemplo, interpretação de papéis, enquadramento estratégico) principalmente em inglês, deixando essas defesas linguísticas menos eficazes ou inexistentes em outras línguas, enquanto os canais de ataque visual podem permanecer consistentemente vulneráveis ou até mesmo se tornar mais potentes quando as barreiras linguísticas são removidas.

Metodologia
O estudo apresenta a primeira avaliação sistemática de red-teaming multimodal e multilíngue comparando o inglês dos EUA (en-US) e o espanhol do México (es-MX).

• Modelos Avaliados: Quatro MLLMs de ponta: Claude Sonnet 4.5, GPT-5, Pixtral Large e Qwen Omni. Estes foram selecionados como sucessores de próxima geração dos modelos avaliados em um estudo anterior apenas em inglês por Van Doren & Ford [1].
• Benchmark Adversarial: O estudo utilizou um conjunto fixo de 363 cenários adversariais únicos cobrindo três categorias de dano: atividades ilegais, desinformação e comportamento antiético. Cada cenário foi construído com seis estratégias de ataque (por exemplo, interpretação de papéis, supressão de recusa) e instanciado nas condições apenas de texto e multimodal (texto + imagem).
• Protocolo Linguístico: Todos os prompts foram traduzidos profissionalmente para o espanhol do México por falantes nativos e revisados independentemente para garantir fidelidade à intenção adversarial, sem adaptação cultural que pudesse alterar o vetor de ataque.
• Coleta de Dados: Um total de 52.272 classificações de dano e julgamentos binários de sucesso do ataque foram coletados. Nove anotadores falantes nativos de inglês e nove falantes nativos de espanhol avaliaram as respostas do modelo em uma escala Likert de 5 pontos. Os anotadores estavam cegos para a identidade do modelo e a modalidade.
• Análise Estatística: Os autores empregaram modelos mistos bayesianos (usando brms em R) com efeitos aleatórios cruzados para prompts e avaliadores. Esta abordagem permitiu a decomposição da variância atribuível ao modelo, à modalidade, à linguagem e às suas interações, evitando as armadilhas da análise agregada.

Principais Contribuições

1. Evidência Mecanística de Dissociação: O estudo fornece evidências empíricas de que as falhas de alinhamento linguístico e visual operam através de mecanismos distintos. Os autores demonstram que a mudança do idioma do prompt de inglês para espanhol causa uma dissociação: as técnicas de ataque linguístico (como interpretação de papéis) tornam-se significativamente menos eficazes, enquanto os ataques multimodais visualmente explícitos tornam-se mais eficazes. Isso sugere que a interface prompt-língua é uma característica estrutural do alinhamento, e não meramente um artefato da leniência dos anotadores.
2. Reversão de Ranking nas Classificações de Segurança: O artigo estabelece que as classificações de segurança não são transferíveis entre línguas. Enquanto o Pixtral Large é o modelo mais vulnerável nas condições em inglês, o Qwen Omni supera-o como o mais vulnerável nas condições em espanhol. Essa reversão de ranking não pode ser recuperada através de correções escalares das pontuações nas condições em inglês, indicando que benchmarks apenas em inglês representam fundamentalmente mal o perfil de risco dos modelos para usuários implantados globalmente.
3. Estrutura Metodológica: Os autores demonstram a utilidade de uma estrutura de efeitos mistos bayesianos na avaliação de segurança. Ao contabilizar conjuntamente a variância ao nível do prompt e ao nível do avaliador, este método revela estruturas multilíngues e multimodais que a análise agregada ignoraria. Os autores disponibilizaram publicamente seus scripts de análise e dados para facilitar essa abordagem em futuras avaliações.

Resultados

• Atenuação/Amplificação Linguística vs. Visual: No espanhol (es-MX), os ataques linguísticos mostraram atenuação substancial. Por exemplo, os ataques de interpretação de papéis foram credivelmente menos eficazes (OR = 0,45) em comparação com o inglês. Por outro lado, as execuções de imagens tóxicas foram credivelmente mais eficazes em espanhol (OR = 1,58).
• Vulnerabilidades Específicas do Modelo:
  • Claude Sonnet 4.5: Permaneceu o modelo mais resistente em ambas as línguas e modalidades, com mudança negligenciável na Taxa de Sucesso do Ataque (ASR) entre inglês (11,3%) e espanhol (11,4%).
  • Pixtral Large: Apresentou a maior queda na vulnerabilidade ao mudar para espanhol (a ASR caiu de 50,5% em en-US para 32,0% em es-MX), indicando uma forte dependência do alinhamento linguístico específico do inglês.
  • Qwen Omni: Exibiu um padrão único onde a vulnerabilidade aumentou em espanhol (a ASR subiu de 31,2% em en-US para 35,6% em es-MX), levando à reversão de ranking observada contra o Pixtral Large.
• Tendências Geracionais: Comparando estes resultados com a geração anterior de modelos, as ASRs absolutas diminuíram em três das quatro famílias de modelos. No entanto, as lacunas entre os modelos não se fecharam, e a estrutura dependente da linguagem das classificações de vulnerabilidade persistiu.

Significado e Alegações
O artigo alega que os quadros de avaliação de segurança que tratam a linguagem e a modalidade como dimensões independentes especificam fundamentalmente mal a superfície de ataque de MLLMs implantados globalmente. A descoberta central é que a "dissociação" entre a eficácia dos ataques linguísticos e visuais é o resultado previsto do alinhamento baseado em RLHF sendo calibrado para padrões retóricos em inglês. Consequentemente, os benchmarks apenas em inglês não caracterizam a superfície de ataque dos modelos implantados em populações diversas; eles caracterizam apenas a superfície vista através da lente do alinhamento condicionado ao inglês.

Os autores argumentam que os pipelines de segurança pré-lançamento devem incluir red-teaming por falantes nativos em línguas representativas da população de implantação pretendida. Eles concluem que a ordenação dos modelos por segurança não é uma propriedade fixa, mas uma característica estrutural das práticas atuais de alinhamento que varia conforme a língua, necessitando de um redesenho dos padrões de avaliação de segurança para incluir a decomposição da variância ao nível do item, em vez de métricas agregadas de ASR.