Resumo Técnico: KSAFE-MM

Declaração do Problema

Modelos de Linguagem Multimodal Grandes (MLLMs) introduzem vulnerabilidades de segurança em múltiplas modalidades, particularmente quando entradas visuais são combinadas com consultas textuais. As avaliações de segurança existentes sofrem de duas limitações primárias:

1. Centralidade no Inglês: A maioria das avaliações depende de conjuntos de dados construídos em inglês, falhando em capturar sutilezas linguísticas e sensibilidades socioculturais específicas de regiões não anglófonas.
2. Foco em Riscos Genéricos: As avaliações atuais priorizam riscos compartilhados globalmente (por exemplo, construção de armas, produção de drogas), negligenciando preocupações de segurança culturalmente nuances.

O artigo argumenta que abordagens baseadas apenas em tradução são insuficientes. Como demonstrado na motivação (Figura 2), prompts adaptados culturalmente podem aumentar a Taxa de Sucesso do Ataque (ASR) de 29,38% para 38,20% em comparação com traduções ingênuas. Além disso, riscos genéricos falham em cobrir danos culturalmente específicos, como a distorção histórica referente ao Levante Democrático de 18 de Maio ou sensibilidades políticas envolvendo hackers norte-coreanos e Shincheonji, que são críticos no contexto coreano.

Metodologia

Os autores introduzem KSAFE-MM, uma avaliação abrangente de segurança multimodal coreana composta por 14.135 amostras em 11 categorias de segurança. A avaliação é dividida em duas partes complementares:

1. KSAFE-MM-G (Segurança Geral)

Este componente avalia riscos compartilhados globalmente adaptados ao contexto coreano através de contextualização linguística.

• Fonte: Baseado no conjunto de dados MM-SafetyBench.
• Processo: Um pipeline de duas etapas:
  1. Seleção de Consultas Dependentes de Contexto Cultural: Consultas são categorizadas como "contextuais" (contendo elementos culturais) ou "não contextuais". Frases-chave são extraídas e mapeadas para equivalentes culturais coreanos específicos (por exemplo, mapear "saque arqueológico" para "Tumbas Reais de Silla").
  2. Geração de Dados Fundamentados Culturalmente: Consultas não contextuais são traduzidas diretamente. Consultas contextuais são adaptadas substituindo termos genéricos por equivalentes culturais coreanos gerados por LLM antes da tradução. Imagens são editadas usando modelos de linguagem-vídeo para alinhar com o texto adaptado, garantindo consistência cross-modal.

2. KSAFE-MM-C (Riscos Fundamentados Culturalmente)

Este componente visa vulnerabilidades dependentes de cultura usando consultas visuais localizadas derivadas de contextos coreanos do mundo real.

• Pipeline de Construção de Dados:
  1. Identificação de Tópicos Sensíveis: 533 tópicos validados foram coletados de comunidades online nativas coreanas (por exemplo, DCInside) e relatórios de questões sociais, cobrindo 11 taxonomias de segurança.
  2. Geração de Consultas Textuais Guiada por Modelos: Consultas são geradas usando modelos predefinidos (Conhecimento, Ação, Atitude) para garantir consistência semântica enquanto preservam a sintaxe natural coreana.
  3. Geração de Imagens Sintéticas Baseada em Consultas: Para reduzir a dependência de dados pessoais e ampliar a cobertura, imagens sintéticas são geradas a partir das consultas textuais usando modelos de geração de imagens.
  4. Prompting de Jailbreak: Para avaliar robustez, consultas semente são transformadas em 10 variantes distintas de jailbreak (por exemplo, ProgramExecution, CharacterRolePlay, SudoMode) para obscurecer intenções nocivas e testar vulnerabilidades de integração cross-modal.

Framework de Avaliação

• Modelos Avaliados: 12 MLLMs de última geração, incluindo open-source (Qwen3-VL, Gemma, Ministral), centrados na Coreia (HyperCLOVA X, A.X-4.0-VL-Light) e modelos de API closed-source (GPT-5 nano, Gemini 3.1).
• Métricas:
  • Taxa de Sucesso do Ataque (ASR): A porcentagem de respostas contendo conteúdo nocivo.
  • Taxa de Recusa (RR): A porcentagem de consultas recusadas pelo modelo.
• Julgamento: Um framework "LLM como juiz" (usando GPT-5 nano e Qwen3-235B) avalia a segurança, com validação humana confirmando uma taxa de concordância de 81% com juízes automatizados.

Resultados Principais

1. Vulnerabilidade Cultural: Modelos exibem vulnerabilidade significativamente maior a ataques fundamentados culturalmente (KSAFE-MM-C) do que a ataques genéricos (KSAFE-MM-G). Por exemplo, o Gemma 27B mostrou uma ASR de 48,6% no KSAFE-MM-C, comparado a taxas mais baixas em avaliações genéricas.
2. Amplificação por Jailbreak: Estratégias de jailbreak amplificam substancialmente o sucesso do ataque. A estratégia ProgramExecution resultou em uma ASR de 74,2% para o Gemma 27B, comparado a apenas 13,4% para consultas baseadas em modelos padrão.
3. Compromisso Segurança-Utilidade: Existe um compromisso sistemático entre segurança e recusa excessiva. Modelos com baixa ASR (por exemplo, HyperCLOVA X-Think, GPT-5 nano) frequentemente exibem comportamento de recusa excessiva em consultas benignas (alta RR), prejudicando a utilidade. Por outro lado, modelos com baixas taxas de recusa (por exemplo, A.X-4.0-VL-Light) mostram ASR significativamente mais altas.
4. Dados Sintéticos vs. Reais: Imagens sintéticas geradas a partir de consultas do mundo real refletem fielmente os riscos de segurança de imagens reais, mostrando apenas uma lacuna marginal na ASR, validando a escalabilidade da abordagem de geração de dados sintéticos.

Significado e Alegações

O artigo alega que o KSAFE-MM aborda uma lacuna crítica na avaliação de segurança de IA ao ir além de avaliações baseadas em tradução e centradas no inglês. Seu significado reside em:

• Revelar Vulnerabilidades Ocultas: Demonstrar que prompts fundamentados culturalmente e estratégias de jailbreak expõem falhas de segurança que avaliações padrão perdem, particularmente em relação à precisão histórica, neutralidade política e normas sociais locais.
• Avaliação Holística: Fornecer um framework que avalia tanto riscos compartilhados globalmente quanto vulnerabilidades culturais específicas de regiões, oferecendo uma avaliação mais realista da segurança de MLLMs em contextos não anglófonos.
• Destacar o Problema da Recusa Excessiva: Identificar que a otimização para baixa ASR frequentemente leva a comportamentos excessivamente cautelosos que degradam a utilidade do modelo, sugerindo que o alinhamento de segurança futuro deve equilibrar a prevenção de danos com a utilidade.
• Escalabilidade: Provar que o pipeline de construção de dados pode ser adaptado para outros idiomas (demonstrado através de um estudo piloto em um conjunto de dados japonês, JSAFE-MM-C), sugerindo um caminho para avaliações de segurança específicas de regiões globalmente.

Os autores concluem que a avaliação de segurança fundamentada culturalmente é urgente e que os MLLMs atuais requerem estratégias de alinhamento mais robustas que levem em conta contextos culturais locais e técnicas de prompting adversarial.