MUSE: A Run-Centric Platform for Multimodal Unified Safety Evaluation of Large Language Models

O artigo apresenta o MUSE, uma plataforma de código aberto e centrada em execuções para avaliação unificada de segurança multimodal de modelos de linguagem, que integra geração automática de payloads, ataques multi-turno com troca de modalidades e uma métrica dual para demonstrar que estratégias iterativas podem explorar falhas de alinhamento que testes de turno único não detectam.

O essencial

Imagine que os Grandes Modelos de Linguagem (LLMs), como o ChatGPT ou o Gemini, são como guardiões de um castelo muito sofisticado. A tarefa deles é impedir que pessoas mal-intencionadas entrem no castelo para roubar segredos ou causar danos.

Até agora, os testes de segurança focavam apenas em verificar se o guardião conseguia bloquear alguém que tentasse entrar apenas falando (texto). Mas os novos guardiões evoluíram: eles agora entendem também áudio, imagens e vídeos. O problema é que ninguém sabia se o guardião continuava sendo tão esperto quando o invasor tentava entrar cantando uma música, mostrando uma foto ou enviando um vídeo.

É aqui que entra o MUSE (uma plataforma de avaliação de segurança multimodal). Vamos entender como ele funciona usando algumas analogias simples:

1. O Que é o MUSE?

Pense no MUSE como um laboratório de testes de segurança automatizado e interativo. Em vez de um humano sentar e testar o guardião manualmente, o MUSE é um "robô mestre" que organiza testes complexos em larga escala.

• O "Coração" do Sistema (Run-Centric): Imagine que cada teste é um filme completo. O MUSE grava tudo: o roteiro do vilão, as falas do guardião, as imagens geradas e o veredito final. Isso permite que os pesquisadores assistam ao filme inteiro depois para entender exatamente onde e como o guardião falhou.
• O "Tradutor Universal": O MUSE consegue transformar uma ideia maliciosa em texto e, instantaneamente, convertê-la em áudio, imagem ou vídeo, enviando para o guardião de formas que ele nunca viu antes.

2. As Estratégias de Ataque (Como os Vilões Atacam)

O MUSE usa três "estilos" principais de vilão para tentar enganar o guardião:

• Crescendo (O "Aquecimento"): O vilão começa conversando sobre coisas inofensivas (como o tempo) e, aos poucos, torna a conversa mais perigosa, como se estivesse aquecendo o guardião para baixar a guarda.
• PAIR (O "Reformulador"): Se o guardião diz "não", o vilão muda a forma de pedir a mesma coisa, tentando encontrar uma nova maneira de dizer a mesma frase perigosa.
• Violent Durian (O "Agressor"): O vilão começa já sendo muito agressivo, fingindo ser uma autoridade ou dizendo que é uma emergência urgente para forçar o guardião a agir rápido e sem pensar.

3. A Grande Inovação: O "Switch" de Modos (ITMS)

Aqui está a parte mais genial do MUSE. Eles criaram uma técnica chamada ITMS (Troca de Modos entre Turnos).

Imagine que você está tentando convencer um guarda de segurança a deixar você entrar.

• O jeito antigo: Você fala com ele o tempo todo.
• O jeito do MUSE (ITMS): Você começa falando, ele recusa. Então, você mostra uma foto. Ele recusa. Então, você toca um áudio. Ele recusa. Mas, ao mudar de fala para imagem e depois para áudio a cada frase, você confunde o cérebro do guardião.

A descoberta foi surpreendente: essa confusão de formatos faz o guardião falhar mais rápido, mesmo que ele seja muito forte contra ataques de um único formato. É como se o guardião fosse excelente em detectar mentiras em voz, mas, quando você muda para um desenho, ele demora um pouco para processar, e nesse atraso, o vilão entra.

4. A Regra dos "Meios Termos" (A Avaliação)

Antes, os testes eram binários: ou o guardião deixava entrar (Falha total) ou não deixava (Sucesso). O MUSE mudou isso para uma escala de 5 níveis, como um termômetro de perigo:

1. Compliance Total: O guardião entregou o segredo (Pior cenário).
2. Compliance Parcial: O guardião não entregou tudo, mas deu "dicas" ou informações parciais que ainda são perigosas (A "Zona Cinzenta").
3. Recusa Indireta: O guardião não disse "não" explicitamente, mas mudou de assunto.
4. Recusa Direta: O guardião disse um "não" firme.
5. Sem Resposta: O guardião travou ou disse algo sem sentido.

Isso é importante porque, às vezes, o guardião não entrega o segredo completo, mas dá uma "dica" que é quase tão perigosa quanto o segredo em si. O MUSE consegue medir essa "dica" que outros testes ignoravam.

O Que Eles Descobriram?

Ao testar 6 modelos diferentes (como GPT-4o, Gemini, Claude e Qwen) com cerca de 3.700 testes:

1. Ataques de uma só vez são fáceis de bloquear: Se você pedir algo perigoso de uma vez só, os guardiões modernos são ótimos em dizer "não" (90-100% de sucesso em recusar).
2. A persistência vence: Se você usar o método de "Crescendo" (conversas longas e graduais), consegue enganar quase todos os guardiões (90-100% de sucesso em burlar a segurança).
3. A confusão de formatos acelera a falha: Mudar entre áudio, imagem e texto durante a conversa faz o guardião falhar mais rápido, mesmo que no final ele ainda consiga se defender.
4. Cada guardião é diferente: O que funciona para confundir o "Guardião Gemini" não funciona para o "Guardião Qwen". Alguns ficam mais confusos com imagens, outros com áudio. Não existe uma regra única para todos.

Resumo Final

O MUSE é como um simulador de voo para segurança de IA. Ele mostra que, embora os guardiões sejam fortes contra ataques diretos, eles têm "pontos cegos" quando são pressionados por conversas longas e quando os invasores mudam constantemente o formato da comunicação (texto, som, imagem).

A lição para o futuro é clara: para garantir que a IA seja segura, não basta testá-la apenas lendo textos. Precisamos testá-la com música, vídeos e conversas longas, porque é ali que as falhas reais aparecem.

Resumo técnico

Título: MUSE: Uma Plataforma Centrada em Execuções para Avaliação Unificada de Segurança Multimodal de Grandes Modelos de Linguagem

1. O Problema

A avaliação de segurança e os testes de "red-teaming" (ataques simulados) em Grandes Modelos de Linguagem (LLMs) permanecem predominantemente centrados em texto. Embora os modelos modernos (como GPT-4o, Gemini e Claude) tenham evoluído para agentes multimodais capazes de processar áudio, imagens e vídeo, as estruturas de segurança existentes carecem de infraestrutura para testar sistematicamente se o alinhamento de segurança se generaliza para essas novas modalidades.

Os desafios principais identificados são:

• Desconexão Metodológica: As estratégias de ataque multi-turno (como Crescendo e PAIR) e as pesquisas de segurança multimodal evoluíram de forma independente. Nenhuma ferramenta existente unifica a geração de payloads multimodais, ataques iterativos e julgamento automatizado em um único pipeline reprodutível.
• Avaliação Isolada: As abordagens atuais avaliam cada modalidade (texto, imagem, áudio) isoladamente, deixando uma lacuna de conhecimento sobre se a resistência a escaladas textuais se mantém quando as interações alternam entre modalidades.
• Métricas Binárias Insuficientes: A maioria das avaliações relata apenas uma taxa de sucesso de ataque binária (Passou/Falhou), o que ignora o "espectro rico" de comportamentos, como o vazamento parcial de informações perigosas que não constitui uma violação completa, mas ainda é inseguro.

2. Metodologia e Arquitetura do Sistema (MUSE)

O MUSE (Multimodal Unified Safety Evaluation) é uma plataforma de código aberto, centrada em navegador, projetada para orquestrar testes de segurança multimodais. Sua arquitetura é baseada em cinco subsistemas principais:

• Arquitetura Centrada em "Run" (Execução): Diferente de sistemas que focam apenas em prompts, o MUSE organiza o fluxo de trabalho em torno de uma entidade persistente chamada "Run". Esta entidade registra toda a configuração do ataque, o estado da conversa, os ativos de mídia gerados e o resultado final, permitindo reprodutibilidade e análise em escala.
• Geração de Payloads Cross-Modal: O sistema converte automaticamente prompts de texto do atacante em três modalidades não textuais:
  • Áudio: Síntese de texto para fala (TTS).
  • Imagem: Renderização de texto em canvas (com quebra de palavra automática).
  • Vídeo: Composição de faixas de áudio e imagem.
• Roteamento de Modelos Agnóstico ao Provedor: Uma camada de abstração que permite testar modelos de diferentes provedores (OpenAI, Google, Anthropic, Qwen) através de uma interface unificada, lidando com as diferenças nas APIs de cada um.
• Estratégias de Ataque: Implementa três algoritmos base de ataque multi-turno:
  1. Crescendo: Escala de perguntas benignas para prejudiciais, com retrocesso (backtracking) em caso de recusa.
  2. PAIR: Gera novos prompts de um único turno a cada iteração, reescrevendo com base no julgamento.
  3. Violent Durian: Usa táticas retóricas de alta pressão e urgência desde o primeiro turno.
• Julgador LLM com Taxonomia de 5 Níveis: Em vez de um julgamento binário, o sistema classifica as respostas em:
  1. Compliance (Conformidade total).
  2. Partial Compliance (Conformidade parcial / vazamento de informação).
  3. Indirect Refusal (Recusa indireta).
  4. Direct Refusal (Recusa direta).
  5. Non-Responsive (Não responsivo).

3. Contribuições Chave

1. Plataforma Unificada e Centrada em Execução: É a primeira arquitetura a integrar geração de payloads multimodais, orquestração de ataques multi-turno e julgamento automatizado em um único sistema, suportando execução em lote e streaming em tempo real.
2. Métricas de Avaliação Duplas (Hard vs. Soft ASR):
   • Hard ASR: Conta apenas a conformidade total (violação completa).
   • Soft ASR: Inclui conformidade parcial.
   • A diferença entre elas define a "Largura da Zona Cinzenta" (Gray Zone Width), quantificando o vazamento parcial de informações que métricas binárias ignoram.
3. Alternância de Modalidade entre Turnos (ITMS - Inter-Turn Modality Switching): Uma metodologia controlada que insere rotação de modalidades a cada turno de uma conversa multi-turno. O objetivo é investigar se a simples transição entre modalidades (ex: texto para áudio, depois para imagem) desestabiliza as defesas de alinhamento do modelo.

4. Resultados Experimentais

Os autores realizaram aproximadamente 3.700 execuções de red-teaming testando 6 modelos multimodais de 4 provedores diferentes.

• Falha das Defesas de Único Turno: Enquanto os modelos apresentavam taxas de recusa de 90% a 100% em ataques de único turno (baseline), as estratégias multi-turno quebraram essas defesas.
  • O Crescendo alcançou 90–98% de Hard ASR em todos os seis modelos.
  • O PAIR atingiu 96–100% em cinco dos seis modelos.
• Impacto do ITMS (Alternância de Modalidade):
  • O ITMS não aumentou uniformemente a taxa final de sucesso em modelos já saturados (onde o Crescendo já atingia ~98%), mas acelerou significativamente a convergência.
  • Em modelos onde a defesa inicial era forte, a alternância de modalidades desestabilizou as defesas nos primeiros turnos, reduzindo o número de turnos necessários para obter sucesso.
  • Efeito Específico por Família de Modelo: A direção do efeito da mudança de modalidade não é universal.
    • Para modelos Gemini, modalidades não textuais (áudio/imagem) aumentaram a taxa de sucesso em 2–6 pontos.
    • Para modelos Qwen, modalidades não textuais reduziram a taxa de sucesso (ex: Qwen2.5-Omni caiu 14 pontos apenas com imagem), sugerindo que seus pipelines multimodais aplicam filtros de conteúdo mais rigorosos a entradas não textuais.
• Categorias de Dano: A categoria "Fraude/Engenharia Social" foi a mais vulnerável, enquanto "Drogas" e "Armas" foram as mais resistentes, indicando cobertura desigual no treinamento de segurança.

5. Significado e Conclusão

O MUSE demonstra que o alinhamento de segurança dos LLMs atuais é frágil quando submetido a pressão iterativa e, crucialmente, que a generalização da segurança através de fronteiras de modalidade não é garantida.

• Descoberta Principal: A segurança não é um atributo estático; ela depende da interação entre a estratégia de ataque, a modalidade de entrega e a arquitetura específica do modelo.
• Implicação para a Indústria: Testes de segurança futuros devem abandonar a avaliação isolada por modalidade e adotar pipelines unificados que incluam alternância de modalidades (ITMS) para detectar vulnerabilidades que só surgem em conversas híbridas.
• Contribuição para a Pesquisa: A introdução de métricas de "zona cinzenta" (Soft ASR) oferece uma visão mais precisa dos riscos, permitindo que desenvolvedores identifiquem vazamentos parciais de informações que, embora não sejam violações completas, ainda representam riscos de segurança.

Em suma, o MUSE fornece a infraestrutura necessária para uma avaliação de segurança multimodal rigorosa, revelando que modelos com desempenho perfeito em texto podem falhar catastróficamente quando atacados através de uma combinação estratégica de áudio, vídeo e texto.