SGM: Safety Glasses for Multimodal Large Language Models via Neuron-Level Detoxification

Título: SGM: Óculos de Segurança para Modelos de Linguagem Multimodal Grandes via Desintoxicação ao Nível de Neurônio

1. O Problema

Os Modelos de Linguagem Multimodal Grandes (MLLMs) permitem a compreensão conjunta de texto e imagens, mas herdam sinais tóxicos, enviesados e inadequados (NSFW) de corpora de pré-treinamento pouco curados.

• Riscos Específicos: A fusão visão-linguagem pode amplificar e internalizar comportamentos tóxicos, transformando a desintoxicação em um problema de representação interna, e não apenas de interface.
• Limitações das Soluções Atuais:
  • Métodos de "Caixa Preta": Focam em otimização de prompts ou filtros pós-hoc. São vulneráveis a jailbreaks multimodais e só agem após a ativação de conceitos tóxicos, resultando em respostas truncadas ou pouco naturais.
  • Métodos de "Caixa Branca" Coarse (Grossos): Intervenções em camadas inteiras ou direções globais são imprecisas, frequentemente afetando neurônios benignos e degradando a utilidade do modelo.
  • Falta de Dados: Há escassez de anotações de toxicidade em nível de instância para pares imagem-texto, dificultando a avaliação e o treinamento de defesas específicas.

2. Metodologia: SGM (Safety Glasses for MLLMs)

O SGM é uma intervenção de caixa branca ao nível de neurônio que atua nas camadas de MLP (Perceptron Multicamadas) pós-fusão dos MLLMs. Ele funciona como um mecanismo "hot-pluggable" (plugável sob demanda) que não requer atualização de parâmetros ou alterações na arquitetura do modelo.

O pipeline do SGM consiste em três etapas hierárquicas:

• Passo I: Coleta de Ativações de Toxicidade

  • O modelo processa um conjunto de dados rotulado (tóxico vs. não tóxico).
  • Para entradas multimodais, calcula-se a ativação de pico conjunta ($z_m$) de cada neurônio $m$ sobre todos os patches de imagem e tokens de texto. Isso captura a sensibilidade do neurônio a conceitos tóxicos no espaço de representação fundida.

• Passo II: Identificação de Neurônios Tóxicos

  • Utiliza-se a métrica AUROC (Área sob a Curva Característica Operacional do Receptor) para medir a capacidade discriminativa de cada neurônio em separar entradas tóxicas de benignas.
  • Neurônios com alto AUROC são identificados como "especialistas em toxicidade".
  • Define-se um coeficiente de supressão suave ($\lambda_m$) baseado no AUROC: $\lambda_m = 2(1 - a_m)$. Neurônios não tóxicos mantêm $\lambda = 1$ (sem alteração).

• Passo III: Mitigação de Toxicidade

  • Durante a inferência, aplica-se um operador de intervenção diagonal ($S$) que reescala as ativações dos neurônios especialistas tóxicos.
  • A fórmula de atualização é $\tilde{h} = Sh$, onde $h$ é o vetor de ativação pré-ativação.
  • Isso suprime seletivamente as dimensões tóxicas na representação fundida, mantendo as vias de raciocínio benignas intactas.

3. Contribuições Principais

1. SGM (Framework de Desintoxicação): O primeiro framework de desintoxicação multimodal de caixa branca ao nível de neurônio. Intervém nas camadas pós-fusão para atenuar neurônios tóxicos sem re-treinamento, reduzindo a taxa de outputs nocivos de 48,2% para 2,5%.
2. MM-TOXIC-QA: Um novo framework de avaliação de toxicidade multimodal. Consolida e expande datasets existentes (MM-SafetyBench e BeaverTails-V), criando um benchmark balanceado com 4.326 pares imagem-texto (tóxicos e não tóxicos) e anotações de alta qualidade para avaliação de segurança.
3. SGM⋆ (Defesa Combinada): Uma variante extensível que integra o SGM com métodos existentes (como ECSO). Combina intervenção ao nível de neurônio com validação ao nível de prompt, oferecendo desempenho de segurança superior com sobrecarga computacional negligenciável.

4. Resultados Experimentais

Os experimentos foram realizados em modelos como LLaVA-1.5 (7B/13B) e ShareGPT-4V, utilizando os benchmarks MM-SafetyBench e MM-VET.

• Redução de Toxicidade: O SGM reduziu a taxa de outputs nocivos de 48,2% para 2,5% em condições adversárias (SD+OCR), superando métodos de ponta como InferAligner e ECSO.
• Preservação de Utilidade: Ao contrário de filtros agressivos que causam recusas excessivas, o SGM preserva a fluência, a coerência e a capacidade de raciocínio multimodal. As pontuações no benchmark MM-VET e avaliações humanas de fluência mostraram degradação mínima ou até melhoria em alguns casos.
• Interpretabilidade e Controle: A análise das ativações neuronais confirmou que o método suprime especificamente neurônios associados à toxicidade (especialmente nas camadas médias e profundas, 10-25) sem afetar neurônios benignos.
• Robustez: O método demonstrou ser transferível entre diferentes arquiteturas de MLLMs e eficaz contra jailbreaks visuais e textuais.

5. Significado e Impacto

O trabalho propõe uma mudança de paradigma na segurança de MLLMs:

• Do Interface para o Interno: Move o foco de defesas externas (prompts/filtros) para intervenções internas precisas na representação latente.
• Eficiência e Custo: Oferece uma solução de baixo custo computacional, sem necessidade de re-treinamento ou módulos auxiliares pesados.
• Segurança Multimodal: Aborda especificamente o desafio de toxicidade gerada pela fusão visão-linguagem, um problema negligenciado por métodos unimodais.
• Aplicabilidade: O SGM atua como uma "camada de segurança" plugável, permitindo que desenvolvedores equipem modelos pré-treinados com mecanismos de defesa interpretáveis e controláveis.

Em resumo, o SGM demonstra que é possível neutralizar a toxicidade em modelos multimodais complexos através de um ajuste fino e seletivo de neurônios específicos, garantindo segurança sem sacrificar a inteligência ou a utilidade do modelo.