💻 computer science

SafeNexus: Discovering and Steering Modality-Universal Safety Neurons in MLLMs

O artigo apresenta o SafeNexus, um framework de alinhamento de segurança cross-modal que identifica e direciona neurônios de segurança universais entre modalidades por meio de supressão direcionada e amplificação de ativação para defender robustamente modelos de linguagem de grande escala multimodais contra diversas ameaças cross-modais, preservando a utilidade.

Autores originais: Jian Yu, Fei Shen, Cong Wang, Jian Wang, Lu Jin. Xiaoyu Du, Jinhui Tang, Tat-Seng Chua

Publicado 2026-08-03

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jian Yu, Fei Shen, Cong Wang, Jian Wang, Lu Jin. Xiaoyu Du, Jinhui Tang, Tat-Seng Chua

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine a internet como uma biblioteca gigante e movimentada onde os livros podem conversar com você. Por muito tempo, esses livros falantes eram apenas texto, como um chatbot muito inteligente. Mas recentemente, eles evoluíram para "Modelos de Linguagem de Grande Escala Multimodais" (MLLMs). Pense neles como superbibliotecários que agora podem ler textos, olhar imagens e ouvir áudios ao mesmo tempo. Eles são incrivelmente úteis, mas esse novo superpoder vem com um porém: abre novas formas para que encrenqueiros os enganem. Assim como um segurança em um museu pode saber identificar uma pintura falsa, mas falhar ao notar uma gravação de som falsa, os modelos de IA muitas vezes possuem guardas de segurança que só funcionam para um tipo de entrada. Se você tentar enganá-los com uma imagem em vez de palavras, ou um clipe de som em vez de uma frase, os guardas podem deixar o perigo passar completamente. A grande questão que os pesquisadores estão fazendo é: Como construímos um sistema de segurança que funcione não importa como o encrenqueiro tente entrar?

É aqui que um novo estudo chamado SafeNexus entra em cena. Os pesquisadores, uma equipe de universidades da China e de Singapura, decidiram parar de olhar para a segurança da IA pelo lado de fora e, em vez disso, realizaram uma caça ao tesouro dentro do "cérebro" da IA. Eles descobriram que a capacidade da IA de dizer "não" a pedidos maldosos não está espalhada aleatoriamente; ela é, na verdade, controlada por um pequeno e especial grupo de interruptores internos chamados neurônios.

Aqui está a parte divertida: A equipe descobriu que, embora diferentes tipos de entradas (como texto, imagens ou áudio) usem partes diferentes do cérebro para processar informações, existe um clube secreto e compartilhado de neurônios que atua como o detector de perigo definitivo para todos eles. Eles os chamam de US-Neurons (Neurônios de Segurança Universais de Modalidade). É como descobrir que, quer você esteja tentando passar uma faca, uma bomba ou um documento falso pela segurança, há uma câmera de segurança específica e minúscula no corredor que detecta todos eles. Se você desligar essa câmera, todo o edifício se torna inseguro, não importa o que o intruso esteja carregando.

O artigo sugere que os métodos anteriores tentavam tapar os buracos de segurança treinando novamente toda a IA ou adicionando filtros externos, o que é como contratar um novo segurança para cada porta. O SafeNexus adota uma abordagem diferente: ele encontra esses poucos neurônios críticos de "detecção de perigo" e lhes dá um reforço de superpoder. A equipe testou duas maneiras de fazer isso:

O Amplificador: Durante o processo de pensamento da IA, eles simplesmente aumentaram o volume desses neurônios específicos, fazendo com que eles gritassem "PERIGO!" mais alto e mais rápido.
O Calibrador: Eles deram a esses neurônios específicos um ajuste fino direcionado (usando um método chamado LoRA) para que se tornassem naturalmente melhores em detectar problemas, sem a necessidade de treinar novamente toda a IA.

Os resultados foram impressionantes. Quando testaram isso em modelos como Qwen e VITA, descobriram que impulsionar esses poucos neurônios tornou a IA muito melhor em recusar solicitações prejudiciais, fosse o pedido um texto, uma imagem ou um som. Crucialmente, descobriram que isso não tornou a IA "burra" ou excessivamente cautelosa. Ela não começou a recusar perguntas inofensivas (como "como eu faço um bolo?") e não esqueceu suas outras funções. Na verdade, em alguns testes, o novo método foi muito melhor em deter ataques do que os melhores métodos atuais, tudo isso alterando menos de 0,05% do poder cerebral total da IA.

Os pesquisadores também mostraram que esse truque funciona mesmo em coisas nas quais eles não treinaram explicitamente, como vídeo. Mesmo que nunca tenham mostrado clipes de vídeo à IA durante a fase de "ajuste", os neurônios impulsionados ainda foram bons em detectar perigo em ataques de vídeo. Isso sugere que eles realmente encontraram um mecanismo de segurança central e universal, em vez de apenas memorizar exemplos específicos.

Em resumo, o SafeNexus sugere que não precisamos reconstruir todo o sistema de segurança da IA para torná-la segura em todos os formatos. Em vez disso, só precisamos encontrar os poucos e minúsculos "freios" universais dentro da máquina e garantir que estejam funcionando com força total. É um pouco como perceber que, para impedir que um carro corra demais, você não precisa substituir o motor inteiro; você só precisa garantir que o pedal do freio esteja conectado firmemente às rodas.

Resumo Técnico: SafeNexus

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado um desempenho de segurança robusto, sua evolução para Modelos de Linguagem de Grande Escala Multimodais (MLLMs) expôs uma lacuna significativa entre as capacidades multimodais expandidas e os mecanismos de segurança existentes. As estratégias de defesa atuais são predominantemente confinadas a configurações modais específicas (por exemplo, defesa apenas para imagem ou apenas para texto), tornando-as inadequadas contra ataques cross-modais sofisticados, nos quais adversários exploram interações entre texto, imagem e áudio para contornar salvaguardas. Além disso, as abordagens de defesa cross-modal existentes frequentemente tratam os mecanismos internos de segurança como uma "caixa preta" ou dependem de alinhamento baseado em treinamento computacionalmente caro, o que acarreta o risco de esquecimento catastrófico das capacidades gerais. Há uma falta crítica de compreensão sobre os mecanismos internos intrínsecos que regem os comportamentos de segurança através de diversas modalidades.

Metodologia: SafeNexus

O artigo propõe o SafeNexus, um framework de alinhamento de segurança cross-modal que adota uma estratégia de intervenção de "localizar-então-reforçar" ao nível de neurônio. A metodologia procede em três estágios primários:

1. Localização e Identificação de Neurônios

Os autores formulam um paradigma para identificar neurônios funcionalmente especializados, caracterizando padrões de ativação de camadas intermediárias.

Pontuação de Importância: Os neurônios são definidos como vetores de linha individuais dentro das matrizes de up-projection da rede Feed-Forward (FFN) ou de gate-projection. Sua contribuição é quantificada agregando magnitudes de ativação sobre um corpus de sondagem e integrando-as com a direção de down-projection para derivar uma pontuação de importância consciente da saída.
Neurônios de Segurança Vinculados à Modalidade (BS-Neurons): Usando conjuntos de dados contrastivos compostos por consultas prejudiciais (jailbreak) e benignas para modalidades específicas (Texto, Imagem, Áudio), os autores identificam neurônios que são altamente ativos durante respostas prejudiciais, mas não durante as benignas. Estes são denominados BS-Neurons ( $BS^c$ ).
Neurônios de Segurança Universais à Modalidade (US-Neurons): Ao interceptar os conjuntos de BS-Neurons identificados em diferentes modalidades ( $US = BS^T \cap BS^I \cap BS^A$ ), os autores isolam um subconjunto compartilhado compacto. Hipotetiza-se que os US-Neurons regem a segurança multimodal abrangente, independentemente da modalidade de entrada.

2. Validação via Supressão Direcionada

Os autores validam o papel crítico desses neurônios através de experimentos de supressão (mascaramento) direcionados:

Validação de BS-Neurons: O mascaramento de BS-Neurons específicos de uma modalidade causa uma degradação significativa no desempenho de segurança (medido pela Taxa de Sucesso de Ataque, ASR) dentro dessa modalidade específica, enquanto o mascaramento de neurônios aleatórios tem efeitos negligenciáveis.
Validação de US-Neurons: O mascaramento dos US-Neurons compartilhados leva a uma deterioração pronunciada no desempenho defensivo em todas as diversas configurações de entrada multimodal (por exemplo, apenas texto, texto+imagem, texto+áudio), confirmando seu papel como uma âncora de segurança central. Crucialmente, essa supressão não degrada substancialmente a utilidade geral do modelo.

3. Estratégias de Alinhamento de Segurança

Com base na descoberta de que o reforço dos US-Neurons aumenta a segurança, o SafeNexus propõe duas estratégias de intervenção distintas:

Amplificador de Segurança ao Nível de Ativação: Uma abordagem livre de treinamento que escala diretamente as magnitudes de ativação dos US-Neurons durante a inferência por meio de um coeficiente $\alpha$ especificado manualmente. Isso amplifica o sinal de segurança sem atualizar os parâmetros do modelo.
Calibrador de Neurônios de Segurança: Uma abordagem de fine-tuning direcionado usando Low-Rank Adaptation (LoRA). Diferente do LoRA padrão, que atualiza todos os parâmetros, este método restringe as atualizações treináveis exclusivamente aos US-Neurons (aproximadamente 0,05% dos parâmetros do backbone). Isso calibra seletivamente os neurônios para aumentar o alinhamento de segurança enquanto preserva as capacidades gerais e evita o esquecimento catastrófico.

Principais Contribuições

Descoberta de Subespaços de Segurança: O artigo identifica e valida a existência de BS-Neurons (vinculados à modalidade) e US-Neurons (universais à modalidade), revelando que a segurança multimodal em MLLMs é predominantemente governada por um subconjunto compartilhado e compacto de neurônios.
Estratégias de Alinhamento Eficientes: Os autores propõem duas estratégias eficientes — o Amplificador de Segurança ao Nível de Ativação e o Calibrador de Neurônios de Segurança — que aumentam significativamente a robustez do modelo contra entradas multimodais prejudiciais.
Superioridade Empírica: Experimentos extensos demonstram que o SafeNexus alcança o estado da arte em diversos benchmarks de segurança multimodal (incluindo Omni-Safe, HarmBench e JALM), enquanto preserva efetivamente a utilidade geral do modelo e evita comportamentos de recusa excessivamente conservadores.

Resultados Experimentais

Os autores avaliaram o SafeNexus em três MLLMs de código aberto (Qwen2.5-Omni, VITA e MiniCPM-o) através de várias combinações de modalidades (Texto, Imagem, Áudio e suas combinações).

Desempenho de Segurança: O SafeNexus supera os métodos predominentes de estado da arte (incluindo abordagens baseadas em treinamento como SPA-VL e intervenções em tempo de inferência como ECSO e Immune). Por exemplo, no modelo MiniCPM com entradas de Texto+Imagem+Áudio, a estratégia de calibrador reduziu o ASR em mais de 60%, superando significativamente os baselines.
Preservação de Utilidade: O método mantém alta precisão em benchmarks de capacidade geral (OmniBench, AV-Odyssey), mostrando uma degradação negligenciável em comparação com os modelos vanilla.
Sobre-recusa (Over-Refusal): A abordagem evita o efeito colateral de recusar excessivamente solicitações benignas, com o aumento da taxa de recusa em prompts benignos permanecendo abaixo de 3%, enquanto outros métodos (por exemplo, SARSteer) mostraram aumentos de ~18%.
Transferência Zero-Shot: O método demonstrou generalização zero-shot para a modalidade de vídeo sem que nenhum dado de vídeo fosse utilizado durante as fases de sondagem ou reforço, reduzendo o ASR em benchmarks relacionados a vídeo.
Eficiência de Parâmetros: O Calibrador de Neurônios de Segurança atualiza menos de 0,05% dos parâmetros do modelo, alcançando um alinhamento de segurança superior ao fine-tuning de parâmetros totais ou ajuste de neurônios aleatórios.

Significância

O artigo afirma que o SafeNexus aborda a limitação crítica de que os mecanismos de segurança atuais estão confinados a configurações de modalidades fixas. Ao revelar que a segurança cross-modal é governada por um subconjunto de neurônios compartilhado e compacto, o trabalho fornece uma compreensão mecanística de como os MLLMs processam a segurança através de entradas heterogêneas. A estratégia proposta de "localizar-então-reforçar" oferece uma solução altamente eficiente, interpretável e robusta para alinhar MLLMs, provando que a intervenção direcionada ao nível de neurônio pode neutralizar efetivamente ameaças cross-modais sem comprometer a utilidade geral do modelo ou exigir um retreinamento caro.