🤖 machine learning

Visual Token Compression Enhances Robustness of MLLMs

Este artigo propõe um método de poda de tokens visuais que aumenta a robustez de Grandes Modelos de Linguagem Multimodais contra ataques de jailbreak e alucinações, ao identificar e remover tokens visuais desalinhados e fora da distribuição, enquanto simultaneamente reduz os custos de inferência.

Autores originais: Shishen Gu, Jiequan Cui, Wenbo Hu, Zenglin Shi, Zhenzhen Hu, Richang Hong

Publicado 2026-07-28

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Shishen Gu, Jiequan Cui, Wenbo Hu, Zenglin Shi, Zhenzhen Hu, Richang Hong

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde os computadores não apenas leem palavras, mas também "veem" imagens, combinando-as para responder perguntas, contar histórias ou resolver problemas. Estes são chamados de Modelos de Linguagem de Grande Escala Multimodais (MLLMs). Pense neles como estudantes superinteligentes que leram todos os livros da biblioteca e também podem olhar para uma foto para entender o contexto. No entanto, assim como qualquer estudante, eles podem ficar confusos. Às vezes, se você mostrar uma imagem difícil ou fizer uma pergunta sorrateira, eles podem ser enganados para dizer algo perigoso (um "jailbreak") ou inventar fatos que parecem reais, mas que são completamente errados (uma "alucinação").

Para entender por que isso acontece, precisamos observar como esses modelos processam informações. Eles pegam uma imagem, fatiam-na em pequenos pedaços digitais chamados "tokens visuais" e os misturam com tokens de texto. O problema é que os "olhos" e "ouvidos" do computador nem sempre falam a mesma língua perfeitamente. Às vezes, um token visual está tão fora de lugar ou é tão confuso que atua como ruído estático em um sinal de rádio. Esse ruído pode desequilibrar o modelo, tornando-o vulnerável a ataques ou fazendo-o sonhar com informações falsas. Cientistas sabem há muito tempo que limpar esse ruído ajuda, mas eles geralmente pensavam que era apenas uma questão de tornar o computador mais rápido, não mais seguro.

Este artigo apresenta um truque inteligente chamado Compressão de Tokens Visuais, especificamente um método chamado OOD-VTP (Poda de Tokens Visuais Fora da Distribuição - Out-of-Distribution Visual Token Pruning). Os pesquisadores descobriram que, ao identificar e remover os tokens visuais "estranhos" — aqueles que não se encaixam bem com o texto — o modelo torna-se muito mais resistente a ataques e menos propenso a mentir. É como um segurança de uma boate que expulsa os convidados barulhentos que não pertencem ao local, deixando a festa segura e ordenada. O estudo mostra que isso não é apenas uma teoria; quando testaram em sete diferentes benchmarks populares, o modelo tornou-se significativamente mais difícil de enganar e mais preciso, tudo isso enquanto rodava mais rápido.

A História do Quarto Barulhento

Imagine que você está em um quarto gigante e barulhento onde um grupo de amigos (o texto) está tentando ter uma conversa séria. De repente, um grupo de estranhos (os tokens visuais) invade o espaço. A maioria dos estranhos é prestativa; eles trazem lanches e apontam coisas na sala que combinam com a conversa. Mas alguns deles são pregadores de peças. Eles estão usando máscaras, gritando nonsense ou segurando cartazes que não fazem sentido com o que seus amigos estão dizendo.

No mundo da IA, esses pregadores de peças são os tokens visuais desalinhados. Como a visão e o sistema de linguagem do computador não estão perfeitamente sincronizados, esses tokens atuam como entradas Fora da Distribuição (OOD). Em termos simples, eles estão "fora de lugar". Quando a IA tenta processá-los, ela fica confusa. Essa confusão é o que permite que hackers realizem um "jailbreak" na IA (enganando-a para ignorar suas regras de segurança) ou causa "alucinações" (fazendo a IA inventar fatos).

A Estratégia do Segurança

Os autores deste artigo perceberam que os métodos anteriores tentavam acelerar a IA expulsando tokens aleatórios ou apenas aqueles que pareciam "redundantes" (como expulsar as pessoas mais quietas). Mas eles descobriram que isso não tornava a IA mais segura. Na verdade, às vezes até piorava as coisas!

O novo método deles, o OOD-VTP, atua como um segurança superinteligente. Veja como funciona:

Medindo a Distância: O segurança verifica cada um dos tokens visuais (cada pedaço da imagem) e pergunta: "Quão longe esta pessoa está da conversa?". Eles medem a distância entre o token visual e o "espaço de características da linguagem" (o grupo de tokens de texto).
Identificando os Pregadores de Peças: Os tokens que estão mais distantes do texto — aqueles que estão totalmente fora de sintonia — são marcados como tokens OOD. Estes são os que estão causando problemas.
O Momento Perfeito: Os pesquisadores descobriram que você não pode simplesmente expulsar as pessoas a qualquer momento. Existem camadas específicas de "poda robusta" (pense nestas como momentos específicos na conversa) onde remover os tokens ruins funciona melhor. Se você os remover cedo demais ou tarde demais, não ajuda. Mas se você o fizer no momento certo (como na camada 13 ou 17 em seus testes), a IA torna-se subitamente muito mais robusta.

Os Resultados: Mais Segura, Mais Inteligente e Mais Rápida

A equipe testou essa estratégia de segurança em dois modelos de IA populares: LLaVA-OneVision e Qwen-2.5-VL. Eles usaram sete diferentes benchmarks para ver o quão bem isso funcionava.

Parando Jailbreaks: Quando tentaram enganar a IA para fazer coisas ruins (como explicar como fabricar uma bomba ou inserir malware), o método OOD-VTP foi um grande sucesso. Em média, ele melhorou a capacidade do modelo de dizer "Não, eu não farei isso" em 13,29%. Para o modelo Qwen-2.5-VL especificamente, a "Taxa de Recusa de Resposta" (a frequência com que ele bloqueia com sucesso um pedido ruim) saltou de 20,38% para 33,67%.
Parando Alucinações: O método também ajudou a IA a parar de inventar coisas. No HallusionBench, a precisão melhorou em 8,00% para o modelo Qwen.
Velocidade: Como um bônus, porque removeram alguns dos tokens, a IA rodou mais rápido. Ela processou menos tokens (caindo de 16.128 para 10.512) e usou menos poder computacional (os TFlops caíram de 4,29 para 2,78), tornando-a mais eficiente sem perder sua inteligência.

O Que Eles Não Fizeram (e o Que Eles Descartaram)

É importante notar o que este artigo não fez. Eles não treinaram a IA do zero. Eles não adicionaram novas regras de segurança ou alteraram os pesos do "cérebro" do modelo. Eles simplesmente podaram (cortaram) os maus tokens visuais durante o processo.

Eles também descartaram explicitamente a ideia de que qualquer poda de tokens torna uma IA mais segura. Na verdade, eles mostraram que, se você podar os tokens errados — especificamente os que são bem alinhados e úteis — a IA torna-se menos segura. Eles testaram isso podando os tokens de "menor distância" (os bons), e o desempenho de segurança do modelo desabou. Isso prova que não se trata apenas de cortar coisas; trata-se de cortar o ruído específico que causa os problemas.

A Conclusão

Este artigo sugere que a chave para tornar a IA Multimodal mais segura pode ser tão simples quanto limpar o ruído visual. Ao identificar e remover os tokens visuais que não se encaixam com o texto, o modelo torna-se mais estável, menos propenso a ser enganado e menos propenso a inventar fatos. É uma solução "plug-and-play", o que significa que pode ser adicionada a modelos existentes sem a necessidade de uma reformulação massiva. Embora o artigo mostre que esses resultados são consistentes e mensuráveis em múltiplos testes, continua sendo um método que aumenta a robustez, em vez de ser uma bala de prata que resolve todos os problemas de segurança do mundo. Mas para um adolescente curioso (ou um desenvolvedor de IA preocupado com a segurança), é uma visão fascinante de como um pouco de poda pode fazer uma grande diferença para manter nossos amigos digitais seguros.

Resumo Técnico: Compressão de Tokens Visuais Aumenta a Robustez de MLLMs

Declaração do Problema

Modelos de Linguagem Multimodais (MLLMs) enfrentam desafios significativos de segurança e confiabilidade, especificamente a vulnerabilidade a ataques de jailbreak e à geração de alucinações. Embora os Modelos de Linguagem de Grande Escala (LLMs) treinados em dados de texto frequentemente demonstrem mecanismos de segurança robustos, a introdução de modalidades visuais nos MLLMs pode contornar essas salvaguardas. Os autores hipotetizam que essa vulnerabilidade decorre do desalinhamento de representação entre as modalidades visual e de linguagem. Especificamente, tokens visuais que não estão perfeitamente alinhados com o espaço de características da linguagem atuam como entradas Fora da Distribuição (OOD - Out-of-Distribution). Esses tokens OOD perturbam as representações internas do modelo, levando a saídas imprevisíveis, jailbreaks bem-sucedidos e respostas factualmente incorretas (alucinações).

Estratégias de defesa existentes, como ajuste de instrução (instruction tuning), Aprendizado por Reforço com Feedback Humano (RLHF) ou engenharia de prompt, frequentemente incorrem em altos custos computacionais ou sofrem de generalização limitada contra adversários não vistos. Além disso, métodos padrão de poda de tokens visuais (visual token pruning), projetados primariamente para reduzir custos de inferência através da remoção de tokens "redundantes", raramente aumentam a robustez do modelo. Isso sugere que redundância e status OOD não são sinônimos; podar os tokens errados pode, na verdade, degradar a segurança.

Metodologia: OOD-VTP

O artigo propõe o Out-of-Distribution Visual Token Pruning (OOD-VTP), um método livre de treinamento (training-free) e plug-and-play, projetado para aumentar a robustez ao remover seletivamente tokens visuais desalinhados. Os componentes principais do método são:

Medição de Distância de Tokens Visuais:
O método quantifica a "OOD-ness" (característica de estar fora da distribuição) de um token visual medindo sua distância do espaço de características textuais.
- Representação do Espaço de Características: O espaço de características textuais ( $T$ ) é representado pelos últimos $p\%$ dos tokens textuais (ex: os 50% finais). Esses tokens são escolhidos porque, através de mecanismos de atenção causal, integraram a informação semanticamente informativa e visualmente fundamentada das instruções precedentes.
- Métrica de Distância: Para cada token visual $v^k_j$ na camada $k$ , a distância para o espaço textual é definida como a distância mínima para qualquer token no subconjunto textual selecionado $S_k$ . A métrica de distância $D(\cdot, \cdot)$ é instanciada como a pontuação média negativa de atenção em todas as cabeças de atenção do LLM. Uma distância maior indica um maior desalinhamento (maior probabilidade de ser OOD).
Camadas de Poda Robusta (Robust-Pruning Layers):
Os autores identificam que nem todas as camadas são igualmente eficazes para a poda. Eles definem camadas de poda robusta como camadas intermediárias específicas onde a poda de tokens OOD gera o máximo de ganho de segurança.
- A análise empírica revela que a poda em camadas específicas (ex: camadas 13–17 no Qwen-2.5-VL) melhora significativamente a robustez, enquanto a poda em outras camadas oferece benefícios limitados ou degrada o desempenho.
- A camada ideal e a razão de poda são determinadas via busca em grade (grid search) em um conjunto de validação, embora o artigo note que uma camada fixa unificada (ex: Camada 14) pode alcançar resultados fortes em múltiplos benchmarks sem necessidade de ajuste por benchmark.
Estratégia de Poda:
Na camada de poda robusta identificada, os $r\%$ superiores de tokens visuais com as maiores distâncias (ou seja, os mais desalinhados/OOD) são podados. Este processo pode ser aplicado iterativamente em múltiplas camadas.

Principais Contribuições

Novo Insight: O artigo é o primeiro a demonstrar que a compressão de tokens visuais pode aumentar substancialmente a robustez de MLLMs contra tanto ataques de jailbreak quanto alucinações, desafiando a noção de que a compressão serve apenas para eficiência.
Método OOD-VTP: Os autores introduzem uma técnica de poda específica que visa tokens visuais desalinhados com o espaço de características da linguagem, utilizando uma métrica de distância baseada em escores de atenção e identificando camadas específicas de "poda robusta".
Validação Abrangente: O método é validado em sete benchmarks diversos, mostrando ganhos significativos de robustez enquanto mantém um forte desempenho em tarefas gerais.
Complementaridade: O método mostra-se complementar a métodos de segurança existentes (ex: AdaShield), aumentando ainda mais a segurança quando combinado.

Resultados Experimentais

Os autores avaliaram o OOD-VTP nos modelos LLaVA-OneVision e Qwen-2.5-VL em sete benchmarks:

Defesa de Jailbreak:
- No SafeBench, HADES e MM-SafetyBench, o OOD-VTP alcançou uma melhoria média de 13,29% na Taxa de Recusa de Resposta (Refuse-to-Answer Rate - RAR) sobre o baseline vanilla do Qwen-2.5-VL.
- Especificamente no Qwen-2.5-VL, a RAR média melhorou de 20,38% (Vanilla) para 33,67%, e a Taxa de Saída Inócua (Harmless Output Rate - HOR) melhorou para 50,09%, superando outros métodos de compressão (FastV, PDrop, etc.) que mostraram impactos negligenciáveis ou negativos na segurança.
- Quando combinado com o AdaShield, a RAR no SafeBench atingiu 93,80%.
- O método também demonstrou robustez contra ataques de imagem baseados em perturbação (PGD).
Mitigação de Alucinação:
- No HallusionBench, o OOD-VTP melhorou a acurácia em 8,00% (de 59,73% para 67,99% na melhor camada) para o Qwen-2.5-VL.
- No COCO2014, reduziu a métrica CHAIR (indicando menos alucinações) para 0,59% para o Qwen-2.5-VL, superando o baseline vanilla.
Desempenho Geral e Eficiência:
- Benchmarks Gerais: O OOD-VTP manteve ou melhorou ligeiramente o desempenho em datasets gerais como o MME (escores de percepção e cognição) em comparação ao modelo vanilla.
- Eficiência: O método reduziu o custo computacional (TFlops) e aumentou os Tokens Por Segundo (TPS) em comparação ao modelo vanilla e outros baselines de compressão como o FastV.
- Trade-off: Uma leve queda de desempenho foi observada no OCRBench, atribuída à perda de informações de imagem de detalhe fino devido à poda de tokens, o que os autores consideram um trade-off razoável para os ganhos substanciais de segurança.

Significância e Alegações

O artigo afirma que o OOD-VTP oferece uma direção nova, eficiente e eficaz para assegurar MLLMs. Ao abordar a causa raiz das vulnerabilidades — tokens visuais desalinhados agindo como entradas OOD — o método aumenta a robustez do modelo sem exigir retreinamento caro ou ajuste de alinhamento.

Os autores enfatizam que:

A robustez é altamente sensível a quais tokens são podados; remover tokens bem alinhados destrói a segurança, enquanto remover tokens OOD a aumenta.
A robustez também é sensível a onde (em qual camada) a poda ocorre, necessitando da identificação de camadas de poda robusta.
O método serve como um módulo "plug-and-play" que pode ser integrado com defesas de segurança existentes para criar um sistema mais robusto, equilibrando segurança, eficiência e utilidade geral.