Resumo Técnico: Máscara de Ruído Latente para Redução de Redundância Visual em Modelos de Linguagem de Grande Escala Multimodais

1. Declaração do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) frequentemente enfrentam dificuldades em tarefas de raciocínio visual detalhado. Embora esses modelos herdem fortes capacidades de raciocínio linguístico, seu raciocínio visual é frequentemente prejudicado pela redundância visual. Em arquiteturas padrão de MLLM, as imagens são codificadas em sequências densas de tokens visuais. No entanto, para questões específicas, apenas um pequeno subconjunto desses tokens constitui evidência relevante. Os tokens restantes — representando regiões de fundo, objetos não relacionados ou distratores visualmente semelhantes — diluem as pistas críticas.

Abordagens existentes tentam resolver isso estendendo rastros de raciocínio (ex: Cadeia de Pensamento/Chain-of-Thought) ou adicionando mais contexto visual/latente (ex: recortes de imagem, tokens latentes intermediários). Os autores argumentam que esses métodos aditivos falham em resolver o problema central: tokens visuais irrelevantes permanecem no contexto, competindo com as evidências fundamentais e tornando o processo de decodificação mais difícil. O artigo postula que, quando a evidência já está presente, o desafio primário é a seletividade visual (filtrar distratores) em vez da disponibilidade visual (encontrar novas evidências).

2. Metodologia: Máscara de Ruído Latente (LENS)

Os autores propõem o LENS (LatEnt Noise maSk), um framework projetado para purificar a evidência visual antes da fase de decodificação, sem alterar o backbone do modelo ou a estrutura da sequência de tokens. O método opera em duas etapas acopladas:

A. Sondagem de Evidência (Evidence Probing)

O LENS introduz um Token de Evidência de Lente (LET) leve e temporário, denotado como ``, que é anexado à entrada conjunta de tokens visuais ($V$) e tokens de texto ($T$).

• Mecanismo: O estado oculto deste token temporário é decodificado por uma cabeça MLP (Perceptron Multicamadas) simples ($f_\theta$) para produzir um vetor de pontuação de relevância $\mathbf{a} \in [0, 1]^N$, onde $N$ é o número de tokens visuais.
• Condicionamento: Essas pontuações são condicionadas à pergunta, o que significa que a mesma região da imagem pode receber uma pontuação alta para uma pergunta e uma pontuação baixa para outra.
• Supervisão: O LET é treinado usando anotações de nível de objeto (caixas delimitadoras/bounding boxes) em vez de racionais complexos de cadeia de pensamento. Um token é rotulado como positivo se seu patch de imagem correspondente sobrepor uma caixa delimitadora relevante à pergunta. O objetivo de treinamento minimiza a perda de Entropia Cruzada Binária (BCE) entre as pontuações previstas e esses rótulos binários.

B. Supressão Latente (Latent Suppression)

Uma vez geradas as pontuações de relevância, o token `` é removido, e as pontuações guiam um mecanismo de supressão suave no espaço latente.

• Geração de Ruído: Um gerador de ruído leve ($G_\phi$) prevê uma média ($\mu_i$) e uma escala ($\sigma_i$) para uma distribuição de ruído Gaussiano específica de cada token para cada token visual $v_i$.
• Perturbação Adaptativa: O ruído real $r_i$ é amostrado via reparametrização: $r_i = \mu_i + \sigma_i \odot \epsilon_i$, onde $\epsilon_i \sim \mathcal{N}(0, I)$.
• Portão (Gating): Um portão de supressão $g_i$ é computado com base na pontuação do LET $a_i$ e um limiar $\tau$: $g_i = \frac{1}{\tau} \text{ReLU}(\tau - a_i)$.
  • Se $a_i \geq \tau$ (alta relevância), $g_i = 0$, e o token permanece inalterado.
  • Se $a_i < \tau$ (baixa relevância), $g_i > 0$, e o ruído adaptativo é injetado.
• Sequência Purificada: A sequência visual final é $\tilde{V} = \{v_i + g_i r_i\}$. Isso preserva o layout original dos tokens (crucial para compatibilidade com backbones existentes), mas desestabiliza a representação dos tokens distratores, efetivamente "mascarando-os" no espaço latente.

C. Otimização

O framework é treinado em duas fases:

1. Ajuste Fino Supervisionado (SFT): O modelo é treinado para responder perguntas usando a sequência purificada $\tilde{V}$. A perda total combina a perda de geração de resposta e a perda de supervisão do LET ($\mathcal{L}_{SFT} = \mathcal{L}_{ans} + \beta \mathcal{L}_{LET}$).
2. Ajuste Fino por Reforço (RFT): Para refinar a política de seleção de evidência, os autores modelam as pontuações do LET como uma política de Bernoulli. Eles otimizam para uma recompensa de nível de conjunto (F1 score) baseada na sobreposição entre os tokens selecionados e as caixas relevantes do solo (ground-truth), regularizada pela divergência KL em relação ao checkpoint de SFT.

3. Principais Contribuições

1. Reenquadramento do Problema: O artigo identifica que tokens visuais densos contêm distratores irrelevantes à pergunta que dificultam o raciocínio detalhado. Argumenta-se que suprimir esses distratores é mais eficaz do que simplesmente adicionar mais contexto de raciocínio.
2. Framework Leve: O LENS introduz um mecanismo de purificação condicionado à pergunta que requer apenas um token de controle aprendível temporário e um gerador de ruído leve. Não requer modificação da arquitetura do backbone, recorte de imagens ou geração de saídas visuais intermediárias.
3. Intervenção Suave no Latente: Diferente da poda de tokens (token pruning) ou seleção rígida de regiões, o LENS usa ruído latente adaptativo para suprimir suavemente tokens de baixa relevância. Isso mantém a integridade estrutural da sequência de tokens enquanto reduz a influência dos distratores.

4. Resultados Experimentais

Os autores avaliaram o LENS em 10 benchmarks cobrindo tarefas de VQA (Visual Question Answering) e Grounding, utilizando modelos base das famílias Qwen3-VL, InternVL3.5-VL e Qwen3.5.

• Ganhos de Desempenho:

  • VQA: O LENS melhorou o MLLM base em 2,4–6,4 pontos na maioria dos datasets de VQA (ex: CUB, GQA, OpenImages). A variante LENS-GRPO alcançou uma melhoria média de 6,65 pontos sobre o baseline mais forte sem LENS.
  • Grounding: As melhorias foram ainda mais pronunciadas, com ganhos de 4,1–6,4 pontos em tarefas de grounding (ex: COCO, Objects365). No VisDrone, o LENS-GRPO melhorou o desempenho em 18,81 pontos em relação ao SFT.
  • Generalização: O método provou ser transferível entre diferentes escalas de modelos (2B a 9B) e arquiteturas, melhorando consistentemente o desempenho sem mudanças arquiteturais específicas para a tarefa.

• Estudos de Ablação:

  • Remover a supressão latente (usando apenas a Sondagem de Evidência) resultou em ganhos limitados, confirmando que identificar evidências é insuficiente sem suprimir ativamente os distratores.
  • Substituir o ruído suave aprendido por mascaramento aleatório, preenchimento com zeros (zero-padding) ou mascaramento baseado em atenção resultou em quedas significativas de desempenho, validando a necessidade de uma supressão suave, aprendida e adaptativa.
  • O ajuste por reforço (GRPO) aumentou ainda mais os resultados, sugerindo que otimizar a política de seleção de evidência em nível de conjunto é benéfico.

5. Significância e Alegações

O artigo afirma que evidências visuais mais limpas e relevantes à pergunta são um caminho mais direto para melhorar o raciocínio multimodal do que estender o rastro de raciocínio. Ao demonstrar que a supressão de tokens irrelevantes produz resultados superiores em comparação com a adição de mais contexto, os autores sugerem uma mudança de paradigma para o raciocínio em MLLMs: de adição visual para purificação visual.

A significância reside na eficiência e generalidade da abordagem. O LENS alcança melhorias de estado da arte no raciocínio detalhado e localização espacial com overhead mínimo, provando que o gargalo nos atuais MLLMs é frequentemente o "ruído" na entrada visual, e não a falta de capacidade de raciocínio. As visualizações confirmam que o LENS consegue focar a atenção em regiões chave (atributos, objetos, relações) enquanto suprime fundos e distratores, levando a um raciocínio visão-linguagem detalhado mais confiável.