Resumo Técnico: O Fluxo e Refluxo do Foco Multimodal

1. Declaração do Problema

Modelos de linguagem-visão (VLMs) têm demonstrado fortes capacidades de raciocínio, mas frequentemente sofrem de degradação da evidência visual durante a inferência de múltiplos passos. Uma vez que a informação visual é absorvida pela pilha de linguagem, sua influência frequentemente atenua com a profundidade, torna-se emaranhada com a organização da linguagem ou deriva conforme a geração se desenrola. Isso leva à "negligência visual", onde os modelos dependem de vieses linguísticos em vez de evidências visuais fundamentadas, resultando em alucinações e falhas de raciocínio.

Embora trabalhos anteriores tenham tentado mitigar esses problemas por meio de decodificação contrastiva, realocação de atenção ou direcionamento de ativação, permanece incerta uma compreensão unificada de como a evidência visual é organizada e utilizada ao longo da profundidade da rede. Especificamente, não se sabe se esses modos de falha derivam de um processo evolutivo único ou de pistas separadas, e como a intervenção deve rastrear a mudança no papel da evidência visual conforme o raciocínio progride.

2. Metodologia

2.1 Análise Mecanística: A Janela de Revezamento Visual (VRW)

Os autores investigam primeiro a dinâmica interna dos VLMs através de uma lente mecanística. Ao rastrear duas sondas de atenção específicas através das camadas do Transformer, eles descobrem uma redistribuição estável de três estágios do foco multimodal:

1. Estágio Inicial (Organização Condicionada pela Pergunta): O modelo alinha a entrada visual com a consulta. A atenção é dominada pela sonda direcionada à pergunta ($M_{A \to Q}$), enquanto a atenção intra-visual ($M_{I \to I}$) é baixa.
2. Estágio Intermediário (Revezamento Dominante pela Visão): Uma fase crítica onde o equilíbrio muda. A atenção intra-visual aumenta significamente conforme o modelo consolida a evidência visual e monta estruturas relevantes para a resposta. A sonda direcionada à pergunta recua.
3. Estágio Tardio (Formação da Resposta): O cálculo retorna ao lado da linguagem para gerar a resposta final, realizando a passagem da evidência visual montada.

Os autores operacionalizam a fase intermediária como a Janela de Revezamento Visual (VRW). Eles definem uma pontuação de dominância de revezamento $R(l) = M_{I \to I}^{(l)} - M_{A \to Q}^{(l)}$ (após normalização conjunta) para identificar o intervalo $[s, e]$ onde a consolidação visual domina.

Principais Descobertas da Análise:

• Geometria Dependente da Tarefa: A VRW não é fixa; sua largura e profundidade de término adaptam-se às demandas da tarefa. Tarefas "densas em detalhes" (ex: contagem) exibem janelas de revezamento mais amplas e tardias, enquanto tarefas "densas em raciocínio" exibem janelas mais curtas com passagens de bastão mais precoces.
• Descompasso de Revezamento: Respostas alucinadas (sem suporte) estão causalmente ligadas a um descompasso na geometria do revezamento. Essas trajetórias frequentemente saem da fase de revezamento cedo demais (janelas estreitas) ou falham em manter um forte ancoramento visual após a passagem, derivando para vieses de linguagem.
• Validação Causal: Perturbar estados especificamente dentro da VRW estimada de uma trajetória sem suporte recupera significativamente respostas fundamentadas (taxa de recuperação de 41,4%), enquanto perturbações fora desta janela têm efeito mínimo.

2.2 O Framework TRACE

Com base nessas descobertas, os autores propõem o TRACE (Task-adaptive Relay Anchoring and Controlled Evidence Scheduling), um framework de controle em tempo de inferência composto por três módulos leves e treinados:

1. Preditores de Revezamento Aprendido: Um MLP leve que prevê uma "pontuação de revezamento" para cada camada de prefill baseada em estatísticas compactas de atenção (massa de autoatenção visual, sua mudança, atenção pergunta-para-visual e profundidade da camada). Ele identifica quais camadas provavelmente participarão do revezamento.
2. Escalonamento de Revezamento Consciente da Tarefa:
   • Prefill: Usando a saída do preditor, o escalonador modula dinamicamente os vieses de atenção visual-para-visual. Ele pode expandir a fase de revezamento para tarefas sensíveis ao fundamento ou contraí-la para tarefas densas em raciocínio.
   • Seleção Dinâmica: Mantém um subconjunto de tokens visuais relevante para a tarefa (Baseado em Top-P conforme a relevância pergunta-para-visual) para concentrar a intervenção na evidência recrutada.
3. Ancoragem Pós-Passagem: Uma vez que a fase de revezamento termina (identificada por uma regra de parada por limiar), o framework aplica um viés aditivo de decaimento de profundidade aos logits de resposta-para-visual. Isso garante que o suporte visual montado permaneça acessível durante a fase de decodificação, evitando que o modelo derive para longe da evidência.

O framework é treinado via otimização conjunta do preditor, escalonador e perda de ancoragem em triplas supervisionadas, mantendo os parâmetros do VLM base congelados.

3. Principais Contribuições

1. Identificação Estrutural: O artigo identifica uma redistribuição estável de três estágios do foco multimodal através da profundidade e formaliza a fase intermediária como a Janela de Revezamento Visual (VRW), fornecendo uma medida estrutural para a montagem da evidência interna.
2. Explicação Mecanística: Estabelece um elo causal entre o tempo de revezamento ideal e a geração fundamentada, demonstrando que as alucinações frequentemente surgem de um descompasso entre as demandas de evidência da tarefa e a geometria de revezamento do modelo.
3. Intervenção Unificada (TRACE): Os autores introduzem um framework que remodela a alocação de revezamento durante o prefill e preserva o suporte durante a decodificação. Esta abordagem aborda tanto a mitigação de alucinações quanto o raciocínio complexo sob um único princípio de controle, em vez de projetar correções separadas para cada um.

4. Resultados Experimentais

O TRACE foi avaliado em quatro backbones de VLM de pesos abertos (Qwen3-VL-4B/8B, InternVL3.5-4B/8B) em sete benchmarks cobrindo sensibilidade de fundamentação, evidência de granularidade fina e tarefas densas em raciocínio.

• Configurações Sensíveis ao Fundamento: O TRACE entregou ganhos significativos no HallusionBench, VlmsAreBlind e CountBench, melhorando o desempenho em uma média de 4,33 pontos e até 6,6 pontos em pares específicos de modelo-benchmark (ex: InternVL3.5-8B no HallusionBench).
• Tarefas Densas em Raciocínio: Também melhorou o desempenho no MathVista (ganho médio de 3,05 pontos), demonstrando que o ajuste da geometria de revezamento beneficia tarefas de raciocínio ao permitir uma passagem de bastão mais precoce para o raciocínio do lado da linguagem uma vez que a evidência está organizada.
• Comparação: O TRACE superou o vanilla inference, self-consistency, Chain-of-Thought e vários baselines de controle em tempo de inferência (VCD, PAI, MARINE, PTI, DMAS).
• Ablação: Remover qualquer um dos três componentes principais (Predictor, Scheduler, Anchoring) resultou em quedas de desempenho, confirmando que o mecanismo específico de remodelagem da geometria de revezamento é crucial, e não apenas a adição de parâmetros treináveis.

5. Significância e Alegações

O artigo afirma que o controle explícito do foco multimodal através da profundidade oferece um mecanismo unificado e eficaz para fortalecer o raciocínio baseado em evidências. Ao visualizar diversas demandas de tarefas downstream através da lente de um único ritmo computacional subjacente (o revezamento), o TRACE evita a necessidade de heurísticas específicas para cada tarefa.

Os autores enfatizam que seu trabalho fornece uma explicação mecanística para alucinações típicas (término precoce do revezamento) e diferenças de capacidade entre modelos padrão e modelos "Thinking" (melhor correspondência de revezamento). Embora a análise atual dependa de sondas derivadas de atenção e configurações de imagem única, o trabalho propõe um paradigma geral para um raciocínio multimodal mais confiável ao alinhar o processo de montagem de evidência interna do modelo com as demandas específicas da tarefa.