Resumo Técnico: ROVER

Declaração do Problema

Os Modelos de Linguagem Grandes Multimodais (MLLMs) avançaram significativamente no raciocínio visão-linguagem, particularmente através dos paradigmas de Cadeia de Pensamento (CoT). No entanto, as abordagens existentes para raciocínio multimodal fundamentado enfrentam limitações estruturais:

1. Limitações Centradas em Regiões: Os métodos atuais de "CoT visual" frequentemente dependem da injeção de Regiões de Interesse (RoIs) recortadas ou de características específicas de RoI no fluxo de raciocínio. Este design tende a isolar regiões, enfraquecendo a compreensão holística da cena pelo modelo e sua capacidade de modelar relações interobjetos. Além disso, o custo de decodificação escala com o tamanho espacial e o número de RoIs, tornando o processamento de alta resolução e de múltiplos objetos dispendioso.
2. Desafios de Seleção Adaptativa: Abordagens alternativas envolvendo seleção ou poda adaptativa de características visuais frequentemente exigem supervisão de granularidade fina, heurísticas complexas ou estão confinadas a cenários de imagem única, dificultando a escalabilidade para raciocínio multimodal.
3. Complexidade de Aumento por Ferramentas: Métodos que utilizam ferramentas externas ou programas executáveis para adquirir evidências iterativamente frequentemente incorrem em alta latência, complexidade e fragilidade de execução.

Há uma necessidade de um mecanismo eficiente em decodificação que transcenda regiões isoladas para facilitar a compreensão holística da cena e a modelagem de relações interobjetos, sem incorrer em sobrecargas de decodificação de comprimento variável.

Metodologia: ROVER

Os autores propõem o ROVER (Roteamento de Evidência Visual Centrada em Objetos para Raciocínio Multimodal Fundamentado), um plugin leve e aprendível projetado para rotear evidência visual global durante a geração autoregressiva. O ROVER opera anexando um triplet de tokens de comprimento constante ao fluxo de raciocínio a cada previsão de fundamentação de objeto.

Componentes Principais

1. Interface de Acionamento e Inserção:

   • O ROVER inicia o roteamento ao detectar um evento de fundamentação válido (por exemplo, <obj>...</obj><box>...</box>).
   • Em vez de injetar patches de imagem de comprimento variável, ele anexa um triplet fixo de tokens Link/Sift/Weave (LSW) ($T_k \in \mathbb{R}^{3 \times d}$) à sequência de incorporação de entrada. Isso garante uma sobrecarga de decodificação constante (3 tokens) por objeto fundamentado, independente do tamanho espacial do objeto.

2. Primitivas de Roteamento (O Triplet de Tokens):

   • Token Link ($t_{Link}$): Absorve o contexto de decodificação em evolução, encapsulando compactamente o estado atual do raciocínio.
   • Token Sift ($t_{Sift}$): Destila pistas intra-imagem. Utiliza um mecanismo de Atenção Diferencial Centrada em Objetos para agregar contexto complementar de regiões fora da RoI, suprimindo distratores irrelevantes.
   • Token Weave ($t_{Weave}$): Integra evidências conscientes do histórico. Roteia e combina informações relevantes de objetos previamente fundamentados através de diferentes imagens.

3. Módulos de Roteamento:

   • Sift (via DiffAttn): Dado um quadro delimitador de objeto, o módulo computa uma consulta RoI compacta via média de agrupamento. Em seguida, emprega Atenção Diferencial para consultar o contexto complementar (patches fora do quadro) enquanto suprime distratores. O operador de atenção é definido como:
     $$\text{DiffAttn}(Q, K, V) = \left(\text{softmax}\left(\frac{Q_1 K_1^\top}{\sqrt{d_h}}\right) - \lambda \cdot \text{softmax}\left(\frac{Q_2 K_2^\top}{\sqrt{d_h}}\right)\right)V$$
     Isso permite que o modelo extraia contexto da cena (por exemplo, semáforos próximos a um carro freando) sem recodificar a imagem inteira.
   • Weave (via VWS): Mantém um Espaço de Trabalho Visual (VWS), uma memória unificada e ordenada historicamente ($W_k$) compartilhada entre todos os eventos de roteamento. O token Weave atende a este VWS usando mascaramento autoregressivo para integrar evidências históricas através de objetos e imagens, mimetizando "fixações de retorno" na cognição visual humana.

4. Pipeline de Treinamento:

   • Os autores integram o ROVER no Qwen2.5-VL-7B e empregam um pipeline unificado Interleaved SFT-to-GRPO.
   • SFT Intercalado: Treina o modelo para emitir padrões de fundamentação precisos e respostas específicas da tarefa, inserindo o triplet LSW automaticamente ao concluir a fundamentação.
   • GRPO Intercalado: Utiliza Otimização de Política Relativa por Grupo para otimizar recompensas de trajetória (precisão da resposta), excluindo os tokens de roteamento inseridos do cálculo de perda para garantir atualizações de política estáveis.

Contribuições Principais

1. Plugin ROVER: Um mecanismo leve e aprendível que implementa o roteamento de evidência visual global centrada em objetos anexando um triplet de tokens de comprimento constante após cada previsão de fundamentação, evitando a sobrecarga da injeção de RoIs de comprimento variável.
2. Arquitetura Inovadora: A introdução de um mecanismo de Atenção Diferencial Centrada em Objetos para destilar pistas complementares enquanto suprime distratores, acoplado a um Espaço de Trabalho Visual (VWS) para roteamento consciente do histórico através de objetos e imagens.
3. Framework de Treinamento: Um pipeline de treinamento unificado intercalado SFT-to-GRPO que produz ganhos consistentes em tarefas de raciocínio fundamentado de imagem única e multimodal sob configurações controladas.

Resultados Experimentais

O método foi avaliado no VideoEspresso (raciocínio multimodal) e no MM-GCoT (raciocínio fundamentado de imagem única), aderindo estritamente aos conjuntos de dados originais e protocolos de avaliação.

• VideoEspresso: O ROVER alcançou o melhor desempenho em um cenário controlado, superando a melhor linha de base anterior em +8,6% na precisão da resposta. Também demonstrou forte transferibilidade, melhorando o modelo base em +4,7% em média em diversos benchmarks (por exemplo, Mantis, V-Star, TreeBench), apesar de ter sido ajustado finamente exclusivamente no VideoEspresso.
• MM-GCoT: O método alcançou resultados state-of-the-art, melhorando a precisão da resposta em +4,8% e a precisão de fundamentação em +14,6% sobre a linha de base.
• Eficiência: Comparado a métodos de reamostragem de RoI, o ROVER reduziu o total de tokens de saída em 57,9% enquanto melhorava a qualidade do raciocínio, demonstrando eficiência superior de decodificação.
• Estudos de Ablação: Experimentos confirmaram que a Atenção Diferencial (Sift) melhora significativamente a precisão de fundamentação ao suprimir distratores, e o VWS (Weave) é crucial para integrar evidências históricas através de múltiplas imagens.

Significado e Alegações

O artigo alega que o ROVER aborda o trade-off entre compreensão holística da cena e eficiência de decodificação no raciocínio fundamentado. Ao alinhar-se conceitualmente com o framework cognitivo de processo duplo (agregação rápida de frontend seguida por raciocínio deliberado de backend), o ROVER permite que MLLMs:

• Revisitem e reorganizem evidências visuais dinamicamente sem o custo de recodificar grandes patches de imagem.
• Modelem relações interobjetos e mantenham um contexto global através de múltiplas imagens via o Espaço de Trabalho Visual.
• Alcançem generalização robusta para diversos domínios multimodais (incluindo transferência zero-shot para benchmarks como TreeBench e HallBench) sem exigir ajuste fino específico da tarefa ou ferramentas externas complexas.

Os autores posicionam o ROVER não como um substituto para a percepção visual, mas como um mecanismo de roteamento estruturado que conecta detalhes locais e raciocínio global, oferecendo uma solução escalável para tarefas complexas de raciocínio visual multissalto.