Resumo Técnico: iVGR – Internalizando o Raciocínio Visualmente Fundamentado para MLLMs com Aprendizado por Reforço

1. Definição do Problema

Os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) fizeram progressos significativos no raciocínio geral, mas enfrentam dificuldades com a percepção detalhada em cenas visuais de alta resolução ou complexas. Embora o Raciocínio de Cadeia de Pensamento Visualmente Fundamentado (Visually Grounded Chain-of-Thought - CoT) tenha surgido como um paradigma promissor para melhorar a percepção ao ancorar explicitamente o raciocínio a regiões visuais (via recortes dinâmicos ou caixas delimitadoras), sua eficácia durante a fase de inferência permanece pouco explorada.

Uma análise empírica neste trabalho revela um achado contraintuitivo: exigir explicitamente caixas de objetos ou ferramentas de recorte durante a inferência frequentemente degrada o desempenho em comparação ao CoT textual padrão.

• Abordagens baseadas em ferramentas (ex: DeepEyes) que invocam ferramentas de recorte externas sofrem quando a localização do recorte é ruim, introduzindo ruído visual que prejudica a previsão da resposta.
• Abordagens de fundamentação explícita (ex: TreeVGR) que exigem a geração de caixas delimitadoras dentro do CoT apresentam desempenho consistentemente inferior ao CoT textual em todos os intervalos de qualidade de localização.

Os autores hipotetizam que a capacidade de localização visual pode ser internalizada no processo de raciocínio textual. A geração obrigatória de coordenadas explícitas durante a inferência introduz uma interferência desnecessária, distraindo o modelo de seu objetivo principal de previsão de resposta.

2. Metodologia: iVGR

Para resolver isso, os autores propõem o iVGR (Internalizing Visually Grounded Reasoning), um novo framework de aprendizado por reforço (RL) projetado para transferir capacidades de localização de um fluxo fundamentado para um fluxo de raciocínio puramente textual.

Estratégia de Treinamento de Fluxo Duplo

O núcleo do iVGR é um mecanismo de treinamento de fluxo duplo onde, para cada consulta de treinamento, o MLLM de política gera dois fluxos distintos de rollouts:

1. Fluxo Fundamentado (Grounded Stream): O modelo é instruído a prever explicitamente caixas delimitadoras (<box>[x1, y1, x2, y2]</box>) ao se referir a objetos. Este fluxo é recompensado pelo formato, precisão da resposta e qualidade da localização (IoU).
2. Fluxo Textual (Textual Stream): O modelo realiza o raciocínio padrão de linguagem natural sem restrições de fundamentação explícita.

Recompensa de Consistência

A inovação crítica é a Recompensa de Consistência, que alinha o fluxo textual com o raciocínio de alta qualidade do fluxo fundamentado.

• Seleção de Referência: Um "Arquivo de Rollout" mantém o CoT fundamentado de maior qualidade (baseado em IoU e precisão) encontrado até o momento para cada consulta.
• Alinhamento Semântico: Um juiz LLM externo avalia a consistência semântica entre o CoT textual e a referência fundamentada arquivada. O juiz atribui uma pontuação (0.0 a 1.0) baseada em se a descrição textual corresponde aos fatos visuais estabelecidos na referência fundamentada (ex: omitir detalhes, adicionar alucinações ou contradizer fatos).
• Otimização: O fluxo textual é otimizado para maximizar esta recompensa de consistência, aprendendo efetivamente a "ver" e localizar objetos implicitamente dentro de seu texto sem exibir coordenadas.

Escalonamento de Tempo de Teste Assistido por Ferramentas

Embora o modelo seja treinado para internalizar a fundamentação, o iVGR retém a flexibilidade de usar ferramentas externas. No tempo de teste, um fluxo de trabalho é proposto onde o modelo primeiro gera um CoT fundamentado para extrair caixas delimitadoras. Essas caixas são então usadas para recortar a imagem (incluindo um "recorte de união" de todas as regiões), e o modelo realiza o raciocínio sobre essas entradas de múltiplas visões usando o CoT textual padrão.

3. Principais Contribuições

• Análise Empírica: O artigo demonstra que a fundamentação visual explícita durante a inferência muitas vezes prejudica o desempenho, sugerindo que as capacidades de localização podem ser transferidas implicitamente para o CoT textual.
• Framework iVGR: Uma estratégia de fluxo duplo baseada em aprendizado por reforço que utiliza uma recompensa de consistência para internalizar a localização visual no raciocínio textual, eliminando a necessidade de geração explícita de coordenadas durante a inferência.
• Escalabilidade e Compatibilidade: O método é validado nos modelos Qwen2.5-VL e Qwen3-VL, mostrando melhorias significativas em benchmarks finos e gerais, mantendo-se compatível com fluxos de trabalho assistidos por ferramentas.

4. Resultados Experimentais

Experimentos extensivos foram conduzidos em benchmarks de VQA de detalhamento fino (V*, HR4K, HR8K) e tarefas de raciocínio geral (MME-RW-Lite, POPE, RealWorldQA, etc.).

• Ganhos de Desempenho: O iVGR supera significativamente as linhas de base existentes. No modelo Qwen2.5-VL-7B, o iVGR alcança uma melhoria média de 6,5% entre os benchmarks, com ganhos substanciais em tarefas de detalhamento fino (ex: +10,4% no HR8K).
• Comparação com SOTA: Ele supera tanto métodos baseados em ferramentas (como DeepEyes) quanto métodos de fundamentação explícita (como TreeVGR) sem exigir ferramentas externas durante a fase primária de inferência.
• Evidência de Internalização: A análise de escore de atenção mostra que o fluxo textual do iVGR presta atenção aos tokens da imagem de forma mais forte do que mesmo a variante que possui apenas o fluxo fundamentado, confirmando que o modelo internalizou com sucesso a fundamentação visual.
• Sinergia de Ferramentas: Quando equipado com o escalonamento de tempo de teste assistido por ferramentas proposto (usando recortes), o desempenho melhora ainda mais (ex: +1,5% no HR4K para Qwen3-VL-8B), demonstrando a flexibilidade do método.

5. Significância e Alegações

O artigo afirma que o iVGR oferece um paradigma mais eficiente e robusto para o raciocínio visual detalhado. Ao internalizar a capacidade de localização, o modelo evita o ruído e a interferência causados pela geração obrigatória de coordenadas explícitas durante a inferência.

Os autores posicionam o iVGR como um método que:

1. Desacopla a capacidade de localização visual da necessidade de formatos de saída explícitos.
2. Melhora a percepção detalhada sem sacrificar a flexibilidade do raciocínio textual padrão.
3. Mantém a compatibilidade com ferramentas externas, permitindo uma abordagem híbrida onde ferramentas podem ser aproveitadas no tempo de teste, caso uma maior precisão seja necessária.

O trabalho sugere que o futuro do raciocínio visualmente fundamentado não reside em forçar os modelos a emitir coordenadas, mas em treiná-los para raciocinar com uma compreensão implícita e internalizada do espaço visual.