UniDoc-RL: Coarse-to-Fine Visual RAG with Hierarchical Actions and Dense Rewards

Resumo Técnico: UniDoc-RL

1. O Problema

Os sistemas de Geração Aumentada por Recuperação Visual (Visual RAG) visam estender os Modelos de Linguagem Visuais Grandes (LVLMs) com conhecimento visual externo. No entanto, os sistemas existentes enfrentam três limitações críticas:

• Recuperação Genérica: A maioria depende de sinais de recuperação genéricos (baseados em similaridade de embeddings) que ignoram semânticas visuais de baixo nível essenciais para raciocínio complexo, levando a alucinações ou falhas.
• Utilização Passiva da Visão: Abordagens anteriores tendem a codificar imagens inteiras passivamente, ignorando a natureza hierárquica da compreensão visual. Isso retém ruído de fundo irrelevante e desperdiça a capacidade de contexto do modelo.
• Sinal de Recompensa Esparsa: Métodos baseados em Aprendizado por Reforço (RL) existentes geralmente usam recompensas esparsas baseadas apenas no resultado final. Isso falha em resolver o problema de atribuição de crédito para decisões intermediárias (como seleção de imagem ou recorte), tornando a otimização ineficiente e "caixa preta".

2. Metodologia: UniDoc-RL

O UniDoc-RL é um framework unificado de Aprendizado por Reforço onde um agente LVLM executa conjuntamente recuperação, reclassificação, percepção visual ativa e raciocínio. A abordagem é formulada como um problema de tomada de decisão sequencial com um espaço de ação hierárquico e um sistema de recompensas densas.

A. Espaço de Ação Hierárquico (Coarse-to-Fine)
O modelo refina progressivamente a evidência visual através de três ações principais:

1. Ação de Busca (Search): Recupera um conjunto amplo de imagens candidatas de um corpus externo usando uma consulta gerada pelo modelo.
2. Ação de Seleção Precisa (Precise Selection): O LVLM avalia semanticamente as imagens recuperadas e seleciona as mais relevantes, filtrando ruído documental antes do raciocínio final. Isso preenche a lacuna semântica entre a recuperação genérica e o raciocínio específico da tarefa.
3. Ação de Percepção Visual Ativa (Visual Perception): Em vez de processar a imagem inteira, o agente aprende a realizar operações de recorte (crop) e zoom em regiões específicas. Isso localiza ativamente áreas ricas em informação, removendo redundância e preservando detalhes de alta resolução (semelhante à atenção visual humana).

B. Sistema de Recompensas Densas (Multi-Reward)
Para permitir o treinamento end-to-end, o UniDoc-RL introduz um esquema de recompensas densas que supervisiona cada etapa da decisão:

• Recompensa de Busca ($r_{ir}$): Baseada no NDCG (Normalized Discounted Cumulative Gain), avalia a qualidade da lista de imagens recuperadas.
• Recompensa de Seleção ($r_{sel}$): Baseada na precisão da seleção de imagens (usando uma estratégia de pseudo-supervisão quando não há imagens "gold" na lista inicial).
• Recompensa de Percepção ($r_{crop}$): Baseada na IoU (Intersection over Union) entre as caixas delimitadoras recortadas pelo modelo e as regiões de interesse (ROI) verdadeiras.
• Recompensa de Padrão ($r_{pat}$): Garante a integridade estrutural da sequência de pensamento-ação (uso correto de tags XML como <search>, <select>, <bbox>).
• Recompensa de Resultado ($r_{ans}$): Uma recompensa esparsa baseada em modelo que avalia a correção da resposta final.

A recompensa total é uma soma ponderada dessas componentes, otimizada via GRPO (Group Relative Policy Optimization), eliminando a necessidade de uma rede de valor separada.

C. Dados e Treinamento

• Síntese de Trajetórias: Os autores utilizaram um agente "professor" (Qwen3-VL-235B) para sintetizar trajetórias de raciocínio de alta qualidade, incluindo anotações finas para ações de recorte, utilizando ferramentas de análise de layout (MinerU) para gerar caixas delimitadoras candidatas.
• Dataset: Um conjunto de dados abrangente foi curado com 12.621 amostras para Supervised Fine-Tuning (SFT) e 5.537 para RL, agregando benchmarks públicos como SlideVQA, DoubleBench e DocBench.

3. Resultados Principais

O UniDoc-RL foi avaliado em três benchmarks desafiadores: SlideVQA, ViDoSeek e MMLongBench.

• Desempenho Superior: O modelo superou consistentemente os baselines state-of-the-art (SOTA). Em comparação com o método anterior baseado em RL (VRAG-RL), o UniDoc-RL obteve ganhos de 17,5% a 17,7% em modelos de 3B e 7B parâmetros, respectivamente.
• Eficácia das Ações:
  • A adição da Seleção Precisa melhorou significativamente a taxa de recuperação de imagens relevantes (recall), especialmente em tarefas de raciocínio multi-hop.
  • A Percepção Visual Ativa demonstrou ser crucial para tarefas que exigem discriminação visual fina (como MMLongBench), onde o recorte de regiões específicas aumentou a precisão.
• Robustez: O framework mostrou-se robusto em diferentes tipos de tarefas, desde a lógica complexa de slides até a extração de detalhes em tabelas e gráficos.

4. Contribuições Chave

1. Framework Unificado: Propõe o primeiro framework de RL unificado para Visual RAG que modela recuperação, reclassificação, percepção ativa e raciocínio em um único processo de decisão.
2. Mecanismo Coarse-to-Fine: Introduz um espaço de ação hierárquico que permite ao modelo filtrar ruído e focar em regiões de alta informação, superando a limitação da ingestão passiva de imagens inteiras.
3. Recompensas Densas: Desenvolve um sistema de recompensas multi-objetivo que resolve o problema de atribuição de crédito em estágios intermediários, permitindo otimização eficiente sem redes de valor.
4. Recurso de Dados: Lança um dataset de alta qualidade com trajetórias de raciocínio e anotações de ações finas, essencial para pesquisas futuras em RL para RAG visual.

5. Significado e Impacto

O trabalho do UniDoc-RL representa um avanço significativo na capacidade dos LVLMs de lidar com documentos visuais densos e complexos. Ao simular o comportamento humano de "buscar, selecionar e focar" em detalhes, o modelo supera as limitações das abordagens estáticas. A introdução de recompensas densas e a validação empírica robusta estabelecem um novo padrão para o desenvolvimento de agentes multimodais inteligentes, demonstrando que a otimização de cada etapa do pipeline de recuperação e percepção é fundamental para o raciocínio visual de alto nível.