Resumo Técnico: Pare de Pensar, Comece a Olhar

Definição do Problema

O Questionamento de Documentos Multimodais (DocQA) requer não apenas a geração de texto correto, mas também a realização de Aterramento Visual de Documentos (DVG): a localização precisa da região visual que sustenta uma resposta. As abordagens atuais enfrentam duas limitações primárias:

1. Ajuste Fino Supervisionado (SFT): Embora eficaz, o SFT frequentemente atinge um platô de otimização onde o aumento da escala de conjuntos de dados anotados gera retornos decrescentes na precisão geométrica.
2. Aprendizado por Reforço (RL) Centrado no Raciocínio: Paradigmas recentes (ex: DocThinker) postulam que traços de raciocínio intermediários explícitos (Cadeia de Pensamento/Chain-of-Thought) são necessários para fazer a ponte entre a compreensão semântica e o aterramento espacial. No entanto, esses traços verbosos inflam os custos de tokens de inferência e introduzem latência sem um benefício empírico claro para tarefas inerentemente perceptivas.

Além disso, a dinâmica do RL em ambientes multimodais permanece pouco explorada, particularmente no que diz respeito a saber se o raciocínio é verdadeiramente necessário para o aterramento ou se ele introduz instabilidade e sobrecarga computacional desnecessária.

Metodologia: Perception-RFT

Os autores introduzem o Perception-RFT, um framework de treinamento projetado para alinhar características visuais diretamente com saídas de aterramento estruturadas, contornando tokens de raciocínio intermediários.

Framework Central

• Formulação da Tarefa: A tarefa é definida como um problema de VQA generativo onde a política $\pi_\theta$ produz um JSON estruturado contendo a resposta e uma caixa delimitadora normalizada ($[x_1, y_1, x_2, y_2]$).
• Restrição de Percepção Direta: Diferente das abordagens de RL padrão que incentivam o raciocínio verboso, o Perception-RFT impõe um prompt de sistema que proíbe explicitamente explicações ou etapas intermediárias ("NÃO inclua explicações... Saída APENAS o JSON válido final"), forçando o modelo a mapear características visuais diretamente para a regressão de coordenadas.
• Algoritmo de Otimização: O framework utiliza a Otimização de Política Relativa de Grupo (GRPO). Em vez de maximizar a consistência lógica via cadeias de raciocínio, o objetivo maximiza a vantagem de saídas válidas baseadas em um sinal de recompensa conjunto, restringindo o desvio da política via divergência KL.

Mecanismo de Recompensa Densa com Portão (Gated)

Para estabilizar o treinamento sem orientação intermediária, os autores propõem uma função de recompensa composta $R = R_{format} + R_{sem} + R_{loc}$:

1. Consistência de Formato ($R_{format}$): Um interruptor binário (0 ou 1) garantindo que a saída seja um JSON válido com o esquema correto.
2. Precisão Semântica ($R_{sem}$): Utiliza a Similaridade de Levenshtein Normalizada Média (ANLS) com escalonamento quadrático para penalizar agressivamente erros próximos.
3. Recompensa de Localização com Portão ($R_{loc}$): Um mecanismo de "efeito de borda" (cliff-edge).
   • Estado de Modelagem: Se o IoU estiver abaixo de um limiar ($\tau=0.6$), a recompensa é reduzida ($\lambda \cdot \text{IoU}$) para evitar a convergência em sobreposições parciais subótimas.
   • Estado de Sucesso: Se o IoU $\geq 0.6$, a recompensa salta para 1.0, incentivando uma margem de segurança geométrica.

Design Experimental

O estudo emprega o Qwen3-VL-4B e compara várias configurações:

• SFT: Ajuste fino supervisionado padrão em cerca de 23 mil amostras de documentos financeiros.
• RFTs (SFT $\to$ RL): Perception-RFT aplicado após a inicialização do SFT.
• RFTb (Cold-Start RL): Perception-RFT aplicado diretamente ao modelo base sem SFT.
• Reasoning-RFTb: Uma variante controlada que permite traços de raciocínio intermediários sob idênticas condições de RL para isolar o papel do raciocínio.
• Datasets: Treinamento em documentos financeiros curados (DocILE, FormNLU) e avaliação em conjuntos In-Distribution (ID) e dois benchmarks Out-of-Distribution (OOD): DOGR-Bench (800 amostras) e MMDocBench (4.028 amostras).

Principais Resultados

1. O Raciocínio é Redundante e Prejudicial

A descoberta mais significativa é que o raciocínio explícito não melhora o desempenho em tarefas de DVG sob RL.

• Lacuna de Desempenho: A variante livre de raciocínio (RFTb) supera consistentemente a variante habilitada para raciocínio (Reasoning-RFTb) tanto em conjuntos de dados ID quanto OOD. Por exemplo, em dados OOD, o RFTb alcança um F1all de 0.600 comparado a 0.382 para o Reasoning-RFTb.
• Compressão de Traço: Mesmo quando o raciocínio é habilitado, os modelos comprimem e eliminam progressivamente os traços de raciocínio durante o treinamento. Na convergência, o comprimento médio dos tokens de raciocínio cai em 62% (de ~191 para ~72 tokens), convergindo efetivamente para uma política de percepção direta.
• Estabilidade: O treinamento habilitado para raciocínio exibe maior variância e convergência menos estável em comparação com a abordagem de percepção direta.

2. O RL Supera a Saturação do SFT

• Quebrando o Teto: Em dados In-Distribution, o SFT atinge um platô de desempenho (F1all = 0.668). Aplicar o Perception-RFT (RFTs) quebra esse teto, melhorando o F1all para 0.718, com ganhos significativos tanto na extração de texto quanto na localização.
• Importância da Inicialização: O RL de início a frio (RFTb) melhora em relação ao modelo base, mas permanece substancialmente abaixo do RFTs, confirmando que a inicialização supervisionada fornece uma base estável para o aprendizado geométrico sob RL.

3. O Fenômeno da Divergência de Aterramento

Os autores identificam um trade-off anteriormente não caracterizado chamado Divergência de Aterramento. Sob otimização conjunta de RL em dados OOD:

• A Localização Melhora: A precisão geométrica transfere-se robustamente para domínios não vistos (ex: o salto de localização no DOGR-Bench de 0.416 para 0.759).
• A Robustez Semântica Degrada: As capacidades de extração semântica frequentemente falham na transferência ou degradam em comparação com o modelo base zero-shot.
• Implicação: O RL induz uma generalização assimétrica; ele é excelente em aprender padrões geométricos transferíveis, mas pode se especializar excessivamente na extração semântica, levando a um trade-off seletivo entre precisão geométrica e flexibilidade semântica.

4. Eficiência de Dados

Uma transição precoce de SFT para RL (RFTs-Early) atinge precisão comparável ao SFT+RL completo usando 65% menos dados de treinamento. Isso sugere que o aprendizado supervisionado prolongado não é estritamente necessário para o aterramento de alta precisão se o RL for introduzido precocemente.

Significância e Alegações

O artigo alega estabelecer que o Aterramento Visual de Documentos é uma tarefa dominante de percepção, onde o alinhamento direto entre características visuais e saídas espaciais é mais eficaz do que a geração mediada pelo raciocínio.

• Eficiência: Ao contornar os tokens de raciocínio, a abordagem reduz o comprimento dos tokens de inferência por consulta em mais de 60%, oferecendo uma estratégia de implantação mais rápida e de custo-benefício superior.
• Dinâmica de Otimização: O trabalho estende as descobertas do domínio de texto pós-treinamento (saturação de SFT e instabilidade de cold-start RL) para o domínio multimodal e identifica o trade-off específico de "Divergência de Aterramento".
• Orientação Prática: Os autores argumentam que, para DVG, os modelos devem "Parar de Pensar, Começar a Olhar". A política ideal depende da percepção direta em vez do raciocínio explícito, e as transições precoces de SFT-para-RL oferecem o melhor equilíbrio entre eficiência de dados e desempenho.

O estudo é modesto em seu escopo, observando que estas descobertas foram estabelecidas na escala de 4B de parâmetros e que o comportamento de escalonamento para modelos maiores permanece um assunto para trabalhos futuros. Além disso, a falta de dados supervisionados anotados com raciocínio limita a capacidade de construir um pipeline de SFT $\to$ RL habilitado para raciocínio para comparação adicional.