Evidence Attribution in Visual Document Understanding without Coordinates or Region Labels

Resumo Técnico: Atribuição de Evidência em Compreensão de Documentos Visuais sem Coordenadas ou Rótulos de Região

Definição do Problema
A compreensão confiável de documentos visuais (VDU) exige que os modelos não apenas respondam a perguntas, mas também atribuam essas respostas a regiões de evidência específicas dentro de um documento. Benchmarks e sistemas atuais, como o CiteVQA, impõem uma interface de coordenadas, onde os modelos devem gerar coordenadas de caixas delimitadoras ($x_1, y_1, x_2, y_2$) para marcar a evidência. Os autores observam que, sob essa interface, os modelos de linguagem-visão (VLMs) frequentemente sofrem de Alucinação de Atribuição: eles geram respostas corretas, mas falham em identificar as regiões de suporte, produzindo frequentemente coordenadas que não se sobrepõem à verdade fundamental (ground truth). O artigo investiga se essa falha decorre de uma falta fundamental de capacidade de ancoragem (grounding) nos modelos abertos ou se é um artefato do próprio formato de saída de coordenadas. Além disso, aborda o desafio prático de que treinar modelos para localizar evidências normalmente requer anotações de nível de região dispendiosas para documentos longos, as quais são difíceis de coletar em escala.

Metodologia
Os autores propõem um estudo comparativo e um novo paradigma de treinamento que contorna a interface de coordenadas e a supervisão de nível de região.

1. Interface de Linguagem vs. Interface de Coordenadas:

   • Condição de Coordenadas: Os modelos seguem o protocolo padrão do CiteVQA, gerando coordenadas de caixas delimitadoras de forma autorregressiva.
   • Condição de Linguagem: Os modelos geram citações de texto literais da evidência em vez de coordenadas. Um pipeline separado então resolve essas citações para regiões do documento:
     • Um parser de layout (MinerU) segmenta o documento em blocos semânticos (parágrafos, tabelas, figuras, legendas).
     • Cada bloco é renderizado como um recorte de imagem (image crop) e incorporado usando um codificador multimodal.
     • As citações geradas pelo modelo são incorporadas e combinadas com os blocos semânticos que melhor se ajustam via uma atribuição um-para-um (resolvida através do algoritmo de Hungaria).
   • Esta configuração permite que os autores avaliem os mesmos modelos de base sob ambas as interfaces, mantendo constantes a entrada e a lógica de pontuação.

2. Aprendizado por Reforço Livre de Rótulos de Região (GRPO):

   • Para melhorar a atribuição sem rótulos de região dispendiosos, os autores utilizam a interface de linguagem como um arcabouço de treinamento.
   • Construção de Recompensa: Um juiz de visão-linguagem avalia a saída do modelo com base na pergunta, na resposta de ouro (gold answer) e nos recortes de imagem recuperados das regiões citadas (não nas citações de texto bruto). O juiz pontua:
     • $a$: Correção da resposta.
     • $erel$: Relevância da evidência (o recorte suporta a resposta?).
     • $ecov$: Cobertura da evidência (o conjunto de recortes cobre todas as informações necessárias?).
   • A função de recompensa é definida como $r = \frac{a}{5} \cdot \frac{erel + ecov}{10}$. Esta estrutura multiplicativa garante que as pontuações de evidência só contribuam se a resposta estiver correta, visando diretamente a alucinação de atribuição.
   • Otimização: O modelo é treinado usando Otimização de Política Relativa de Grupo (GRPO) com clipping assimétrico (DAPO) para estabilizar o treinamento. A política aprende a gerar melhores citações para maximizar a recompensa do juiz, efetivamente aprendendo a apontar para as regiões corretas sem nunca visualizar coordenadas de região durante o treinamento.

Principais Contribuições

1. Análise de Interface: Um estudo controlado demonstrando que o baixo desempenho dos VLMs abertos na atribuição de evidência é amplamente um artefato de interface, e não uma lacuna de capacidade. A mudança de coordenadas para uma interface de linguagem de citação e recuperação recupera significativamente a habilidade de atribuição.
2. Interface de Evidência de Linguagem: Um método inovador que adapta a citação baseada em citações (comum em RAG de texto) para documentos visuais. Ele resolve citações de linguagem natural para regiões de pixels via recuperação, contornando a necessidade de os modelos gerarem coordenadas precisas.
3. Treinamento Livre de Rótulos de Região: Uma receita de aprendizado por reforço que melhora a precisão de atribuição estrita usando apenas pares de pergunta-resposta e um juiz que avalia recortes recuperados. Isso elimina a necessidade de anotações manuais dispendiosas de nível de região.

Resultados
Avaliado em um subconjunto verificado do CiteVQA (719 perguntas bilíngues) em seis VLMs abertos (variando de 8B a 31B parâmetros):

• Recuperação de Atribuição: Sob a interface de coordenadas, a recuperação de evidência (IoU $\ge$ 0,5) foi de no máximo 8,1%, com taxas de alucinação (respostas corretas com evidência errada) variando de 82% a 97%. A mudança para a interface de linguagem elevou a recuperação para 25,9%–46,9% e reduziu as taxas de alucinação para 38,6%–65,4%.
• Ganhos de Treinamento: Aplicar a receita de treinamento GRPO a uma base de 8B aumentou a precisão de atribuição estrita (SAA) de 22,4% para 33,8% e reduziu ainda mais a taxa de alucinação para 28,4%.
• Qualidade da Resposta: A correção da resposta permaneceu amplamente estável entre as interfaces, indicando que a melhoria é específica para a atribuição, não para o raciocínio geral.
• Ablação: A recuperação foi atribuída à informação codificada na linguagem gerada pelo modelo (as citações), e não apenas à mecânica de recuperação. A interface de linguagem permitiu que os modelos expressassem informações de localização que o formato de coordenadas falhou em capturar.

Significância e Alegações
O artigo argumenta que a "Alucinação de Atribuição" observada nos VLMs abertos não é uma falta de capacidade de ancoragem insuperável, mas um descompasso entre a evidência que os modelos podem expressar em linguagem e as restrições da interface de coordenadas. Ao adotar uma abordagem de "citar e recuperar", os autores demonstram um caminho prático para uma atribuição de evidência de alta qualidade em documentos visuais. Crucialmente, este caminho não requer:

• Uma interface de saída de coordenadas.
• Dados de supervisão de nível de região dispendiosos.

As descobertas sugerem que os modelos abertos já possuem a capacidade de identificar locais de evidência quando permitidos a expressá-los em linguagem natural, e que o aprendizado por reforço com recompensas baseadas em juízes sobre recortes recuperados pode refinar efetivamente essa habilidade. Os autores observam limitações, como a dependência de um parser de layout (que estabelece um limite superior para o desempenho) e o fato de o escopo atual estar limitado à atribuição de documento único.