TRivia: Self-supervised Fine-tuning of Vision-Language Models for Table Recognition

1. O Problema

O Reconhecimento de Tabelas (TR) visa transformar imagens de tabelas em representações semiestruturadas (como HTML ou Markdown). Embora seja um componente central na análise de documentos, o TR enfrenta desafios significativos:

• Dependência de Dados Rotulados: Os métodos atuais dependem fortemente de ajuste fino supervisionado com grandes conjuntos de dados rotulados, que são caros e demorados para obter.
• Limitação de Modelos Open-Source: Modelos proprietários (como Gemini 2.5 Pro) alcançam alto desempenho, mas são inacessíveis ou problemáticos devido a questões de privacidade e conformidade. Modelos de código aberto, por outro lado, geralmente ficam aquém do estado da arte (SOTA) devido à escassez de dados de treinamento de alta qualidade e em escala.
• Ineficiência de Abordagens Atuais: A geração de dados sintéticos carece de diversidade visual, e a extração de pseudo-rótulos de modelos proprietários é custosa e limita o desempenho ao teto do modelo "professor".

A questão central levantada pelo artigo é: É possível melhorar o desempenho do TR utilizando apenas imagens de tabelas não rotuladas do mundo real?

2. Metodologia: O Framework TRivia

O TRivia é um framework de ajuste fino auto-supervisionado que permite que Modelos Visão-Linguagem (VLMs) aprendam a reconhecer tabelas diretamente de imagens não rotuladas. A abordagem é dividida em duas etapas principais:

A. Motor de Dados Adaptativo (Adaptive Data Engine)

Para lidar com a falta de rótulos, o TRivia emprega duas estratégias para criar sinais de supervisão verificáveis:

1. Amostragem por Consistência de Resposta (Response-Consistency Sampling):
   • Nem todas as imagens não rotuladas são igualmente úteis. O TRivia amostra múltiplas respostas de reconhecimento para a mesma imagem.
   • Utiliza a métrica TEDS (Tree Edit Distance-based Similarity) para medir a consistência entre essas respostas.
   • Imagens com baixa consistência (alta incerteza/diversidade de saída) são selecionadas, pois oferecem maior valor de aprendizado para o modelo durante o treinamento por reforço.
2. Geração de QA Guiada por Atenção (Attention-guided QA Generation):
   • Em vez de tentar prever o HTML completo (o que é difícil sem rótulos), o sistema gera pares de Perguntas e Respostas (QA) sobre a tabela.
   • Um módulo utiliza o mecanismo de atenção do VLM para identificar quais partes visuais da imagem sustentam cada resposta.
   • Isso permite filtrar pares de QA redundantes ou que cobrem a mesma área, garantindo uma cobertura diversificada e verificável de toda a tabela.
   • A validade é verificada cruzando com outro VLM para garantir que a resposta só é possível com a imagem (dependência visual).

B. Ajuste Fino Auto-supervisionado via GRPO

• O treinamento utiliza Otimização de Política Relativa em Grupo (GRPO - Group Relative Policy Optimization).
• Mecanismo de Recompensa: O modelo gera múltiplas estruturas de tabela para uma imagem. Um LLM externo (professor) tenta responder às perguntas geradas (QA) com base nessas estruturas.
• A recompensa é calculada com base na pontuação F1 entre a resposta gerada pelo LLM (usando a estrutura reconhecida) e a resposta "verdadeira" (gerada pelo próprio sistema de QA).
• Filtragem de Amostras Ilegais: Respostas que não formam tabelas válidas recebem recompensa zero e são filtradas para estabilizar o treinamento e evitar ruído.

3. Contribuições Principais

1. Framework TRivia: Propõe uma nova abordagem para o TR que dispensa dados rotulados, utilizando dados não rotulados da "selva" (wild) para o ajuste fino.
2. Estratégia de Amostragem: Introduz a amostragem por consistência de resposta para identificar automaticamente as amostras não rotuladas mais informativas para o GRPO.
3. Mecanismo de QA Guiado por Atenção: Desenha um mecanismo que gera sinais de supervisão diversificados, verificáveis e estáveis, superando as limitações de métodos de pseudo-rótulos tradicionais.
4. TRivia-3B: Apresenta um modelo de código aberto, compacto (baseado em Qwen2.5-VL-3B) e state-of-the-art, que supera sistemas proprietários e especializados.

4. Resultados Experimentais

O modelo TRivia-3B foi avaliado em três benchmarks populares: OmniDocBench, CC-OCR e OCRBench v2.

• Desempenho Geral: O TRivia-3B superou consistentemente modelos especializados (como MinerU2.5, PaddleOCR-VL) e modelos gerais de grande porte (como Gemini 2.5 Pro, GPT-5, Qwen3-VL-235B).
  • Exemplo: No benchmark CC-OCR, o TRivia-3B alcançou 84.90 (TEDS), superando o Gemini 2.5 Pro (85.56 em alguns contextos, mas o TRivia-3B foi superior na maioria das métricas gerais e benchmarks complexos) e o MinerU2.5 (86.82 em média, mas o TRivia-3B mostrou maior robustez em tabelas complexas e desenhadas à mão).
  • Em benchmarks de tabelas complexas (OmniDocBench), o TRivia-3B atingiu 91.60 (TEDS), superando o Gemini 2.5 Pro (90.90) e o MinerU2.5 (90.85).
• Robustez: O modelo demonstrou superioridade significativa em tabelas com layouts complexos, células mescladas, tabelas rotacionadas e tabelas sem bordas.
• Validação de Anotação: O TRivia-3B foi capaz de gerar pseudo-rótulos de alta fidelidade para treinar outros modelos, alcançando desempenho comparável ao próprio TRivia-3B, provando sua eficácia como um sistema de anotação automatizado.

5. Significado e Impacto

• Quebra de Limites de Dados Rotulados: O trabalho demonstra que é possível ultrapassar os limites de desempenho impostos pela escassez de dados rotulados, utilizando dados não rotulados em escala massiva.
• Acesso e Privacidade: Oferece uma alternativa viável de código aberto e compacta para organizações que não podem usar APIs proprietárias devido a restrições de privacidade de dados.
• Paradigma de Anotação: Estabelece um novo paradigma onde o próprio modelo atua como um anotador dinâmico e adaptável, reduzindo a dependência de anotação manual ou de modelos proprietários caros.
• Generalização: A metodologia sugere que princípios de auto-supervisão baseados em QA e RL podem ser aplicados a outras tarefas de processamento de documentos e OCR além do reconhecimento de tabelas.

Em resumo, o TRivia redefine o estado da arte no reconhecimento de tabelas ao demonstrar que, com a arquitetura correta de auto-supervisão (GRPO + QA + Atenção), modelos pequenos e abertos podem superar gigantes proprietários sem a necessidade de conjuntos de dados rotulados massivos.