Resumo Técnico: Desacoplamento de Esqueleto e Carne: Raciocínio Multimodal Eficiente em Tabelas com Alinhamento Desemaranhado e Orientação Consciente da Estrutura

Declaração do Problema

O raciocínio sobre imagens de tabelas permanece um desafio significativo para Modelos de Linguagem e Visão Grandes (LVLMs) devido a layouts complexos e à natureza fortemente acoplada das informações estruturais (linhas, colunas, layout) e do conteúdo semântico (valores das células). As abordagens existentes para adaptar LVLMs ao raciocínio em tabelas geralmente se enquadram em duas categorias, ambas com limitações:

1. Ajuste Fino Supervisionado (SFT) ou Aprendizado por Reforço (RL): Esses métodos frequentemente exigem anotações extensas e caras de especialistas para dados de raciocínio em tabelas. Eles correm o risco de esquecimento catastrófico das capacidades originais do modelo e sofrem com altos custos de treinamento.
2. Raciocínio Aumentado por Ferramentas: Esses métodos dependem de ferramentas externas (por exemplo, editores visuais, executores simbólicos, analisadores de tabelas) para orientar explicitamente a atenção e o raciocínio. Embora eficazes, eles aumentam a complexidade do sistema, a latência de inferência e falham em aprimorar a capacidade intrínseca do modelo para compreensão estrutural.

A questão central de pesquisa abordada é: Como os LVLMs podem ser adaptados ao raciocínio em tabelas com custo mínimo de anotação e sem dependência de ferramentas externas?

Metodologia

Os autores propõem um framework eficiente composto por dois componentes principais: DISCO (Alinhamento Desemaranhado Estrutura–Conteúdo) e Table-GLS (Raciocínio Guiado por Estrutura do Global para o Local).

1. DISCO: Alinhamento Desemaranhado Estrutura–Conteúdo

A ideia central do DISCO é separar explicitamente a abstração estrutural da fundamentação semântica durante o alinhamento multimodal. Em vez de alinhar imagens de tabelas com texto linearizado (por exemplo, HTML, Markdown), onde estrutura e conteúdo estão emaranhados, o DISCO decompõe o alinhamento em objetivos complementares:

• Alinhamento Estrutural: O modelo é treinado para prever uma representação estrutural ($T_S$) derivada pela anonimização de todo o conteúdo das células na representação textual (substituindo-os por um token marcador de posição), preservando os tokens de layout (delimitadores, cabeçalhos, marcadores de extensão). Isso força o LVLM a aprender layouts de tabelas independentemente da semântica das células.
• Alinhamento de Conteúdo: Este é subdividido em dois níveis para fundamentar a semântica sobre a estrutura aprendida:
  • Alinhamento de Conteúdo Global: O modelo gera uma descrição semiestruturada leve da tabela, incluindo contagens totais de linhas/colunas e um resumo dos conteúdos de linhas/colunas.
  • Alinhamento de Conteúdo Local: O modelo é treinado para identificar e descrever o conteúdo textual associado a coordenadas estruturais específicas (por exemplo, "Linha $m$ Coluna $n$: [conteúdo]").

Esse desemaranhamento permite que os LVLMs transfiram sua compreensão semântica existente para estruturas de tabelas com supervisão adicional mínima.

2. Table-GLS: Raciocínio Guiado por Estrutura do Global para o Local

Construindo sobre as representações aprimoradas do DISCO, o Table-GLS é um framework de inferência sem treinamento e sem ferramentas que guia o LVLM através de um processo de raciocínio em três etapas:

1. Exploração de Estrutura Global: Dada uma imagem de tabela e uma pergunta, o modelo analisa o layout geral para identificar índices de linhas e colunas relevantes para a tarefa ($R$ e $C$) e formula um plano de raciocínio ($T_t$). Isso impõe uma decisão de "onde olhar" antes da extração de conteúdo.
2. Extração de Subtabela Auto-refinada: O modelo avalia a adequação do plano inicial. Se necessário, revisa o plano e extrai uma subtabela mínima ($T_{sub}$) contendo apenas as evidências necessárias para responder à pergunta. Esta etapa inclui auto-reflexão para prevenir a propagação de erros.
3. Raciocínio Fundamentado em Evidências: A resposta final é gerada por raciocínio sobre a subtabela extraída como evidência verificável, mantendo a imagem original como contexto auxiliar para fundamentação visual. Isso restringe o raciocínio a dados relevantes para a tarefa, reduzindo correlações espúrias.

Principais Contribuições

O artigo afirma as seguintes contribuições:

• Framework DISCO: Um framework de alinhamento desemaranhado que melhora a compreensão de LVLMs sobre estrutura e conteúdo de tabelas, particularmente para layouts complexos e não vistos, separando o aprendizado de estrutura da fundamentação de conteúdo.
• Framework Table-GLS: Um método de inferência do global para o local que permite raciocínio preciso em tabelas no momento da inferência sem ferramentas externas ou ajuste fino adicional, utilizando uma exploração estruturada e uma abordagem fundamentada em evidências.
• Desempenho Robusto: Os métodos propostos alcançam melhorias robustas em 21 tarefas de compreensão e raciocínio em tabelas, demonstrando forte generalização para estruturas de tabelas não vistas com dados mínimos (10 mil imagens para alinhamento).

Resultados Experimentais

O framework foi avaliado em 21 tarefas em diversos benchmarks (por exemplo, MMTab, WTQ, HiTab, TAT-QA, TabFact, PubHealthTab) usando vários LVLMs (Gemma3, Qwen3-VL, LLaVA).

• Compreensão de Tabelas: O DISCO aprimorou consistentemente o desempenho em todos os modelos e tarefas avaliados. Notavelmente, alcançou resultados comparáveis ou superiores a modelos treinados em 97 mil imagens usando apenas 10 mil imagens para alinhamento. Mostrou força particular em tarefas sensíveis à estrutura (Detecção de Tamanho da Tabela, Localização de Células) e em configurações Fora de Distribuição (OOD).
• Raciocínio em Tabelas: A combinação de DISCO com Table-GLS produziu as melhores pontuações médias. O framework superou significativamente as linhas de base de resposta direta e igualou ou superou LVLMs altamente otimizados (por exemplo, Table-R1, HIPPO) em vários benchmarks, especialmente em conjuntos de dados OOD como AIT-QA e PubHealthTab.
• Generalização: O método melhorou o desempenho em tarefas não tabulares (ScienceQA, HallusionBench) em comparação com o alinhamento textual padrão, sugerindo que o alinhamento desemaranhado ajuda a formar representações internas reutilizáveis em vez de causar especialização excessiva.
• Eficiência: Embora o Table-GLS envolva geração em múltiplas etapas, ele evita a alta latência e complexidade dos métodos aumentados por ferramentas (por exemplo, REFOCUS) e alcança um compromisso favorável entre tempo de inferência e precisão.

Significado e Afirmações

O artigo posiciona este trabalho como uma solução escalável e eficiente em dados para raciocínio multimodal em tabelas. Ao desacoplar "esqueleto" (estrutura) de "carne" (conteúdo), os autores demonstram que os LVLMs podem ser adaptados ao raciocínio tabular complexo sem os custos proibitivos de treinamento supervisionado em grande escala ou a sobrecarga arquitetural de ferramentas externas. O framework elicita efetivamente as capacidades de raciocínio intrínsecas dos LVLMs, permitindo que eles generalizem para estruturas de tabelas não vistas e mantenham robustez em layouts diversos. Os autores concluem que a modelagem explícita de estrutura-conteúdo e o raciocínio leve guiado por estrutura são fundamentais para avançar o desempenho dos LVLMs em domínios de dados estruturados.