TabReX : Tabular Referenceless eXplainable Evaluation

1. O Problema

A avaliação da qualidade de tabelas geradas por Grandes Modelos de Linguagem (LLMs) permanece um desafio aberto. As métricas existentes apresentam limitações significativas:

• Perda de Estrutura: Métricas tradicionais (como BLEU, ROUGE) "achatam" as tabelas em texto plano, ignorando a estrutura de linhas, colunas e hierarquias.
• Dependência de Referências Fixas: Métricas baseadas em referências exigem uma tabela "dourada" (ground truth) perfeita, o que limita a generalização em cenários do mundo real onde múltiplas representações válidas podem existir.
• Falta de Explicabilidade: Métricas baseadas em embeddings (como BERTScore) capturam semântica, mas falham em detectar erros estruturais sutis ou discrepâncias factuais em nível de célula, fornecendo apenas uma pontuação global opaca.
• Falta de Robustez: Métricas atuais frequentemente falham sob perturbações complexas (como reordenação de colunas ou conversão de unidades) que não alteram o significado factual, mas confundem os avaliadores.

2. Metodologia: O Framework TABREX

O TABREX é um framework de avaliação livre de referências (reference-less), orientado a propriedades e baseado em raciocínio em grafos. O processo é dividido em três estágios principais:

A. Conversão para Grafos de Conhecimento (Text2Graph & Table2Graph)

O sistema converte tanto o texto de origem (resumo) quanto a tabela gerada em um espaço comum de grafos de conhecimento estruturados como triplets [sujeito, predicado, objeto]:

• Texto para Grafo: Um LLM guiado por uma gramática estrita extrai fatos atômicos mínimos, normalizando predicados e valores (ex: convertendo "crescimento de 5%" em crescimento_taxa: 5%).
• Tabela para Grafo: Um conversor baseado em regras (Rule-based) "desdobra" a tabela, onde os cabeçalhos definem predicados, as linhas definem sujeitos e as células definem objetos. Isso garante clareza estrutural sem necessidade de treinamento.

B. Alinhamento de Grafos (Graph Alignment)

O sistema alinha o grafo extraído da tabela gerada ($G_T$) com o grafo do texto de origem ($G_S$) usando um LLM como guia:

• Passo Determinístico: Alinha triplets com pares sujeito-predicado idênticos ou normalizados.
• Refinamento Assistido por LLM: Resolve paráfrases, abreviações e atributos compostos (ex: mapear "PIB crescimento (YoY)" para "growth_rate_2021").
• Saída: Gera um conjunto alinhado que identifica correspondências, fatos faltantes (Missing - MI), fatos extras (Extra - EI) e desvios numéricos.

C. Pontuação Orientada a Propriedades (Property-Driven Scoring)

A partir do alinhamento, o TABREX calcula penalidades interpretáveis em dois níveis:

1. Penalidade de Tabela: Baseada na contagem de linhas e colunas faltantes ou extras.
2. Penalidade de Célula: Baseada na fidelidade factual, incluindo erros de valor, unidades e correspondências parciais.

• Controle: O sistema utiliza parâmetros de peso ($\alpha, \beta$) para permitir um trade-off controlável entre sensibilidade (cobrir todos os fatos) e especificidade (evitar penalizar reformatamentos inofensivos).
• Resultado: Uma pontuação final explicável, com rastreamento de erros em nível de célula e tabela, sem necessidade de uma tabela de referência externa.

3. Contribuições Principais

1. TABREX (Framework): Um novo paradigma de avaliação que combina alinhamento estrutural, comparação factual e controle de sensibilidade/especificidade em um pipeline unificado e explicável.
2. TABREX-BENCH (Benchmark): Um conjunto de dados de grande escala para teste de estresse de métricas.
   • Escala: 710 tabelas de origem cobrindo 6 domínios (Finanças, Saúde, Tabelas Hierárquicas, Narrativas, etc.).
   • Perturbações: 12 tipos de perturbação controlados por um "planejador" (LLM), divididos em dois grupos:
     • Preservação de Dados: Alterações de layout, reordenação, conversão de unidades (sem mudar o fato).
     • Alteração de Dados: Inserção/exclusão de linhas/colunas, troca de dados, erros semânticos.
   • Dificuldade: Três níveis (Fácil, Médio, Difícil) para testar a robustez.
3. Análises Detalhadas: Demonstrações de como o TABREX fornece diagnósticos granulares para comparar modelos e estratégias de prompting.

4. Resultados Empíricos

Os experimentos foram conduzidos utilizando o TABREX-BENCH e comparados com diversas métricas de base (determinísticas, baseadas em embeddings, e baseadas em LLMs como TABEVAL e QUESTEVAL).

• Correlação Humana: O TABREX alcançou a maior correlação com as classificações de especialistas humanos (Spearman $\rho = 0.75$, Kendall $\tau = 0.64$), superando tanto métricas tradicionais quanto o estado da arte (TABXEVAL).
• Robustez a Perturbações:
  • Em um gráfico de Sensibilidade vs. Especificidade, o TABREX manteve-se na "zona ideal" mesmo sob perturbações difíceis, enquanto outras métricas (como BERTScore ou QUESTEVAL) sofreram quedas drásticas ou penalizaram excessivamente reformatamentos inofensivos.
  • O TABREX demonstrou ser capaz de distinguir entre erros factuais reais e variações estruturais benignas.
• Análise de Modelos e Prompts: A avaliação granular revelou que:
  • Modelos maiores (ex: Gemma 27B) melhoram a fidelidade local (célula), mas não necessariamente a coerência global.
  • Estratégias de prompting como "Map&Make" geram alinhamentos mais equilibrados do que Chain-of-Thought puro, que às vezes amplifica inconsistências.

5. Significado e Impacto

O TABREX estabelece um novo padrão para a avaliação de sistemas de geração estruturada:

• Confiabilidade: Permite a avaliação em cenários de alto risco (finanças, saúde) onde erros factuais são críticos, sem depender de referências perfeitas que podem ser inexistentes ou limitadas.
• Explicabilidade: Ao fornecer rastros de erro em nível de célula e penalidades baseadas em regras claras, ele permite que desenvolvedores entendam por que um modelo falhou, facilitando o debugging e o ajuste fino.
• Generalização: A abordagem baseada em grafos e propriedades torna o método adaptável a diferentes domínios e formatos de tabela, superando a rigidez das métricas baseadas em sobreposição de tokens.

Em resumo, o TABREX resolve a lacuna entre a avaliação semântica superficial e a necessidade de precisão estrutural e factual, oferecendo uma ferramenta robusta, explicável e livre de referências para o futuro da geração de dados estruturados por LLMs.