💬 NLP

Calibrated Confidence Estimation for Tabular Question Answering

Este artigo apresenta o primeiro estudo sistemático sobre estimativa de confiança em modelos de linguagem para perguntas sobre tabelas, demonstrando que os modelos são excessivamente confiantes e propondo o método "Multi-Format Agreement" (MFA), que utiliza variações de serialização estruturada para reduzir significativamente o erro de calibração e melhorar a precisão da estimativa de confiança com menor custo computacional.

Autores originais: Lukas Voss

Publicado 2026-04-15

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Lukas Voss

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um consultor de dados superinteligente (uma Inteligência Artificial) que trabalha com planilhas complexas. Você pergunta: "Qual foi o lucro da empresa em 2023?" e ele responde: "R$ 5 milhões".

O problema é: quanto você pode confiar nessa resposta?

A maioria desses consultores (chamados de Grandes Modelos de Linguagem ou LLMs) tem um defeito grave: eles são extremamente confiantes, mesmo quando estão errados. É como um aluno que tira nota zero na prova, mas levanta a mão e diz com 100% de certeza que acertou tudo.

Este artigo é um estudo que investiga como consertar essa "confiança cega" quando a IA lida com tabelas e números.

Aqui está a explicação do que eles descobriram e criaram, usando analogias simples:

1. O Problema: A IA é um "Ator" Confiante

Os pesquisadores testaram várias IAs modernas em duas provas diferentes (bases de dados reais). Eles descobriram que, ao contrário de quando respondem perguntas de texto geral, elas ficam muito mais confiantes quando lidam com tabelas, mesmo que a resposta esteja errada.

A analogia: Imagine que você pede para um ator ler um roteiro de uma peça. Se o roteiro estiver escrito em português, ele lê bem. Se estiver em inglês, ele lê bem. Mas, se você mudar o formato do roteiro (de texto corrido para uma lista de tópicos, ou para um código de computador), e o ator começar a gaguejar ou mudar a resposta, é um sinal de que ele não entendeu a história, apenas decorou as palavras.

2. A Descoberta: O "Teste de Formato" (MFA)

Os autores criaram uma nova técnica chamada Acordo Multi-Formato (MFA).

Como funciona: Em vez de perguntar à IA "Você tem certeza?" (o que ela sempre dirá "sim"), eles pegam a mesma tabela e a mostram para a IA de quatro formas diferentes:
1. Como uma tabela Markdown (texto simples).
2. Como uma página HTML (como na web).
3. Como um arquivo JSON (código de dados).
4. Como um CSV (planilha de Excel).
A lógica: Se a IA é inteligente e realmente entendeu os dados, ela deve dar a mesma resposta para as quatro versões.
- Se ela der respostas diferentes para cada formato, é um sinal de alerta vermelho! Significa que ela está apenas "chutando" baseando-se na aparência do texto, e não entendendo a lógica dos números.
- O resultado: Quando as respostas concordam, a confiança é alta. Quando discordam, a confiança é baixa.

3. O Grande Comparativo: "Autoavaliação" vs. "Teste de Estresse"

O estudo comparou dois tipos de métodos para medir a confiança:

Método 1: Autoavaliação (O "Eu sei que sei")
- Você pergunta à IA: "Qual a chance de você estar certo?" ou "Você está confiante?".
- Resultado: Funciona mal. É como pedir para um ladrão dizer se ele é honesto. A IA sempre diz que é 99% certa, mesmo quando erra.
Método 2: Perturbação (O "Teste de Estresse")
- Você muda a pergunta, muda o formato ou pede várias respostas.
- Resultado: Funciona muito bem. Se a IA vacila quando você muda o formato, o método detecta a insegurança.

A conclusão: O método de "Autoavaliação" é inútil para tabelas. O método de "Teste de Estresse" (como o MFA) é o que realmente funciona.

4. A Solução Prática: Economizando Dinheiro e Aumentando a Segurança

A técnica MFA é brilhante por dois motivos:

É mais barata: Para ter a mesma precisão que outros métodos que pedem para a IA "pensar 5 vezes" (o que custa 5 chamadas de API), o MFA só precisa de 4 chamadas (uma para cada formato). É uma economia de 20% no custo.
É determinística: Não depende de "sorte" ou aleatoriedade. Se você rodar o teste hoje e amanhã, com o mesmo formato, o resultado será o mesmo.

5. O "Reajuste" Inteligente

O estudo também mostrou que, às vezes, a IA acerta a resposta, mas erra na confiança. Eles criaram um "ajuste fino" que olha para o tamanho da tabela e a dificuldade da pergunta.

Analogia: É como um professor que sabe que, em uma prova com 500 linhas de dados, tirar 80% de acerto é impressionante. Mas em uma tabela de 5 linhas, 80% é ruim. O sistema ajusta a confiança da IA baseada nessa dificuldade.

Resumo para o Dia a Dia

Se você vai usar uma IA para analisar dados financeiros, médicos ou de negócios:

Não confie quando a IA diz "Tenho 99% de certeza". Ela provavelmente está mentindo (ou melhor, iludindo-se).
Use o método de "Teste de Formato": Peça para a IA analisar os dados de formas diferentes. Se ela mudar a resposta, não use a resposta.
Conclusão: A melhor maneira de saber se uma IA está errada não é perguntar a ela, mas sim mexer no formato dos dados para ver se ela vacila.

O artigo nos ensina que, para dados estruturados, a verdadeira confiança vem da consistência, não da arrogância da máquina.

Resumo Técnico: Calibração de Confiança para Resposta a Perguntas em Tabelas

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais utilizados para responder a perguntas baseadas em dados estruturados (tabelas), em áreas como análise financeira e inteligência de negócios. No entanto, o artigo identifica uma lacuna crítica: a falta de calibração de confiança nesses cenários.

Superconfiança Severa: Os modelos tendem a expressar uma confiança extremamente alta (muitas vezes >95%) mesmo quando erram. O Expected Calibration Error (ECE) para QA em tabelas varia entre 0,35 e 0,64, significativamente pior do que o observado em QA textual (0,10–0,15).
Falha da Autoavaliação: Métodos onde o modelo avalia a própria resposta (ex: "Sua resposta está correta?") ou verbaliza uma confiança direta falham consistentemente, apresentando discriminação próxima ao acaso (AUROC ~0,5).
Sensibilidade ao Formato: Diferentemente de texto, tabelas podem ser serializadas em múltiplos formatos (Markdown, HTML, JSON, CSV). LLMs frequentemente produzem respostas diferentes dependendo do formato de entrada, indicando que estão fazendo "pattern matching" em tokens superficiais em vez de raciocinar sobre a estrutura dos dados.

2. Metodologia

O estudo realiza uma comparação sistemática de cinco métodos de estimativa de confiança em cinco LLMs de ponta (GPT-4o, GPT-4o-mini, Gemini 2.5 Flash, Llama-3.3-70B, DeepSeek-V3) em dois benchmarks: WikiTableQuestions (WTQ) e TableBench.

Os métodos são divididos em duas categorias:

Autoavaliação (Self-Evaluation):
- Verbalized: O modelo gera uma resposta e um score de confiança (0-100%) em um único turno.
- P(True): Método de dois passos onde o modelo gera a resposta e, em seguida, é questionado sobre a correção dessa resposta.
Perturbação (Perturbation):
- Self-Consistency (SC): Geração de múltiplas respostas com temperatura > 0; a confiança é a taxa de acordo entre as amostras.
- Semantic Entropy (SE): Agrupamento de respostas semanticamente equivalentes; a confiança é baseada na entropia desses clusters.
- Multi-Format Agreement (MFA) - Proposta do Artigo: Uma nova abordagem que explora a variação de formato única dos dados estruturados. O mesmo conteúdo da tabela é serializado em K formatos diferentes (Markdown, HTML, JSON, CSV) e o modelo é consultado em temperatura 0 para cada um. A confiança é a taxa de acordo entre as respostas geradas pelos diferentes formatos.

Métricas Principais:

smECE (Smooth ECE): Métrica principal de calibração, consistente e não enviesada por bins.
AUROC (Area Under the ROC Curve): Para avaliação da capacidade de discriminação (separar respostas corretas de incorretas).
Recalibração Estrutural: Extensão do Platt Scaling que incorpora covariáveis estruturais (tamanho da tabela, complexidade da consulta) para melhorar a discriminação.

3. Contribuições Principais

Primeiro Estudo Sistemático de Calibração em QA de Tabelas:
- Demonstra que a dicotomia entre "autoavaliação" e "perturbação" observada em matemática e SQL também se aplica a tabelas. Métodos de autoavaliação têm AUROC baixo (0,42–0,76), enquanto métodos de perturbação têm alto desempenho (0,78–0,86).
Multi-Format Agreement (MFA):
- Inovação: Utiliza a variação de formato (perda de informação zero e determinística) como sinal de incerteza. Se o modelo muda a resposta ao mudar o formato da tabela, a resposta não deve ser confiável.
- Eficiência: MFA atinge desempenho comparável a métodos baseados em amostragem (como SC e SE) com 20% menos custo de API (4 chamadas vs. 5 chamadas).
- Generalização: Funciona consistentemente em todos os modelos e benchmarks testados.
Recalibração Sensível à Estrutura (Structure-Aware Recalibration):
- Propõe uma extensão do Platt Scaling que utiliza características da tabela (número de linhas/colunas, tipos de colunas, complexidade da query) como covariáveis.
- Ao contrário da recalibração padrão (que apenas ajusta a calibração sem melhorar a discriminação), esta abordagem melhora o AUROC em +10 pontos percentuais, identificando que modelos tendem a errar mais em tabelas grandes e consultas complexas, mesmo com alta confiança verbalizada.

4. Resultados Chave

Superconfiança Generalizada: Todos os modelos exibem ECE entre 0,35 e 0,64. O GPT-4o, por exemplo, tem 99,5% de confiança média, mas apenas 76,2% de precisão.
Falha da Autoavaliação: Métodos como P(True) e Verbalized falham em discriminar respostas corretas de erradas (AUROC próximo a 0,5). Em alguns casos (Gemini no TableBench), a autoavaliação é até negativamente correlacionada com a precisão.
Sucesso do MFA:
- Reduz o ECE em 44–63% em comparação com a confiança verbalizada.
- Alcança um AUROC médio de 0,80 no TableBench (um benchmark mais difícil).
- Para o GPT-4o, o AUROC salta de 0,522 (verbalizado) para 0,782 (MFA).
Complementaridade: A combinação de MFA (perturbação de entrada) com Self-Consistency (perturbação de saída) eleva o AUROC de 0,74 para 0,82, sugerindo que capturam modos de falha ortogonais.
Validação Estatística: Testes de bootstrap pareados com correção Holm-Bonferroni rejeitam a hipótese nula ( $p < 0.001$ ) para todas as comparações entre os melhores métodos de perturbação e os de autoavaliação.

5. Significado e Impacto

Mudança de Paradigma: O artigo propõe que a sensibilidade ao formato, antes vista como um defeito, deve ser explorada como um sinal de incerteza robusto para dados estruturados.
Aplicabilidade Prática: Para sistemas de QA em tabelas de alto risco (finanças, saúde), confiar na confiança verbalizada do modelo é perigoso. O MFA oferece uma solução determinística, de baixo custo e altamente eficaz para identificar quando um modelo deve se abster de responder.
Direções Futuras: O trabalho sugere o uso de MFA para conformal prediction (garantias formais de cobertura) e roteamento de ferramentas (escolher entre SQL, Python ou raciocínio direto com base na confiança calibrada).

Em resumo, o paper estabelece que métodos baseados em perturbação de entrada (especificamente MFA) são superiores e mais eficientes para estimar a confiança em tarefas de QA com tabelas, superando drasticamente as abordagens tradicionais de autoavaliação e oferecendo uma solução prática para a superconfiança dos LLMs em dados estruturados.