💬 NLP

Calibrated Confidence Estimation for Tabular Question Answering

Este artículo presenta la primera evaluación sistemática de métodos de estimación de confianza para modelos de lenguaje grandes en preguntas sobre tablas, demostrando que las técnicas basadas en perturbación, especialmente el nuevo método de Acuerdo Multi-Formato (MFA) que aprovecha la serialización estructurada, superan significativamente a los enfoques de autoevaluación y mejoran la calibración con un menor costo computacional.

Autores originales: Lukas Voss

Publicado 2026-04-15

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Lukas Voss

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes a un chef experto (un modelo de Inteligencia Artificial) al que le pides que prepare un plato basado en una lista de ingredientes (una tabla de datos).

Hasta ahora, cuando le preguntábamos al chef: "¿Estás seguro de que este plato está bien?", él siempre respondía con un 100% de confianza, incluso si había puesto sal en lugar de azúcar. El problema es que, en el mundo de las tablas de datos, el chef no siempre sabe si está cocinando bien o si solo está adivinando.

Este paper es como un manual de seguridad para saber cuándo confiar realmente en este chef cuando trabaja con tablas. Aquí te explico los hallazgos principales con analogías sencillas:

1. El problema: El chef es demasiado confiado (y a veces tonto)

Los investigadores descubrieron que estos modelos de IA son extremadamente arrogantes. Cuando les preguntas sobre una tabla, dicen estar "99% seguros" de su respuesta, pero en realidad solo tienen un 65-75% de razón.

La analogía: Es como un turista que camina por una ciudad desconocida y afirma con total seguridad que el norte está hacia el sur. Si le crees, te perderás. En preguntas de texto normal, estos modelos son un poco menos arrogantes, pero en tablas (datos financieros, listas, etc.), su arrogancia es peligrosa.

2. La prueba de la "traducción" (El método MFA)

El gran descubrimiento del paper es una nueva forma de medir la confianza llamada Acuerdo Multi-Formato (MFA).

Imagina que le das al chef la misma lista de ingredientes, pero en tres formatos diferentes:

En una hoja de cálculo (CSV).
En una página web (HTML).
En un documento de texto (Markdown).

Si el chef es inteligente: Le dará la misma respuesta correcta, sin importar cómo se le presente la lista.
Si el chef está "alucinando" o adivinando: Se confundirá. En la hoja de cálculo dirá "30", pero en la página web dirá "35".

La lección: Si el chef cambia su respuesta solo porque cambió el formato del papel, no le hagas caso. Esa inconsistencia es una señal de alarma que dice: "¡Oye, no estoy razonando bien, solo estoy adivinando!".

Este método es genial porque:

Es barato: Solo necesitas pedirle al chef que lea la lista de 4 formas diferentes (en lugar de pedirle que la lea 5 veces de la misma forma, que es más costoso).
Es preciso: Detecta cuando el modelo está fallando mucho mejor que preguntarle directamente "¿estás seguro?".

3. La trampa de la "autoevaluación"

El paper también probó una técnica muy popular: simplemente preguntarle al modelo: "¿Crees que tu respuesta es correcta?".

El resultado: Fue un desastre. Funcionó tan mal como si le preguntaras a un niño que acaba de romper un jarrón: "¿Fui yo?" y él dice "No, no lo sé" con total seguridad, aunque sea él quien lo rompió.
La conclusión: No confíes en lo que el modelo dice que sabe. Confía en cómo actúa cuando cambias un poco las condiciones (como cambiar el formato de la tabla).

4. La solución para los expertos: "Recalibrar con estructura"

Los investigadores también propusieron un "ajuste fino". Imagina que tienes un termómetro que siempre marca 5 grados más de calor del real.

Método antiguo: Solo ajustas el termómetro para que marque la temperatura correcta (calibración).
Método nuevo (del paper): El termómetro no solo ajusta la temperatura, sino que mira el tamaño de la habitación. Si la habitación es enorme, el termómetro sabe que es más difícil medir la temperatura con precisión, así que reduce su confianza automáticamente.
En términos técnicos: El modelo aprende a ser más escéptico cuando la tabla es gigante o la pregunta es muy compleja, y más confiado cuando es una pregunta sencilla.

Resumen para la vida diaria

Si usas Inteligencia Artificial para analizar datos financieros, médicos o de negocios:

No le creas ciegamente cuando dice "Estoy 100% seguro".
Hazle la prueba de los formatos: Pídele que analice la misma tabla en diferentes formatos (CSV, JSON, HTML). Si sus respuestas cambian, baja la confianza y revisa los datos tú mismo.
Usa la "duda" como herramienta: Un modelo que duda (o que muestra inconsistencia al cambiar de formato) es más honesto y útil que uno que siempre parece un experto infalible.

En esencia, este paper nos enseña que la verdadera confianza no viene de la voz segura del modelo, sino de su capacidad para mantener la misma respuesta correcta, sin importar cómo le presentes la información.

1. El Problema

Los Modelos de Lenguaje Grandes (LLMs) se utilizan cada vez más para la respuesta a preguntas sobre tablas (Tabular QA) en dominios críticos como el análisis financiero y la inteligencia empresarial. Sin embargo, existe un vacío significativo en la investigación sobre la calibración de la confianza en este contexto específico.

Sobreconfianza Severa: Los LLMs son extremadamente sobreconfiados al responder preguntas sobre tablas. El artículo reporta un Error de Calibración Suavizado (smECE) entre 0.35 y 0.64, lo cual es drásticamente peor que los valores reportados para preguntas de texto (0.10–0.15).
Fallo de la Autoevaluación: Los métodos tradicionales de autoevaluación (donde el modelo estima su propia probabilidad de acierto) no funcionan en este dominio; a menudo, la confianza reportada no correlaciona con la precisión real.
Sensibilidad al Formato: Las tablas pueden serializarse en múltiples formatos (Markdown, HTML, JSON, CSV). Se ha observado que los LLMs producen respuestas diferentes dependiendo del formato de entrada, lo que indica que el modelo está haciendo "pattern matching" superficial en lugar de razonar sobre la estructura de los datos.

2. Metodología

El estudio realiza una comparación sistemática de cinco métodos de estimación de confianza en cinco LLMs de vanguardia (GPT-4o, GPT-4o-mini, Gemini 2.5 Flash, Llama-3.3-70B, DeepSeek-V3) utilizando dos benchmarks: WikiTableQuestions (WTQ) y TableBench.

Los métodos evaluados se dividen en dos paradigmas:

A. Métodos de Autoevaluación (Self-Evaluation)

Confianza Verbalizada: El modelo genera una respuesta y un porcentaje de confianza (0-100%) en una sola llamada.
P(True): Un método de dos pasos donde el modelo genera una respuesta y luego se le pregunta explícitamente: "¿Es tu respuesta correcta?".

B. Métodos de Perturbación (Perturbation)

Autoconsistencia (Self-Consistency): Se generan múltiples respuestas (N=5) con temperatura > 0. La confianza se basa en la tasa de acuerdo entre las respuestas.
Entropía Semántica: Se agrupan las respuestas semánticamente equivalentes y se calcula la entropía sobre los clústeres.
Acuerdo Multi-Formato (MFA - Propuesto):
- Concepto: Aprovecha la variación de formato única de los datos estructurados. La misma tabla se serializa en K=4 formatos (Markdown, HTML, JSON, CSV) y se consulta al modelo con temperatura 0.
- Mecanismo: La confianza se calcula como la tasa de acuerdo entre las respuestas generadas en los diferentes formatos.
- Ventajas: Es sin pérdida (lossless, el contenido semántico es idéntico), determinista (no requiere muestreo estocástico) y naturalmente disponible para datos tabulares.

C. Recalibración Consciente de la Estructura

El artículo propone extender el escalado de Platt (Platt scaling) incorporando covariables estructurales de la tabla (tamaño de la tabla, complejidad de la consulta, distribución de tipos de columnas) para mejorar la discriminación, no solo la calibración.

3. Contribuciones Clave

Primera Estudio Sistemático de Calibración en Tabular QA: Documenta por primera vez la brecha masiva entre la confianza y la precisión en este dominio, demostrando que los LLMs son mucho más sobreconfiados en tablas que en texto.
Dicotomía Autoevaluación vs. Perturbación: Se establece un patrón consistente:
- Los métodos de autoevaluación (verbalizado, P(True)) tienen un AUROC cercano al azar (0.42–0.76), fallando en discriminar respuestas correctas de incorrectas.
- Los métodos de perturbación (MFA, Autoconsistencia, Entropía Semántica) logran un AUROC alto (0.78–0.86).
Propuesta de Multi-Format Agreement (MFA):
- Es una implementación específica del dominio de la perturbación de entrada.
- Logra un rendimiento comparable a los métodos de muestreo (como Autoconsistencia) pero con un 20% menos de costo de API (4 llamadas vs. 5).
- Reduce el Error de Calibración (ECE) entre un 44% y un 63%.
Recalibración Estructural: Demuestra que incorporar características de la estructura de la tabla en los modelos de recalibración mejora la capacidad de discriminación (AUROC) en +10 puntos porcentuales, algo que los métodos estándar no logran.

4. Resultados Principales

Sobreconfianza: En WTQ, la precisión oscila entre 65% y 76%, mientras que la confianza verbalizada es de 89% a 99.5%. El GPT-4o, el modelo más preciso, tiene el peor AUROC (0.522) en confianza verbalizada, comportándose casi como una adivinanza aleatoria.
Rendimiento de MFA:
- En TableBench (un benchmark más difícil), MFA reduce el ECE en un 41-57% y alcanza un AUROC medio de 0.80 en cuatro modelos.
- MFA supera consistentemente a los métodos de autoevaluación con significancia estadística ( $p < 0.001$ ).
Complementariedad: La combinación de MFA (perturbación de entrada) con Autoconsistencia (perturbación de salida) eleva el AUROC de 0.74 a 0.82, demostrando que capturan señales de incertidumbre ortogonales.
Anomalía de Gemini: El modelo Gemini 2.5 Flash es una excepción donde la confianza verbalizada funciona mejor que en otros modelos (AUROC 0.812), pero incluso aquí, los métodos de perturbación ofrecen mejoras o mantienen el rendimiento. Curiosamente, el método P(True) degrada el rendimiento de Gemini.

5. Significado e Impacto

Para la Práctica: Los métodos simples y populares (pedir al modelo que diga qué tan seguro está) no funcionan para QA tabular. Los sistemas de producción deben utilizar métodos de perturbación (entrada o salida) para tomar decisiones de abstención (selective prediction).
Eficiencia de Costos: MFA ofrece la mejor relación costo-rendimiento para datos estructurados, siendo determinista y más barato que el muestreo estocástico.
Seguridad en Alta Riesgo: En aplicaciones financieras o médicas, la capacidad de un modelo para "saber que no sabe" es crucial. Este trabajo proporciona herramientas para detectar cuándo un LLM está razonando superficialmente (basado en tokens) en lugar de entender la estructura de la tabla.
Futuro: El principio de "perturbación sin pérdida" mediante cambios de formato podría extenderse a otros dominios estructurados como código, fórmulas químicas o grafos de conocimiento.

En resumen, el paper establece que la sensibilidad al formato no es un defecto a corregir, sino una señal de incertidumbre explotable, y propone MFA como la solución más eficiente y robusta para calibrar la confianza en LLMs aplicados a tablas.