FACTS: Table Summarization via Offline Template Generation with Agentic Workflows

Resumen Técnico: FACTS

1. El Problema: Limitaciones de la Sumarización de Tablas Enfocada en Consultas

La sumarización de tablas enfocada en consultas (query-focused table summarization) busca generar resúmenes en lenguaje natural de datos tabulares basados en una consulta específica del usuario, yendo más allá de la simple recuperación de hechos. Aunque es crucial en dominios como finanzas, salud y derecho, los enfoques existentes presentan limitaciones significativas:

• Modelos Tabla-a-Texto: Requieren un ajuste fino (fine-tuning) costoso y a menudo fallan en el razonamiento numérico y la fidelidad lógica.
• Métodos Basados en Prompting (LLMs directos): Sufren de límites de tokens, ineficiencia computacional y, críticamente, exponen datos sensibles de las tablas a servicios externos de LLMs, violando normativas de privacidad como HIPAA o GDPR.
• Flujos de Trabajo Agénticos Previos: Aunque utilizan herramientas externas (SQL/Python), a menudo dependen de descomposición manual, planificación en lenguaje natural o plantillas rígidas que carecen de robustez, escalabilidad y reutilización.

El desafío principal es desarrollar un sistema que sea rápido, preciso, escalable a grandes volúmenes de datos y estrictamente privado, sin exponer los valores crudos de las tablas a los modelos de lenguaje.

2. Metodología: El Framework FACTS

Los autores proponen FACTS (Fast, Accurate, and Privacy-Compliant Table Summarization), un flujo de trabajo agéntico que genera plantillas offline reutilizables. En lugar de enviar toda la tabla al LLM para cada consulta, FACTS genera una vez una plantilla compuesta por consultas SQL y plantillas Jinja2 que luego se pueden ejecutar localmente.

El proceso se divide en tres etapas interconectadas, validadas por un Consejo de LLMs (LLM Council):

1. Especificación y Filtrado Guiado por Esquema:

   • Dada la consulta del usuario y el esquema de la tabla (metadatos, no valores), el agente genera preguntas guiadas y reglas de filtrado abstractas (ej. "excluir filas donde categoría = 'gasto'").
   • Privacidad: El LLM nunca accede a los datos reales, solo a la estructura.
   • Validación: El Consejo de LLMs evalúa si estas reglas clarifican la intención del usuario.

2. Generación de Consultas SQL:

   • El agente sintetiza consultas SQL basadas en las especificaciones aprobadas.
   • Ejecución Local: Las consultas se ejecutan localmente contra la tabla para verificar corrección y obtener resultados.
   • Refinamiento Iterativo: Si la consulta falla o devuelve resultados vacíos, los errores y el Consejo de LLMs guían la revisión de la consulta hasta que sea ejecutable y precisa.

3. Generación y Alineación de Plantillas Jinja2:

   • El agente crea una plantilla Jinja2 que convierte los resultados del SQL en un resumen narrativo coherente.
   • Alineación: El Consejo verifica que la plantilla acceda correctamente a los campos devueltos por el SQL y maneje casos borde (ej. resultados vacíos).
   • Salida Final: Se produce una plantilla offline (SQL + Jinja2) que es reutilizable para cualquier tabla que comparta el mismo esquema y semántica de consulta.

El Consejo de LLMs (LLM Council):
Es un mecanismo de consenso que utiliza múltiples LLMs heterogéneos (ej. GPT-4o-mini, Claude-4, DeepSeek) para validar cada etapa. Utilizan votación mayoritaria para aceptar o rechazar artefactos (preguntas, SQL, plantillas) y agregan retroalimentación para el refinamiento iterativo, reduciendo alucinaciones y errores.

3. Contribuciones Clave

1. Generación de Plantillas Offline: Introducen un nuevo paradigma donde se genera una vez un artefacto reutilizable (SQL + Jinja2) específico para el esquema y la consulta, eliminando la necesidad de reprocesar datos crudos en cada interacción.
2. Arquitectura FACTS Agéntica: Un flujo de trabajo de tres etapas con validación iterativa que garantiza la corrección lógica, la precisión numérica y el cumplimiento de la privacidad.
3. Privacidad por Diseño: Al enviar solo el esquema y la consulta al LLM (y ejecutar el SQL localmente), el sistema evita exponer registros sensibles, cumpliendo con regulaciones estrictas.
4. Evaluación Exhaustiva: Demostración práctica en tres benchmarks públicos (FeTaQA, QTSumm, QFMTS) superando a los métodos actuales.

4. Resultados Experimentales

Los experimentos se realizaron en tres conjuntos de datos: FeTaQA (tabla única), QTSumm (resúmenes narrativos) y QFMTS (múltiples tablas).

• Rendimiento Automático: FACTS logró consistentemente el mejor o segundo mejor rendimiento en todas las métricas (BLEU, ROUGE-L, METEOR) en comparación con modelos table-to-text, métodos de prompting directo (como DirectSumm) y otros marcos agénticos (como SPaGe o Binder).
• Evaluación Humana:
  • Precisión: FACTS alcanzó un 94% de precisión en la ejecución SQL y un 98% en la precisión de la renderización de la plantilla, resultando en una corrección factual global de ~92%.
  • Preferencia: En estudios comparativos frente al mejor baseline (SPaGe), los evaluadores humanos prefirieron FACTS en un 55-60% de los casos por su mayor completitud, corrección y menor tasa de alucinaciones.
• Reutilización y Escalabilidad:
  • Reutilización: Una vez generada la plantilla, FACTS es significativamente más rápido al procesar nuevas tablas con el mismo esquema (solo requiere ejecución SQL y renderizado, sin llamadas al LLM).
  • Escalabilidad: El tiempo de ejecución de FACTS permanece constante al aumentar el número de filas en la tabla, mientras que los métodos basados en LLM directo ven aumentar su costo y latencia linealmente con el tamaño de los datos.

5. Significado e Impacto

FACTS representa un avance práctico para la implementación de IA en entornos empresariales reales donde la privacidad y la precisión son críticas.

• Viabilidad Empresarial: Resuelve el dilema de usar LLMs potentes sin violar la privacidad de los datos, permitiendo su uso en sectores regulados (banca, salud).
• Eficiencia Operativa: La capacidad de reutilizar plantillas para consultas recurrentes sobre grandes volúmenes de datos reduce drásticamente los costos computacionales y la latencia.
• Fiabilidad: Al anclar los resúmenes en la ejecución de SQL verificable en lugar de la generación de texto libre, se elimina el problema de las alucinaciones numéricas, un fallo común en los LLMs puros.

En conclusión, FACTS establece un nuevo estándar para la sumarización de tablas, combinando la flexibilidad del lenguaje natural con la rigurosidad de la ejecución de bases de datos y la privacidad de los datos.