ODUTQA-MDC: A Task for Open-Domain Underspecified Tabular QA with Multi-turn Dialogue-based Clarification

Resumen Técnico: ODUTQA-MDC

1. El Problema: Preguntas Tabulares No Especificadas en Dominio Abierto

El avance de los Modelos de Lenguaje Grande (LLM) ha mejorado la respuesta a preguntas sobre tablas (Tabular QA), pero existen desafíos críticos en escenarios de dominio abierto (donde el sistema debe recuperar la tabla correcta de una base de datos masiva) cuando las consultas de los usuarios son no especificadas (underspecified).

• Ambigüedad Real: Las consultas de usuarios reales a menudo contienen errores ortográficos, expresiones vagas o información incompleta (ej. "¿Cómo es el ambiente de este complejo?" sin especificar la ciudad).
• Fallo de los Métodos Actuales: Los enfoques tradicionales de Text-to-SQL fallan porque no pueden generar consultas SQL correctas sin información completa. Las investigaciones anteriores se han limitado a dominios cerrados o a la detección estática de ambigüedades, sin ofrecer mecanismos dinámicos para resolverlas mediante diálogo.
• Brecha de Investigación: No existía un marco de evaluación que combinara la recuperación de tablas en dominio abierto, la detección de ambigüedades y la clarificación interactiva multi-turno.

2. Metodología Propuesta

Los autores proponen un enfoque integral que consta de tres componentes principales: una nueva tarea, un dataset y un marco de agentes.

A. La Tarea ODUTQA-MDC
Se define la tarea de Respuesta a Preguntas Tabulares No Especificadas en Dominio Abierto con Clarificación Basada en Diálogo Multi-turno. El objetivo es que el sistema:

1. Detecte la ambigüedad en la consulta (¿falta información de tabla, de intención o de condición?).
2. Inicie un diálogo para clarificar la información faltante.
3. Genere la respuesta final integrando la información aclarada.

B. El Dataset ODUTQA
Se construyó el primer dataset dedicado a este problema, derivado del dominio inmobiliario y financiero (subastas de tierras, finanzas inmobiliarias).

• Escala: 209 tablas estructuradas y 25,105 pares de preguntas y respuestas (QA).
• Tipos de No Especificación: Se categorizan según su impacto en las cláusulas SQL:
  • Alcance (FROM): Falta de ciudad/distrito o nombres incorrectos.
  • Intención (SELECT): Pregunta vaga sobre qué columna buscar (ej. "¿Cómo es el ambiente?" en lugar de "¿Cuál es la tasa de verde?").
  • Condición (WHERE): Nombres de entidades inexistentes o abreviaturas incorrectas.
  • Mixta: Combinación de los anteriores.
• Interfaz de Clarificación: Se implementó un simulador de usuario automático que genera respuestas dinámicas (usando LLMs) para simular interacciones humanas realistas, permitiendo una evaluación rigurosa y reproducible.

C. El Marco MAIC-TQA (Multi-Agent Interactive Clarification)
Se propone un sistema basado en cuatro agentes colaborativos que trabajan en un bucle de detección-clarificación:

1. Módulo SLU (Comprensión de Lenguaje Hablado): Detecta la intención del usuario y rellena slots (entidades). Si la intención es ambigua, solicita aclaración.
2. Agente Validador de Alcance (Scope Validator): Verifica si los slots de alcance (ciudad, distrito) existen en la base de datos. Si faltan o son erróneos, genera una etiqueta de no especificación y pide corrección.
3. Agente de Recuperación de Tablas (Table Retrieval): Utiliza el historial de diálogo (consulta original + aclaraciones) para resumir y recuperar la tabla más relevante mediante búsqueda semántica (BM25).
4. Agente de Generación y Validación SQL: Genera la consulta SQL, la ejecuta y valida el resultado. Si el resultado está vacío o es incompleto, detecta condiciones faltantes y solicita otra ronda de clarificación.

3. Contribuciones Clave

1. Nueva Tarea y Dataset: Introducción de ODUTQA-MDC, el primer benchmark a gran escala para QA tabular en dominio abierto que maneja explícitamente consultas no especificadas mediante diálogo.
2. Esquema de Etiquetado Fino: Definición de etiquetas auxiliares para la detección de no especificación (intención, alcance y condición) que permiten una evaluación granular de los errores.
3. Marco de Agentes (MAIC-TQA): Un sistema end-to-end que integra detección de ambigüedades, validación de esquemas y generación de SQL, utilizando retroalimentación de ejecución (errores SQL, resultados vacíos) para guiar el diálogo.
4. Evaluación Exhaustiva: Se evalúa por primera vez el flujo completo "detección de información -> clarificación multi-turno -> razonamiento QA" en diversos LLMs (Qwen, Kimi, GLM, Doubao).

4. Resultados Experimentales

Los experimentos compararon MAIC-TQA contra la línea base SLUTQA (que no utiliza clarificación) en varios modelos LLM.

• Detección de No Especificación: Los modelos lograron alta precisión en la detección de ambigüedades. El modelo Doubao Seed 1.6 destacó en escenarios dinámicos y mixtos.
• Recuperación de Tablas: El método propuesto superó significativamente a la línea base (mejora de ~30-35 puntos F1), demostrando que la clarificación proactiva es crucial para identificar la tabla correcta en bases de datos grandes.
• Generación SQL:
  • Tasa de Ejecución Correcta (ECR): MAIC-TQA mejoró la ECR en más del 12-19% en comparación con SLUTQA.
  • Pass@1 (Precisión de la respuesta): Se observaron mejoras sustanciales (hasta un 33% en Qwen3 32B), confirmando que la clarificación es esencial para alinear la intención del usuario con la consulta SQL correcta.
• Estudio de Ablación: Se demostró que eliminar los mecanismos de clarificación para alcance (FROM) o condición (WHERE) causa caídas drásticas en el rendimiento, validando la necesidad de estos módulos.

5. Significado e Impacto

Este trabajo representa un avance fundamental en la investigación de Text-to-SQL y QA Tabular:

• Cambio de Paradigma: Pasa de tratar las consultas como estáticas a un proceso interactivo donde el sistema "pregunta para saber", imitando el comportamiento humano ante la ambigüedad.
• Robustez en el Mundo Real: Aborda el problema de la "suciedad" de los datos de entrada (errores, vaguedad) que es común en aplicaciones reales pero ignorado en benchmarks académicos tradicionales.
• Reproducibilidad: Al proporcionar un dataset, un esquema de etiquetado y una interfaz de simulación estandarizada, establece una base sólida para futuros trabajos en sistemas de diálogo orientados a datos.

En conclusión, ODUTQA-MDC y MAIC-TQA demuestran que la integración de agentes inteligentes capaces de detectar ambigüedades y guiar al usuario en un diálogo de clarificación es la clave para desbloquear el potencial de los LLMs en tareas complejas de razonamiento sobre tablas en entornos abiertos.