Synthetic Contrastive Reasoning for Multi-Table Q&A

Resumen Técnico: Razonamiento Contrastivo Sintético para Preguntas y Respuestas Multitabla

Planteamiento del Problema
El sistema de Preguntas y Respuestas (Q&A) multitabla presenta un desafío significativo para los Modelos de Lenguaje Extensos (LLMs) porque el conocimiento necesario reside en bases de datos relacionales externas en lugar de en los parámetros del modelo. A diferencia del razonamiento de una sola tabla, las tareas multitabla requieren que los modelos recuperen evidencia de múltiples tablas, vinculen esquemas (alineando claves primarias y foráneas) y realicen un razonamiento compositivo que involucre uniones (joins), filtros y agregaciones. A medida que aumenta el número de tablas, los contextos se alargan y crece el riesgo de omitir la evidencia relevante o cometer errores pequeños en la vinculación de esquemas, lo que a menudo conduce a respuestas finales incorrectas.

Si bien los avances recientes han mejorado el razonamiento de una sola tabla, el Q&A multitabla sigue estando poco desarrollado. Existe una brecha crítica en los recursos existentes: la mayoría de los conjuntos de datos solo proporcionan preguntas y respuestas finales, careciendo de trazas de razonamiento explícitas (rastros) que expliquen cómo se deriva una respuesta. Además, no proporcionan ejemplos emparejados de razonamientos plausibles pero incorrectos, los cuales son esenciales para las técnicas de optimización basadas en preferencias.

Metodología
Para abordar estas brechas, los autores proponen un marco para generar trazas de razonamiento contrastivo sintético y utilizar la Optimización de Preferencia Contrastiva (CPO) para el ajuste fino (fine-tuning).

1. Generación de Trazas Sintéticas:

   • Trazas Positivas ($+y$): Los autores utilizan modelos fundacionales fuertes (principalmente GPT-4o) para generar trazas de razonamiento paso a paso que derivan la respuesta de referencia (gold-standard) a partir de las tablas proporcionadas. Estas trazas están diseñadas para ser explícitas, haciendo referencia a tablas específicas y utilizando resúmenes concisos en lugar de copiar filas de datos completas.
   • Trazas Negativas ($-y$): Para cada traza positiva validada, se sintetiza una traza negativa correspondiente utilizando un LLM heterogéneo diferente (Gemini 2.0 Flash). Estas trazas son fluidas y plausibles, pero contienen errores fácticos o lógicos deliberados (por ejemplo, intercambios de entidades, órdenes de unión invertidos o de operaciones incorrectas) que conducen a una respuesta errónea.
   • Heterogeneidad: Una decisión de diseño clave es utilizar diferentes modelos para la generación positiva y negativa. Los estudios de ablación sugieren que esto crea una señal contrastiva más fuerte que usar un solo modelo para ambos, ya que evita que los "estilos" de razonamiento sean demasiado similares, facilitando que el modelo estudiante distinga la lógica correcta de los modos de fallo.
   • Validación: Un riguroso proceso de filtrado asegura la calidad. Las trazas positivas se validan utilizando un LLM como juez (Gemini 2.0 Flash) para asegurar la equivalencia semántica con la verdad de referencia. Las trazas negativas se restringen para ser estructuralmente consistentes con las positivas, pero fácticamente defectuosas.

2. Optimización de Preferencia Contrastiva (CPO):

   • Los autores realizan el ajuste fino de LLMs de pesos abiertos (Qwen3-14B, Mistral-8B, Llama-3.1-8B) mediante CPO.
   • A diferencia de la Optimización de Preferencia Directa (DPO), que requiere cargar simultáneamente tanto un modelo de política como uno de referencia (lo que aumenta la memoria y ralentiza el entrenamiento) y trata todos los pares de preferencia por igual, CPO elimina el modelo de referencia (estableciéndolo como un prior uniforme) y añade un regularizador de clonación de comportamiento.
   • Este enfoque estabiliza el entrenamiento en cadenas de razonamiento largas y asegura que el modelo aprenda la magnitud de la diferencia de calidad entre las trazas correctas e incorrectas, en lugar de solo la dirección de la preferencia.

3. Construcción del Conjunto de Datos:

   • Los datos de entrenamiento primarios se derivan del benchmark MMQA (subconjunto de dos tablas), expandido con trazas sintéticas.
   • Se construye un nuevo conjunto de evaluación a partir del benchmark BIRD. Esto implica un proceso de filtrado de tres etapas: filtrado multitabla (seleccionando consultas de 2-3 tablas), extracción de evidencia de tabla completa (asegurando que las tablas no estén truncadas para garantizar la derivabilidad de la respuesta) y verificación de consistencia semántica automatizada (usando un juez LLM para filtrar desalineaciones entre pregunta y SQL).

Contribuciones Clave

1. Primer Conjunto de Datos de Trazas de Razonamiento Contrastivo: El artículo introduce el primer conjunto de datos para Q&A multitabla que empareja trazas de razonamiento positivas validadas con trazas negativas plausibles generadas por LLMs heterogéneos.
2. Demostración de la Eficacia de CPO: A través de experimentos exhaustivos, los autores demuestran que el entrenamiento CPO en estos pares de preferencia mejora significativamente el razonamiento multitabla en tres LLMs de pesos abiertos diferentes y cuatro conjuntos de datos de evaluación.
3. Validación de la Generación Sintética: El estudio incluye ablaciones y evaluaciones humanas que confirman que los generadores de trazas heterogéneos fortalecen la señal contrastiva y que los pares generados son fieles, coherentes y significativamente contrastivos.
4. Nuevo Benchmark de Evaluación: La construcción de un riguroso conjunto de evaluación derivado de BIRD que garantiza la derivabilidad de la respuesta mediante la extracción de evidencia de tabla completa y la verificación semántica automatizada.

Resultados

• Ganancias de Rendimiento: En Qwen3-14B, Mistral-8B y Llama-3.1-8B, CPO logró mejoras absolas promedio sobre el ajuste fino supervisado (SFT) de Q&A estándar que oscilan entre el 9.7% y el 16.3%. En el conjunto de datos MMQA, las ganancias alcanzaron hasta 21 puntos porcentuales.
• Comparación con Baselines: CPO superó consistentemente tanto al SFT de solo Q&A como al SFT de solo Trazas (usando solo trazas positivas). También superó a DPO en los mismos pares de preferencia en la mayoría de las evaluaciones, evitando particularmente la degradación del rendimiento en tareas de razonamiento estructurado que DPO a veces exhibe.
• Generalización: Los modelos entrenados con datos de dos tablas mediante CPO generalizaron con éxito a consultas de tres tablas más complejas tanto en MMQA como en el conjunto de evaluación de BIRD, demostando que los patrones de razonamiento aprendidos se transfieren al aumento de la complejidad.
• Perspectivas de Ablación: El uso de diferentes modelos para la generación de trazas positivas y negativas produjo un mayor rendimiento que usar el mismo modelo. Además, aunque los modelos de código abierto (por ejemplo, Qwen-3 30B) podían generar trazas útiles, los modelos propietarios (GPT-4o y Gemini 2.0) proporcionaron la supervisión más fuerte.

Significancia y Reivindicaciones
El artículo sostiene que las trazas de razonamiento contrastivo sintético proporcionan una señal de supervisión efectiva para tareas de razonamiento complejo. Los autores argumentan que los modelos se benefician no solo de observar caminos de razonamiento correctos, sino también de aprender a rechazar modos de fallo plausibles (como la omisión de restricciones o uniones incorrectas) mediante el aprendizaje contrastivo.

El trabajo destaca que CPO es una alternativa más estable y eficiente en memoria que DPO para cadenas de razonamiento largas. Además, el estudio sugiere que el enfoque es eficiente en términos de datos; a pesar de un conjunto de entrenamiento relativamente pequeño de 1,920 pares contrastivos, las ganancias consistentes en diversos modelos y conjuntos de datos indican que las trazas contrastivas de alta calidad pueden provocar señales de aprendizaje contrastivo fuertes sin requerir una generación de datos a escala prohibitiva. Los autores concluyen que la generación de trazas de razonamiento sintéticas es una dirección prometedora para avanzar en las capacidades de los LLM en Q&A multitabla y otros dominios de razonamiento complejo.