Resumen Técnico: Mejora del Razonamiento sobre Tablas con Recompensas Deterministas de Estado de Tabla

Declaración del Problema

Los Modelos de Lenguaje Grande (LLM) y los Modelos Visión-Lenguaje (VLM) tienen dificultades con el razonamiento multi-paso sobre tablas estructuradas. El problema central es la falta de supervisión explícita para los estados de razonamiento intermedios. En los agentes que utilizan herramientas (por ejemplo, Cadena-de-Tabla, Árbol-de-Tabla), el agente manipula una tabla a través de una secuencia de operaciones (filtrar, proyectar, ordenar, agregar, unir). Sin una señal para evaluar la calidad de estas tablas intermedias, los errores se acumulan en silencio: el agente puede descartar evidencia relevante para la consulta, retener contenido irrelevante o aplicar operaciones en exceso.

Las soluciones existentes no abordan esto de manera limpia:

• Las recompensas por respuesta final son demasiado escasas para guiar las transformaciones intermedias.
• Los verificadores basados en ejecutores requieren entornos ejecutables (por ejemplo, ejecutores SQL) no disponibles para tareas complejas como uniones de múltiples tablas o análisis abiertos.
• Los modelos de recompensa aprendidos requieren datos de preferencia costosos y son frágiles a través de dominios.
• Las recompensas de similitud semántica (basadas en incrustaciones) a menudo truncan tablas serializadas largas, destruyendo la información de estado, y no logran capturar diferencias numéricas o simbólicas exactas.

Metodología

El artículo introduce TABROUGE y el marco RE-TAB para abordar estas brechas utilizando un enfoque determinista y libre de entrenamiento.

1. TABROUGE: Una Recompensa de Estado Determinista

TABROUGE adapta la métrica de la Subsecuencia Común Más Larga (LCS) del resumen de texto (ROUGE-L) para evaluar estados de tabla.

• Mecanismo: Después de cada acción, el estado de la tabla intermedia $T_{l+1}$ se serializa en una secuencia textual determinista utilizando el formato "[encabezado] es [valor]".
• Puntuación: La recompensa se calcula como el LCS entre la consulta $Q$ y la tabla serializada, normalizada por la longitud de la tabla serializada:
  $$r_{\text{TABROUGE}}(a_l, T_{l+1}, Q) = \frac{\text{LCS}(Q, \text{Enc}(T_{l+1}))}{|\text{Enc}(T_{l+1})|}$$
• Racional de Diseño:
  • Precisión Léxica: A diferencia de las incrustaciones, preserva cadenas numéricas y simbólicas exactas sin truncamiento.
  • Integridad Estructural: El LCS que preserva el orden recompensa el acoplamiento nivel-fila de encabezado-valor, lo cual las métricas de bolsa de palabras (como BM25) pasan por alto.
  • Anti-Engaño: El denominador penaliza la "hinchazón" (por ejemplo, duplicar tokens de consulta), haciendo que el engaño de "columna de eco" no sea rentable ya que infla tanto el numerador como el denominador a la misma tasa.

2. RE-TAB: Un Marco Libre de Entrenamiento

RE-TAB utiliza TABROUGE como una señal plug-and-play para dos niveles de control:

• Retroalimentación a Nivel de Paso: La recompensa escalar se adjunta al prompt después de cada acción, condicionando el siguiente paso a la calidad acumulada del estado en lugar de solo a la confianza de los tokens. También sirve como criterio de parada de varianza móvil; cuando la señal de recompensa se estabiliza (la varianza cae por debajo de un umbral), el agente deja de explorar y se compromete con una respuesta.
• Selección a Nivel de Trayectoria (Escalado en Tiempo de Prueba): El agente muestrea múltiples trayectorias de razonamiento independientes. La señal de supervisión de estado agregada (suma de recompensas de pasos) se utiliza para clasificar y seleccionar la mejor trayectoria ($\tau^*$), reemplazando la votación estándar por confianza de acción o la votación mayoritaria uniforme.

Contribuciones Clave

1. TABROUGE: Una recompensa determinista de consulta a estado que no requiere modelos aprendidos ni ejecutores. Proporciona una señal escalable fundamentada en el par consulta-tabla, diseñada específicamente para estados de tabla serializados.
2. Marco RE-TAB: Una implementación de dos fases que integra TABROUGE tanto para retroalimentación paso a paso como para clasificación de trayectorias. Opera como un "envoltorio libre de entrenamiento" alrededor de agentes existentes que utilizan herramientas.
3. Validación Empírica: Evaluación exhaustiva en seis modelos base (desde modelos pequeños de peso abierto hasta modelos de vanguardia como GPT-5.4) y tres puntos de referencia (WTQ, MMQA, MMTU).
4. Análisis de Modos de Fallo: Una caracterización detallada de dónde la supervisión léxica es confiable y dónde puede fallar (por ejemplo, sub-recompensa de parafraseo, columnas renombradas), proporcionando límites para su aplicación.

Resultados

• Mejoras en Precisión: En seis modelos base y tres puntos de referencia, RE-TAB mejora la precisión en un promedio de 26.7 puntos porcentuales (pp) sobre las líneas base sin recompensa.
• Eficiencia: El marco reduce el número de muestras de Escalado en Tiempo de Prueba (TTS) necesarias para alcanzar una precisión del 95% en hasta un 33% en comparación con la votación por confianza de acción.
• Comparación con Modelos Entrenados: A pesar de no tener parámetros aprendidos, TABROUGE iguala o supera el rendimiento de Modelos de Recompensa de Proceso (PRM) entrenados como Qwen2.5-Math-PRM-72B y TaTToo en 4 de 5 conjuntos de evaluación.
• Viabilidad Post-Entrenamiento: Experimentos preliminares utilizando Optimización de Política Relativa de Grupo (GRPO) con TABROUGE como señal de recompensa muestran una ganancia adicional de 8.34 pp sobre el marco libre de entrenamiento, sugiriendo su utilidad para el ajuste fino a nivel de política.
• Robustez: El método sigue siendo efectivo a través de diferentes tamaños de modelo, incluidos modelos de vanguardia donde persisten fallos de estado intermedio.

Significado y Afirmaciones

El artículo posiciona a TABROUGE no como un verificador semántico universal, sino como una señal de control determinista acotada a la supervisión de estados de tabla serializados. Su significado radica en:

• Escalabilidad: Proporciona una señal fundamentada para el razonamiento sobre tablas sin necesidad de ejecutores costosos o recolección de datos de preferencia a gran escala.
• Transparencia: Hace explícita la visión de "modelo del mundo" del razonamiento sobre tablas al supervisar la calidad de los estados intermedios, alineando a los agentes de tabla con el razonamiento basado en estados utilizado en agentes de visión y lenguaje.
• Practicidad: Ofrece una solución "plug-and-play" que mejora la calidad del razonamiento y reduce los costos de tokens para agentes existentes que utilizan herramientas sin reentrenar el modelo base.

Los autores reconocen limitaciones, señalando que TABROUGE depende de una serialización fija y puede sub-recompensar estados semánticamente correctos pero léxicamente desajustados (por ejemplo, parafraseos o conversiones de unidades). Sin embargo, argumentan que, como señal de clasificación relativa dentro de una trayectoria, estos problemas no niegan las ganancias principales, y el método sigue siendo confiable para la mayoría de las tareas de razonamiento sobre tablas.