Resumen Técnico: De Tabla a Celda: Atención para un Mejor Razonamiento con TABALIGN

1. Declaración del Problema

El razonamiento multi-paso sobre tablas estructuradas utilizando Modelos de Lenguaje de Gran Escala (LLM) falla con frecuencia debido a la falta de un contrato de anclaje a celda explícito entre las etapas de planificación y ejecución. Los enfoques existentes sufren dos cuellos de botella principales:

1. Cuello de Botella de Planificación (Sesgo de Izquierda a Derecha): Los modelos autoregresivos (AR) generan planes mediante una factorización de izquierda a derecha. Esto impone un prior sensible al orden que entra en conflicto con la invarianza de permutación de las tablas (donde el orden de filas/columnas no debe alterar la semántica). En consecuencia, los planificadores AR a menudo producen planes globalmente inconsistentes donde los primeros pasos de filtrado son inválidos porque el contexto necesario (por ejemplo, resultados de agregación) aún no ha sido delimitado.
2. Cuello de Botella de Ejecución (Atención No Verificada): Los Modelos de Recompensa de Proceso (PRM) existentes suelen puntuar estados intermedios basándose en el contenido generado (calidad léxica o semántica) o en la corrección de la respuesta final. Estos métodos pasan por alto si el modelo realmente prestó atención a las celdas correctas designadas por el plan. Un modelo puede generar una respuesta final correcta mediante "atajos" (prestando atención a celdas incorrectas pero derivando el valor correcto) o mediante la alucinación de contenido, lo que conduce a trayectorias de razonamiento poco fieles.

El problema central es la ausencia de un mecanismo para verificar que la atención a nivel de celda del razonador se alinea con la evidencia designada por el planificador.

2. Metodología: TABALIGN

Los autores proponen TABALIGN, un marco de razonamiento en tablas planificado que operacionaliza el contrato de anclaje a celda a través de dos componentes principales: un Planificador de Modelo de Lenguaje de Difusión Enmascarado (DLM) y el Verificador TABATTN.

2.1 El Planificador: DLM Bidireccional

En lugar de un generador AR, TABALIGN emplea un DLM enmascarado (específicamente LLaDA-8B-Instruct) para generar el plan de razonamiento.

• Denoising Bidireccional: El modelo elimina el ruido de un lienzo de plan completamente enmascarado de forma bidireccional. Esto permite que los requisitos en pasos posteriores restrinjan a los anteriores, imponiendo dependencias inter-paso y consistencia global que los modelos AR no pueden lograr.
• Generación de Máscara de Celda: Cada paso de razonamiento en el plan concluye con una etiqueta [target: col]. Estas etiquetas se analizan en una máscara de celda binaria ($m_t \in \{0, 1\}^C$), designando explícitamente qué celdas debe operar el paso.
• Fundamento: Un estudio piloto (Sección 3) demostró que los modelos de atención bidireccional producen una atención a celdas más alineada con humanos y estable ante permutaciones que los modelos AR, particularmente cuando las celdas relevantes son escasas.

2.2 El Verificador: TABATTN

Para hacer cumplir el contrato, TABALIGN introduce TABATTN, un verificador ligero entrenado en 1.600 estándares de atención verificados por humanos.

• Puntuación de Superposición de Atención: Para cada paso de razonamiento $t$, TABATTN calcula la superposición entre la atención por celda del razonador (un modelo multimodal AR, Qwen3-VL-8B) ($a_t$) y la máscara designada por el plan ($m_t$).
• Señal de Recompensa: La recompensa $R_{attn}$ se calcula como:
  $$R_{attn}(a_t; m_t) = \frac{\sum_{c=1}^C a_t^{(c)} m_t^{(c)}}{\max(\sum_{c=1}^C a_t^{(c)}, \epsilon)}$$
  Esta puntuación sirve como una señal de retroalimentación en bucle. Si la superposición es baja, el sistema marca el paso, potencialmente desencadenando una nueva muestra o deteniendo iteraciones improductivas.
• Etiquetabilidad: Los autores argumentan que la relevancia de celda (¿es necesaria esta celda?) es un objetivo de supervisión más etiquetable que la corrección del paso (¿es correcto este paso?), ya que la primera admite decisiones binarias confiables mientras que la última a menudo requiere juicios ambiguos de "inseguro".

2.3 Flujo de Ejecución

1. Planificación: El DLM genera un plano paso a paso con máscaras de celda explícitas.
2. Ejecución: El razonador AR ejecuta el plan paso a paso, seleccionando modalidades (texto o imagen) basándose en la operación.
3. Verificación: Después de cada paso, TABATTN puntúa la superposición de atención. Si la puntuación se estanca o es baja, el sistema interviene.
4. Terminación: Un mecanismo de parada por estancamiento detiene el proceso si la puntuación de atención no mejora en un umbral ($\delta=0.02$) durante dos pasos consecutivos, emitiendo la respuesta mejor puntuada encontrada.

3. Contribuciones Clave

1. Estudio Piloto de Atención a Nivel de Celda: Los autores demuestran que los mecanismos de atención bidireccional (vía difusión) son más alineados con humanos y estables ante permutaciones que la atención AR. Muestran que las etiquetas de relevancia de celda son significativamente más etiquetables (93.0% de acuerdo) que las etiquetas de corrección de paso (73.2% de acuerdo) bajo pipelines idénticos de LLM como juez.
2. Marco TABALIGN: Una arquitectura novedosa que empareja un planificador DLM bidireccional con un verificador de superposición de atención (TABATTN). Este marco captura explícitamente fallos de anclaje pasados por alto por recompensas basadas en contenido y utiliza planes DLM optimizados para reducir alucinaciones de columnas.
3. Validación Empírica: Mejoras consistentes de rendimiento en ocho benchmarks diversos de razonamiento en tablas (que cubren QA de Tablas y Verificación de Hechos) a una escala comparable de 8B parámetros.

4. Resultados Experimentales

Evaluado en ocho benchmarks (WTQ, MMQA, TabMWP, TAT-QA, HiTab, FeTaQA, TabFact, InfoTabs):

• Mejoras en Precisión: TABALIGN logra una precisión promedio del 90.62% en seis benchmarks basados en precisión. Esto representa una mejora de 15.76 puntos porcentuales (pp) sobre la mejor línea base de código abierto (TableDART en Ovis2, 74.86%) y una ganancia de 16.35 pp sobre la mejor línea base de modalidad única (Qwen3-VL-8B, 74.27%).
• Estudios de Ablación:
  • Elección del Planificador: Reemplazar el planificador AR con el planificador DLM en una columna vertebral de razonador fija produce una ganancia de 2.87 pp, atribuyendo parte del éxito a las capacidades de planificación superiores del DLM.
  • Señal de Recompensa: El uso de TABATTN (anclado a atención) mejora la precisión en 4.8 pp sobre recompensas basadas en contenido (por ejemplo, TABROUGE), con las mayores ganancias en tareas numérica y estructuralmente densas.
  • Eficiencia: Aunque la planificación DLM es más lenta (78.0s vs 6.0s para planificación AR), los planes más limpios reducen el tiempo de ejecución del razonamiento posterior en un 44.64% (de 102.6s a 56.8s), resultando en un aumento neto del 24% en el tiempo total de reloj para un aumento significativo de precisión.
• Reducción de Errores: El marco reduce las alucinaciones de esquema (las tasas de alucinación de columnas caen del 75.0% al 45.9%) y comprime las longitudes de trayectoria en un 22%.

5. Significado y Afirmaciones

El artículo afirma que TABALIGN aborda la brecha fundamental del "contrato de anclaje a celda" en el razonamiento en tablas. Al desacoplar la planificación (vía DLM bidireccional) y la ejecución (vía AR con verificación de atención), el marco asegura que los pasos de razonamiento estén anclados en la evidencia prevista en lugar de depender de superposiciones de contenido espurias.

Los autores enfatizan que:

• La Atención Bidireccional es Crítica: La estabilidad ante permutaciones y la alineación humana de la pre-entrenamiento bidireccional son esenciales para manejar la naturaleza invariante al orden de las tablas.
• La Atención es una Señal de Supervisión Mejor: Verificar dónde mira el modelo (superposición de atención) es más efectivo y etiquetable que verificar qué dice el modelo (similitud de contenido) para pasos intermedios en el razonamiento en tablas.
• Escalabilidad: El marco opera efectivamente a la escala de 8B, superando a modelos propietarios más grandes y agentes complejos de optimización de trayectoria sin requerir un escalado masivo de parámetros.

El trabajo se posiciona como un paso hacia un razonamiento de IA más interpretable y auditable sobre datos estructurados, reduciendo la deriva de trayectoria y la acumulación de alucinaciones en agentes multi-paso.