Analyzing LLM Instruction Optimization for Tabular Fact Verification

1. Planteamiento del Problema

La verificación de afirmaciones naturales contra datos estructurados (tablas) es una capacidad fundamental para sistemas de NLP confiables en ciencia, salud pública y control de calidad de la información. Aunque existen numerosos métodos para la verificación de hechos en tablas, muchos sistemas resultantes están especializados en conjuntos de datos específicos o no superan a enfoques de prompting (sugerencia) más simples.

El problema central abordado es la falta de comprensión sistemática sobre cómo la optimización de instrucciones (una técnica que mejora el rendimiento de los Modelos de Lenguaje Grande -LLMs- sin actualizaciones de gradientes) afecta a diferentes técnicas de razonamiento en tareas de verificación de hechos tabulares. Específicamente, se desconoce cómo interactúan:

• Las técnicas de prompting con diferentes niveles de computación intermedia (predicción directa, Cadena de Pensamiento -CoT-, y razonamiento asistido por programas como SQL y Python).
• Las familias de optimizadores.
• La escala y la familia de los modelos base.

2. Metodología

Los autores presentan el primer estudio comparativo sistemático utilizando el marco de optimización DSPy.

• Técnicas de Prompting Evaluadas:

  1. Predicción Directa: El modelo responde directamente sin pasos intermedios explícitos.
  2. Chain-of-Thought (CoT): El modelo genera pasos de razonamiento intermedios antes de la respuesta final.
  3. ReAct: Un agente que alterna entre razonamiento y acciones, utilizando una herramienta SQL para consultar la tabla.
  4. CodeAct: Un agente que utiliza código Python ejecutable para procesar los datos de la tabla y realizar operaciones matemáticas.

• Optimizadores (Framework DSPy):

  • COPRO: Búsqueda cooperativa que explora candidatos de instrucciones mediante una búsqueda en haz (beam search).
  • MiPROv2: Optimización de instrucciones en múltiples etapas que refina tanto la instrucción como los ejemplos few-shot (aunque en este estudio se restringió a la optimización de instrucciones para aislar efectos).
  • SIMBA: Ascenso estocástico introspectivo en mini-lotes. Utiliza la capacidad de autorreflexión del modelo para identificar instancias difíciles y aplicar estrategias de análisis contrastivo y demostraciones de trayectorias exitosas.

• Configuración Experimental:

  • Modelos: Tres familias de modelos (Qwen3, Gemma3, GPT-4o) en diferentes escalas (desde 8B hasta 32B/27B).
  • Datasets: Cuatro conjuntos de datos de verificación de hechos: TabFact, PubHealthTab, SciTab y MMSci (que cubren desde conocimiento general hasta datos científicos especializados y multimodales).
  • Métricas: Precisión (Accuracy) y F1 macro, junto con análisis de comportamiento (frecuencia de llamadas a herramientas, tasas de error, taxonomías de errores).

3. Contribuciones Clave

1. Estudio Comparativo Integral: Es la primera investigación que compara exhaustivamente la optimización de instrucciones a través de múltiples técnicas de prompting, optimizadores y escalas de modelos para la verificación de hechos en tablas.
2. Análisis de Comportamiento: No solo se mide la precisión, sino que se analiza cómo cambia el comportamiento del modelo (ej. reducción de llamadas a herramientas innecesarias, mejora en la comparación numérica).
3. Descubrimiento de Heurísticas Específicas: Se identifican patrones específicos en las instrucciones optimizadas, como la inclusión de reglas heurísticas para comparaciones numéricas y la gestión de la ordenación de elementos.
4. Evaluación de Agentes con Herramientas: Se demuestra que la optimización de instrucciones es crucial para que los agentes basados en herramientas (ReAct/CodeAct) funcionen eficazmente, evitando errores de ejecución y llamadas redundantes.

4. Resultados Principales

• Impacto General: La optimización de instrucciones mejora consistentemente la precisión de verificación en todos los casos estudiados.
• Rendimiento por Optimizador:
  • MiPROv2: Proporciona las ganancias más estables y consistentes para el razonamiento CoT, especialmente en modelos más pequeños.
  • SIMBA: Ofrece los beneficios más grandes para los agentes ReAct y CodeAct, particularmente en modelos de mayor escala. SIMBA logra reducir la frecuencia de llamadas a herramientas innecesarias y aumenta la tasa de éxito de ejecución.
• Efecto de la Escala del Modelo: Los modelos más grandes (ej. Qwen3-32B, GPT-4o) se benefician significativamente más de las instrucciones optimizadas que los modelos más pequeños. Los modelos grandes son mejores identificando patrones de trayectorias exitosas mediante autorreflexión.
• CoT vs. Agentes con Herramientas:
  • Para modelos más pequeños, CoT sigue siendo una opción muy fuerte y competitiva.
  • Los agentes ReAct construidos con modelos grandes pueden igualar o superar a CoT, pero requieren una optimización de instrucciones cuidadosa para evitar errores de planificación de herramientas.
  • CodeAct muestra un rendimiento limitado en comparación con ReAct y CoT, especialmente en la validación de afirmaciones complejas, debido a errores de sintaxis y dificultades en el análisis de datos tabulares mediante código libre.
• Análisis de Comportamiento (SIMBA):
  • SIMBA fomenta caminos de razonamiento más directos.
  • En CoT, introduce heurísticas que mejoran la capacidad de comparación numérica.
  • En ReAct, reduce las llamadas a herramientas innecesarias para afirmaciones simples, evitando errores de ejecución que detienen el proceso de razonamiento.
  • Las instrucciones optimizadas por SIMBA tienden a ser más conservadoras, aumentando la proporción de predicciones de "refuta" cuando hay contradicciones claras.

5. Significado e Implicaciones

Este trabajo demuestra que la optimización de instrucciones es una herramienta poderosa y ligera para mejorar el razonamiento sobre tablas en LLMs, sin necesidad de un fine-tuning costoso.

• Para la Práctica: Sugiere que para tareas de verificación de hechos en tablas, no es necesario siempre recurrir a agentes complejos con herramientas si se dispone de un modelo pequeño; un enfoque CoT bien optimizado (con MiPROv2) es altamente efectivo. Sin embargo, para modelos grandes, la combinación de agentes con herramientas (ReAct) y optimización avanzada (SIMBA) ofrece el mejor rendimiento, siempre que se optimicen las instrucciones para evitar el sobre-uso de herramientas.
• Para la Investigación: Destaca la importancia de analizar no solo la métrica final, sino el comportamiento interno del agente (frecuencia de herramientas, tipos de errores) para entender por qué una técnica funciona mejor que otra.
• Limitaciones: El estudio se limita a dos familias de modelos principales y un solo tipo de herramienta (SQL) para ReAct, lo que deja abierta la generalización a otras arquitecturas o escenarios de múltiples herramientas.

En conclusión, el artículo establece que la optimización de instrucciones no es solo un ajuste fino, sino un mecanismo que transforma cualitativamente cómo los LLMs abordan el razonamiento lógico y numérico sobre datos estructurados, permitiendo que modelos de diferentes escalas alcancen un rendimiento de vanguardia en tareas de verificación de hechos.