💬 NLP

Gold-Guided Programmatic Distillation for Financial Reasoning over Hybrid Tables and Text

Este artículo propone un marco de destilación programática guiada por oro que transfiere el razonamiento numérico confiable de modelos de lenguaje grandes a modelos estudiantiles compactos utilizando programas de Python verificados mediante ejecución en lugar de razonamientos de lenguaje natural propensos a errores, logrando un rendimiento de vanguardia en el benchmark de razonamiento financiero TAT-QA.

Autores originales: Yun Dong, Erica Zhao, Elana Chen

Publicado 2026-07-17

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yun Dong, Erica Zhao, Elana Chen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando resolver un rompecabezas masivo y complicado donde la mitad de las pistas están escritas en una historia y la otra mitad están ocultas dentro de una hoja de cálculo desordenada. Este es el día a día de una computadora intentando responder preguntas financieras. Durante mucho tiempo, los científicos han estado enseñando a las computadoras a "pensar" pidiéndoles que escriban sus pasos en inglés sencillo, como un estudiante que muestra su procedimiento en un examen de matemáticas. Esto se llama "Cadena de Pensamiento" (Chain-of-Thought). Pero aquí está el problema: las computadoras son terribles en matemáticas cuando intentan hacerlas en su cabeza mientras escriben oraciones. A menudo se distraen, mezclan números o simplemente inventan respuestas que suenan bien pero son incorrectas. Es como pedirle a un brillante narrador que también sea una calculadora humana; generalmente fallan en la parte matemática.

Para solucionar esto, los investigadores comenzaron a enseñar a las computadoras a escribir código en lugar de oraciones. El código es como una receta estricta que una computadora puede seguir perfectamente sin confundirse. Pero hay un nuevo problema: ¿cómo le enseñas a una computadora pequeña y rápida a escribir estas recetas perfectas si el único maestro que tienes es una computadora gigante, lenta y que a veces todavía comete errores? Si el maestro da una mala receta, el estudiante aprende la forma incorrecta. Este artículo aborda exactamente ese problema. Plantea la pregunta: ¿Podemos enseñar a una computadora pequeña a ser una maga de las matemáticas permitiéndole aprender únicamente de las recetas perfectas del maestro, y luego ayudándola a corregir las que el maestro hizo mal?

El Libro de Recetas de Oro

Los investigadores, un equipo de Georgia Tech y Stanford, idearon un plan ingenioso de dos pasos llamado "Destilación Programática Guiada por Oro" (Gold-Guided Programmatic Distillation). Piensa en esto como un maestro chef (el "Maestro", un modelo gigante de 72 mil millones de parámetros) tratando de enseñar a un joven aprendiz (el "Estudiante", un modelo más pequeño de 7 mil millones de parámetros) cómo cocinar un plato financiero complejo.

Paso 1: El Filtro Estricto
Normalmente, cuando un maestro le muestra a un estudiante cómo hacer algo, simplemente dice: "Así es como lo hice". Pero en este mundo, el maestro tiene permitido cometer errores. Por eso, los investigadores añadieron una "Guía de Oro" mágica. Antes de que el maestro escriba una receta (un programa en Python), se le muestra secretamente la clave de respuestas correcta. El maestro intenta entonces escribir una receta que conduzca exactamente a esa respuesta.

Aquí está el trucción mágica: El equipo no se limitó a tomar la palabra del maestro. Pasaron cada una de las recetas que el maestro escribió por una estricta "prueba de sabor" (un programa de computadora que ejecuta el código). Si la receta tenía un error tipográfico, fallaba o no resultaba en el número exacto, se tiraba a la basura. Solo las recetas que funcionaban perfectamente y coincidían con la respuesta de oro se guardaban en un especial "Libro de Recetas de Oro". El pequeño estudiante fue entrenado solo con estas recetas perfectas. Esto aseguró que el estudiante nunca aprendiera un mal hábito.

Paso 2: La Gira de Regreso
Pero, ¿qué pasa con las preguntas difíciles donde incluso el gigante maestro no pudo escribir una receta funcional? El maestro simplemente se rendía, dejando esas preguntas sin resolver. Los investigadores no querían dejar eso atrás. Introdujeron una "Etapa de Recuperación".

Tomaron las preguntas en las que el maestro falló y le pidieron al estudiante que lo intentara de nuevo. El estudiante generaría cinco recetas diferentes posibles para la misma pregunta. Al igual que antes, pasaron las cinco por la prueba de sabor. Si cualquiera de las recetas del estudiante funcionaba perfectamente, la guardaban. Esto significaba que el estudiante podía "enseñarse a sí mismo" cómo resolver los problemas que el maestro no pudo, aprendiendo efectivamente de sus propios éxitos. Luego entrenaron al estudiante nuevamente con este nuevo lote de recetas perfectas descubiertas por sí mismas.

Los Resultados: Pequeños pero Poderosos

El equipo probó esto en un famoso rompecabezas financiero llamado TAT-QA, que mezcla tablas y texto. Compararon a su pequeño estudiante entrenado contra el gigante maestro, modelos de computadora más antiguos y otros sistemas de IA inteligentes.

Los resultados fueron sorprendentes. El pequeño estudiante, tras este entrenamiento especial, obtuvo un 87.00 en una medida llamada "Coincidencia Exacta" (Exact Match, que significa obtener la respuesta exactamente correcta) y un 87.18 en una medida llamada "F1" (que analiza qué tan cerca está la respuesta).

Para poner esto en perspectiva:

El gigante maestro de 72 mil millones de parámetros, incluso con las pistas de la "Guía de Oro", solo obtuvo 78.46.
El sistema de IA anterior más avanzado (TAT-LLM) obtuvo 82.67.
El estudiante pequeño sin entrenar comenzó con un bajo 46.33.

El pequeño estudiante no solo alcanzó al gigante; de hecho, superó al maestro gigante y a los mejores sistemas anteriores. Los investigadores encontraron que el estudiante se volvió especialmente bueno en las partes más difíciles: hacer cálculos con números encontrados tanto en tablas como en historias.

Por qué esto es importante

El artículo sugiere que este método es una forma poderosa de hacer que las computadoras más pequeñas y rápidas sean confiables en matemáticas sin necesidad de la enorme potencia de cómputo de los modelos gigantes. Al filtrar cada uno de los errores y permitir que el estudiante aprenda de sus propios éxitos recuperados, crearon un sistema que es tanto inteligente como preciso.

Sin embargo, los autores advierten cuidadosamente que el problema no está resuelto al 100%. Incluso con el mejor estudiante, todavía hay algunos errores: a veces la respuesta es correcta pero la unidad (como "millón" vs "billón") es incorrecta, o la respuesta es simplemente errónea. Pero en comparación con antes, el número de errores disminuyó drásticamente, pasando de cientos de errores a poco más de cien.

Los investigadores concluyen que este enfoque "Guiado por Oro" es un camino prometedor. Sugieren que, en el futuro, podríamos construir sistemas que puedan decidir por sí mismos si usar una búsqueda simple o una receta de código compleja, haciendo que la IA financiera sea aún más útil y confiable. Por ahora, sin embargo, han demostrado que un pequeño robot bien entrenado puede ser más inteligente que un gigante sin refinar cuando se trata de procesar números.

Resumen Técnico: Destilación Programática Guiada por Oro para el Razonamiento Financiero

Planteamiento del Problema

El cuestionamiento de preguntas (QA) financieras sobre datos híbridos tabulares y textuales presenta un doble desafío: requiere integrar información de múltiples fuentes y realizar cálculos numéricos precisos. Aunque los Modelos de Lenguaje de Gran Escala (LLMs) pueden generar pasos de razonamiento intermedios mediante el prompting de Cadena de Pensamiento (CoT), sus racionalizaciones en lenguaje natural son propensas a alucinaciones aritméticas. Esta falta de fiabilidad hace que el texto de forma libre sea una fuente de supervisión ineficaz para destilar capacidades de razonamiento en modelos más pequeños. Aunque los enfoques de Programa de Pensamiento (PoT) mitigan los errores aritméticos delegando la computación a intérpretes externos, la transferencia de estos rastros de razonamiento fiables de modelos maestros grandes a modelos estudiantes compactos sigue siendo difícil, particularmente cuando los rastros intermedios son imperfectos o cuando el maestro no logra resolver ejemplos complejos.

Metodología

Los autores proponen la Destilación Programática Guiada por Oro, un marco diseñado para transferir el razonamiento numérico fiable de un modelo maestro grande a un modelo estudiante compacto utilizando programas de Python verificados por ejecución. El marco opera en dos fases principales:

1. Destilación Impulsada por el Maestro (Fase 1)

Síntesis Guiada por Oro: Un modelo maestro grande (Qwen2.5-72B-Instruct) sintetiza programas de Python ejecutables para resolver tareas de QA financiera. Crucialmente, el maestro es guiado por derivaciones de oro (pasos de razonamiento de verdad fundamental) inyectadas en el prompt para asegurar cálculos multi-paso precisos.
Verificación por Ejecución: Los programas generados se ejecutan en un intérprete de Python en un entorno aislado (sandbox). Solo se retienen los programas que compilan sin errores y producen la respuesta numérica exacta de oro (incluyendo la escala correcta).
Entrenamiento del Estudiante: Un modelo estudiante compacto (Qwen2.5-7B-Instruct) es entrenado mediante Ajuste Fino Supervisado (SFT) utilizando Adaptación de Bajo Rango (LoRA) sobre este conjunto de datos filtrado y de alta calidad. El estudiante aprende a generar programas condicionados únicamente al contexto y la consulta, sin acceso a la derivación de oro.

2. Recuperación Iterativa y Automejora (Fase 2)

Revisión de Fallos: Los ejemplos que el maestro no pudo resolver se colocan en un conjunto de fallos ( $D_{wrong}$ ).
Muestreo del Estudiante: El modelo estudiante de la Fase 1 muestrea múltiples programas candidatos para estos ejemplos difíciles utilizando una temperatura de decodificación más alta.
Filtrado de Recuperación: Los candidatos se filtran a través del mismo proceso de verificación basado en la ejecución. Los programas que se ejecutan correctamente y producen la respuesta de oro se añaden a un conjunto de recuperación ( $D_{rec}$ ).
Refinamiento: El estudiante se somete a una segunda ronda de ajuste fino LoRA sobre el conjunto de datos aumentado ( $D_{Total} = D_T \cup D_{rec}$ ), lo que le permite aprender de los rastros autogenerados y verificados por ejecución que van más allá de la cobertura original del maestro.

Inferencia

Durante la inferencia, el estudiante entrenado genera un programa ejecutable para una consulta dada. Un intérprete de Python ejecuta este código para producir la respuesta numérica final, asegurando que toda la aritmética se realice de manera determinista en lugar de mediante la lógica interna del modelo.

Contribuciones Clave

Destilación Programática Guiada por Oro: Un marco novedoso que aprovecha las derivaciones de verdad fundamental para guiar la síntesis de programas en el lado del maestro, asegurando que solo se utilicen programas de alta calidad y verificados por ejecución para la destilación.
Mecanismo de Recuperación Iterativa: Una extensión del ajuste fino por muestreo de rechazo (RFT) y STaR que permite al modelo estudiante recuperar e incorporar soluciones para ejemplos que el maestro no pudo resolver, ampliando así la señal de supervisión.
Supervisión Verificada por Ejecución: El enfoque reemplaza las poco fiables racionalizaciones de lenguaje natural con código ejecutable como señal de supervisión, abordando directamente el problema de los errores aritméticos en el razonamiento financiero.

Resultados Experimentales

El marco fue evaluado en el conjunto de datos TAT-QA, un benchmark para el razonamiento financiero híbrido tabular y textual.

Rendimiento: El mejor modelo estudiante (Qwen2.5-7B con adaptación LoRA de Atención+MLP) logró un 87.00 de Coincidencia Exacta (EM) y un 87.18 de F1 en el conjunto de prueba.
Comparación: Este resultado supera sustancialmente a:
- El modelo maestro de 72B con pistas de derivación (78.46 EM).
- El baseline previo más fuerte basado en LLM, TAT-LLM (82.67 EM).
- Baselines específicos de la tarea como TAGOP (47.05 EM).
- El estudiante de 7B sin ajustar (46.33 EM).
Impacto de los Componentes:
- Calidad del Maestro: Proporcionar derivaciones de oro al maestro aumentó su propio rendimiento de 69.55 a 78.46 EM, mejorando directamente la calidad del conjunto de datos de destilación.
- Configuración de LoRA: La adaptación de las capas de proyección de atención y MLP consistió en superar sistemáticamente a la adaptación de solo atención.
- Recuperación de la Fase 2: La etapa de recuperación iterativa mejoró el EM de prueba del modelo de Atención+MLP de 84.72 (Ronda 1) a 87.00 (Ronda 2), demostrando el valor de recuperar ejemplos fallidos por el maestro.
Análisis de Errores: El marco redujo significamente los errores en la predicción de respuestas, la predicción de escala y los fallos conjuntos en comparación con el baseline, observándose las ganancias más significativas en tareas que requieren razonamiento sobre evidencia mixta tabular y textual.

Significado y Reivindicaciones

El artículo afirma que la destilación programática verificada por ejecución proporciona un marco efectivo y extensible para entrenar modelos más pequeños para realizar un razonamiento numérico fiable. Al desplazar la carga de la aritmética hacia la ejecución de código determinista y utilizar derivaciones de oro para filtrar los datos de supervisión, los autores demuestran que los modelos compactos pueden superar a modelos maestros mucho más grandes en tareas complejas de QA financiera.

Los autores señalan modestamente que, si bien el enfoque produce mejoras sólidas, no resuelve completamente todos los tipos de error (predicción de respuesta, escala y fallos conjuntos), y la evaluación está limitada a un subconjunto filtrado de TAT-QA adecuado para la generación de programas. Se sugiere como trabajo futuro explorar mecanismos de enrutamiento conscientes de la tarea para distinguir entre consultas que requieren razonamiento programático frente a la simple extracción, y evaluar el marco en benchmarks financieros más amplios como FinQA y ConvFinQA.