ASDA: Automated Skill Distillation and Adaptation for Financial Reasoning

El artículo presenta ASDA, un marco de adaptación de modelos de lenguaje sin entrenamiento que genera automáticamente habilidades estructuradas mediante aprendizaje correctivo iterativo para superar significativamente a los métodos existentes en razonamiento financiero.

Lo esencial

¡Claro que sí! Imagina que los grandes modelos de inteligencia artificial (como los que usas para chatear o escribir) son como estudiantes universitarios brillantes pero generalistas. Pueden escribir ensayos, contar chistes y resolver problemas de lógica básica, pero cuando les pides que actúen como expertos financieros, a menudo se pierden, cometen errores de cálculo o confunden conceptos.

El problema es que, para convertir a estos estudiantes generales en expertos financieros, las empresas suelen tener que "reentrenarlos" (como ir a la universidad de nuevo), lo cual es muy caro, lento y requiere acceso a la "mente" interna del modelo, algo que muchas veces no se puede hacer si usas servicios en la nube.

Aquí es donde entra ASDA, el método que proponen los autores de este paper. Vamos a explicarlo con una analogía sencilla:

🎓 La Analogía: El "Entrenador Personal" sin cambiar el cerebro

Imagina que tienes un atleta (el modelo de IA) que es muy rápido, pero a veces tropieza en las mismas piedras al correr por un camino financiero.

1. El problema de los métodos antiguos:
   Antes, para arreglar esto, intentabas darle al atleta una instrucción gigante y confusa en un papel ("¡Corre rápido, no tropieces, mira los números, piensa en el dinero...!"). Esto es como los métodos actuales que solo optimizan el texto de las instrucciones. El paper dice que esto es como intentar arreglar un coche Ferrari con un manual de instrucciones mal escrito: ayuda un poco, pero no es suficiente.

2. La solución ASDA (El Entrenador Personal):
   ASDA no cambia el cerebro del atleta (no toca sus "pesos" ni lo reentrena). En su vez, crea un cuaderno de trucos y correcciones (llamado "Skill Library" o Biblioteca de Habilidades).

   • Paso 1: El Diagnóstico (El Entrenador): Un modelo más inteligente (el "Profesor") mira los errores que cometió el atleta en el entrenamiento. No solo dice "fallaste", sino que analiza por qué: "¿Fue porque no entendió la fórmula de los bonos? ¿O porque confundió las tasas de interés?".
   • Paso 2: Crear las "Tarjetas de Trucos": En lugar de un texto largo, el Profesor escribe pequeñas tarjetas de instrucciones específicas (como un "Skill File").
     • Ejemplo de tarjeta: "Si ves una pregunta sobre bonos y tasas forward, nunca sumes las tasas directamente. Debes multiplicarlas en orden. Aquí tienes un ejemplo de código para hacerlo bien".
   • Paso 3: El Entrenamiento Iterativo (Refinamiento): El atleta intenta correr de nuevo con estas tarjetas. Si tropieza en una nueva piedra, el Profesor añade una nueva tarjeta o mejora la existente. Si una tarjeta hace que el atleta tropiece en un camino que antes sabía, el Profesor la corrige para que no interfiera.

🛠️ ¿Cómo funciona en la vida real?

Imagina que eres un banco y usas una IA de pago (como un servicio de Google o Amazon) para analizar riesgos. No puedes modificar el código de esa IA, pero tienes tus propios datos de errores pasados.

• ASDA toma tus datos: Mira dónde tu IA falló en el pasado.
• Genera "Habilidades": Crea archivos de texto legibles por humanos (como manuales de procedimiento) que explican exactamente cómo resolver esos errores específicos.
• Inyección Dinámica: Cuando llega una nueva pregunta, el sistema busca en su "caja de herramientas" qué tarjeta de habilidad necesita y se la pega a la pregunta antes de enviarla a la IA.
  • Pregunta: "Calcula el precio de este bono".
  • Sistema: "¡Ah! Necesito la tarjeta de 'Bonos y Tasas Forward'".
  • IA: Lee la tarjeta, sigue los pasos exactos y da la respuesta correcta.

🚀 Los Resultados (El "Gancho")

El paper prueba esto en un banco de pruebas financiero llamado FAMMA:

• Sin ayuda: La IA acertaba alrededor del 41% de las preguntas matemáticas financieras.
• Con ASDA: La precisión saltó al 58% (una mejora enorme de casi 17 puntos).
• Lo mejor: Esto se logró sin reentrenar el modelo y sin gastar millones. Solo se necesitaron unos 13 dólares y unas 6 horas de computación para crear este "cuaderno de trucos".

💡 La Lección Principal

La gran revelación del paper es que la IA ya sabe la mayoría de las cosas, pero no sabe cuándo aplicarlas o cómo estructurarlas para un problema específico.

• ASDA no le enseña nueva información desde cero.
• ASDA le da estructura. Es como darle a un chef experto un menú específico con las reglas exactas de la casa para que no se confunda al cocinar un plato nuevo.

En resumen: ASDA es como un traductor de errores. Toma los fallos de la IA, los convierte en instrucciones claras y paso a paso (habilidades), y se las entrega a la IA justo cuando las necesita, permitiéndole actuar como un experto financiero sin necesidad de cambiar su cerebro ni costar una fortuna.

Resumen técnico

Resumen Técnico: ASDA

1. El Problema

El razonamiento financiero presenta un desafío único para los Modelos de Lenguaje Grandes (LLM) de propósito general: requiere la combinación simultánea de cálculo cuantitativo multietapa y juicio específico del dominio.

• Limitaciones actuales: Los modelos estándar (incluso los de vanguardia) muestran un techo de rendimiento en benchmarks financieros como FAMMA, con una precisión global de solo 38-45%.
• Fallas de los enfoques existentes:
  • Fine-tuning (Ajuste fino): Es costoso, genera "expertise" bloqueado en el modelo (que se vuelve obsoleto con cada nueva versión del modelo base) y requiere acceso a los pesos del modelo, lo cual es imposible en APIs de caja negra (común en servicios financieros regulados).
  • Optimización de prompts (sin entrenamiento): Métodos como GEPA y ACE optimizan cadenas de texto planas (instrucciones monolíticas). El artículo demuestra que estas carecen de la modularidad y la ejecutabilidad necesarias para el razonamiento complejo y multietapa, logrando mejoras marginales.

2. Metodología: El Marco ASDA

Los autores proponen ASDA (Automated Skill Distillation and Adaptation), un marco que genera automáticamente artefactos de habilidades estructuradas y ejecutables sin modificar los pesos del modelo. El sistema opera bajo una arquitectura de Maestro-Alumno en dos fases principales:

A. Fase de Calentamiento (Warm-Up) y Análisis de Fallos:

1. Diagnóstico: Un modelo "Maestro" (ej. Sonnet 4.5) analiza los fallos del modelo "Alumno" (ej. Haiku 3.5) en un conjunto de datos de entrenamiento.
2. Clasificación: Los errores se agrupan por subcampo financiero (ej. renta fija, derivados) y tipo de error (ej. selección incorrecta de método, confusión de conceptos).
3. Síntesis de Habilidades: El Maestro genera archivos de habilidad (skill files) que contienen:
   • Procedimientos de razonamiento paso a paso.
   • Plantillas de código (para ejecución de Program-of-Thought).
   • Ejemplos resueltos y "bugs comunes a evitar".
   • Estos archivos siguen el estándar abierto Agent Skills (formato Markdown con metadatos de enrutamiento).

B. Refinamiento Iterativo Dual (Dual-Phase Iterative Refinement):
El sistema no se detiene en la generación inicial; itera para mejorar la cobertura y la seguridad:

1. Fase de Cobertura: Identifica casos donde el modelo sigue fallando (Q_gap). El Maestro propone nuevas habilidades o expande las existentes para cubrir estos vacíos de conocimiento.
2. Fase de Seguridad: Identifica regresiones (Q_minus), es decir, casos donde el modelo respondía correctamente antes, pero la inyección de la habilidad lo hizo fallar (sobreajuste o instrucción innecesaria). El Maestro ajusta la habilidad para eliminar la guía que causa el error sin perder la corrección en los casos positivos.
3. Validación: Cada actualización de habilidad pasa por una puerta de verificación: el Alumno debe resolver los casos objetivo con la nueva habilidad inyectada. Solo se acepta si la precisión supera un umbral predefinido.

Inferencia:
Durante la inferencia, un selector basado en LLM lee la pregunta, consulta el índice de habilidades (SKILL.md) e inyecta dinámicamente los archivos de habilidad relevantes en el prompt del modelo Alumno antes de generar la respuesta.

3. Contribuciones Clave

1. Primer sistema de generación automática de habilidades ejecutables: Logra adaptación específica de dominio utilizando únicamente acceso a API (caja negra), sin necesidad de gradientes ni actualización de pesos.
2. Adaptación autosuficiente (Self-Teaching): Demostraron que el marco funciona incluso si el modelo Alumno actúa como su propio Maestro. Esto significa que cualquier organización con un conjunto de datos etiquetado puede adaptar su modelo desplegado sin necesitar un modelo "superior" externo.
3. Artefactos auditables y versionables: A diferencia de los prompts optimizados, las habilidades generadas son archivos legibles por humanos, versionables y compatibles con estándares de agentes, permitiendo auditoría y cumplimiento normativo.

4. Resultados Experimentales

Evaluado en el benchmark FAMMA (Financial Reasoning Benchmark):

• Rendimiento Superior: ASDA supera significativamente a todos los baselines sin entrenamiento (GEPA y ACE).
  • Razonamiento Aritmético: Mejora de +17.33 puntos porcentuales (pp) sobre el modelo base Haiku 3.5 (de 41.00% a 58.33%).
  • Razonamiento No Aritmético: Mejora de +5.95 pp.
• Efectividad del Refinamiento: La fase de calentamiento aporta la mayor parte de las ganancias, pero las iteraciones posteriores (2 épocas) son óptimas; más iteraciones causan sobreajuste.
• Análisis de "Auto-enseñanza": Cuando el modelo Alumno se entrena a sí mismo (sin un Maestro externo superior), logra el 73% de la ganancia total en aritmética (+6.33 pp vs +8.67 pp). Esto confirma que la mayor parte del beneficio proviene de la estructuración del conocimiento latente del modelo, no de la transferencia de conocimiento externo.
• Limitación de Transferencia: Las habilidades generadas para un modelo (ej. Haiku 3.5) no funcionan bien en modelos más fuertes (ej. Haiku 4.5) y pueden causar regresiones. Esto indica que las habilidades son remedios específicos para las distribuciones de fallos de un modelo concreto.

5. Significado e Impacto

• Paradigma de Adaptación: ASDA introduce una nueva capa representacional entre el modelo y su contexto de despliegue. En lugar de reentrenar el modelo, se adapta el "sistema operativo" de razonamiento mediante habilidades externas.
• Viabilidad Empresarial: Ofrece una ruta práctica y económica (aprox. $13 USD y 6 horas de tiempo de pared por configuración) para que organizaciones en sectores regulados (finanzas, legal, salud) adapten modelos comerciales de caja negra a sus dominios específicos.
• Auditoría y Cumplimiento: Al generar habilidades en formato de texto/código legible, permite que los expertos humanos revisen, certifiquen y actualicen el conocimiento del sistema sin tocar los pesos del modelo, resolviendo problemas de "caja negra" en la IA financiera.

En conclusión, el trabajo demuestra que la distilación guiada por fallos puede externalizar el conocimiento de dominio latente en una forma explícita y ejecutable, superando las limitaciones de la optimización de prompts planos y ofreciendo una solución escalable para el razonamiento especializado.