Debiasing LLMs by Fine-tuning

Este artículo propone un método de bajo costo y generalizable para reducir el sesgo de extrapolación en los modelos de lenguaje grandes mediante el ajuste fino supervisado con LoRA, utilizando datos de pronósticos racionales para corregir las predicciones tanto en experimentos controlados como en la predicción de rendimientos accionarios.

Lo esencial

Imagina que tienes un chef de cocina extremadamente talentoso (el Modelo de Lenguaje o LLM) que ha leído millones de libros de recetas, diarios de comida y foros de restaurantes. Este chef sabe cocinar de todo, pero tiene un defecto muy curioso: siempre asume que el sabor de hoy será exactamente el mismo que el de ayer, solo que un poco más intenso.

Si ayer la sopa estaba un poco salada, este chef cree que hoy estará muy salada, y mañana será insalvable. En el mundo de las finanzas, a esto se le llama sesgo de extrapolación: creer que las tendencias recientes (subidas o bajadas) continuarán para siempre, ignorando que a veces las cosas simplemente vuelven a la normalidad.

Los autores de este paper, Zhenyu Gao, Wenxi Jiang y Yutong Yan, descubrieron que pedirle al chef que "piense con más lógica" o que "actúe como un experto racional" (lo que se llama prompts) no funciona. Es como gritarle al chef: "¡No seas tan dramático!" mientras sigue cocinando con la misma receta defectuosa. El problema no está en lo que le dices, sino en la receta interna que aprendió al leer millones de textos financieros donde la gente suele exagerar.

La Solución: Un "Entrenamiento de Reeducación" (Fine-Tuning)

En lugar de seguir gritando instrucciones, los autores decidieron reentrenar al chef con una técnica llamada SFT (Ajuste Fino Supervisado) usando un truco inteligente llamado LoRA.

Aquí te explico cómo funciona con una analogía sencilla:

1. El Problema (El Chef Viejo):
   El chef original (el modelo pre-entrenado) ve una acción de bolsa que subió mucho la semana pasada y predice que seguirá subiendo descontroladamente. Esto es peligroso porque en la vida real, cuando algo sube mucho, a menudo baja (se corrige). El chef está "alucinando" una tendencia que no existe.

2. La Herramienta (LoRA - Las Gafas de Entrenamiento):
   Reentrenar a un chef de 32 mil millones de ingredientes (parámetros) desde cero es imposible; costaría millones de dólares y años de tiempo.
   Aquí entra LoRA. Imagina que en lugar de cambiar toda la cocina, le pones al chef unas gafas de realidad aumentada muy ligeras y baratas.

   • Las gafas no cambian su memoria ni su capacidad de hablar (sigue siendo el mismo chef genial).
   • Las gafas solo le muestran una nueva regla cuando ve datos financieros: "Oye, cuando ves una subida fuerte, recuerda que suele haber una corrección después".
   • Es como si le dieras al chef un pequeño cuaderno de notas que dice: "Si ayer llovió, no asumas que mañana será un diluvio; quizás solo sea una llovizna".

3. El Proceso (El Entrenamiento):
   Los autores crearon miles de ejemplos donde le mostraban al chef:

   • Entrada: "La acción subió un 5% ayer".
   • Respuesta Correcta (la que querían enseñar): "Probablemente baje un poco hoy porque las tendencias fuertes suelen corregirse".
   • El chef practica con estas gafas (LoRA) hasta que aprende a usarlas automáticamente.

¿Funcionó? ¡Sí, y muy bien!

Los autores probaron esto en dos escenarios:

• Escenario 1: Un Laboratorio Controlado.
  Le dieron al chef datos de un juego matemático simple. Antes, el chef reaccionaba exageradamente a cada movimiento (como un humano nervioso). Después de ponerle las "gafas LoRA", el chef se volvió frío y calculador. Ya no se asustaba ni se emocionaba demasiado; sus predicciones eran racionales.

• Escenario 2: El Mercado de Valores Real.
  Le pidieron que predijera el futuro de las acciones de la S&P 500.

  • Antes: El chef decía: "¡Si subió ayer, subirá mañana!". (Extrapolación).
  • Después: El chef aprendió la lección de la historia: "Si subió mucho ayer, es probable que baje un poco hoy". (Reversión a la media).
  • Resultado: El modelo corregido dejó de cometer el error de "perseguir la tendencia" y empezó a predecir con mucha más precisión cómo se comportan realmente las acciones.

¿Por qué es importante esto?

Imagina que quieres contratar a un robot para gestionar tu dinero. Si el robot tiene este defecto de "extrapolación", te dirá que compres acciones que ya han subido mucho (porque cree que seguirán subiendo), y perderás dinero cuando el mercado se corrija.

Este paper nos dice que no necesitamos esperar a que los robots sean perfectos por arte de magia. Podemos "educarlos" de forma barata y rápida (usando LoRA) para que eliminen sus prejuicios humanos antes de usarlos.

En resumen:
El papel demuestra que los robots inteligentes a veces tienen "vicios" aprendidos de los humanos. En lugar de intentar convencerlos con palabras, podemos darles un pequeño "ajuste de software" (LoRA) que les enseña a pensar con lógica matemática, haciendo que sean mucho más seguros y útiles para tomar decisiones financieras importantes. Es como darle a un piloto automático un mapa actualizado para que deje de chocar contra las montañas que cree que existen.

Resumen técnico

A continuación presento un resumen técnico detallado del artículo "Debiasing LLMs by Fine-tuning" (Desviación de LLMs mediante Ajuste Fino), escrito por Zhenyu Gao, Wenxi Jiang y Yutong Yan (marzo de 2026).

1. El Problema: Sesgo de Extrapolación en LLMs

El artículo identifica que los Grandes Modelos de Lenguaje (LLMs) exhiben un sesgo sistemático de extrapolación al realizar predicciones financieras, tanto en datos experimentales como del mundo real.

• Naturaleza del sesgo: Al igual que los humanos, los LLMs tienden a dar un peso excesivo a las tendencias recientes (por ejemplo, en rendimientos de acciones o series temporales), asumiendo que los patrones a corto plazo continuarán indefinidamente, ignorando la reversión a la media.
• Limitación de los enfoques actuales: Las investigaciones previas muestran que los métodos basados en prompts (instrucciones textuales, como pedirle al modelo que razone de forma racional o usar few-shot learning) tienen un efecto limitado o nulo para corregir este sesgo.
• Causa raíz: El sesgo no es un error de formulación de la entrada, sino que está codificado en los parámetros del modelo aprendidos durante la fase de pre-entrenamiento (en corpus financieros llenos de lenguaje extrapolativo) y reforzado durante la fase de alineación (feedback humano). Por tanto, requiere una intervención a nivel de parámetros, no solo de inferencia.

2. Metodología: Ajuste Fino Supervisado (SFT) con LoRA

Los autores proponen un marco de trabajo que introduce un paso adicional de Ajuste Fino Supervisado (SFT) después de la alineación estándar pero antes del despliegue.

• Enfoque de Intervención: En lugar de modificar el prompt, se modifican los pesos del modelo para cambiar cómo mapea la información observada a las predicciones.
• Técnica de Eficiencia Paramétrica (LoRA): Dado que los modelos modernos (como Qwen3-32B con 32 mil millones de parámetros) son demasiado grandes para un ajuste fino completo (que causaría olvido catastrófico y costos computacionales prohibitivos), utilizan Low-Rank Adaptation (LoRA).
  • Se congelan los pesos pre-entrenados originales.
  • Se añaden matrices de baja dimensión (descomposición de rango bajo) que se actualizan durante el entrenamiento.
  • Esto permite ajustar el comportamiento de pronóstico específico sin degradar la comprensión general del lenguaje del modelo.
• Construcción del Dataset de Instrucción:
  • Entradas: Historias de datos pasados (ej. rendimientos de acciones o series AR(1)).
  • Salidas (Objetivo): Predicciones de un "benchmark racional". Estas pueden ser expectativas racionales condicionales (en entornos controlados) o rendimientos futuros realizados (en datos de mercado reales).
  • Estrategia de Datos: Separación estricta en conjuntos de Entrenamiento, Validación (para detección temprana de sobreajuste) y Prueba (datos nunca vistos durante el entrenamiento).

3. Contribuciones Clave

1. Demostración de la ineficacia del Prompting vs. eficacia del SFT: Confirman que el sesgo de extrapolación es inherente a los parámetros del modelo y no se corrige con instrucciones textuales.
2. Marco de Desviación Generalizable: Presentan un método de bajo costo y escalable para alinear el comportamiento de los LLMs con benchmarks racionales en diversos contextos económicos.
3. Validación en Dos Escenarios:
   • Experimentos Controlados: Replicación de estudios con sujetos humanos (Afrouzi et al., 2023) usando LLMs.
   • Predicción de Mercados Reales: Pronóstico de rendimientos de acciones del S&P 500.

4. Resultados Experimentales

A. Experimentos Controlados (Series AR(1))

• Configuración: Se replicó un experimento donde los participantes (ahora el LLM) observan 40 realizaciones históricas de procesos AR(1) con diferentes niveles de persistencia ($\rho$) y deben predecir el futuro.
• Línea Base (Modelo sin ajustar): El LLM mostró una sobre-reacción significativa (coeficiente negativo en la regresión de errores de pronóstico vs. revisiones), replicando el comportamiento humano. La sobre-reacción fue más fuerte en procesos transitorios ($\rho=0.0$).
• Resultado tras el Ajuste Fino: Tras el entrenamiento con LoRA en objetivos de expectativas racionales, el sesgo de sobre-reacción se volvió estadísticamente insignificante. Los coeficientes de revisión de pronóstico se acercaron a cero en todas las condiciones de persistencia.

B. Predicción de Rendimientos Accionarios (S&P 500)

• Configuración: Se pidió al modelo predecir rendimientos mensuales de acciones del S&P 500 basándose en historias de 12 meses.
• Línea Base: El modelo mostró una fuerte extrapolación (coeficiente positivo de 0.394 en el mes más reciente), cargando excesivamente en el rendimiento reciente.
• Resultado tras el Ajuste Fino: El modelo ajustado invirtió la carga. Los coeficientes de los rendimientos rezagados se volvieron negativos (coeficiente de -0.120 en el mes más reciente).
• Interpretación: El modelo aprendió de los datos de entrenamiento que los ganadores recientes tienden a revertir (reversión a la media), alineando su comportamiento con el proceso real de generación de rendimientos en lugar de extrapolar tendencias.

5. Significado e Implicaciones

• Viabilidad Técnica: El método es computacionalmente económico (costos de cientos de dólares frente a millones para pre-entrenar) y utiliza modelos de pesos abiertos (como Qwen3-32B), lo que permite la inspección y modificación de parámetros.
• Aplicabilidad Financiera:
  • Robo-Advisors: Permite corregir los sesgos en la capa de pronóstico de asesores automatizados, evitando que amplifiquen los sesgos de comportamiento de los inversores.
  • Gestión de Riesgos y Trading: Mitiga decisiones procíclicas en evaluación de crédito o señales de trading algorítmico que persiguen tendencias en lugar de anticipar reversiones.
• Conclusión General: La corrección de sesgos en LLMs para la toma de decisiones financieras requiere una intervención a nivel de parámetros (SFT) y no solo de interfaz (prompting). Este enfoque es un prerrequisito para el despliegue responsable de agentes autónomos en economía y finanzas.