Resumen Técnico: Análisis Contrafáctico mediante Modelos de Lenguaje de Gran Escala

Declaración del Problema

El análisis contrafáctico busca predecir resultados bajo escenarios hipotéticos para informar la toma de decisiones, una tarea particularmente desafiante en los préstamos en línea donde el retorno de la inversión (ROI) bajo tasas de interés alternativas es inobservable. Si bien existen métodos tradicionales como el emparejamiento (matching), los ensayos controlados aleatorios y el análisis de supervivencia, estos suelen depender de supuestos estructurales específicos o requieren submuestreo. Además, los modelos estándar de aprendizaje automático (ML), aunque optimizados para la precisión predictiva sobre datos observados, pueden fallar al capturar los mecanismos causales necesarios para generar contrafácticos válidos, especialmente cuando el comportamiento del prestatario cambia en respuesta a cambios no observados en las tasas de interés. Este documento investiga si los Modelos de Lenguaje de Gran Escala (LLM), específicamente GPT-3.5, pueden servir como herramientas efectivas para construir resultados de préstamos contrafácticos, aprovechando su vasto conocimiento preentrenado y sus capacidades de razonamiento.

Metodología

El estudio utiliza un conjunto de datos de 894,013 préstamos personales no garantizados de LendingClub (2013–2020). La metodología se divide en dos fases primarias: validación del rendimiento predictivo y construcción contrafáctica.

1. Validación del Rendimiento Predictivo

Para establecer la idoneidad del LLM para la generación contrafáctica, el autor primero evaluó su capacidad para predecir los resultados reales de los préstamos (estado y ROI) bajo las tasas de interés observadas.

• Línea Base: El rendimiento del LLM se comparó con algoritmos avanzados de ML, específicamente XGBoost (para la clasificación del estado del préstamo) y regresión de gradiente potenciado (para la predicción del ROI).
• Ingeniería de Prompts: El estudio evaluó sistemáticamente diversas estrategias de prompting para obtener un mejor rendimiento:
  • Juego de Roles (Role-Playing): Cambiar la persona del LLM de un "prestatario" (que exhibió un sesgo de deseabilidad social) a un "experto en riesgo crediticio".
  • Conjuntos de Información: Incorporar detalles del préstamo, perfiles de prestatarios, estadísticas a nivel de plataforma y, crucialmente, las predicciones de los algoritmos de ML en el prompt.
  • Técnicas de Razonamiento: Implementación de técnicas de "Cadena de Pensamiento" (CoT) y "Árbol de Pensamiento" (ToT). El enfoque ToT simuló un panel de cuatro expertos que refinaban iterativamente sus predicciones y procesos de razonamiento.
• Prueba de Recubrimiento (Encompassing Test): Para determinar si el LLM simplemente regurgitaba las predicciones de ML o proporcionaba un valor incremental, el autor empleó una prueba de forecast encompassing (Chong y Hendry, 1986). Esta regresión probó si la predicción del LLM contenía información no capturada por el modelo de ML.

2. Construcción Contrafáctica

Para la tarea contrafáctica, el autor generó resultados hipotéticos de ROI bajo tasas de interés alternativas (propuestas por Gopal et al., 2024).

• Diseño del Prompt: Se le pidió al LLM que actuara como un panel de cuatro expertos en riesgo crediticio. El prompt incluyó detalles del préstamo, perfiles de prestatarios, estadísticas de la plataforma, el resultado observado real bajo la tasa original (sirviendo como ancla) y la predicción contrafáctica de un modelo de cura mixta (un enfoque de ML existente).
• Proceso de Razonamiento: Se instruyó al LLM para que participara en una discusión de ToT, criticando y refinando la predicción de ML basándose en su conocimiento preentrenado y el contexto específico del préstamo, para finalmente emitir un consenso de estado y duración en formato JSON.
• Validación: Dado que los contrafácticos no son observables, la validez se evaluó mediante la coherencia lógica. El autor verificó si las predicciones del LLM se adherían a reglas económicas intuitivas: (1) los préstamos que han sido dados por perdidos (charged off) deben permanecer como tales si las tasas aumentan, y (2) los préstamos que han sido pagados en su totalidad deben permanecer así si las tasas disminuyen.

Resultados Clave

Rendimiento Predictivo

• Línea Base vs. Prompts Optimizados: Un prompt de rol de "prestatario" simple arrojó resultados pobres (R-cuadrado de 1.97%, F1 score de 4.7%). Sin embargo, la ingeniería de prompts mejoró significativamente el rendimiento.
• Configuración Óptima: El prompt de "Árbol de Pensamiento" con cuatro expertos, incorporando predicciones de ML y estadísticas de la plataforma, logró un R-cuadrado de 2.84% para la predicción del ROI. Esto se acerca estrechamente al 3.48% logrado por la regresión de gradiente potenciado.
• Valor Incremental: La prueba de recubrimiento reveló un coeficiente estadísticamente significativo (5.19% al nivel del 1%) para la predicción del LLM cuando se combina con la predicción de ML. Esto indica que el LLM identifica información significativa más allá de lo que captura el algoritmo de ML, en lugar de simplemente repetir la salida del ML.
• Corrección de Sesgo: El estudio observó que las predicciones puras del LLM sufrían de sesgo (probablemente debido a los sesgos del corpus de preentrenamiento), el cual fue corregido mediante un ajuste de regresión lineal antes de calcular el R-cuadrado.

Construcción Contrafáctica

• Divergencia de ML: Las predicciones contrafácticas del LLM divergieron del modelo de cura mixta en el 46.2% de los casos respecto al estado y la duración. El LLM a menudo revisó la predicción de ML, proporcionando razones justificables basadas en la utilización del crédito del prestatario y promedios históricos.
• Coherencia Lógica: El LLM demostró una fuerte adherencia a la lógica causal. El 99.6% de las predicciones siguieron la regla de que los préstamos pagados en su totalidad permanecen pagados si las tasas disminuyen, y el 85.3% siguió la regla de que los préstamos dados por perdidos permanecen como tales si las tasas aumentan.
• Diferencias de Resultado: Bajo tasas de interés alternativas, el LLM predijo una tasa de pérdida (charged-off rate) del 9.65%, la cual es más cercana a la tasa histórica de LendingClub (12.34%) que la predicción del modelo de cura mixta de 6.22%. Esto sugiere que el LLM puede corregir el potencial optimismo excesivo del modelo de ML.

Significado y Reivindicaciones

El documento afirma que los LLM representan un enfoque novedoso y capaz para el análisis contrafáctico, particularmente en dominios complejos y ricos en información como los préstamos en línea. El autor destaca dos contribuciones principales:

1. La Ingeniería de Prompts como Palanca Crítica: El estudio demuestra que la ingeniería de prompts (específicamente el juego de roles, CoT y ToT) es tan crucial como el ajuste fino (fine-tuning) del modelo. Estas técnicas elicitan efectivamente el razonamiento lógico y la comprensión causal de los LLM, permitiéndoles aproximarse al rendimiento de algoritmos de ML especializados.
2. Colaboración Humano-Máquina: Los resultados sugieren que los LLM exhiben comportamientos cognitivos humanos, como el sesgo de deseabilidad social (al actuar como prestatarios) y la capacidad de evaluar críticamente y refinar los pronósticos de las máquinas (al actuar como expertos). Esto respalda la literatura sobre la colaboración humano-máquina, donde los LLM pueden servir como sustitutos del razonamiento humano en tareas complejas.

El autor concluye modestamente que, si bien los LLM aún pueden no superar a los mejores modelos predictivos en precisión bruta, su capacidad para generar contrafácticos lógicamente coherentes y causalmente razonados los convierte en una herramienta adecuada para contextos de toma de decisiones. Sugiere además que los LLM podrían utilizarse para simular respuestas humanas en experimentos de campo preliminares, ofreciendo un método rentable para el diseño de experimentos. El documento no pretende que los LLM sean una solución universal para todos los problemas contrafácticos, sino que los posiciona como una alternativa prometedora y flexible a los métodos tradicionales de econometría y análisis de supervivencia en contextos específicos.