CFOs Meet LLMs

Este artículo demuestra que los modelos de lenguaje extensos, cuando se les solicita que interpreten el papel de directores financieros corporativos específicos, pueden reproducir y pronosticar con precisión las respuestas humanas a las encuestas de sentimiento económico, ofreciendo una alternativa escalable y de alta frecuencia a los métodos tradicionales de recolección de datos costosos.

Lo esencial

Imagina que quieres saber qué piensan los líderes empresariales sobre la economía. Normalmente, tienes que llamarlos, enviarles una encuesta y esperar semanas o meses para obtener los resultados. Es lento, costoso y solo obtienes respuestas de unos pocos cientos de empresas.

Este artículo plantea una pregunta audaz: ¿Qué pasaría si pudiéramos crear un "gemelo digital" de un Director Financiero (CFO) utilizando Inteligencia Artificial (IA) para hacerles la misma pregunta de forma instantánea?

Aquí explicamos cómo lo hicieron los investigadores y qué descubrieron, de forma sencilla:

La configuración: El experimento del "Gemelo Digital"

Piensa en un CFO como una persona que tiene una "voz" única y una forma específica de ver el mundo basada en el tamaño de su empresa, su industria y sus experiencias pasadas.

Los investigadores tomaron una IA potente (un Modelo de Lenguaje Extenso) y le dijeron que interpretara el papel de un CFO específico de una empresa específica en una fecha determinada.

• El disfraz: Le dieron a la IA un "disfraz" de datos: el nombre de la empresa, cuánto dinero gana, cuántas personas emplea y dónde se encuentra.
• La memoria: Crucialmente, le dieron a la IA las propias respuestas pasadas del CFO a encuestas anteriores (pero solo hasta esa fecha específica, para que la IA no pudiera "hacer trampa" conociendo el futuro).
• La pregunta: Le hicieron a la IA la misma pregunta que responden los CFO reales: "En una escala de 0 a 100, ¿qué tan optimista es usted respecto a la economía de EE. UU.?"

Hicieron esto para más de 6,000 respuestas de encuestas reales desde 2002 hasta 2025.

El gran descubrimiento: La IA "entendió" a la persona

Los investigadores querían ver si la suposición de la IA coincidía con lo que el CFO humano real realmente dijo.

• El resultado: La IA fue sorprendentemente precisa. Cuando la IA estimaba una puntuación de 60, el CFO real a menudo daba una puntuación muy cercana a 60.
• La prueba del "eco": Un escéptico podría decir: "Bueno, la IA solo copió la última respuesta del CFO". Los investigadores probaron esto observando la respuesta anterior del CFO y aun así encontraron que la IA añadía información nueva y útil. No era solo una máquina de copiar; realmente estaba pensando en la situación de la empresa.
• El efecto de la "historia": Cuanta más "memoria" tenía la IA sobre ese CFO específico, mejor lo hacía.
  • Si la IA no sabía nada sobre el pasado del CFO, su precisión era aceptable (explicaba aproximadamente el 10% de la variación).
  • Si la IA conocía la historia del CFO, su precisión aumentaba significativamente (hasta casi el 50% de la variación explicada).
  • Analogía: Es como intentar adivinar qué pedirá tu amigo para cenar. Si nunca lo has conocido, podrías adivinar al azar. Pero si sabes que suele pedir pizza los viernes y que odia la comida picante, tu suposición será mucho más aguda.

Por qué esto es importante (según el artículo)

El artículo sostiene que este método resuelve tres grandes problemas de las encuestas tradicionales:

1. Velocidad y escala: En lugar de esperar a una encuesta trimestral de 300 empresas, teóricamente podrías generar "expectativas" para miles de empresas de forma instantánea.
2. Sin trampas de "mirar hacia adelante": Los investigadores fueron muy cuidadosos para asegurar que la IA no conociera el futuro. Cortaron su acceso a la información después de la fecha de la encuesta. Por ejemplo, a principios de 2020 (antes de que la pandemia golpeara), la IA predijo niveles de optimismo similares a los de los humanos reales, mostrando que no estaba "haciendo trampa" al saber que la crisis se avecinaba.
3. Matiz individual: La mayoría de los estudios de IA solo analizan promedios (por ejemplo, "¿Es la economía generalmente buena?"). Este artículo demuestra que la IA puede imitar personalidades individuales. Puede notar la diferencia entre un CFO cauteloso de una pequeña empresa y uno optimista de una gran firma tecnológica.

Los límites (lo que el artículo dice que NO puede hacer)

Los autores son honestos sobre las fallas:

• Secretos privados: La IA solo sabe lo que es público. Si un CFO conoce un secreto, una fusión pendiente o un problema interno oculto, la IA no lo sabrá. Es un "gemelo digital", no un lector de mentes.
• Nuevos rostros: Si un CFO nunca ha realizado la encuesta antes, la IA no tiene "memoria" sobre él, por lo que sus suposiciones son menos precisas.
• No es un reemplazo: El artículo sugiere que esto es un complemento a las encuestas humanas, no un reemplazo total. Es una herramienta poderosa para llenar los vacíos, pero no puede reemplazar completamente la visión humana.

La conclusión

Este artículo demuestra que, con el "disfraz" adecuado (datos de la empresa) y la "memoria" adecuada (respuestas pasadas), la IA puede actuar como un sustituto creíble de los líderes empresariales reales. Puede predecir cómo se sentirían ellos respecto a la economía con una precisión sorprendente, ofreciendo una forma de obtener datos económicos detallados y de alta frecuencia sin el costo y el retraso de las encuestas tradicionales.

Resumen técnico

Resumen Técnico: "CFOs Meet LLMs" (Los CFOs se encuentran con los LLM)

Planteamiento del Problema
El sentimiento empresarial, particularmente las expectativas de la gerencia, es una señal económica crítica. Sin embargo, la medición tradicional mediante encuestas (por ejemplo, la encuesta de CFOs de Duke–Federal Reserve) enfrenta limitaciones significativas: son costosas, periódicas (trimestrales), sufren de una baja cobertura transversal (cientos de empresas) y están sujetas a sesgos de selección. Además, aunque estas encuestas proporcionan datos valiosos con visión de futuro, son lentas de compilar y limitadas en su frecuencia. Los autores se preguntan si es posible generar expectativas de tipo CFO que sean creíbles, escalables y de alta frecuencia sin los costos, retrasos o sesgos de las encuestas humanas.

Metodología
Los autores proponen un método para generar "expectativas sintéticas de CFO" utilizando Modelos de Lenguaje de Gran Escala (LLM), específicamente GPT-5.4 (OpenAI, 2026). El enfoque central consiste en realizar un "juego de rol" (role-playing) donde el LLM actúa como el CFO específico de una empresa pública en un momento determinado.

1. Construcción del Prompt:

   • Prompt de Sistema: Establece el personaje de un ejecutivo financiero e impone un estricto límite de información (information cutoff) que coincida con la fecha de la encuesta real. Se le instruye al modelo que utilice únicamente la información disponible hasta esa fecha, incluyendo datos públicos buscados en la web (informes de ganancias, cobertura de analistas) previos al límite, para evitar el sesgo de anticipación (look-ahead bias).
   • Prompt de Usuario: Proporciona un perfil detallado del ejecutivo de la empresa (industria, ingresos, número de empleados, geografía, calificación crediticia, etc.) y, crucialmente, el historial propio del encuestado. Esto incluye los puntajes de optimismo previos del CFO de olas de encuestas anteriores (estrictamente antes del límite de información) y los propios pronósticos previos del modelo para ese mismo individuo.
   • Tarea: Se le pide al modelo que califique su optimismo sobre la economía estadounidense en una escala de 0 a 100, imitando la pregunta canónica de la Encuesta de CFO de Duke.

2. Datos y Validación:

   • El estudio cubre 6,075 respuestas de encuestas de empresas públicas entre 2002 y 2025.
   • Para cada respuesta humana, los autores generan tres pronósticos independientes mediante LLM y promedian el resultado para mitigar el ruido estocástico.
   • Estabilidad: Los autores verifican que la varianza en los resultados del LLM es impulsada por diferencias entre las observaciones de la encuesta y no por ruido estocástico dentro de llamadas repetidas (correlaciones pareadas ~0.96).
   • Naturaleza Fuera de la Muestra (Out-of-Sample): Las respuestas específicas de las encuestas humanas nunca formaron parte del corpus de entrenamiento del modelo (debido a acuerdos institucionales que excluyen su uso para entrenamiento), lo que garantiza que las predicciones sean verdaderamente fuera de la muestra respecto a la variable objetivo.

Hallazgos Clave

1. Poder Predictivo a Nivel Individual:

   • El puntaje de optimismo generado por el LLM es un predictor significativo de la respuesta real del CFO. En una regresión del optimismo humano sobre el puntaje del LLM emparejado, el coeficiente es altamente significativo (t-stat > 17 en el modelo base).
   • Esta relación sobrevive a la inclusión de efectos fijos de la empresa (rastreando la variación dentro de la empresa a lo largo del tiempo) y efectos fijos de año-trimestre (rastreando la variación transversal dentro de un trimestre).
   • Crucialmente, el puntaje del LLM sigue siendo significativo incluso cuando se controla por la respuesta previa más reciente del encuestado, lo que demuestra que el modelo no está simplemente repitiendo la última respuesta, sino capturando información predictiva adicional.

2. El Papel de la Información de Condicionamiento (Dosis-Respuesta):

   • La precisión predictiva escala positivamente con la cantidad de información suministrada.
   • Historial del Encuestado: Cuando no hay respuestas previas disponibles, el $R^2$ del modelo es ~0.10. Con algunos puntos de datos previos, este sube a ~0.33, y con más de tres respuestas previas, se acerca a ~0.50.
   • Características de la Empresa: Los prompts que contienen un conjunto completo de campos del perfil de la empresa (10–12 características) producen mejores predicciones ($R^2 \approx 0.32$) que los prompts dispersos ($R^2 \approx 0.21$).
   • El condicionamiento con el historial también restaura la heterogeneidad transversal; sin él, los modelos ajustados por instrucciones tienden a colapsar hacia opiniones modales, comprimiendo la distribución de los puntajes sintéticos.

3. Agregación y Robustez:

   • A nivel agregado trimestral, el optimismo promedio del LLM sigue siendo un fuerte predictor del optimismo promedio de los CFO.
   • En una regresión de "carrera de caballos" (horse race) que incluye el Índice de Sentimiento del Consumidor de Michigan y el pronóstico del PIB de la Encuesta de Pronosticadores Profesionales (SPF), el puntaje del LLM retiene un poder explicativo significativo, mientras que los referentes humanos pierden significancia. Esto sugiere que el LLM captura la variación en el sentimiento de los ejecutivos que los indicadores macroeconómicos estándar omiten.

Significancia y Reivindicaciones
El artículo afirma proporcionar la primera validación a nivel individual y dentro de la misma empresa de las respuestas de encuestas simuladas por LLM. A diferencia del trabajo previo que se centra en igualar la distribución de poblaciones sintéticas con las reales, este estudio demuestra que un LLM puede aproximarse a la respuesta específica de un ejecutivo humano identificado, dado su huella pública y su trayectoria personal.

Los autores argumentan que, con el condicionamiento adecuado, los LLM pueden servir como "gemelos digitales" creíbles de los ejecutivos. Esto ofrece una nueva herramienta para la investigación financiera y de políticas al proporcionar:

• Escalabilidad: La capacidad de generar datos de sentimiento para cualquier empresa pública, no solo para las participantes en encuestas.
• Frecuencia: El potencial para actualizaciones de sentimiento diarias o semanales, sorteando las restricciones trimestrales de las encuestas tradicionales.
• Contrafactuales: La capacidad de realizar "experimentos de encuestas sintéticas" variando las características de la empresa (por ejemplo, la exposición de ingresos extranjeros) mientras se mantienen otros factores constantes.

Los autores mantienen la modestia, reconociendo que los LLM no pueden recuperar información privada (por ejemplo, pedidos pendientes, presiones internas de costos) que poseen los CFO humanos. Por lo tanto, posicionan al LLM como un complemento, en lugar de un reemplazo, de las encuestas humanas. También señalan que la precisión predictiva es menor para encuestados de primera vez que carecen de datos históricos, y que las "creencias" del modelo siguen estando ligadas a las regularidades de sus datos de entrenamiento.