CFOs Meet LLMs

Dit artikel toont aan dat grote taalmodellen, wanneer zij worden gevraagd een specifieke bedrijfs-CFO te simuleren, menselijke reacties op economische sentimentenonderzoeken nauwkeurig kunnen reproduceren en voorspellen, wat een schaalbare en hoogfrequente alternatieve methode biedt voor traditionele, kostbare gegevensverzamelingstechnieken.

De kern

Stel je voor dat je wilt weten hoe zakelijke leiders over de economie denken. Normaal gesproken moet je hen opbellen, een enquête sturen en weken of maanden wachten op de resultaten. Het is traag, duur en je krijgt alleen antwoorden van een paar honderd bedrijven.

Dit artikel stelt een gedurfde vraag: Wat als we een "digitale tweeling" van een Chief Financial Officer (CFO) zouden kunnen creëren met behulp van Artificial Intelligence (AI) om hen dezelfde vragen direct te stellen?

Hieronder volgt een uitleg van hoe de onderzoekers dit aanpakten en wat ze ontdekten, simpel uitgelegd:

De Opzet: Het "Digitale Tweeling" Experiment

Beschouw een CFO als een persoon die een unieke "stem" heeft en een specifieke manier van naar de wereld kijken, gebaseerd op de grootte van hun bedrijf, de sector en eerdere ervaringen.

De onderzoekers namen een krachtige AI (een Large Language Model) en lieten deze rol spelen als een specifieke CFO van een specifiek bedrijf op een specifieke datum.

• Het Kostuum: Ze gaven de AI een "kostuum" van data: de naam van het bedrijf, hoeveel geld het verdient, hoeveel mensen het in dienst heeft en waar het gevestigd is.
• Het Geheugen: Cruciaal was dat ze de AI de eigen eerdere antwoorden van de CFO van vorige enquêtes gaven (maar alleen tot aan die specifieke datum, zodat de AI niet kon "valsspelen" door de toekomst te kennen).
• De Vraag: Ze stelden de AI precies dezelfde vraag die echte CFO's beantwoorden: "Op een schaal van 0 tot 100, hoe optimistisch bent u over de Amerikaanse economie?"

Dit deden ze voor meer dan 6.000 echte enquête-responsen van 2002 tot 2025.

De Grote Ontdekking: De AI "Begreep" de Persoon

De onderzoekers wilden zien of de gok van de AI overeenkwam met wat de echte menselijke CFO daadwerkelijk zei.

• Het Resultaat: De AI was verrassend accuraat. Wanneer de AI een score van 60 voorspelde, gaf de echte CFO vaak een score die heel dicht bij de 60 lag.
• De "Echo"-test: Een scepticus zou kunnen zeggen: "Nou, de AI heeft gewoon het laatste antwoord van de CFO gekopieerd." De onderzoekers testten dit door te kijken naar het vorige antwoord van de CFO, en stelden nog steeds vast dat de AI nieuwe, nuttige informatie toevoegde. Het was geen kopieermachine; het was daadwerkelijk nadenkend over de situatie van het bedrijf.
• Het "Geschiedenis"-effect: Hoe meer "geheugen" de AI had over die specifieke CFO, hoe beter het werd.
  • Als de AI niets wist over het verleden van de CFO, was het slechts oké (ongeveer 10% accuraat in het voorspellen van het patroon).
  • Als de AI de geschiedenis van de CFO kende, steeg de nauwkeurigheid aanzienlijk (tot bijna 50% van de verklaarde variatie).
  • Analogie: Het is alsoals proberen te raden wat je vriend voor het avondeten bestelt. Als je hem nog nooit hebt ontmoet, kan je gok willekeurig zijn. Maar als je weet dat hij op vrijdagen meestal pizza bestelt en niet van pittig eten houdt, wordt je gok veel scherper.

Waarom Dit Belangrijk Is (Volgens het Papier)

Het artikel betoogt dat deze methode drie grote problemen met traditionele enquêtes oplost:

1. Snelheid en Schaal: In plaats van te wachten op een kwartaalenquête van 300 bedrijven, zou je theoretisch direct "verwachtingen" voor duizenden bedrijven kunnen genereren.
2. Geen "Look-Ahead" Valsspelen: De onderzoekers waren zeer zorgvuldig om ervoor te zorgen dat de AI de toekomst niet kende. Ze beperkten de toegang tot informatie na de datum van de enquête. Bijvoorbeeld, in het begin van 2020 (voordat de pandemie toesloeg), voorspelde de AI optimisme-niveaus die vergelijkbaar waren met die van de echte mensen, wat aantoonde dat de AI niet aan het "valsspelen" was door te weten dat de crisis eraan kwam.
3. Individuele Nuance: De meeste AI-studies kijken alleen naar gemiddelden (bijv. "Is de economie over het algemeen goed?"). Dit artikel laat zien dat de AI individuele persoonlijkheden kan nabootsen. Het kan het verschil zien tussen een voorzichtige CFO bij een klein bedrijf en een optimistische CFO bij een gigantisch techbedrijf.

De Limieten (Wat het Papier Zelft Vermeldt)

De auteurs zijn eerlijk over de gebreken:

• Privégeheimen: De AI weet alleen wat publiek toegankelijk is. Als een CFO weet van een geheim, lopend bedrijfsproces of een verborgen intern probleem, zal de AI dat niet weten. Het is een "digitale tweeling", geen gedachtenlezer.
• Nieuwe Gezichten: Als een CFO nog nooit eerder een enquête heeft ingevuld, heeft de AI geen "geheugen" van hen, waardoor de gokken minder accuraat zijn.
• Geen Vervanging: Het papier suggereert dat dit een aanvulling is op menselijke enquêtes, geen totale vervanging. Het is een krachtig nieuw hulpmiddel om de gaten op te vullen, maar het kan menselijk inzicht niet volledig vervangen.

De Kernboodschap

Dit artikel bewijst dat met het juiste "kostuum" (bedrijfsgegevens) en het juiste "geheugen" (eerdere antwoorden), AI kan fungeren als een geloofwaardige plaatsvervanger voor echte zakelijke leiders. Het kan met verrassende nauwkeurigheid voorspellen hoe zij zouden voelen over de economie, wat een manier biedt om hoogfrequente, gedetailleerde economische gegevens te verkrijgen zonder de kosten en vertraging van traditionele enquêtes.

Technische samenvatting

Technische Samenvatting: "CFOs Meet LLMs"

Probleemstelling
Zakelijk sentiment, met name de verwachtingen van het management, is een cruciaal economisch signaal. Traditionele metingen via enquêtes (bijv. de Duke–Federal Reserve CFO Survey) kampen echter met aanzienlijke beperkingen: ze zijn kostbaar, periodiek (per kwartaal), lijden aan een lage cross-sectionele dekking (honderden bedrijven) en zijn onderhevig aan selectiebias. Bovendien zijn deze enquêtes, hoewel ze waardevolle vooruitblikkende gegevens bieden, traag in de samenstelling en beperkt in frequentie. De auteurs vragen zich af of het mogelijk is om geloofwaardige, schaalbare, hoogfrequente CFO-stijl verwachtingen te genereren zonder de kosten, vertragingen of biases van menselijke enquêtes.

Methodologie
De auteurs stellen een methode voor om "synthetische CFO-verwachtingen" te genereren met behulp van Large Language Models (LLMs), specifiek GPT-5.4 (OpenAI, 2026). De kernaanpak bestaat uit het "rollen" van het LLM als de specifieke CFO van een beursgenoteerd bedrijf op een specifiek punt in de tijd.

1. Prompt Constructie:

   • Systeem Prompt: Vestigt de persona van een financieel bestuurder en legt een strikte informatie-cutoff op die overeenkomt met de datum van de werkelijke enquête. Het model krijgt de instructie om alleen informatie te gebruiken die tot die datum beschikbaar was, inclus� including web-gezochte publieke data (kwartaalcijfers, analistenverslagen) vóór de cutoff, om look-ahead bias te voorkomen.
   • User Prompt: Biedt een gedetailleerd profiel van de bedrijfsfunctionaris (sector, omzet, personeelsbestand, geografie, kredietwaardigheid, etc.) en, cruciaal, de eigen geschiedenis van de respondent. Dit omvat de eerdere optimisme-scores van de CFO uit voorgaande enquêtegolven (strikt vódt de cutoff) en de eigen eerdere voorspellingen van het model voor diezelfde persoon.
   • Taak: Het model wordt gevraagd om zijn optimisme over de algemene Amerikaanse economie te beoordelen op een schaal van 0–100, waarbij de canonieke vraag van de Duke CFO Survey wordt nagebootst.

2. Data en Validatie:

   • De studie beslaat 6.075 enquête-responsen van beursgenoteerde bedrijven tussen 2002 en 2025.
   • Voor elke menselijke respons genereert de auteurs drie onafhankelijke LLM-voorspellingen en middelen zij deze om de stochastische ruis te verminderen.
   • Stabiliteit: De auteurs verifiëren dat de variantie in de LLM-outputs wordt gedreven door verschillen tussen enquête-observaties in plaats van stochastische ruis binnen herhaalde oproepen (pairwise correlaties ~0,96).
   • Out-of-Sample Karakter: De specifieke menselijke enquête-responsen maakten nooit deel uit van de trainingscorpus van het model (vanwege institutionele overeenkomsten die training uitsluiten), wat garandeert dat de voorspellingen echt "out-of-sample" zijn met betrekking tot de doelvariabele.

Belangrijkste Bevindingen

1. Voorspellende Kracht op Individueel Niveau:

   • De door het LLM gegenereerde optimisme-score is een significante voorspeller van de werkelijke reactie van de CFO. In een regressie van menselijk optimisme op de bijbehorende LLM-score is de coëfficiënt zeer significant (t-stat > 17 in de baseline).
   • Deze relatie blijft bestaan bij de inclusie van firm fixed effects (het volgen van variatie binnen een bedrijf over de tijd) en year-quarter fixed effects (het volgen van cross-sectionele variatie binnen een kwartaal).
   • Cruciaal is dat de LLM-score significant blijft, zelfs wanneer er wordt gecontroleerd voor de meest recente eerdere reactie van de respondent, wat aantoont dat het model niet louter de laatste reactie echoot, maar aanvullende voorspellende informatie vangt.

2. De Rol van Conditionering (Dose-Response):

   • De voorspellende nauwkeurigheid schaalt positief met de hoeveelheid aangeleverde informatie.
   • Respondentgeschiedenis: Wanneer er geen eerdere reacties beschikbaar zijn, is de $R^2$ van het model ~0,10. Met enkele eerdere datapunten stijgt dit naar ~0,33, en met meer dan drie eerdere reacties nadert het ~0,50.
   • Bedrijfskenmerken: Prompts die een volledig pakket aan bedrijfsprofielvelden bevatten (10–12 kenmerken) leveren betere voorspellingen ($R^2 \approx 0,32$) dan schaarse prompts ($R^2 \approx 0,21$).
   • Conditionering op geschiedenis herstelt ook de cross-sectionele heterogeniteit; zonder dit hebben instructie-getunede modellen de neiging om te convergeren naar modale meningen, waardoor de distributie van synthetische scores wordt gecomprimeerd.

3. Aggregatie en Robuustheid:

   • Op het kwartaal-geaggregeerde niveau blijft het gemiddelde LLM-optimisme een sterke voorspeller van het gemiddelde CFO-optimisme.
   • In een "horse race" regressie, inclusief de Michigan Consumer Sentiment Index en de Survey of Professional Forecasters (SPF) GDP-voorspelling, behoudt de LLM-score een significante verklarende kracht, terwijl de menselijke benchmarks hun significantie verliezen. Dit suggereert dat het LLM variatie in het sentiment van bestuurders vangt die door standaard macro-indicatoren wordt gemist.

Betekenis en Claims
Het artikel claimt de eerste validatie op individueel niveau, binnen een bedrijf, te bieden van door LLM gesimuleerde enquête-responsen. In tegen tegenstelling tot eerder werk dat zich richt op het matchen van de distributie van synthetische populaties met die van echte populaties, laat deze studie zien dat een LLM de specifieke reactie van een geïdentificeerde menselijke bestuurder kan benaderen, gegeven hun publieke voetafdruk en persoonlijke track record.

De auteurs stellen dat LLM's, mits adequaat geconditioneerd, kunnen dienen als geloofwaardige "digitale tweelingen" van bestuurders. Dit biedt een nieuwe tool voor financieel onderzoek en beleid door te voorzien in:

• Schaalbaarheid: De mogelijkheid om sentimentdata te generen voor elk beursgenoteerd bedrijf, niet alleen voor deelnemers aan enquêtes.
• Frequentie: Het potentieel voor dagelijkse of wekelijkse updates van het sentiment, waarmee de kwartaalbeperkingen van traditionele enquêtes worden omzeild.
• Counterfactuals: De mogelijkheid om "synthetische enquête-experimenten" uit te voeren door bedrijfskenmerken te variëren (bijv. blootstelling aan buitenlandse omzet) terwijl andere factoren constant worden gehouden.

De auteurs blijven bescheiden en erkennen dat LLM's geen private informatie (bijv. lopende orders, interne kostendruk) kunnen achterhalen die menselijke CFO's wel bezitten. Daarom positioneren zij het LLM als een complement aan, en niet als een vervanging voor, menselijke enquêtes. Ze merken ook op dat de voorspellende nauwkeurigheid lager is voor respondenten zonder historische data, en dat de "overtuigingen" van het model nog steeds gebonden zijn aan de regelmatigheden van de trainingsdata.