From Text to Alpha: Can LLMs Track Evolving Signals in Corporate Disclosures?

Dit artikel introduceert een kader waarbij Large Language Models (LLMs) worden gebruikt om contextbewuste semantische veranderingen in bedrijfspublicaties te extraheren en te kwantificeren, wat leidt tot een aanzienlijk hogere risicogecorrigeerde alfa en voorspellende kracht vergeleken met traditionele NLP-methoden.

De kern

Van Tekst naar Geld: Kunnen Slimme Computers de "Versteekspelletjes" van Bedrijven Oplossen?

Stel je voor dat je een investeerder bent. Je wilt weten welke bedrijven in de toekomst goed zullen presteren. Bedrijven vertellen je dit elk kwartaal tijdens hun "earnings calls" (winstberichten). Maar hier is het probleem: managers zijn vaak slimme verhalenvertellers. Als een bedrijf het niet goed doet met zijn omzet, zeggen ze misschien: "Kijk niet naar de omzet, kijk naar hoe goed we onze kosten hebben gereduceerd!" Ze veranderen het verhaal, alsof ze in een spelletje verstoppertje spelen.

Deze paper, geschreven door een team van onderzoekers en experts van grote financiële instellingen (zoals BlackRock en J.P. Morgan), onderzoekt of we dit spelletje kunnen opsporen met AI.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Verstekspelletjes" (Moving Targets)

Bedrijven hebben een trucje: als een belangrijk cijfer (zoals 'omzet') zakt, gaan ze in het volgende verslag ineens praten over iets anders (zoals 'klanttevredenheid'). Ze verplaatsen hun doelwit.

• De Vergelijking: Stel je voor dat je een sportverslag schrijft. Als de speler niet scoort, begint de verslaggever ineens te praten over hoe mooi zijn schoenen zijn. Als je alleen naar de "schoenen" kijkt, mis je het feit dat hij niet scoorde.
• De Oude Methode (NER): Vroeger gebruikten computers simpele zoekfuncties. Ze zochten naar specifieke woorden zoals "omzet" of "winst". Maar deze oude computers waren als een robot die alleen op woorden let, niet op de betekenis. Als een bedrijf zegt "we groeien in onze cloud-diensten" in plaats van "omzet", zag de oude robot dit niet als hetzelfde. Hij dacht: "Geen woord 'omzet' gevonden, dus alles is goed."

2. De Oplossing: De "Slimme Vertaler" (LLM)

De auteurs gebruiken een nieuw type AI, een LLM (Large Language Model). Dit is als een slimme vertaler die niet alleen woorden kent, maar ook de nuances en de context begrijpt.

• De Vergelijking: Stel je voor dat je een detective bent. De oude methode was een detective die alleen zocht naar de naam "John". De nieuwe AI is een detective die begrijpt dat "John", "de man in de hoed" en "die vent met de pet" allemaal dezelfde persoon zijn.
• Hoe het werkt:
  1. De Extractor (De Detective): De AI leest het verslag en pakt de echte belangrijke cijfers eruit, inclusief de details. Niet alleen "omzet", maar "omzet in Noord-Amerika".
  2. De Liniaal (De Vergelijker): Vervolgens vergelijkt de AI dit kwartaal met het kwartaal van een jaar geleden. Ze gebruiken een "semantische liniaal" (een meetlat voor betekenis). Ze vragen: "Is dit nieuwe verhaal eigenlijk hetzelfde als het oude, of is het een heel nieuw verhaal?"

3. Het Experiment: Wie verdient er meer?

De onderzoekers hebben twee groepen bedrijven gemaakt:

• Groep A: Bedrijven die hun verhaal niet veranderen (ze blijven eerlijk over dezelfde cijfers).
• Groep B: Bedrijven die hun verhaal wel veranderen (ze schuiven hun doelwitten op).

De Resultaten:

• De oude methode (de simpele robot) zag bijna geen verschil tussen de twee groepen. Het was alsof de detective de aanwijzingen miste.
• De nieuwe AI-methode (de slimme detective) zag duidelijk een patroon: Bedrijven die hun verhaal veranderen, presteren in de toekomst slechter.
• De winst (de "alpha") die je kunt maken door te investeren in de eerlijke bedrijven en te verkopen bij de "schuivende" bedrijven, was met de AI-methode meer dan twee keer zo hoog als met de oude methode.

4. Waarom werkt het zo goed?

De paper geeft twee redenen waarom de AI beter is:

1. Context: De AI begrijpt dat "omzet" en "inkomsten" hetzelfde zijn, maar ook dat "omzet uit nieuwe producten" anders is dan "oude omzet". De oude methode zag dit niet.
2. Ruis verwijderen: De oude methode werd vaak verward door woorden die eruit zagen als cijfers, maar dat niet waren (zoals "een beetje groei" of "een reeks van..."). De AI filtert deze onzin eruit en kijkt alleen naar de echte, harde feiten.

Conclusie

Kortom: Bedrijven proberen soms hun slechte prestaties te verbergen door het gesprek te veranderen. De oude computers waren te dom om dit te zien. De nieuwe, slimme AI (LLM) fungeert als een super-scherpe detective die door de verhaaltjes heen prikt en ziet waar ze echt mee bezig zijn.

Voor beleggers betekent dit: als je deze slimme AI gebruikt om te kijken of een bedrijf eerlijk is of aan het "schuiven" is, kun je beter beleggen en meer geld verdienen. Het is een bewijs dat in de financiële wereld, wie de context begrijpt, de winnaar is.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "From Text to Alpha: Can LLMs Track Evolving Signals in Corporate Disclosures?" in het Nederlands.

Probleemstelling

In de kwantitatieve financiën wordt natuurlijke taalverwerking (NLP) al lang gebruikt om "alpha" (abnormale rendementen die niet worden verklaard door marktbewegingen of risicofactoren) te voorspellen uit financiële teksten. Traditionele methoden, zoals Named Entity Recognition (NER) en tekstclassificatie, hebben echter moeite om de rijke semantiek en nuance in corporate disclosures (zoals winstconferenties) vast te leggen. Deze methoden neigen naar oppervlakkige woordovereenkomsten en missen vaak contextuele kwalificatoren.

Een specifiek fenomeen dat voorspellende waarde heeft, is het "Moving Targets"-effect: managers verschuiven strategisch hun nadruk naar andere prestatie-indicatoren (metrics) wanneer bepaalde cijfers slecht presteren. Traditionele NER-methoden kunnen deze verschuivingen onnauwkeurig meten omdat ze semantisch equivalente termen die anders worden geformuleerd (bijv. "omzetgroei" vs. "toename van de verkoop") niet als gelijkwaardig herkennen en context verliezen. De centrale vraag van dit paper is: kunnen Large Language Models (LLMs) semantische signalen uit corporate disclosures beter extraheren en gebruiken om alpha te voorspellen dan traditionele NER-baselines?

Methodologie

De auteurs introduceren een eenvoudig maar krachtig raamwerk genaamd "LLM as extractor, embedding as ruler" (LLM als extraherder, embedding als liniaal). Het proces bestaat uit twee hoofdfasen:

1. Extrahering (LLM als Extractor):

   • In plaats van statische patronen te gebruiken, wordt een pre-trained LLM (Gemini-2.5-Pro) ingezet om prestatie-indicatoren uit winstconferentie-transcripten te halen.
   • Het LLM behoudt contextuele kwalificatoren (bijv. "cloud-omzet Noord-Amerika" in plaats van alleen "omzet"), wat cruciaal is voor het onderscheiden van specifieke strategische focuspunten.

2. Semantische Vergelijking (Embedding als Liniaal):

   • Om te meten hoe metrics over tijd evolueren, worden de geëxtraheerde metrics geëncodeerd in een gedeelde vectorruimte met een tekst-encoder (text-embedding-3-large).
   • De auteurs berekenen de semantische gelijkenis (cosinus-similariteit) tussen metrics van het huidige kwartaal en die van hetzelfde kwartaal een jaar eerder.
   • Een piecewise-linear transformatie ($h(\cdot)$) wordt toegepast om ruis te filteren: lage gelijkenis wordt 0 (verloren metric), hoge gelijkenis wordt 1 (behouden metric).
   • De Moving Targets (MT) score wordt berekend als het percentage van de vorige metrics dat niet meer wordt benadrukt in het huidige kwartaal. Een hogere score impliceert een grotere strategische verschuiving.

Belangrijkste Bijdragen

• Nieuw Framework: Het introduceren van een hybride aanpak die de contextuele kracht van LLMs combineert met de meetbaarheid van embedding-based similariteit om dynamische veranderingen in tekst te kwantificeren.
• Superieure Datakwaliteit: Het aantonen dat LLM-extractie leidt tot een kwalitatief betere set van metrics (concrete bedrijfsindicatoren zoals "cash flow" en "marge") in vergelijking met NER, dat vaak oppervlakkige patronen (zoals "%", "range") extrahert.
• Empirisch Bewijs: Het leveren van robuust bewijs dat semantische verschuivingen, gemeten via LLMs, een sterkere voorspeller zijn voor toekomstige aandelenrendementen dan traditionele methoden.

Resultaten

De auteurs hebben hun methode getest op een dataset van S&P 100-bedrijven (januari 2010 - december 2024) en vergeleken met een recente NER-baseline (Cohen & Nguyen, 2024).

1. Portfolio-analyse:

   • Portefeuilles werden gevormd op basis van de MT-score (kopen van bedrijven met lage verschuiving, verkopen van bedrijven met hoge verschuiving).
   • De LLM-methode leverde een significant negatief spreidingsrendement (Q5-Q1) op van -0,41% (excess return) en een 5-factor alpha van -0,52% (statistisch significant op het 5%-niveau).
   • De NER-baseline presteerde veel slechter met een alpha van slechts -0,14% tot -0,18%, wat statistisch niet significant was.
   • De LLM-methode behaalde dus meer dan dubbel zoveel risicogewijzigde alpha dan de baseline.

2. Cross-sectionele Regressies (Fama-MacBeth):

   • Bij het voorspellen van de volgende maand's rendementen toonde de LLM-methode een significant negatieve coëfficiënt (-0,0370), wat bevestigt dat meer verschuiving leidt tot lagere toekomstige rendementen.
   • De NER-methode toonde geen significante voorspellende relatie (positieve, niet-significante coëfficiënt).

3. Kwalitatieve Analyse:

   • De verbetering komt voort uit het vermogen van LLMs om semantische equivalentie te herkennen (bijv. "sales growth" = "revenue increase") en contextuele beperkingen te behouden, terwijl NER vaak niet-metrische termen extrahert die ruis introduceren.

Betekenis en Conclusie

Dit paper demonstreert dat LLMs een robuust mechanisme bieden om evoluerende signalen in corporate disclosures te tracken. Door de beperkingen van traditionele NER-methoden (zoals het missen van context en het niet herkennen van synoniemen) te overwinnen, kunnen investeerders beter voorspellen welke bedrijven strategisch hun verhaal veranderen om slechte prestaties te maskeren.

De bevindingen suggereren dat semantische verschuivingen in managementcommunicatie een waardevol, maar tot nu toe onderbenut signaal zijn voor het genereren van alpha. Het voorgestelde raamwerk is niet alleen beperkt tot winstconferenties, maar kan ook worden toegepast op andere corporate documenten zoals jaarverslagen en aandeelhoudersbrieven. De auteurs wijzen wel op beperkingen, zoals de computerkosten die de analyse beperken tot grote bedrijven (S&P 100) en de afhankelijkheid van de kwaliteit van de gebruikte LLM-modellen.