💰 quantitative finance

Learning to Aggregate Zero-Shot LLM Agents for Corporate Disclosure Classification

Dit artikel toont aan dat een lichtgewicht, getrainde aggregator die diverse zero-shot LLM-agenten combineert, de prestaties van individuele modellen en bestaande baselines voor de classificatie van corporate disclosures en het voorspellen van aandelenrendementen significant verbetert door de complementaire signalen en onenigheid tussen de agents effectief te benutten.

Oorspronkelijke auteurs: Kemal Kirtac

Gepubliceerd 2026-03-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kemal Kirtac

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme berg bedrijfsrapporten moet lezen. Elk rapport vertelt een verhaal over een bedrijf: hoeveel geld ze hebben verdiend, wat ze in de toekomst plannen, en welke risico's er zijn. Je wilt weten: zal de beurskoers van dit bedrijf morgen stijgen of dalen?

Vroeger moesten mensen deze rapporten één voor één lezen en interpreteren. Dat is veel werk. Vandaag de dag hebben we slimme computers (grote taalmodellen of "LLMs") die dit voor ons kunnen doen. Maar hier zit een probleem: deze computers zijn soms onvoorspelbaar. Als je ze op één manier vraagt om een rapport te lezen, zeggen ze misschien "geweldig!". Vraag je het op een andere manier, dan zeggen ze "gevaarlijk!". Ze zijn als drie verschillende experts die naar hetzelfde schilderij kijken, maar elk een heel ander verhaal vertellen.

Dit paper, geschreven door Kemal Kirtac, lost dit op met een slimme truc. Hier is hoe het werkt, vertaald naar een alledaags verhaal:

1. De Drie Expert-Adviseurs (De Agents)

In plaats van één computer te gebruiken, zet de auteur drie verschillende "virtuele adviseurs" aan het werk. Ze lezen allemaal exact hetzelfde rapport, maar elk heeft een andere bril op:

De "Vorige Prestaties"-Expert: Kijkt alleen naar wat er al gebeurd is. "Hebben ze meer winst gemaakt? Was de omzet hoger?"
De "Toekomstvisie"-Expert: Kijkt alleen naar wat er gaat gebeuren. "Wat zeggen ze over de volgende kwartalen? Is de toekomst rooskleurig?"
De "Risico-Expert": Kijkt naar de gevaren. "Zijn er rechtszaken? Zijn er problemen met de wet of liquiditeit?"

Elke expert geeft een oordeel (positief, neutraal of negatief), een mate van zekerheid (hoe zeker is hij?) en een korte reden.

2. Het Probleem: Ze zijn het oneens

Soms zeggen ze het tegenovergestelde.

Voorbeeld: Een bedrijf heeft dit jaar superveel winst gemaakt (De Vorige Prestaties-Expert is blij), maar waarschuwt dat de volgende jaren moeilijk worden (De Toekomstvisie-Expert is bang).
Als je nu gewoon "meerderheidswet" toepast (wie heeft er het meeste gelijk?), of als je kijkt naar wie het zekerst is, mis je vaak de nuance. De beurs reageert namelijk op het geheel van deze tegenstrijdige signalen.

3. De Oplossing: De Slimme Regisseur (De Aggregator)

Hier komt de echte innovatie. De auteur bouwt geen nog slimmere computer die het rapport zelf leest. Nee, hij bouwt een kleine, slimme regisseur (een "aggregator").

Deze regisseur kijkt niet naar het rapport zelf, maar naar wat de drie experts zeggen:

"Ah, de Risico-Expert is bang, maar de Vorige Prestaties-Expert is heel zeker van zijn positieve verhaal. De Toekomstvisie-Expert twijfelt."
De regisseur leert uit de geschiedenis: "Wanneer experts zo tegenstrijdig zijn, gaat de beurskoers vaak omhoog of omlaag?"

De regisseur leert dus hoe je met meningsverschillen om moet gaan. Hij leert dat een meningsverschil niet per se een fout is, maar juist een belangrijk signaal dat de markt moet interpreteren.

Waarom is dit zo goed?

De resultaten tonen aan dat deze regisseur veel beter presteert dan:

Een enkele expert alleen.
Een simpele stemming (meerderheidswet).
Zelfs een zeer bekende, gespecialiseerde financiële computer (FinBERT).

De creatieve metafoor:
Stel je voor dat je een team van drie detectives hebt die een moordzaak oplossen.

Detective A kijkt alleen naar het wapen.
Detective B kijkt alleen naar de motieven.
Detective C kijkt alleen naar de getuigen.

Als ze het oneens zijn, is dat niet per se slecht. Het betekent dat er een complex verhaal is. Een simpele "meerderheidswet" zou zeggen: "Twee vinden het onschuldig, dus hij is onschuldig." Maar de Slimme Regisseur (de aggregator) ziet: "Detective B is heel zeker van zijn motief, maar Detective A twijfelt aan het wapen. In het verleden betekende deze specifieke combinatie van twijfel en zekerheid dat de dader toch schuldig was."

De regisseur gebruikt de onenigheid zelf als bewijsmateriaal.

De Conclusie in het Kort

Dit onderzoek laat zien dat je niet hoeft te wachten tot je een computer hebt die alles perfect begrijpt. Je kunt in plaats daarvan een team van gespecialiseerde, "ongetrainde" computers gebruiken en een slimme regisseur erbovenop zetten die leert hoe hij hun verschillende (en soms tegenstrijdige) meningen moet samenvoegen.

Voor beleggers en analisten betekent dit: Meningsverschillen tussen slimme computers zijn geen ruis, maar een waardevol signaal. Door deze meningsverschillen slim te combineren, kun je de toekomst van een beurskoers beter voorspellen dan door te vertrouwen op één enkele mening.

Probleemstelling

Het artikel adresseert een fundamenteel probleem in de toepassing van Large Language Models (LLM's) op financiële teksten, specifiek bij het classificeren van corporate disclosures (bedrijfsopenbaringen).

Instabiliteit van Zero-Shot LLM's: Hoewel zero-shot LLM's (modellen zonder taak-specifieke fijne afstemming) tekst kunnen analyseren, variëren hun voorspellingen sterk afhankelijk van de prompt, de redeneerstijl en het modelgezin.
Complexiteit van Financiële Teksten: Bedrijfsopenbaringen bevatten vaak tegenstrijdige signalen (bijvoorbeeld sterke gerealiseerde winsten gecombineerd met een verzwakte toekomstvisie of juridische risico's). Een enkele prompt neigt vaak om één aspect te overbelichten, wat leidt tot een onvolledig beeld.
De Kernvraag: Kan men de onenigheid (disagreement) tussen meerdere zero-shot agents gebruiken als een waardevol kenmerk in plaats van als een zwakte, om zo een robuustere classificatie te bereiken voor de voorspelling van de volgende handelsdagbeursrendementen?

Methodologie

De auteur presenteert een multi-agent framework dat bestaat uit drie componenten:

Drie Zero-Shot Agents:
Elk agent leest dezelfde openbaringstekst maar met een specifieke financiële lens (prompt):
- Performance Agent: Focus op gerealiseerde operationele prestaties (winst, omzet, marges).
- Guidance Agent: Focus op toekomstvisie, managementuitzichten en herzieningen van verwachtingen.
- Risk Agent: Focus op onzekerheid, juridische zaken, regulering, liquiditeit en neerwaartse risico's.
- Output: Elke agent genereert een sentimentlabel (-1, 0, +1), een betrouwbaarheidsscore (confidence, 0-1) en een korte redenering (rationale) in JSON-formaat.
- Modellen: Er wordt gebruikgemaakt van een pool van modellen (Qwen2.5-3B, Llama-3.2-3B, Qwen2.5-72B), waarbij de framework model-onafhankelijk is.
Aggregatie en Feature Extractie:
De output van de drie agents wordt omgezet in een feature-vector $z(x)$ voor een meta-classifier. Deze vector bevat:
- De drie labels en betrouwbaarheidsscores.
- Het meerderheidslabel en de telling van positieve/neutrale/negatieve labels.
- Het aantal instemmende agents.
- De "confidence gap" tussen de twee meest betrouwbare agents.
- Interactie-features die aangeven welk type agent (performance, guidance, risk) het meest betrouwbaar is.
Meta-Classifier (Aggregator):
- Een logistische regressie (met L2-regularisatie) fungeert als meta-classifier.
- Belangrijk: De onderliggende LLM's worden niet gefinetuned. Alleen de aggregatielaag wordt getraind. Dit maakt het systeem data-efficiënt en interpreteerbaar.
- Doel: Het voorspellen van de richting van het aandelenrendement op de volgende handelsdag ( $y_t = \mathbb{I}(r_{t+1} > 0)$ ).
Benchmarks:
Het systeem wordt vergeleken met:
- Individuele agents.
- Meerderheidsstemming (Majority Vote).
- Gewogen stemming op basis van vertrouwen (Confidence-weighted voting).
- Een gespecialiseerd FinBERT-baseline.

Dataset en Experimenteel Opzet

Data: 18.420 Amerikaanse bedrijfsopenbaringen van Nasdaq en S&P 500 bedrijven (2018-2024).
Verdeling: Chronologische splitsing in 60% training, 20% development en 20% test (om informatielekken te voorkomen).
Preprocessing: Tekst wordt gestandaardiseerd (kleine letters voor tickers, witruimte normalisatie), maar financiële termen en cijfers blijven behouden omdat ze voorspellende waarde hebben.
Determinisme: Alle inferenties worden uitgevoerd met vaste seeds en decoding-parameters (temperatuur=0) om reproduceerbaarheid te garanderen.

Resultaten

De resultaten tonen aan dat de getrainde aggregator significant beter presteert dan alle baselines:

Algemene Prestatie: De getrainde aggregator bereikt een Balanced Accuracy van 0.612, vergeleken met 0.561 voor de beste individuele agent (Guidance agent) en 0.544 voor FinBERT.
Vergelijking met Baselines:
- De aggregator verslaat zowel meerderheidsstemming (0.573) als vertrouwen-gewogen stemming (0.584).
- Dit suggereert dat het leren van wanneer een agent te vertrouwen is, beter werkt dan statische regels.
Analyse per Overeenkomstssituatie:
- Eenduidige signalen: Wanneer alle drie agents het eens zijn, is de winst van de aggregator marginaal.
- Conflicterende signalen: De grootste winst wordt geboekt bij "2-1 splits" en hoge conflicten. Hier verbetert de Balanced Accuracy van 0.517 (Majority Vote) naar 0.581 (Aggregator).
- Interpretatie: De aggregator leert om conflicterende signalen (bijv. sterke winst vs. juridisch risico) te wegen op basis van de betrouwbaarheidsscores en het patroon van onenigheid.
Kwalitatieve Voorbeelden: De aggregator slaagt er beter in om gevallen te classificeren waar een "beat" (winstoverschrijding) gecombineerd wordt met "weak guidance", of waar groei wordt gecombineerd met juridische risico's. Individuele agents neigen hier vaak te zwaar te wegen op het aspect dat in hun prompt staat.

Belangrijkste Bijdragen

Compact Multi-Agent Setup: Introductie van een efficiënte zero-shot framework voor financiële classificatie zonder het finetunen van grote taalmodellen.
Aggregatie als Signal: Bewijs dat een getrainde aggregator out-of-sample prestaties verbetert ten opzichte van simpele stemregels en individuele agents.
Omgaan met Onenigheid: De studie toont aan dat onenigheid tussen agents geen ruis is, maar een informatief signaal dat helpt bij het classificeren van complexe, gemengde financiële teksten.

Significantie en Conclusie

Het artikel biedt een praktische en schaalbare oplossing voor financiële tekstanalyse in een omgeving waar hoogwaardige gelabelde data schaars of duur is.

Efficiëntie: Het systeem is lichtgewicht en vereist geen dure training van de basis-LLM's.
Interpreteerbaarheid: Door alleen de aggregatielaag te trainen, blijft het systeem transparant en vergelijkbaar met traditionele stemmethoden.
Toepassing: Het framework is bij uitstek geschikt voor real-world financiële toepassingen waar grote hoeveelheden tekst beschikbaar zijn, maar waar het labelen van sentiment door mensen te kostbaar is.

De conclusie is dat supervised aggregation van diverse zero-shot oordelen een sterkere classificatiesignaal oplevert dan welke individuele agent of simpele regel ook, vooral wanneer de onderliggende tekst complexe, tegenstrijdige informatie bevat.