FinAnchor: Aligned Multi-Model Representations for Financial Prediction

Titel: FinAnchor: Gelijkgerichte Multi-Model Representaties voor Financiële Voorspelling

Auteurs: Zirui He, Huopu Zhang, Yanguang Liu, Sirui Wu, Mengnan Du (NJIT, Georgia Tech, CUHK Shenzhen)

---

1. Het Probleem

Financiële voorspelling op basis van lange documenten (zoals transcripties van winstconferenties, regelgevende openbaarmakingen en beleidscommunicatie) staat voor aanzienlijke uitdagingen:

• Zeldzame Signalen: Actievere signalen zijn vaak schaars en verdoezeld door ruis, standaardtekst en terugkerende discussiepatronen.
• Instabiliteit van LLM's: De optimale Large Language Model (LLM) voor het genereren van embeddings varieert per taak en tijdsperiode. Verschillende LLM's kunnen dezelfde lange financiële tekst interpreteren via verschillende inductieve bias, waardoor ze verschillende bewijsstukken benadrukken en uiteenlopende voorspellingen leveren.
• Incompatibiliteit: Het direct aggregeren van embeddings van verschillende modellen is problematisch omdat deze in heterogene coördinatenstelsels bestaan, wat leidt tot onstabiele of verslechterde prestaties.

2. Methodologie: FinAnchor

De auteurs stellen FinAnchor (Financial Anchored Representations) voor, een lichtgewicht framework dat embeddings van meerdere LLM's integreert zonder de onderliggende modellen te finetunen.

Kerncomponenten:

1. Selectie van een Anker (Anchor): Eén encoder (bijv. Gemma-2-9B) wordt geselecteerd als het "anker"-ruimte. Dit dient als gemeenschappelijk coördinatenstelsel.
2. Lineaire Alignering: Voor elke andere bron-encoder wordt een lichte lineaire mapping (ridge regressie) geleerd om de embeddings van de bron naar het anker-ruimte te projecteren.
   • Dit gebeurt uitsluitend op de trainingsset.
   • De formule is: $W_m = \arg \min_W \| \tilde{X}^{(m)}W - \tilde{X}^{(a)} \|_F^2 + \alpha \|W\|_F^2$, waarbij $\tilde{X}$ gestandaardiseerde features zijn.
   • De kwaliteit van deze alignering wordt gemeten met de $R^2$-coëfficiënt op de trainingsset.
3. Aggregatie: Na alignering worden alle representaties (het anker zelf en de geprojecteerde bronnen) samengevoegd in het anker-ruimte, bijvoorbeeld door het gemiddelde te nemen.
4. Lightweight Readout: Een kleine classifier (bijv. een MLP) wordt getraind op deze geaggregeerde, uitgelijnde representaties voor de uiteindelijke voorspelling.

Voordeel: De methode behoudt de auditbaarheid, heeft een lage trainings- en inferentie-overhead, en maakt systematisch hergebruik van meerdere vooraf getrainde encoders mogelijk.

3. Experimentele Opzet

De methode werd geëvalueerd op vijf financiële NLP-taken met tijdsgesplitste datasets (train/validatie/test) om generalisatie over de tijd te testen:

• Earnings Surprise Prediction: Voorspellen van winstverrassingen op basis van transcripties, 10-Q rapporten en nieuwsartikelen.
• Stock Movement Prediction: Voorspellen van de aandelenkoersbeweging (op of neer) na een winstconferentie.
• FOMC Stance Classification: Classificeren van de monetaire beleidsstandpunt (duifachtig, havikachtig, neutraal) van de Federal Open Market Committee.

Baselines: De prestaties werden vergeleken met:

• Zero-shot en Few-shot prompting (Gemma 3).
• Gespecialiseerde lange-document modellen (Longformer, Hierarchical FinBERT).
• Single-LLM representaties zonder alignering.

4. Belangrijkste Resultaten

FinAnchor overtreft consequent sterke single-model baselines en standaard ensemble-methoden:

• Algemene Prestaties: FinAnchor behaalde de hoogste Accuracy en F1-scores op alle vijf de datasets. Bijvoorbeeld, op de "Conference Call" dataset steeg de Accuracy van 0.772 (FinBERT) naar 0.787 (FinAnchor).
• Robuustheid: Zelfs op uitdagende taken met zwakkere signalen (zoals Stock Movement en FOMC), behaalde FinAnchor de beste resultaten.
• Error Overlap: Analyse toonde aan dat verschillende modellen verschillende fouten maken (overlap van fouten ligt rond de 0.78-0.84, niet 1.0). Dit bevestigt dat er complementaire informatie beschikbaar is die door alignering kan worden benut.
• Beslissingsovergangen: De alignering zorgt voor asymmetrische correcties. Vooral het verminderen van False Positives (foute "opwaartse" signalen) werd opgemerkt, wat cruciaal is voor risicobeheer in de financiële sector.
• Betrouwbaarheid: De verbeteringen worden gedreven door een systematische verschuiving van de waarschijnlijkheid naar het juiste label (confidentie-shift), niet door willekeurige ruis.

5. Interpretatie en Case Study

• Lineaire Compatibiliteit: De hoge $R^2$-waarden (0.97-0.98) tonen aan dat de geometrische structuur van verschillende LLM's compatibel is en dat een eenvoudige lineaire transformatie voldoende is om ze uit te lijnen.
• Evidentie Herweging: In een case study bleek dat FinAnchor financiële cues (zoals marge-druk en voorraadopbouw) die door een enkel model (Gemma) werden genegeerd of ondergewaardeerd, sterk versterkte. Dit leidde tot het corrigeren van een foutieve voorspelling van "stijging" naar "daling".

6. Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. Nieuw Framework: Introductie van een lichtgewicht, niet-finetuned framework voor het combineren van heterogene LLM-representaties in een gedeelde anker-ruimte.
2. Systematische Evaluatie: Uitgebreide evaluatie op meerdere financiële taken met tijdsgesplitste data, wat de praktische bruikbaarheid voor out-of-time generalisatie aantoont.
3. Interpreteerbaarheid: Gedetailleerde analyses die aantonen dat de prestatiewinsten voortkomen uit het corrigeren van specifieke fouten en het versterken van complementair semantisch bewijs, in plaats van toeval.

Conclusie:
FinAnchor biedt een praktische en effectieve oplossing voor het probleem van instabiliteit bij het gebruik van LLM's in de financiële sector. Door verschillende perspectieven systematisch uit te lijnen, kan het framework robuustere en betrouwbaardere voorspellingen genereren dan enige enkelvoudige modelbenadering, zonder de complexiteit van het finetunen van grote modellen.