💬 NLP

Relational Probing: LM-to-Graph Adaptation for Financial Prediction

Dit paper introduceert 'Relational Probing', een methode die taalmodel-verborgen toestanden direct omzet in relationele grafieken voor aandelenvoorspelling, waardoor de prestaties worden verbeterd en de afhankelijkheid van autoregressieve decoding wordt doorbroken.

Oorspronkelijke auteurs: Yingjie Niu, Changhong Jin, Rian Dolphin, Ruihai Dong

Gepubliceerd 2026-04-14

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yingjie Niu, Changhong Jin, Rian Dolphin, Ruihai Dong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

📰 De Grote Uitdaging: De Markt is een Chaos van Geruchten

Stel je voor dat de beurs een enorme, drukke markt is waar duizenden mensen tegelijkertijd roepen, fluisteren en schreeuwen. Sommige mensen praten over Apple, anderen over Tesla. Soms zeggen ze: "Kijk, Tesla heeft een nieuw product!" en soms: "Apple heeft een probleem."

De oude manier om te voorspellen welke aandelen stijgen of dalen, was als volgt:

Statische lijsten: Je nam een statische lijst (bijvoorbeeld: "Alle auto-bedrijven zitten in dezelfde sector"). Dit is als een oude telefoonlijst uit 1990. Het werkt niet meer goed als de wereld verandert.
Nieuws lezen met een AI: Je liet een slimme computer (een taalmodel) de nieuwsartikelen lezen en vragen stellen zoals: "Zijn Tesla en Apple vandaag verbonden?"
- Het probleem: De computer moet dit in volledige zinnen antwoorden (zoals een mens). Dan moet je die antwoorden weer terugvertalen naar een lijstje. Dit is traag, duur en vaak onnauwkeurig. Alsof je een kok vraagt om een gerecht te beschrijven in een gedicht, en jij moet dat gedicht dan weer terugvertalen naar een recept.

💡 De Oplossing: "Relational Probing" (De Directe Telepathie)

De auteurs van dit paper hebben een nieuwe manier bedacht, genaamd Relational Probing.

Stel je voor dat je in plaats van een kok die een gedicht schrijft, een telepathische verbinding maakt tussen de nieuwsartikelen en de aandelen.

De Slimme Vertaler (Het Taalmodel): De computer leest het nieuws. In plaats van een antwoord in tekst te geven, kijkt hij direct naar zijn eigen "gedachten" (de interne getallen die hij gebruikt om te begrijpen wat er gebeurt).
De Directe Schakel (De Relation Head): In plaats van een zinnen te genereren, heeft de computer nu een speciale knop (de "Relation Head"). Als hij ziet dat het nieuws over Tesla en Apple gaat, schakelt hij direct een lampje aan tussen die twee aandelen op een groot bord.
- Geen tekst, geen wachten, geen vertalen. Gewoon direct: Tesla <-> Apple = Verbonden.
Het Spelbord (Het Grafiek): Dit bord is een dynamisch netwerk. Als het nieuws verandert, veranderen de verbindingen direct.
De Voorspeller (De GAT): Een tweede slimme machine (een voorspeller) kijkt naar dit bord en zegt: "O, Tesla en Apple zijn sterk verbonden en bewegen samen. Als de ene valt, zal de andere waarschijnlijk ook zakken."

🏗️ Waarom is dit zo slim? (De Vergelijking)

De Oude Weg (Prompting): Het is alsof je een tolk vraagt om een gesprek tussen twee mensen te vertalen naar een schriftelijk verslag, en jij moet dat verslag dan weer lezen om te beslissen wat je doet. Dat kost tijd en er gaan details verloren.
De Nieuwe Weg (Relational Probing): Het is alsof de twee mensen direct in elkaars hoofd kunnen kijken en je ziet direct of ze een klik hebben. Geen vertaling nodig, geen vertraging.

🧪 Wat hebben ze ontdekt?

De onderzoekers hebben dit getest met verschillende maten van "kleine" slimme computers (zogenoemde SLMs, die op één gewone computerkaart passen).

Resultaat: Hun nieuwe methode werkt veel beter dan de oude manier (waarbij ze gewoon keken welke woorden vaak samen voorkwamen).
De "Kleine" Reuzen: Zelfs met de kleinste versies van hun AI (Qwen3-0.6B) kregen ze betere voorspellingen dan met de oude methoden.
Diminishing Returns: Als je de AI groter maakt (van 1,7 miljard naar 4 miljard parameters), wordt het iets beter, maar niet veel beter. Het is alsof je van een fiets naar een scooter gaat: dat is een groot verschil. Maar van een scooter naar een racefiets? Dat is minder indrukwekkend als je al snel genoeg bent.

🎯 De Belangrijkste Les

De kernboodschap is: We hoeven AI niet te laten praten om te begrijpen.

In plaats van te vragen: "Wat is de relatie tussen deze bedrijven?" (en te wachten op een tekstantwoord), laten we de AI direct de structuur van de relatie "voelen" en doorgeven aan de voorspeller. Dit maakt het sneller, goedkoper en nauwkeuriger.

Het is alsof je van een tolk afstapt en direct met de mensen in de kamer communiceert via een draadloze verbinding. De boodschap komt sneller en zuiverer aan.

Probleemstelling

De voorspelling van aandelenmarkten wordt niet alleen bepaald door de eigen dynamiek van een aandeel, maar ook door de onderlinge relaties tussen verschillende bedrijven. Bestaande methoden voor het construeren van deze relaties (bijv. op basis van sector, eigendom of statische co-occurrence in nieuws) zijn vaak verouderd, statisch en ruisgevoelig in dynamische markten.

Hoewel Taalmodellen (LM's) uitstekend zijn in het extraheren van relaties uit tekst, lijden huidige aanpakken op twee belangrijke gebieden:

Efficiëntie en Latentie: Prompt-gebaseerde pipelines die gestructureerde output (zoals graafstructuren) genereren via autoregressieve decoding, zijn traag en kostbaar.
Decoupling: Het construeren van de graaf en het trainen van het downstream voorspellingsmodel worden vaak als gescheiden stappen behandeld. Dit zorgt ervoor dat de geïnduceerde graaf niet optimaal is afgestemd op de uiteindelijke voorspellingsdoelstelling.
Fragiliteit: LLM's zijn vaak kwetsbaar bij het volgen van complexe instructieformaten, wat leidt tot fouten in de graafconstructie.

Methodologie: Relational Probing

De auteurs stellen Relational Probing voor, een end-to-end framework dat een upstream taalmodel koppelt aan een downstream Graph Attention Network (GAT) voor financiële trendvoorspelling. In plaats van tekst te genereren, wordt de standaard taalmodel-head vervangen door een lichte Relation Head (RH).

Het proces verloopt in drie fasen:

News Encoding: Nieuwsartikelen worden getokeniseerd en geëncodeerd door het taalmodel (LM) om contextuele token-representaties ( $H$ ) te produceren.
Relation Induction (De Relation Head):
- De RH leertable ticker-embeddings (voor elk aandeel) die via scaled dot-product attention letten op de token-states van het nieuws.
- Deze nieuws-geconditioneerde embeddings worden verwerkt via een bilineaire afbeelding om interactiescores tussen paren tickers te berekenen.
- Deze scores worden geaggregeerd per dag en gethresholded om een adjacentiematrix (de graaf) te vormen.
- Cruciaal: Deze graaf wordt direct gegenereerd uit de hidden states van het LM, zonder autoregressieve tekstgeneratie.
Downstream Prediction: Een GAT gebruikt de gegenereerde graaf (knooppunten met historische handelsdata en randen met gewichten) om de trend van het volgende tijdstip te voorspellen.

Joint Training: De Relation Head en de GAT worden gezamenlijk getraind. De gradiënten van de voorspellingsfout (cross-entropy loss) worden teruggepropageerd via de GAT naar de Relation Head en uiteindelijk naar het taalmodel. Hierdoor leert het systeem direct welke semantische relaties in de tekst relevant zijn voor de financiële voorspelling.

Definitie van Small Language Models (SLM):
Om reproduceerbaarheid te waarborgen, definiëren de auteurs SLM's operationeel als modellen die volledig kunnen worden fijngefineerd (end-to-end) op één enkele GPU met 24GB VRAM onder specifieke batch- en sequentielengte-begrenzingen.

Belangrijkste Bijdragen

Generalisatie van Linear Probing: De auteurs generaliseren linear probing naar "Relational Probing". Dit is een leerbare head die hidden states direct omzet in relationele grafen, zonder noodzaak voor constrained decoding of post-hoc parsing.
Gemeenschappelijke Training: De relationele structuur wordt niet losjes gekoppeld, maar geoptimaliseerd in combinatie met de downstream taak, wat leidt tot graafstructuren die beter aligned zijn met de voorspellingsdoelstelling.
Operationalisatie van SLM's: Het paper biedt een gestandaardiseerde definitie en benchmark voor SLM's (gebruikmakend van de Qwen3-familie: 0.6B, 1.7B, en 4B parameters) om vergelijkingen te controleren voor architecturale verschillen.

Resultaten

De experimenten zijn uitgevoerd op een dataset met financiële nieuwsartikelen en aandelenhandeldata, met een taak van drie klassen (stijgend, dalend, neutraal).

Prestatieverbetering: Relational Probing presteert consistent beter dan een baseline gebaseerd op simpele co-occurrence (het samen voorkomen van woorden).
- Met Qwen3-0.6B steeg de Macro F1-score van 0.2831 (co-occurrence) naar 0.3171.
- De Matthews Correlation Coefficient (MCC) verbeterde van 0.0143 naar 0.0312.
Schaalbaarheid: Er is een positieve correlatie tussen de grootte van het SLM en de prestaties, hoewel er afnemende meeropbrengsten zijn.
- Qwen3-4B behaalde de beste scores (Accuracy: 0.5705, Macro F1: 0.3272, MCC: 0.0562).
Ablatie-studie:
- De "Full" attention-mechanisme (die alle nieuwsinformatie gebruikt) presteerde beter dan beperkte versies ("Limited" alleen op genoemde tickers) of eenvoudige pooling.
- Het gebruik van gegenereerde tokens (Input+Gen) in plaats van alleen input-tokens (Input-only) leverde geen significante winst op en verhoogde de rekentijd aanzienlijk.

Betekenis en Conclusie

Het paper demonstreert dat het direct induceren van relationele grafen uit de hidden states van taalmodellen een efficiëntere en effectievere aanpak is dan traditionele prompt-gebaseerde pipelines voor financiële voorspelling.

Efficiëntie: Het elimineert de overhead van autoregressieve decoding en het risico van formatfouten bij het parsen van tekst.
Kwaliteit: De gegenereerde grafen zijn semantisch onderbouwd en minder ruisgevoelig dan statische of co-occurrence-grafen.
Praktijktoepasbaarheid: De methode werkt effectief met relatief kleine modellen (SLM's) die op standaard hardware (één GPU) kunnen worden getraind, wat de toegankelijkheid voor onderzoek en toepassing vergroot.

De auteurs concluderen dat Relational Probing een brug slaat tussen ongestructureerde tekst en gestructureerde graafvoorspelling, waarbij de graafconstructie direct wordt geoptimaliseerd voor de uiteindelijke financiële taak.