Technische Samenvatting: Van Lang Nieuws naar Nauwkeurige Voorspelling

Probleemstelling

Het integreren van extern tekstueel bewijs, met name nieuws, in tijdreeksvoorspellingen is een veelbelovende aanpak om abrupte exogene gebeurtenissen (bijv. beleidswijzigingen, marktverklaringen) te vangen die historische numerieke gegevens alleen niet kunnen reflecteren. Bestaande Large Language Model (LLM)-gebaseerde pipelines kampen echter met twee kritieke beperkingen in realistische scenario's:

1. Beperkingen van het Contextvenster: Relevante nieuwsartikelen (bijv. transcripten van kwartaalcijfers, beleidsbriefings) overschrijden vaak de contextlimieten van voorspellingsmodellen. Naïve inkorting (truncation) verwerpt causale details, terwijl generieke samenvattingsmethoden niet geoptimaliseerd zijn voor het behoud van informatie die specifiek nuttig is voor voorspellingen.
2. Ongesuperviseerde Iteratieve Verfijning: Huidige iteratieve pipelines vertrouwen vaak op "blinde" aanvullende retrieval. Wanneer een reflectiesignaal aangeeft dat er informatie ontbreekt, wordt de daaropvolgende retrieval doorgaans zonder kwaliteitscontrole geaccepteerd. Dit leidt tot redundante updates, gevoeligheid voor ruis en een trage convergentie.

Methodologie

De auteurs stellen een nieuw framework voor dat offline verfijning (waar de grondwaarheid beschikbaar is) scheidt van online implementatie (inferentie). Het systeem bestaat uit vier hoofdcomponenten: een LLM-voorspellingsbackbone, een reasoning agent, een belang-bewuste fusiemodule en een Process Reward Model (PRM).

1. Belang-bewuste Fusie (Offline Training & Online Inferentie)

Om lange documenten aan te pakken, introduceert het framework een module die nieuws comprimeert op basis van de geschatte voorspellende bruikbaarheid in plaats van generieke belangrijkheid.

• Beloningsmodel ($R_\theta$): Een beloningsmodel wordt getraind om een belangrijkheidsscore $\rho \in [0, 1]$ voor elk artikel te schatten. Het supervisiesignaal wordt afgeleid door de voorspellings-RMSE te vergelijken wanneer een artikel agressief wordt gecomprimeerd versus licht gecomprimeerd.
• Sequentiële Paarsgewijze Fusie: Artikelen worden sequentieel verwerkt. De retentieratio voor elk artikel wordt bepaald door een monotone functie van zijn belangrijkheidsscore. Dit zorgt ervoor dat artikelen met een hoge bruikbaarheid meer informatie behouden binnen een vastgesteld contextbudget, terwijl inhoud met een lage bruikbaarheid agressiever wordt gecomprimeerd.
• Implementatie: Tijdens de inferentie worden het getrainde beloningsmodel en de fusielogica bevroren en deterministisch toegepast zonder iteratieve zoektocht.

2. PRM-gestuurde Aanvullende Nieuwsselectie (Alleen Offline Verfijning)

Om ongecontroleerde retrieval aan te pakken, vervangt het framework blinde updates door een kwaliteitsgecontroleerd rangschikkingsmechanisme.

• Process Reward Model (PRM): Een PRM wordt getraind om meerdere kandidaat-nieuwsartikelen te rangschikken op basis van hun verwachte bijdrage aan foutreductie. Het model neemt als input de huidige taakcontext, de geschiedenis van eerder geselecteerde artikelen en het kandidaat-artikel zelf.
• Trainings-traject: De PRM wordt getraind op offline trajecten waarbij de "winst" ($\Delta_t$) van het toevoegen van een kandidaat wordt gemeten als de reductie in validatie-RMSE. Het model leert de waarschijnlijkheid te voorspellen dat een kandidaat nuttig is ($P(\text{beneficial} | \dots)$).
• Verfijningslus: Tijdens de offline training genereert een reasoning agent een reflectie op ontbrekende informatie, haalt een pool van kandidaten op, en de PRM selecteert het artikel met de hoogste score om de nieuwsset bij te werken en de persistente filterlogica van de agent te verfijnen.
• Implementatie: Cruciaal is dat geen reflectielus of PRM-scoring plaatsvindt tijdens de online inferentie. Het systeem gebruikt de verfijnde filterlogica en de bevroren compressiemodules om nieuws op te halen en te verwerken in een enkele forward pass.

Belangrijkste Bijdragen

De paper vat de bijdragen als volgt samen:

• Formulering: Het formuleert nieuws-geaugmenteerde voorspelling als een offline-verfijnde pipeline die expliciet langere documentcompressie en ongecontroleerde aanvullende retrieval aanpakt.
• Belang-bewuste Fusie: Het stelt een module voor die nieuws-georiënteerde artikelbruikbaarheid leert om compressieratio's tijdens sequentiële paarsgewijze fusie aan te passen, wat de incorporatie van lang nieuws onder beperkte contextbudgetten mogelijk maakt.
• PRM-gestuurde Verfijning: Het introduceert een strategie voor aanvullende nieuwsselectie die een-staps retrieval vervangt door kandidaat-ranking op basis van procesniveau-supervisie uit foutgedreven trajecten.

Experimentele Resultaten

De methode werd geëvalueerd op vier domeinen: Elektriciteit, Bitcoin, Verkeer en Valuta (Exchange).

• Voorspellingsnauwkeurigheid: De voorgestelde methode behaalde de beste RMSE over alle vier de domeinen.
  • Bitcoin: Behaalde een RMSE van 886,58, een verbetering van 23,3% ten opzichte van de op één na beste baseline (LightGBM op 1156,65).
  • Exchange: Behaalde een RMSE van 5,86, waarmee de sterkste baseline (LightGBM op 7,09) met 17,3% werd overtroffen.
  • Elektriciteit & Verkeer: Toonden marginale verbeteringen, wat de auteurs toeschrijven aan de sterke periodiciteit en regelmaat van deze domeinen, waardoor ze minder gevoelig zijn voor externe nieuwsevenementen vergeleken met financiële markten.
• Convergentie-efficiëntie: De PRM-gestuurde selectie verminderde het aantal verfijningsiteraties dat nodig was om de doelnauwkeurigheid te bereiken aanzienlijk in vergelijking met naïeve selectie.
  • Gemiddelde Reductie: 24,8% minder stappen over alle domeinen.
  • Bitcoin: De meest significante verbetering, met een reductie van 37,6% in convergentiestappen.
• Ablatie-studies:
  • Het verwijderen van extern nieuws ("w/o News") veroorzaakte significante prestatieverslechtering, wat de waarde van exogene signalen bevestigt.
  • Het verwijderen van het beloningsmodel ("w/o Reward Model") leidde ook tot een verslechtering van de prestaties, wat aantoont dat ongeleide compressie ruis introduceert en cruciale voorspellende signalen verwerpt.

Betekenis en Claims

De paper claimt dat het framework effectief de kloof overbrugt tussen de behoefte aan rijke externe context en de beperkingen van de contextvensters van LLM's. Door de kostbare zoektocht en supervisie (offline) te ontkoppelen van de implementatie (online), bereikt het systeem een hoge nauwkeurigheid zonder de computationele overhead van iteratieve reflectie tijdens de inferentie.

De auteurs benadrukken dat hun aanpak bijzonder effectief is voor domeinen waar exogene gebeurtenissen de dynamiek drijven (bijv. financiën), terwijl ze erkennen dat voor zeer periodieke domeinen (bijv. verkeer) de marginale winsten kleiner zijn. Het werk positioneert zich als een oplossing voor de "bottleneck" van nieuws-geaugmenteerde voorspelling, specifiek gericht op de afweging tussen contextefficiëntie en taakrelevantie, en het risico op ruisige iteratieve updates. Toekomstig werk wordt voorgesteld om het framework uit te breiden naar multimodale data en grotere nieuwspools.