🤖 AI

Inferring Events from Time Series using Language Models

Dit artikel introduceert een nieuwe benchmark en een geautomatiseerde methode voor taakgeneratie om het vermogen van Large Language Models om natuurlijke taalgebeurtenissen uit tijdreeksgegevens af te leiden te evalueren, waarbij wordt aangetoond dat zelfs minimale context verrassend succes oplevert en dat het combineren van distillatie met Reinforcement Learning kleinere modellen in staat kan stellen om de prestaties van grote, propriëtaire redeneermodellen te evenaren.

Oorspronkelijke auteurs: Mingtian Tan, Mike A. Merrill, Zack Gottesman, Tim Althoff, David Evans, Tom Hartvigsen

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mingtian Tan, Mike A. Merrill, Zack Gottesman, Tim Althoff, David Evans, Tom Hartvigsen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar een sportwedstrijd op tv kijkt, maar de commentator is stilgevallen. Je ziet alleen een enkel getal op het scherm: de kans dat Team A wint. Het getal gaat omhoog en omlaag als een hartslag.

Wanneer het getal omhoog springt, weet je dat er iets goeds is gebeurd voor Team A (zoals een basket) of iets slechts voor Team B (zoals een fout).
Wanneer het getal naar beneden stort, is het tegenovergestelde gebeurd.

Dit paper stelt een fascinerende vraag: Kan een superintelligente computer (een Large Language Model) naar die wiebelende lijn met getallen kijken en precies raden wat er in de wedstrijd is gebeurd, zelfs als hij de spelers niet kan zien?

Hier is het verhaal van hoe ze dit hebben getest, met behulp van eenvoudige analogieën.

1. Het "Blinde Detective"-spel

De onderzoekers bouwden een gigantisch puzzelspel genaamd GAMETIME. Ze namen duizenden echte basketbal- en American football-wedstrijden.

De aanwijzing: Ze verstopten de verslaglegging van de acties (de gebeurtenissen) en lieten alleen de "Win Probability"-lijn zien.
De taak: Ze gaven de computer vier mogelijke verhalen over wat er tijdens een specifieke tijd is gebeurd.
- Verhaal A: "Team A scoorde een driepunter."
- Verhaal B: "Team B miste een schot."
- Verhaal C: "Een speler vroeg een time-out aan."
- Verhaal D: "De scheidsrechter wierp een vlag."
Het doel: De computer moest het verhaal kiezen dat overeenkwam met de wiebelende lijn van getallen.

2. De Resultaten: Wie had het goed?

Ze testten 18 verschillende "hersenen" (AI-modellen) om te zien wie het mysterie het beste kon oplossen.

De "Redeneer"-kampioenen: Sommige AI's zijn gebouwd om diep na te denken voordat ze antwoorden (zoals een leerling die diep ademhaalt en een wiskundeprobleem stap voor stap oplost). Deze modellen, zoals OpenAI's o1 en DeepSeek-R1, waren de detectives. Ze hadden ongeveer 83% van de antwoorden goed. Ze konden naar een plotselinge piek in de winstkans kijken en zeggen: "Ah, dat moet een grote score zijn!"
De "Snelle Praters": Andere modellen zijn geweldig in chatten, maar stoppen niet altijd om diep na te denken. Zij hadden het moeilijker en hadden ongeveer 40% goed.
Het "Klein Brein" Wonder: Het meest verrassende deel? Ze namen een klein, goedkoop model (Qwen 1.5B) dat aanvankelijk verschrikkelijk was (scorend nabij willekeurig gokken). Ze gaven het een "tutor" (een proces genaamd distillatie) om te leren hoe het moet denken, en lieten het vervolgens oefenen met een beloningssysteem (Reinforcement Learning).
- De Analogie: Stel je een leerling voor die nauwelijks kan lezen. Je geeft hem een tekstboek van een genie, en laat hem vervolgens oefentoetsen maken waarbij hij een gouden ster krijgt voor elke juiste stap. Plotseling begint die kleine leerling de grote, dure modellen te verslaan! Ze gingen van de slechtste naar bijna de beste.

3. De "Niet Spieken"-regel

Om er zeker van te zijn dat de computers niet gewoon aan het spieken waren door spelersnamen te onthouden (bijv. weten dat "LeBron James" meestal scoort), hebben de onderzoekers de data schoongemaakt.

In plaats van "LeBron" schreven ze "Speler A".
In plaats van "Lakers" schreven ze "Team B".
Het resultaat: Zelfs zonder te weten wie de spelers waren, konden de slimste modellen de gebeurtenissen nog steeds achterhalen door alleen naar de getallen te kijken. Dit bewijst dat ze daadwerkelijk redeneerden over oorzaak en gevolg, en niet alleen gokten op basis van beroemde namen.

4. Werkt het ook buiten de sport?

De onderzoekers vroegen: "Kan dit ook voor andere dingen werken, zoals aandelenkoersen of het weer?"
Ze testten de modellen op cryptoprijzen, griepcijfers en benzineprijzen.

De bevinding: Ja! Zelfs toen ze alle getallen uit de nieuwsberichten verwijderden (zodat de AI niet simpelweg een prijs aan een koptekst kon koppelen), konden de slimme modellen nog steeds het juiste verhaal raden over wat er was gebeurd. Ze leerden het patroon van hoe gebeurtenissen getallen veranderen, niet alleen de specifieke getallen zelf.

5. De "Overdenkers"-valstrik

Het paper vond ook een grappig gebrek in hoe deze computers denken.

Te weinig nadenken: Sommige modellen gokten te snel. Ze zagen een getal omhoog gaan en kozen onmiddellijk een "goed" evenement zonder te controleren of het wel logisch was. Dit is als "door de toets heen rennen".
Te veel nadenken: Andere modellen kwamen in een lus vast te zitten. Ze dachten: "Wacht, misschien gebeurde dit... nee, wacht, misschien dat..." en praattenden zo lang tegen zichzelf dat ze in de war raakten en het foute antwoord kozen.
De "Sweet Spot": De beste prestaties werden geleverd wanneer het model precies de juiste hoeveelheid tijd nadacht—ongeveer 1.400 woorden aan interne redenering.

De Kernboodschap

Dit paper laat zien dat AI steeds beter wordt in het zijn van een vertaler tussen getallen en verhalen. Het kan naar een grafiek van gegevens kijken en je het narratief vertellen dat erachter zit.

Het belangrijkste is dat ze bewezen hebben dat je geen enorme, dure supercomputer nodig hebt om dit te doen. Als je een klein, goedkoop model neemt en het leert hoe het moet denken (met de "tutor" en "oefentoets"-methode), kan het een meesterdetective worden, bijna net zo goed als de duurste modellen op de markt.

Technische Samenvatting: Het afleiden van gebeurtenissen uit tijdreeksen met behulp van taalmodellen

Probleemdefinitie

Het artikel adresseert een gat in het huidige onderzoek naar Large Language Models (LLM's) met betrekking tot het vermogen om te redeneren over natuurlijke taalgebeurtenissen die geassocieerd zijn met numerieke tijdreeksgegevens. Waar eerder werk zich richtte op het gebruik van tekst om tijdreeksvoorspelling te ondersteunen of het analyseren van tijdreeksen in isolatie (bijv. trendanalyse, anomaliedetectie), bestaan er weinig benchmarks voor het afleiden van de sequentie van gebeurtenissen die de variaties in een tijdreeks hebben veroorzaakt of ermee correleren. De auteurs definiëren de taak als het afleiden van niet-geobserveerde beschrijvingen van gebeurtenissen op basis van een sequentie van tijdgestempelde reële gegevens (bijv. winstkansen) en gedeeltelijke context, waarbij het model de gebeurtenissequentie moet selecteren die het meest consistent is met de numerieke fluctuaties.

Methodologie

Dataset en Benchmark Generatie

De auteurs introduceren GAMETIME, een dataset bestaande uit 4.200 wedstrijden uit de NBA en NFL, met in totaal 1,7 miljoen datapunten.

Databron: De numerieke tijdreeks bestaat uit winstkansen (geschat door de propriëtaire modellen van ESPN) die fluctueren als reactie op in-game gebeurtenissen. De gebeurtenisbeschrijvingen zijn afgeleid van play-by-play data (bijv. scoren, fouten, turnovers).
Taakformulering: De evaluatie is geformuleerd als een meerkeuzevraag. Het model krijgt een segment van de tijdreeks (winstkansen) voorgelegd en moet de juiste sequentie van gebeurtenissen selecteren uit vier opties.
Contaminatiecontrole: Om memorisatie te voorkomen, gebruikt de dataset generieke labels (bijv. "Team A", "Speler van Team A") in plaats van echte namen. Voor open-domein extensies (cryptovaluta, gezondheid, energie) worden numerieke waarden in gebeurtenisbeschrijvingen vervangen door symbolen (bijv. $\alpha$ ) om te voorkomen dat modellen gebeurtenissen matchen op basis van specifieke datums of prijzen.
Ablatiestudies: De auteurs testen de impact van het verstrekken van extra context (tijdstempels, scores, gedeeltelijke gebeurtenissen) en voeren ablaties uit door tijdreeksgegevens te verwijderen, echte namen te verwijderen of de volgorde van gebeurtenissen te husselen om logische consistentie te testen.

Experimentele Opstelling

Geëvalueerde Modellen: 18 LLM's werden getest, inclusief propriëtaire modellen (GPT-4o, OpenAI's o1), open-weight modellen (LLaMA 3.1, Qwen 2.5, Phi, Mixtral) en reasoning-georiënteerde gedestilleerde modellen (DeepSeek-R1 varianten).
Trainingsstrategie: De auteurs onderzoeken post-training optimalisatie voor kleinere modellen (specifiek Qwen2.5 1.5B). Dit omvat een tweefasig proces:
1. Warm-up: Kennisdistillatie van een sterker reasoning model (DS-R1-distill-Qwen-32B) met behulp van correct redeneerde Q&A-paren.
2. Reinforcement Learning (RL): Verdere optimalisatie met behulp van Group Relative Policy Optimization (GRPO) om de redeneertrajecten te verfijnen.
Reasoning Prompts: De studie evalueert de impact van Chain-of-Thought (CoT) prompting, waarbij modellen voorbeelden krijgen van stapsgewijze redeneringen.

Belangrijkste Resultaten

Baseline Prestaties

Reasoning Modellen Presteren Beter: Modellen die expliciet zijn ontworpen voor redeneren (bijv. OpenAI's o1, DS-R1-distill-Qwen-32B varianten) presteren aanzienlijk beter dan standaard generatieve modellen. OpenAI's o1 behaalde de hoogste nauwkeurigheid (83% op NBA-taken, 75,5% op NFL), gevolgd door DS-R1-distill-Qwen-32B (68% NBA, 43% NFL).
Impact van CoT: Chain-of-Thought prompting verbeterde de nauwkeurigheid met gemiddeld 4,5% voor basketbaltaken en 9,6% voor footballtaken, hoewel het de frequentie van antwoorden met een ongeldig formaat licht verhoogde.
Contextgevoeligheid: Het verstrekken van extra context (tijdstempels, scores) verbeterde over het algemeen de prestaties, met name voor de NFL-taak. Daarentegen zorgde het verwijderen van de tijdreeksgegevens of echte entiteiten ervoor dat de prestaties terugvielen naar bijna willekeurig niveau, wat bevestigt dat modellen vertrouwen op de correlatie tussen numerieke gegevens en gebeurtenissen in plaats van op entiteitsmemorisatie.

Post-Training Optimalisatie

Verbetering van Kleine Modellen: De meest significante bevinding met betrekking tot modelcapaciteit is het succes van post-training op het kleine Qwen2.5 1.5B model.
- Baseline: Het ongetrainde 1.5B model presteerde slecht (11 correct van de 200 op NBA).
- Distillatie + RL: Na warm-up met gedestilleerde reasoning data en GRPO-training steeg de nauwkeurigheid van het 1.5B model naar 151/200 (75,5%) op de NBA-taak.
- Vergelijking: Dit post-getrainde kleine model overtrof het veel grotere DS-R1-distill-Qwen-32B (136/200) en benaderde de prestaties van OpenAI's o1 (166/200).

Generaliseerbaarheid

De aanpak werd uitgebreid naar vier andere domeinen: cryptovaluta (Bitcoin), handel (IMEX), gezondheid (influenza-cijfers) en energie (benzineprijzen).

LLM's vertoonden matige redeneercapaciteiten in deze open-domein instellingen, zelfs wanneer numerieke waarden in gebeurtenisbeschrijvingen waren gefilterd.
GPT-4o behaalde consistent meer dan 50% nauwkeurigheid over de domeinen, terwijl reasoning-georiënteerde open modellen (Qwen2.5 72B, DS-R1) vergelijkbaar presteerden.

Betekenis en Bijdragen

Het artikel claimt drie primaire bijdragen:

Methodologie: Een programmeerbare methode voor het genereren van taken die de capaciteit van een LLM beoordelen om te redeneren over gebeurtenissen geassocieerd met tijdreeksgegevens, bewegend voorbij eenvoudige forecasting of trendanalyse.
Benchmark: De introductie van GAMETIME, een continu bijwerkende, real-world dataset met 1,7 miljoen gekoppelde tijdreeks- en gebeurtenispunten, ontworpen om de contaminatieproblemen van statische benchmarks te vermijden.
Optimalisatie Inzichten: De demonstratie dat post-training optimalisatie (distillatie gevolgd door RL) de capaciteit voor gebeurtenis-inferentie van kleine taalmodellen drastisch kan verbeteren, waardoor een 1.5B parameter model in staat is om grotere propriëtaire modellen te overtreffen op deze specifieke reasoning taak.

De auteurs concluderen dat hoewel huidige modellen veelbelovende redeneercapaciteiten vertonen, de taak uitdagend blijft, met name voor niet-reasoning modellen en in domeinen waar de causale link tussen gebeurtenissen en tijdreeksen minder direct is dan in sporten. Het werk legt een fundament voor het evalueren en verbeteren van multimodale redenering over numerieke sequenties en natuurlijke taalgebeurtenissen.