HEARTS: Benchmarking LLM Reasoning on Health Time Series

Dit paper introduceert HEARTS, een unificerend benchmark voor het evalueren van het hiërarchische redeneervermogen van grote taalmodellen op diverse gezondheids-tijdsreeksen, en toont aan dat deze modellen momenteel aanzienlijk onderpresteren ten opzichte van gespecialiseerde modellen en worstelen met complexe temporele redenering.

De kern

🩺 HeaRTS: De "Rijbewijstest" voor AI in de Gezondheidszorg

Stel je voor dat je een super-intelligente robot hebt die alles kan lezen, schrijven en rekenen. Hij is een genie in taal, wiskunde en code. Maar nu willen we die robot een arts maken. We geven hem een stapel medische meetgegevens: hartslagen, ademhaling, slaapgrafieken en suikerniveaus.

De vraag is: Kan deze robot echt denken over deze data, of raadt hij gewoon?

Dat is precies wat het onderzoek HeaRTS (Health Reasoning over Time Series) wil uitvinden. Het is geen gewoon testje; het is een enorme, nieuwe rijbewijstest voor kunstmatige intelligentie (AI) in de gezondheidszorg.

1. Het Probleem: De "Wiskundige" die geen "Dokter" is

Tot nu toe zijn de tests voor AI in de gezondheidszorg vaak te simpel. Het is alsof je een wiskundige vraagt om een auto te besturen, maar je geeft hem alleen een rechte weg zonder verkeer.

• De realiteit: Menselijke gezondheid is als een orkest dat 24 uur per dag speelt. Soms is het een zachte lullende melodie (rust), soms een snelle drumbeat (sport), en soms een dissonant geluid (ziek).
• De huidige AI: Veel grote taalmodellen (zoals de slimme chatbots die we kennen) kijken alleen naar oppervlakkige patronen. Ze zeggen: "Oh, het hartslagnummer is hoog, dus het is sport!" Maar ze missen de diepere context: "Wacht, de patiënt heeft net een paniekaanval gehad, dus het is geen sport."

2. De Oplossing: HeaRTS (De Grote Medische Obstacle Course)

De onderzoekers hebben HeaRTS gebouwd. Dit is een enorme verzameling van 16 echte medische datasets (zoals slaapdata, diabetesmetingen, geluid van hoesten) en 110 verschillende taken.

Je kunt HeaRTS zien als een gymzaal voor AI, met vier verschillende apparaten die de robot moet beheersen:

1. Perceptie (Het zien): Kan de AI de basisgegevens lezen?
   • Vergelijking: Kan de AI zeggen hoeveel stappen je hebt gelopen op basis van een horloge-gegevensbestand?
2. Inferentie (Het begrijpen): Kan de AI de data interpreteren?
   • Vergelijking: Kan de AI zien dat een patiënt een slaapapneu-aanval heeft, of dat iemand diabetes type 1 of 2 heeft, puur op basis van een grafiek?
3. Generatie (Het voorspellen): Kan de AI de toekomst voorspellen of ontbrekende stukken invullen?
   • Vergelijking: Als een stukje van de hartslagdata weg is (alsof een plaatje is beschadigd), kan de AI het ontbrekende stukje zo invullen dat het eruitziet als een echt hart? Of kan hij voorspellen wat de suikerwaarde over een uur is?
4. Redenering (Het afleiden): Dit is het moeilijkste deel. Kan de AI lange-termijn patronen zien?
   • Vergelijking: Kan de AI zeggen: "Deze patiënt is gisteren moe geweest, vandaag is de bloeddruk iets hoger, en over een maand is de kans op een hartaanval groter"? Het vereist het verbinden van punten die ver uit elkaar liggen.

3. De Resultaten: De AI is nog niet klaar voor de operatiekamer

Toen de onderzoekers 14 van de slimste AI-modellen ter wereld op deze test lieten springen, was het resultaat verrassend en een beetje teleurstellend:

• AI vs. Specialisten: De grote taalmodellen (de "algemene genieën") doen het veel slechter dan speciale medische AI-programma's die alleen voor één taak zijn gemaakt. Het is alsof je een alleskunner vraagt om een hartoperatie te doen, terwijl een gespecialiseerde chirurg dat veel beter kan.
• Slimheid is niet alles: Hoe slimmer een AI is in algemene vragen (zoals wiskunde of logica), hoe niet beter hij doet op medische data. Een "genie" in taal is niet per se een "genie" in hartslagen.
• De "Kopieerplak"-strategie: De AI's gebruiken vaak simpele trucjes. In plaats van echt na te denken over de data, doen ze vaak alsof ze een kopiëren-en-plakken werkje doen. Ze voorspellen de toekomst door gewoon het verleden te kopiëren met een beetje ruis eroverheen, in plaats van de echte oorzaak van de ziekte te begrijpen.
• Hoe langer, hoe moeilijker: Hoe meer data je geeft (bijvoorbeeld een jaar aan meetgegevens in plaats van een uur), hoe slechter de AI wordt. Ze raken de draad kwijt, net als iemand die een te lang verhaal probeert te onthouden zonder aantekeningen.

4. Waarom is dit belangrijk?

Dit onderzoek is een wake-up call. Het laat zien dat we niet zomaar een "slimme chatbot" kunnen nemen en hopen dat hij een arts vervangt.

• Geen magie: Meer rekenkracht (grotere modellen) lost het probleem niet op. De AI's moeten leren om echt te redeneren over tijd en gezondheid, niet alleen patronen te herkennen.
• De weg vooruit: HeaRTS is een "levend" testplatform. Het betekent dat onderzoekers nu een eerlijke manier hebben om te zien welke AI echt vooruitgang boekt. Het is een kompas om de volgende generatie medische AI te bouwen die echt veilig en betrouwbaar is.

Conclusie in één zin

HeaRTS laat zien dat onze huidige slimste AI's nog te veel zijn als slimme studenten die de theorie kennen, maar nog niet de praktijk van een arts hebben, en dat we nieuwe, diepere manieren nodig hebben om ze te leren denken over de complexe ritmes van het menselijk lichaam.

Technische samenvatting

Titel: HeaRTS: Benchmarking LLM Reasoning on Health Time Series

Auteurs: Sirui Li, Shuhan Xiao, et al. (UCLA & Google Research)
Datum: Maart 2026 (voorgesteld in de paper)

---

1. Het Probleem

Grote Taalmodellen (LLMs) hebben de analyse van tijdreeksen verschoven van smalle, specifieke analyses naar algemeen doelgerichte redenering. Echter, er bestaat een kritiek gat in de evaluatie van deze modellen in de gezondheidszorg:

• Beperkte benchmarks: Bestaande benchmarks voor tijdreeksen dekken slechts een klein aantal gezondheidsmodaliteiten en taken, en missen de complexe, lange-termijn afhankelijkheden die inherent zijn aan fysiologische data.
• Gebrek aan realisme: Veel huidige benchmarks gebruiken synthetische data of zijn beperkt tot één domein (bijv. alleen ECG), wat niet de diversiteit van echte klinische scenario's weerspiegelt.
• Onzekerheid over redenering: Het is onduidelijk of LLMs werkelijk redeneren over gezondheidstijdreeksen of slechts oppervlakkige patronen en domeinkennis benutten. Er is geen gestandaardiseerde manier om hiërarchisch redeneren (van waarneming tot deductie) te testen.

2. Methodologie: HeaRTS Benchmark

Om deze gaten te dichten, stellen de auteurs HeaRTS (Health Reasoning over Time Series) voor, een unificerend en levend benchmarkkader.

• Data Diversiteit: HeaRTS integreert 16 real-world datasets die 12 gezondheidsdomeinen bestrijken (zoals beweging, metabolisme, chirurgie, slaap, emotie, oogheelkunde, etc.) en 20 signaalmodaliteiten (van EEG, ECG, PPG tot audio en geaggregeerde dagelijkse data).
• Schalen: De dataset dekt een enorme variatie in tijdschalen:
  • Lengte: Van 60 stappen tot meer dan 1 miljoen stappen.
  • Frequentie: Van dagelijkse metingen tot 48 kHz (audio).
  • Tijdsbestek: Van seconden tot jaren.
• Taak Taxonomie: In plaats van alleen meerkeuzevragen, definieert HeaRTS 110 taken verdeeld over vier cognitieve niveaus:
  1. Perceptie: Statistische berekeningen en kenmerkextractie (bijv. "Bereken het percentage tijd dat glucose binnen het normale bereik ligt").
  2. Inferentie: Gebeurtenislocalisatie, fysiologische classificatie en profielvorming (bijv. "Identificeer de tijdstippen van hypopneu-episodes").
  3. Generatie: Toekomstige voorspelling, signaalimputatie (invullen van ontbrekende data) en cross-modale vertaling (bijv. ECG naar hartslag vertalen).
  4. Deductie: Temporele ordening en trajectanalyse (bijv. "Welke van deze twee bezoeken had een hoger BMI?" of "Is dit een roker?").
• Evaluatie Framework:
  • CodeAct: Om contextvensterbeperkingen te omzeilen bij lange tijdreeksen, gebruiken de auteurs het CodeAct-framework. LLMs schrijven en voeren Python-code uit om de data te analyseren in plaats van de ruwe reeks in de prompt te laden.
  • Modellen: 14 state-of-the-art (SOTA) LLMs werden getest, waaronder GPT-4.1/5, Claude 4.5, Gemini 2.5, Qwen3, DeepSeek V3.1 en open-source modellen.
  • Baselines: Vergelijking met een naïeve baseline (willekeurig gokken of gemiddelden) en bestaande gespecialiseerde ML-modellen.

3. Belangrijkste Resultaten

De evaluatie van meer dan 20.000 testcases leverde enkele verrassende en zorgwekkende bevindingen op:

• Prestatieachterstand: LLMs presteren aanzienlijk slechter dan gespecialiseerde tijdreeksmodellen. Zelfs de beste LLMs blijven ver achter bij gespecialiseerde SOTA-modellen op complexe fysiologische taken.
• Gebrek aan correlatie met algemene intelligentie: De prestaties op HeaRTS correleren slechts zwak met algemene redeneerindices (zoals MMLU of wiskundige benchmarks). Dit suggereert dat gezondheidstijdreeksredeneren specifieke vaardigheden vereist die niet worden overgedragen via algemene training.
• Afhankelijkheid van heuristieken: LLMs vertrouwen vaak op simpele heuristieken in plaats van diepgaande temporele redenering.
  • Bij generatietaken (zoals imputatie) neigen modellen naar lineaire interpolatie, polynoomfitting of het kopiëren van bestaande segmenten, in plaats van complexe stochastische dynamica te modelleren.
  • Bij deductie missen ze vaak causale verbanden en vertrouwen ze op oppervlakkige kenmerken.
• Schaalproblemen: Prestaties nemen af naarmate de temporele complexiteit toeneemt (langere sequenties, hogere sample-frequenties). Er is een duidelijke negatieve correlatie tussen data-complexiteit en prestaties.
• Modelfamilie consistentie: Modellen binnen dezelfde architecturale familie (bijv. verschillende versies van GPT of Qwen) vertonen zeer vergelijkbare prestatieprofielen. Schalen (meer parameters) leidt niet noodzakelijk tot betere redeneerprestaties in dit domein.
• Inputformaat: Visuele input (afbeeldingen van signalen) presteert vaak slechter dan tekstuele of bestandsgebaseerde input, hoewel de relatieve moeilijkheidsgraad van taken consistent blijft.

4. Belangrijkste Bijdragen

1. HeaRTS Benchmark: De eerste diverse benchmark voor gezondheidstijdreeksredenering met de breedste dekking tot nu toe (12 domeinen, 20 modaliteiten, 110 taken).
2. Hiërarchisch Evaluatiekader: Een nieuwe taxonomie die verder gaat dan meerkeuzevragen, met taken die variëren van basisberekening tot lange-horizon synthese en contrafactische deductie.
3. Empirische Inzichten: Gedetailleerde analyses tonen aan dat huidige LLMs moeite hebben met echte temporele redenering en dat "meer schalen" niet de oplossing is voor deze specifieke uitdagingen.
4. Levend Ecosysteem: HeaRTS is ontworpen als een dynamisch platform met gestandaardiseerde API's voor het toevoegen van nieuwe datasets, taken en agent-architecturen door de gemeenschap.

5. Betekenis en Conclusie

HeaRTS markeert een verschuiving in hoe we AI voor de gezondheidszorg evalueren. Het paper toont aan dat hoewel LLMs veelbelovend zijn voor tekstuele analyse, ze nog niet klaar zijn voor de nuance en complexiteit van fysiologische tijdreeksen. De huidige modellen missen het vermogen om lange-termijn afhankelijkheden te integreren en causale mechanismen te begrijpen zonder expliciete priors.

De benchmark biedt een gestandaardiseerde testomgeving om de volgende generatie "health agents" te ontwikkelen die echt kunnen redeneren over diverse gezondheidssignalen. Het benadrukt dat voor klinisch toepasbare AI, specifieke domeinkennis en gespecialiseerde verwerkingsprimitieven nodig zijn, en dat algemene LLMs alleen niet voldoende zijn voor kritieke medische beslissingen gebaseerd op tijdreeksdata.

Beschikbaarheid:

• Dataset: https://huggingface.co/datasets/yang-ai-lab/HEARTS
• Code: https://github.com/yang-ai-lab/HEARTS
• Website: https://yang-ai-lab.github.io/HEARTS