Technische Samenvatting: Grote Taalmodellen Ontberen Tijdsbewustzijn van Medische Kennis

Probleemstelling

Huidige methoden voor het evalueren van de medische kennis van Grote Taalmodellen (LLM's) vertrouwen sterk op atemporale, examenachtige benchmarks (bijv. MedQA, PubMedQA). Deze benchmarks behandelen medische kennis als statisch, waarbij een kritieke dimensie wordt over het hoofd gezien: temporele geldigheid. In werkelijkheid is medische kennis inherent dynamisch en evolueert deze continu met nieuwe bewijslast, richtlijnen en goedkeuringen voor behandelingen. Een behandeling die passend was volgens een richtlijn uit 2018, kan in een update uit 2024 gecontra-indiceerd zijn. Bijgevolg falen bestaande evaluaties om te beoordelen of LLM's nauwkeurig kunnen redeneren over tijdspecifieke medische kennis of onderscheid kunnen maken tussen huidige en verouderde aanbevelingen. Bovendien is de meeste medische data historisch en longitudinaal, waardoor modellen niet alleen feiten moeten kunnen herinneren, maar ook moeten weten wanneer die feiten correct waren.

Methodologie: TempoMed-Bench

Om deze kloof te dichten, introduceren de auteurs TempoMed-Bench, de eerste benchmark die is ontworpen om het tijdsbewustzijn van LLM's in het medische domein te evalueren met behulp van evoluerende richtlijnkennis.

Dataopbouw-pijplijn

1. Verzameling en filtering van richtlijnen: De auteurs verzamelden meer dan 23.000 papers uit de PubMed Central (PMC)-database. Ze hanteerden een soepele initiële filter (sleutelwoordmatching voor "richtlijn" in titels of metadata), gevolgd door een strikte verificatie op basis van een LLM om papers te identificeren die door professionele verenigingen zijn uitgegeven als officiële klinische richtlijnen.
2. Opbouw van trajecten: Het systeem bouwt "richtlijntrajecten" door een huidige richtlijn te koppelen aan eerdere versies die door dezelfde organisatie over hetzelfde onderwerp zijn uitgegeven. Dit proces omvatte:
   • Het gebruik van LLM's om citaten van eerdere richtlijnen uit de huidige tekst te extraheren.
   • Het aanvullen van trajecten met de functie "Vergelijkbare artikelen" van PubMed om ontbrekende eerdere versies te herstellen.
   • Nabewerking om ontbrekende PMID's te herstellen en trajecten te consolideren.
   • De uiteindelijke dataset, TempoMed-Traj, bevat 3.411 richtlijntrajecten.
3. Extraheren van verschillen: Voor elk traject identificeerden LLM's inhoudelijke verschillen tussen de actuele richtlijn en elke verouderde versie. Een aparte verifieer-LLM scoorde deze paren om ervoor te zorgen dat ze directe, head-to-head klinische vergelijkingen vertegenwoordigden (bijv. een wijziging in de aanbevolen therapie voor een specifieke aandoening) in plaats van kleine verduidelijkingen. Dit leverde 721 verschilparen op.
4. Generatie van meerkeuzevragen (MCQ): Voor elk verschilpaar genereerden de auteurs een meerkeuzevraag (MCQ) conform de richtlijnen van de National Board of Medical Examiners (NBME). Elke vraag bevat:
   • Een klinische casus.
   • Vijf opties: één die overeenkomt met de actuele richtlijn, één met de verouderde richtlijn, twee klinisch plausibele afleiders en een optie "Ik weet het niet".
   • De vragen citeren expliciet de bron van de richtlijn en het jaar.

Evaluatiekader

De auteurs evalueerden meer dan 10 geavanceerde LLM's (waaronder GPT-5, GPT-4.1, Llama-3.1, Qwen2.5 en MedGemma-varianten) op TempoMed-Bench aan de hand van vier onderzoeksvragen (RQ's):

• RQ1: In welke mate hebben LLM's actuele medische kennis verworven?
• RQ2: Kunnen LLM's historische (verouderde) medische kennis correct volgen en herinneren?
• RQ3: Kunnen LLM's temporele consistentie handhaven over verschillende tijdsperiodes?
• RQ4: Kunnen agentische Retrieval-Augmented Generation (RAG)-systemen deze fouten mitigeren?

Belangrijkste Resultaten

1. Prestaties op Actuele Kennis (RQ1)

• Lineaire Degradatie: De prestaties van modellen op actuele kennis vertonen een geleidelijke lineaire daling in de tijd in plaats van een scherpe daling op de kenniscutoff-datum van het model. Dit suggereert dat parametrische medische kennis niet strikt wordt begrensd door cutoffs; nieuwere kennis komt minder vaak voor in pre-training corpora in vergelijking met goed gevestigde historische richtlijnen.
• Variabele Nauwkeurigheid: Zelfs sterke modellen zoals GPT-5 bereiken geen perfecte nauwkeurigheid op actuele kennis (70,69%), en kleinere modellen presteren aanzienlijk slechter.

2. Prestaties op Historische Kennis (RQ2)

• Aanzienlijk Vergeten: LLM's hebben consistent moeite om historische medische kennis op te halen. De nauwkeurigheid op historische (verouderde) kennis is slechts 25,37% tot 53,89% van de nauwkeurigheid op actuele kennis.
• Implicatie: Deze discrepantie wijst op mogelijke effecten van "kennisvergeten" tijdens het trainingsproces, waarbij modellen recente data prioriteren boven historische context.

3. Temporele Consistentie (RQ3)

• Inconsistente Gedragingen: LLM's vertonen temporeel inconsistente gedragingen, waarbij voorspellingen onregelmatig fluctueren over aangrenzende jaren zonder coherente overgangen.
• Foutpatronen: Analyse van voorspellingswarmtekaarten onthulde enkele dominante foutpatronen:
  • Alleen-Kennis-Laatste: Het model antwoordt "Ja" op huidige stellingen en "Nee" op verouderde, ongeacht het jaar van de vraag (temporele beperkingen negerend).
  • Alles-Waar/Alles-Onwaar: Het model accepteert of verwerpt beide stellingen uniform over alle jaren.
  • Fout-Overgangspunt: Het model herkent een verschuiving in kennis, maar plaatst de overgang op een incorrect jaar.
• Prevalentie: De patronen "Alleen-Kennis-Laatste" en "Alles-Waar" waren het meest frequent, wat wijst op een gebrek aan echt temporeel redeneren.

4. Impact van Agentische RAG (RQ4)

• Beperkte Verbetering: Het integreren van agentische zoektools (ToolUniverse en Biomni) met backend LLM's (GPT-4.1, GPT-5) leverde slechts marginale verbeteringen op, of in sommige gevallen zelfs een verslechtering van de prestaties (variërend van -3,15% tot +14,14%).
• Oorzaak van Falen: De auteurs schrijven dit toe aan informatieconflict. Hoewel de juiste richtlijn misschien wordt opgehaald, verhoogt de aanwezigheid van aanvullende, potentieel inconsistente documenten uit webzoekopdrachten de cognitieve belasting en veroorzaakt interferentie, wat leidt tot onjuiste voorspellingen.

Betekenis en Bijdragen

Het artikel levert drie primaire bijdragen:

1. Tijdsbewuste Evaluatie van Medische Kennis: Het vestigt temporele context als een noodzakelijke dimensie voor het evalueren van medische LLM's, gemotiveerd door de evoluerende aard van de medische praktijk in de echte wereld.
2. TempoMed-Bench: Het biedt een grootschalige, strikt geconstrueerde benchmark van 721 temporeel onderbouwde MCQ's, afgeleid van 3.411 klinische richtlijntrajecten.
3. Empirisch Bewijs van Beperkingen: Het levert empirisch bewijs dat huidige state-of-the-art LLM's tijdsbewustzijn ontberen in medische kennis. Cruciaal wordt aangetoond dat dit een niet-triviale uitdaging is die niet eenvoudig wordt opgelost door simpelweg populaire agentische RAG-tools te integreren.

De auteurs concluderen dat het slagen voor TempoMed-Bench moet worden beschouwd als een noodzakelijke (maar niet voldoende) voorwaarde voor het inzetten van LLM's in evoluerende medische omgevingen. Het werk benadrukt een kritieke kloof in huidige AI-vaardigheden en motiveert toekomstig onderzoek naar het ontwikkelen van modellen die tijdspecifieke medische kennis beter kunnen coderen en redeneren.