A Systematic Performance Evaluation of Three Large Language Models in Answering Questions on moderate Hyperthermia

Een systematische evaluatie van drie grote taalmodellen (DeepSeek-V3, Llama-3.3-70B-Instruct en GPT-4o) op hun vermogen om vragen over matige hyperthermie te beantwoorden, toont aan dat hoewel de gemiddelde kwaliteit als 'aanvaardbaar' wordt beoordeeld, een aanzienlijk deel van de antwoorden van lage kwaliteit is en potentieel schadelijk kan zijn voor de klinische besluitvorming zonder deskundige begeleiding.

De kern

Titel: Kunnen slimme computers de warme kunst van kankerbehandeling begrijpen? Een proef in het Nederlands

Stel je voor dat je drie zeer slimme, maar nog jonge receptie-assistenten hebt. Ze hebben de hele wereldwijde bibliotheek in hun hoofd gelezen en kunnen over van alles praten. Ze heten DeepSeek, Llama en GPT-4o.

De artsen wilden weten: "Als we deze assistenten vragen over een heel speciaal, moeilijk onderwerp te vertellen – namelijk moderate hyperthermie (het verwarmen van tumoren om kanker te bestrijden) – kunnen ze dan goed advies geven? Of gaan ze in de war?"

Hier is wat ze hebben ontdekt, vertaald in een simpel verhaal:

1. Het Experiment: De "Kookproef"

De onderzoekers stelden 40 moeilijke vragen aan de drie assistenten. Sommige vragen waren over patiënten (bijvoorbeeld: "Mag ik deze patiënt verwarmen?"), en andere waren over de techniek (bijvoorbeeld: "Welke apparaten zijn er?").

Vervolgens lieten ze 19 echte experts (kankerafweerspecialisten en technici) de antwoorden beoordelen. Ze gaven een cijfer van 1 (slecht) tot 5 (uitstekend) en keken of het antwoord gevaarlijk zou zijn als een dokter het echt zou gebruiken.

2. Het Resultaat: "Goed genoeg om te praten, niet goed genoeg om te opereren"

De assistenten scoorden gemiddeld een 3 (een "voldoende" of "aanvaardbaar"). Dat klinkt prima, maar er zit een addertje onder het gras:

• De "Grote Verrassing": In ongeveer 25% van de gevallen gaven ze antwoorden die de experts vonden "slecht" of "zeer slecht".
• Het Gevaar: In ongeveer 1 op de 5 gevallen gaven ze een antwoord dat de experts als gevaarlijk beschouwden. Als een dokter dit zou gebruiken zonder zelf te weten wat hij doet, zou het verkeerd kunnen uitpakken.

De analogie:
Het is alsof je een robot vraagt om een auto te repareren. Soms zegt hij: "Oké, draai die bout los, dat werkt." Maar in 1 op de 5 gevallen zegt hij: "Draai die bout los, en gooi de motor eruit." Dat klinkt logisch voor de robot, maar voor de auto is het rampzalig.

3. Waarom gaan ze in de war?

De onderzoekers ontdekten twee hoofdredenen waarom deze slimme computers hier moeite mee hebben:

• De "Niche" Probleem: Hyperthermie is een heel speciaal vakgebied. Er zijn minder boeken en artikelen over dit onderwerp dan over bijvoorbeeld diabetes of hartoperaties. De computers hebben dus minder "voedsel" om van te leren.
• De "Hallucinaties": Omdat ze niet genoeg echte feiten hebben, beginnen ze soms te dromen. Ze verzinnen een studie die nooit heeft bestaan, of ze noemen een medicijn dat er niet is.
  • Voorbeeld: Een assistent zei: "Er is een beroemde studie genaamd 'HYPO' die dit bewijst." Die studie bestaat niet! Het was een fantasie van de computer.

4. Een leuk voorbeeld uit de test

• De Goede: Op de vraag of verwarming helpt bij een specifieke botkanker, gaven twee assistenten het juiste antwoord: "Nee, dat is niet bewezen, geef gewoon meer straling." Dat was slim en veilig.
• De Slechte: Op de vraag "Welke apparaten zijn er?", gaven ze allemaal een lijstje met apparaten die ofwel niet bestaan, ofwel niet voor dit doel worden gebruikt. Een echte expert had dit in 5 minuten op een lijstje gezet; de computers zaten in de war.

5. De Conclusie: Gebruik ze niet als je dokter

De boodschap van dit onderzoek is duidelijk:

Gebruik deze slimme computers nog niet als je medische raadgever voor dit specifieke onderwerp.

Ze zijn geweldig om een algemeen idee te krijgen (zoals een reisgids die zegt: "Er is een heuvel hier"), maar ze zijn niet betrouwbaar genoeg om de route te plannen (zoals een GPS die zegt: "Rij hierlangs, want de weg is goed").

Als je geen expert bent in dit vakgebied, kun je de fouten van de computer niet zien. Je denkt dat het waar is, maar het is een gevaarlijke droom.

Kortom: De computers zijn slim, maar voor dit specifieke, warme vakgebied zijn ze nog te onervaren. We moeten eerst meer echte kennis verzamelen en beter ordenen, voordat we deze robots de leiding kunnen geven.

Technische samenvatting

Titel: Een systematische prestatie-evaluatie van drie grote taalmodellen (LLM's) bij het beantwoorden van vragen over matige hyperthermie.

1. Het Probleem

Grote taalmodellen (LLM's) hebben zich bewezen als krachtige hulpmiddelen in de algemene geneeskunde, maar hun betrouwbaarheid in zeer gespecialiseerde medische domeinen is onzeker. Matige hyperthermie (HT) in de oncologie is zo'n niche-domein. Het betreft het therapeutisch verwarmen van tumoren (40–43°C) als adjuvante therapie bij radiotherapie of chemotherapie.
De uitdagingen voor LLM's in dit veld zijn:

• Beperkte data: Er is minder gestructureerde, wetenschappelijke literatuur beschikbaar vergeleken met gevestigde kankertherapieën.
• Verwarring met pseudowetenschap: Het internet staat vol met niet-wetenschappelijke informatie over "warmtebehandelingen", wat de trainingsdata van LLM's kan verontreinigen.
• Risico op hallucinaties: In data-scarce domeinen zijn LLM's vatbaarder voor het genereren van plausibele maar feitelijke onjuiste informatie ("hallucinaties").
• Gebrek aan evaluatie: Er waren tot nu toe geen formele studies die de prestaties van LLM's specifiek voor matige hyperthermie hebben getoetst.

2. Methodologie

De auteurs voerden een evaluatiestudie uit volgens een gestructureerd drie-fasenontwerp:

• Fase 1: Vraagontwikkeling

  • Er werden 40 open-ended vragen ontwikkeld door onderzoekers en experts (22 klinische en 18 natuurkundige/fysische vragen).
  • De vragen dekken indicaties, integratie met radiotherapie/chemotherapie, technische levering, kwaliteitsborging en controverses.
  • Open-ended vragen werden gekozen om realistische medische scenario's na te bootsen, in plaats van meerkeuzevragen.

• Fase 2: Generatie van antwoorden

  • Drie moderne, niet-medisch gespecialiseerde LLM's werden getest (gebruikt in april 2025):
    1. DeepSeek-V3: Een open-source "Mixture-of-Experts" model (236 miljard parameters).
    2. Llama-3.3-70B-Instruct: Een open-weight model van Meta, geoptimaliseerd voor instructies.
    3. GPT-4o: Een multimodaal model van OpenAI.
  • Alle modellen beantwoordden alle 40 vragen zonder beperkingen op tekstlengte.

• Fase 3: Expert-evaluatie

  • Panel: 19 internationale experts (11 klinisch, 8 natuurkundig) uit 6 landen, voornamelijk leden van de European Society for Hyperthermic Oncology (ESHO).
  • Evaluatiecriteria:
    • Kwaliteit: Beoordeeld op een 5-punts Likert-schaal (1 = zeer slecht tot 5 = zeer goed).
    • Schadelijkheid: Een binaire vraag of het antwoord potentieel schadelijk zou zijn voor klinische besluitvorming.
  • De antwoorden waren geblindeerd (de herkomst van het model was verborgen) en gerandomiseerd.

3. Belangrijkste Resultaten

• Algemene Kwaliteit: De gemiddelde scores waren vergelijkbaar en vielen binnen het bereik "aanvaardbaar" (3 = acceptabel):
  • DeepSeek: 3,26
  • Llama: 3,18
  • GPT-4o: 3,07
  • Er waren geen statistisch significante verschillen tussen de modellen na correctie voor meervoudige vergelijkingen.
• Kwaliteitsverdeling: Ondanks de "aanvaardbare" gemiddelde scores, werden ongeveer 25% van de antwoorden beoordeeld als "slecht" of "zeer slecht".
• Potentieel Schadelijke Antwoorden:
  • DeepSeek: 17,8% van de antwoorden werd als potentieel schadelijk gemarkeerd.
  • Llama: 19,3%.
  • GPT-4o: 15,3%.
  • Bij natuurkundige vragen was dit percentage nog hoger (tot 100% voor Llama bij ten minste één expert die het als schadelijk zag).
• Specifieke voorbeelden:
  • Goede prestatie: Bij vragen over solitaire plasmacytomen gaven DeepSeek en Llama correcte adviezen (geen HT zonder bewijs, wel hogere RT-doses).
  • Slechte prestatie: Bij vragen over commercieel beschikbare apparatuur faalden alle modellen om een compleet en correcte lijst te geven, ondanks dat deze informatie beschikbaar is.
  • Hallucinaties: DeepSeek citeerde een niet-bestaand onderzoek ("HYPO-studie") en gaf onjuiste informatie over toxiciteit bij tweewekelijkse HT, terwijl het wel tot het juiste klinische advies kwam.

4. Kernbijdragen

• Eerste systematische evaluatie: Dit is het eerste onderzoek dat de prestaties van LLM's specifiek voor het domein van matige hyperthermie kwantificeert.
• Vergelijking van modellen: Het biedt een directe vergelijking tussen een open-source model (DeepSeek), een open-weight model (Llama) en een gesloten commercieel model (GPT-4o) in een gespecialiseerde context.
• Identificatie van risico's: Het onderzoek benadrukt dat zelfs modellen met "aanvaardbare" gemiddelde scores een aanzienlijk risico vormen op het leveren van schadelijke informatie voor niet-experts.
• Analyse van oorzaak: Het stelt dat het probleem niet per se een gebrek aan bewijs is, maar een gebrek aan gestructureerde data voor effectieve training en retrieval van LLM's.

5. Betekenis en Conclusie

De studie concludeert dat het gebruik van huidige generatie LLM's voor het beantwoorden van vragen over matige hyperthermie niet wordt aanbevolen, vooral niet voor gebruikers zonder domeinexpertise.

• Klinische relevantie: Een foutpercentage van ~25% "slechte" antwoorden en een significant risico op schadelijke adviezen maken deze tools ongeschikt voor zelfstandig klinisch gebruik.
• Toekomstperspectief: De betrouwbaarheid van LLM's in dit veld zal waarschijnlijk verbeteren naarmate er meer gestructureerde richtlijnen en data beschikbaar komen. Tot die tijd kunnen LLM's slechts dienen als een breed oriënterend hulpmiddel, maar nooit als vervanging voor expertkennis.
• Waarschuwing: De auteurs waarschuwen dat de situatie paradoxaal is: de momenten waarop artsen de meeste hulp nodig hebben (in onzekere, niche-situaties) zijn juist de momenten waarop de huidige AI-modellen het minst betrouwbaar zijn.