Show Your Work: Verbatim Evidence Requirements and Automated Assessment for Large Language Models in Biomedical Text Processing

Het onderzoek toont aan dat het verplichten van verbatim-citaten als bewijs voor LLM's in de biomedische tekstverwerking een traceerbaar auditpad biedt en de betrouwbaarheid van selectieve automatisering verhoogt, maar dit ten koste gaat van de dekking en modelafhankelijk nieuwe fouten introduceert.

De kern

De Kernvraag: "Toon je werk!"

Stel je voor dat je een groep zeer slimme, maar soms wat flauwe kunstenaars (de AI-modellen) vraagt om een schilderij te maken op basis van een beschrijving. Vroeger vroegen we ze alleen: "Wat zie je hier?" en ze gaven een antwoord. Soms hadden ze gelijk, maar soms gaven ze een antwoord dat perfect klonk, terwijl ze eigenlijk helemaal niet keken naar het schilderij. Ze "hallucineerden" een antwoord.

In dit onderzoek wilden de auteurs weten: Wat gebeurt er als we de kunstenaars dwingen om niet alleen het antwoord te geven, maar ook het stukje schilderij te laten zien waarop ze hun antwoord baseerden?

In de wetenschappelijke taal noemen ze dit "Show Your Work" (Toon je werk). In de praktijk betekent dit: de AI moet een label geven (bijvoorbeeld: "Deze patiënt mag deelnemen aan de studie") én een exacte zin uit de tekst kopiëren die dat bewijst.

Het Experiment: De Medische Keuring

De onderzoekers (artsen en data-experts uit Zwitserland) namen 200 medische onderzoeken over kanker. Ze gaven deze aan drie van 's werelds slimste AI-modellen (van OpenAI, Google en Anthropic).

De taak was simpel: Kijk naar de samenvatting van het onderzoek en zeg of het onderzoek alleen patiënten met een lokale kanker toeliet, alleen patiënten met uitzaaiingen (metastasen), of beide.

Ze deden dit op twee manieren:

1. De oude manier: De AI gaf alleen het antwoord.
2. De nieuwe manier: De AI gaf het antwoord én een exacte zin uit de tekst die het bewees.

Wat vonden ze? (De Resultaten)

Hier zijn de belangrijkste ontdekkingen, vertaald in alledaagse termen:

1. De "Toon je werk"-regel maakt de AI iets voorzichtiger
Toen de AI's moesten laten zien waar ze hun antwoord vandaan hadden, gaven ze vaker toe: "Ik weet het niet zeker, want ik kan geen bewijs vinden in deze tekst."

• Analogie: Het is alsof een student die een proefwerk schrijft, eerder "Ik weet het niet" schrijft in plaats van een gok te wagen, omdat hij bang is dat hij zijn werkboekje niet kan tonen.
• Gevolg: De AI gaf iets minder vaak een antwoord (de "dekking" daalde), maar de antwoorden die ze wel gaven, waren vaak betrouwbaarder.

2. Niet alle AI's reageren hetzelfde
Net zoals mensen verschillend zijn, reageerden de AI-modellen anders op deze regel:

• Model A (GPT-5.2) en Model B (Gemini): Deze werden iets slimmer en maakten minder fouten toen ze hun werk moesten tonen. Het was alsof de regel hen dwong om beter na te denken.
• Model C (Claude): Deze werd juist een beetje slordiger. Het was alsof deze kunstenaar, als hij gedwongen werd om zijn penseelstreken te tonen, in de war raakte en meer fouten maakte.

3. De "Exacte Zin" is niet altijd een goed bewijs
Dit is misschien wel het belangrijkste punt. De AI kon een zin kopiëren die letterlijk in de tekst stond (mechanisch correct), maar die zin had niets te maken met het antwoord dat ze gaven.

• Analogie: Stel je voor dat je vraagt: "Waarom is de hemel blauw?" en de AI antwoordt: "De hemel is blauw" en kopieert de zin "De zon schijnt" uit de tekst. De zin is wel letterlijk uit de tekst gehaald (mechanisch correct), maar het is geen bewijs voor het antwoord.
• Conclusie: De AI's konden "valse bewijzen" leveren. Ze kopieerden een zin, maar die zin ondersteunde hun antwoord niet echt.

4. De "Jury" (Een tweede AI)
De onderzoekers gebruikten een tweede AI als "jury" om te kijken of het bewijs wel klopte.

• Ze ontdekten dat zelfs als de eerste AI een zin kopieerde, de jury vaak zei: "Nee, deze zin bewijst niet wat je zegt."
• De oplossing: Als je alleen de antwoorden accepteert waarbij de jury zegt: "Ja, dit klopt echt", dan zijn de antwoorden extreem betrouwbaar. Het nadeel? Dan heb je veel minder antwoorden over, omdat de AI's vaak worden afgewezen.

Wat betekent dit voor de toekomst?

Dit onderzoek leert ons een belangrijke les over het vertrouwen in AI in de geneeskunde:

• Vertrouwen kost tijd: Als we AI dwingen om hun "werk" te tonen, krijgen we minder antwoorden, maar zijn die antwoorden veiliger.
• Kopieerwerk is niet genoeg: Alleen omdat een AI een zin uit de tekst plukt, betekent niet dat ze het begrijpt.
• De beste aanpak: Gebruik AI om een eerste selectie te maken, maar laat de AI ook het bewijs tonen. Als het bewijs niet klopt, laat je een mens (een arts) het controleren. Dit noemen ze een "selectieve voorspelling": de AI doet het snelle werk voor de makkelijke gevallen, en stuurt de twijfelgevallen door naar een mens.

Kortom: Door AI te dwingen om "Show Your Work" te doen, maken we ze niet per se slimmer, maar wel eerlijker. Ze worden minder snel een "betrouwbare leugenaar" die een goed antwoord geeft zonder bewijs, en meer een "voorzichtige assistent" die zegt: "Ik denk dit, en hier is de zin die het bewijst. Als je het niet gelooft, vraag het aan een mens."

Technische samenvatting

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker ingezet voor de verwerking van biomedische teksten, zoals het screenen van klinische trials op geschiktheid voor patiënten. Hoewel de eindresultaten (bijv. classificatie van een trial) vaak nauwkeurig zijn, ontbreekt er vaak transparantie over hoe het model tot een beslissing komt. Dit maakt individuele beslissingen moeilijk te auditeren.
In klinische contexten is "hallucineren" (het genereren van valse feiten of bronnen) een veiligheidsrisico. Bestaande evaluaties focussen vaak alleen op eindnauwkeurigheid, zonder te controleren of de beslissing gebaseerd is op de ingevoerde tekst. De auteurs onderzoeken of het verplichten van een mechanisch controleerbare "toon je werk"-aanpak (een letterlijk citaat uit de bron) de betrouwbaarheid, stabiliteit en verifieerbaarheid van LLM's kan verbeteren zonder de prestaties te veel te schaden.

Methodologie

De studie gebruikte een gestructureerde classificatietask op basis van 200 geanonimiseerde abstracts van oncologische gerandomiseerde gecontroleerde trials (RCT's) uit de periode 2005-2023.

• Taak: Classificeer of een trial patiënten toelaat met lokaal ziektebeeld, metastatische ziekte, beide, of geen van beide (of onduidelijk).
• Modellen: Drie toonaangevende modellen werden getest via hun API's onder standaardinstellingen (geen fine-tuning):
  • GPT-5.2 (OpenAI)
  • Gemini 3 Flash (Google)
  • Claude Opus 4.5 (Anthropic)
• Experimentele Opzet: Elke trial werd twee keer verwerkt onder identieke input:
  1. Baseline: Alleen een label output.
  2. Evidence Required: Een label én een letterlijk citaat (verbatim quote) uit de abstract die het label ondersteunt.
• Validatie:
  • Mechanische validatie: Een script controleerde of het citaat een exacte substring was van de genormaliseerde abstract (na whitespace-normalisatie).
  • Semantische validatie: Een tweede LLM (de "judge") beoordeelde of het citaat semantisch voldoende was om het label te ondersteunen.
  • Stabiliteit: Elke run werd drie keer herhaald om de consistentie van labels en citaten te meten (Fleiss' kappa en Jaccard-similariteit).
• Metrieken: Dekking (coverage), voorwaardelijke nauwkeurigheid (macro-F1 op niet-afgeloste cases), en het percentage "correct en mechanisch geldig".

Belangrijkste Resultaten

1. Impact op Dekking en Validiteit:

   • Het verplichten van een citaat leidde tot een lichte daling in dekking (het percentage trials waarbij het model een antwoord gaf in plaats van "onduidelijk" of ongeldig).
   • Gemini 3 Flash vertoonde de grootste daling in dekking en een toename in ongeldige outputs (van 1,5% naar 5,0%) onder de citatie-conditie.
   • De "UNCLEAR"-frequentie nam toe voor alle modellen, wat suggereert dat het model conservatiever wordt wanneer het gedwongen wordt om bewijs te leveren.

2. Classificatieprestaties (Macro-F1):

   • De effecten op de nauwkeurigheid waren modelafhankelijk:
     • GPT-5.2 en Gemini 3 Flash lieten een lichte stijging in Macro-F1 zien bij het vereisen van bewijs.
     • Claude Opus 4.5 vertoonde een statistisch significante daling in nauwkeurigheid (van 0,785 naar 0,725) en een lagere Macro-F1.

3. Mechanische vs. Semantische Geldigheid:

   • Hoewel de meeste citaten mechanisch geldig waren (83,3% - 91,2% exacte substrings), was de semantische onderbouwing veel zwakker.
   • Slechts 48,0% tot 78,8% van de predictions met een citaat werd door de "judge"-LLM als semantisch ondersteund beoordeeld. Dit betekent dat veel modellen een geldig citaat leverden dat echter niet daadwerkelijk het juiste label onderbouwde.

4. Stabiliteit:

   • De labels waren zeer stabiel over herhalingen (Fleiss' kappa > 0,82).
   • De keuze van het citaat was echter minder stabiel, vooral bij Gemini 3 Flash (lage Jaccard-similariteit), wat impliceert dat het audit-trail (het bewijs) zelf kan variëren, zelfs als het eindresultaat gelijk blijft.

5. Selectieve Voorspelling:

   • Door alleen predictions te behouden die zowel mechanisch geldig als semantisch ondersteund waren, steeg de Macro-F1 aanzienlijk, maar ten koste van een nog lagere dekking. Dit bevestigt het concept van "selective prediction" voor hogere betrouwbaarheid.

Belangrijkste Bijdragen

• Operationalisatie van "Show Your Work": De studie introduceert een lichtgewicht, mechanisch controleerbare methode (verbatim substring-check) om LLM-beslissingen in de biomedische sector te auditeren, in plaats van te vertrouwen op foutgevoelige bibliografische citaties.
• Distinction tussen Mechanische en Semantische Validiteit: Het onderzoek maakt een cruciaal onderscheid tussen een citaat dat technisch correct is (exacte tekst) en een citaat dat logisch het antwoord ondersteunt. Het laat zien dat mechanische validiteit geen garantie is voor semantische juistheid.
• Model-afhankelijke effecten: Het bewijst dat het verplichten van bewijs niet universeel werkt; het kan de prestaties van sommige modellen verbeteren (GPT, Gemini) maar andere verslechteren (Claude), afhankelijk van hun architectuur en training.
• Stabiliteitsanalyse: De studie benadrukt dat audit-trails (de gekozen citaten) zelf niet altijd stabiel zijn, wat een nieuw criterium is voor de evaluatie van LLM's in kritieke toepassingen.

Betekenis en Conclusie

De studie concludeert dat het verplichten van verbatim, mechanisch verifieerbare bewijzen een haalbare en nuttige strategie is om de auditbaarheid van LLM's in de biomedische tekstverwerking te verhogen. Het dwingt modellen tot een conservatievere houding en biedt een automatische audittrail.

Echter, deze aanpak introduceert nieuwe uitdagingen:

1. Er is een trade-off tussen dekking en verifieerbaarheid: Striktere eisen leiden tot minder antwoorden, maar mogelijk betrouwbaardere antwoorden.
2. Mechanische geldigheid is niet voldoende: Een model kan een perfect citaat leveren dat toch het verkeerde label ondersteunt.
3. Semantische filtering: Het gebruik van een tweede "judge"-LLM om de semantische relevantie te controleren, kan fungeren als een selectief mechanisme. Dit creëert een "hoog-vertrouwenssubset" van predictions die geautomatiseerd kunnen worden, terwijl de resterende cases (die geen sterk bewijs hebben) naar menselijke review worden gestuurd.

Voor klinische toepassingen waar fouten hoge kosten hebben, biedt deze aanpak een pragmatische weg naar veiliger en transparanere AI-systemen, mits de beperkingen in dekking en model-afhankelijkheid worden beheerd.