Who Judges the Judge? Evaluating LLM-as-a-Judge for French Medical open-ended QA

Deze studie toont aan dat zorgvuldig aangepaste compacte modellen, getraind met beperkte data, de meest betrouwbare en generatordata-onafhankelijke beoordelaars kunnen zijn voor het automatisch evalueren van open medische vragen in het Frans.

De kern

Wie oordeelt er over de rechter? Een simpel verhaal over AI, medische vragen en de "domme" rechter

Stel je voor dat je een grote groep medische studenten hebt die een examen doen. Ze krijgen een moeilijke vraag over gezondheid en moeten een antwoord schrijven. Nu moet iemand die antwoorden nakijken. Maar hier zit het probleem: er zijn maar heel weinig echte artsen beschikbaar om dit te doen. Het is duur, tijdrovend en ze hebben andere dingen te doen.

Dus, wat als we een computer (een Large Language Model of LLM) vragen om die antwoorden te nakijken? Kunnen die computers net zo goed oordelen als een menselijke arts?

Dit is precies wat de auteurs van dit onderzoek hebben onderzocht. Ze hebben gekeken of AI kan fungeren als een "rechter" voor medische vragen in het Frans. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het probleem: De "Kleurrijke" Antwoorden

In de medische wereld is het antwoord niet altijd zwart-wit. Soms zegt een student: "Geef de patiënt aspirine," en een ander zegt: "Het is raadzaam om acetylsalicylzuur te nemen." Beide zeggen hetzelfde, maar de woorden zijn anders.

Een simpele computer die telt hoeveel woorden overeenkomen (zoals een spellingscontrole), ziet dit verschil en denkt: "Oh, dit is fout!" Maar een echte arts ziet: "Nee, dit is juist, het is gewoon anders verwoord."

De onderzoekers wilden weten: Kan een slimme AI dit subtiele verschil zien?

2. De Experimenten: De Rechtertest

Ze hebben een proef opgezet met drie groepen:

• De Studenten: Verschillende AI-modellen kregen medische vragen gesteld en schreven antwoorden.
• De Echte Rechter: Een ervaren neuroloog (een hersenspecialist) keek naar de antwoorden en zei: "Dit is hetzelfde als het juiste antwoord" of "Dit is fout."
• De AI-Rechters: Verschillende AI-modellen kregen dezelfde taak: ze moesten beoordelen of het studenten-antwoord klopte met het echte antwoord.

3. De Verassende Resultaten

A. De "Grote" AI's zijn niet altijd de beste
Je zou denken dat de grootste, duurste AI's (zoals die van Google of OpenAI) de beste rechters zijn. Maar dat bleek niet helemaal waar.

• Sommige grote AI's waren te streng. Ze dachten: "Oh, de woorden zijn anders, dus het is fout!" Ze waren bang om fouten te maken en keurden veel goede antwoorden af.
• Andere AI's waren te makkelijk. Ze dachten: "Klinkt goed, dan is het goed!" en keurden zelfs slechte antwoorden goed.

B. De "Eigenbaas"-effect (De Bias)
Dit was het meest interessante stukje. De AI-rechter bleek beïnvloed door wie het antwoord had geschreven.

• Als een AI-rechter zelf van het merk "Qwen" was, keek hij veel vriendelijker naar antwoorden die ook door een "Qwen" waren geschreven. Alsof een leraar zijn eigen favoriete leerlingen iets beter vindt.
• Dit betekent dat je niet zomaar elke AI kunt gebruiken om een andere AI te beoordelen. Je moet weten wie de "rechter" is en wie de "student".

C. De kleine, slimme oplossing
De onderzoekers probeerden iets heel slims. Ze namen een klein, compact AI-model (een beetje zoals een slimme smartphone-app in plaats van een supercomputer).

• Eerst was deze kleine AI heel slordig: hij zei bijna alles "goed".
• Maar toen ze hem een beetje trainden met een paar honderd voorbeelden van een echte arts (een soort "cursus"), werd hij veel beter.
• Ze gebruikten zelfs een speciale techniek (GRPO) die werkt als een video-game coach: de AI krijgt een puntje als hij het goed doet en een straf als hij het fout heeft. Na een paar rondes "trainen" werd deze kleine AI bijna net zo goed als de grote, dure AI's.

4. Wat betekent dit voor de toekomst?

Stel je voor dat je een fabriek hebt waar duizenden medische vragen worden beantwoord. Je kunt niet duizenden artsen inhuren om alles te nakijken.

Dit onderzoek zegt:

1. Pas op met de "rechter": Niet elke AI is een goede rechter. Sommigen zijn te streng, anderen te zacht, en sommigen hebben "favorieten" (bias).
2. Kleine modellen kunnen het: Je hoeft geen supercomputer te gebruiken. Als je een klein model goed traint met een beetje hulp van experts, kun je een betrouwbare "rechter" maken die goedkoop en snel is.
3. Geen vervanging voor artsen: Hoewel deze AI's helpen bij het nakijken van duizenden antwoorden, kunnen ze de echte arts niet vervangen. In het echte leven, als het om een patiënt gaat, moet er altijd een menselijke arts de laatste handtekening zetten. De AI is slechts een assistent die het werk lichter maakt.

Kort samengevat:
Het is alsof je een groep leerlingen laat nakijken door andere leerlingen. Als je dat doet, moet je zorgen dat de nakijkers niet te streng zijn, niet te makkelijk, en niet hun eigen vrienden bevoordelen. En het beste nieuws? Je kunt een slimme, kleine leerling trainen om een heel eerlijke nakijker te worden, zonder dat je een dure professor nodig hebt.

Technische samenvatting

Probleemstelling

De automatische evaluatie van Open-ended Question Answering (OEQA) in het medische domein blijft een grote uitdaging. Traditionele metrieken zoals BLEU, ROUGE en BERTScore zijn onvoldoende omdat ze zich richten op oppervlakkige lexicaal overlap in plaats van semantische juistheid, feitelijke accuraatheid en klinische relevantie. In het medische domein kunnen correcte antwoorden sterk verschillen in formulering, terwijl kleine semantische fouten klinisch cruciaal kunnen zijn.

Huidige evaluatiepijplijnen vertrouwen vaak op meerkeuzevragen (MCQA), wat niet de vaardigheid van modellen om vrije, klinisch valide antwoorden te genereren meet. Menselijke evaluatie door experts is de gouden standaard, maar is duur en tijdrovend. De opkomende "LLM-as-a-Judge" (LLM als rechter) benadering biedt een schaalbaar alternatief, maar er is onzekerheid over:

1. De betrouwbaarheid van LLM's in gespecialiseerde medische contexten (specifiek in het Frans).
2. De gevoeligheid van deze beoordelaars voor de bron van het gegenereerde antwoord (generator bias).
3. Of compacte modellen met beperkte expert-supervisie kunnen worden getraind om betrouwbare beoordelaars te worden.

Methodologie

De studie onderzoekt de prestaties van diverse Large Language Models (LLM's) als beoordelaars voor semantische equivalentie in het Frans.

• Taakdefinitie: De evaluatie wordt geframed als een binaire equivalentie-judgment (0 of 1): is het gegenereerde antwoord semantisch equivalent aan het referentie-antwoord in termen van medische juistheid?
• Datasets:
  • Trainingsset: 100 Franse OEQA-voorbeelden (uit S-EDITION), aangevuld met contrastieve negatieve voorbeelden en geparafraseerde positieve voorbeelden, totaal 184 gelabelde instanties door een klinisch expert.
  • Evaluatieset: 500 voorbeelden. Voor 100 vragen werden 5 antwoorden gegenereerd door verschillende LLM-generators (Gemma-3, SFT-LLaMA-13B, MedGemma-4B, SFT-Qwen-4B, Qwen3-4B). Deze 500 antwoorden werden onafhankelijk beoordeeld door een gespecialiseerd neurovasculair arts.
• Beoordelaars (Judges): Een diverse set van modellen werd getest, waaronder gesloten modellen (GPT-5.1, Gemini-2.5-Pro), open-source modellen (Qwen-80B) en medisch aangepaste modellen (MedGemma-27B). Ook werd een compact model (Phi-3.5-mini) getest.
• Aanpassingstrategieën (Alignment): Om te onderzoeken of kleine modellen kunnen worden verbeterd, werd Phi-3.5-mini onderworpen aan twee fasen:
  1. Supervised Fine-Tuning (SFT): Training op de 184 expert-gelabelde voorbeelden.
  2. Group Relative Policy Optimization (GRPO): Reinforcement learning om de stabiliteit en discriminatievermogen verder te verbeteren.
• Evaluatiemetrics: Accuracy, F1-score, Pearson-correlatie met expert-labels, en statistische significantietests (McNemar, Bootstrap, Permutatie).

Belangrijkste Bijdragen

1. Systematische Evaluatie: Een grondige analyse van hoe verschillende families van beoordelaars (gesloten, open-source, medisch gespecialiseerd) presteren in het Frans, een taal die vaak wordt verwaarloosd in medische NLP-onderzoek.
2. Ontdekking van Generator-Bias: Empirisch bewijs dat LLM-beoordelaars niet generator-onafhankelijk zijn. De beoordeling hangt sterk af van het model dat het antwoord heeft gegenereerd, wat leidt tot consistente evaluatiebias.
3. Effectiviteit van Lichte Aanpassing: Een demonstratie dat compacte modellen (zoals Phi-3.5-mini) met minimale supervisie (SFT + GRPO) kunnen worden getransformeerd tot betrouwbare beoordelaars die presteren op het niveau van veel grotere, gespecialiseerde modellen.

Resultaten

• Prestatieverschillen: Gespecialiseerde modellen (MedGemma-27B) en grote algemene modellen (Qwen-80B) behaalden de beste balans tussen precisie en recall (F1-score ~60%). Gesloten modellen zoals GPT-5.1 hadden een hoge precisie maar een zeer lage recall (32%), wat betekent dat ze te conservatief zijn en vaak equivalente antwoorden afwijzen.
• Generator-Gevoeligheid: Alle beoordelaars vertoonden variatie in prestaties afhankelijk van het generatiemodel. Bijvoorbeeld, Qwen-80B presteerde het beste op antwoorden gegenereerd door andere Qwen-modellen, wat wijst op een voorkeur voor het eigen modelgezin.
• Impact van SFT en GRPO:
  • De basisversie van Phi-3.5-mini neigde sterk naar het voorspellen van "equivalent" (hoge recall, lage precisie).
  • SFT verbeterde de prestaties matig door de overpredictie van positieve klassen te corrigeren.
  • GRPO leverde de grootste verbetering op, waarbij de balans tussen precisie en recall aanzienlijk werd verbeterd. De GRPO-versie bereikte een nauwkeurigheid van 71,4% (tegenover 47% voor de basis), wat statistisch significant is (McNemar-test).
  • GRPO verminderde ook de variabiliteit in prestaties tussen verschillende generatiemodellen, waardoor de beoordelaar robuuster werd.
• Vergelijking met Traditionele Metrieken: Traditionele metrics (ROUGE, BLEU) hadden een zeer zwakke correlatie met expert-oordelen, wat bevestigt dat ze ongeschikt zijn voor medische OEQA.

Betekenis en Conclusie

De studie concludeert dat "LLM-as-a-Judge" een veelbelovend maar complex instrument is voor medische evaluatie.

• Generator-Awareness: Evaluatiesystemen moeten rekening houden met de bron van het antwoord, omdat beoordelaars systematische biases vertonen afhankelijk van het generatiemodel.
• Kosteneffectiviteit: Het is niet nodig om enorme, dure modellen te gebruiken voor evaluatie. Kleine, zorgvuldig aangepaste modellen (via SFT en GRPO) kunnen met beperkte data (184 voorbeelden) prestaties leveren die vergelijkbaar zijn met veel grotere, gespecialiseerde modellen.
• Toekomstperspectief: Hoewel de dataset klein is, biedt dit werk een fundament voor schaalbare evaluatieframeworks in low-resource medische settings. De auteurs waarschuwen echter dat deze systemen momenteel nog niet geschikt zijn voor autonome klinische besluitvorming en menselijke toezicht onmisbaar blijft.

De studie benadrukt dat de combinatie van domeinadaptatie en geavanceerde optimalisatietechnieken (zoals GRPO) essentieel is om betrouwbare, schaalbare evaluatie voor medische AI te realiseren.