Who Judges the Judge? Evaluating LLM-as-a-Judge for French Medical open-ended QA

Die Studie zeigt, dass zwar große und biomedizinisch adaptierte Modelle als Richter für französische medizinische offene Fragen am besten mit Expertenurteilen übereinstimmen, eine gezielte Feinabstimmung kompakter Modelle jedoch die Leistung erheblich verbessert und die Abhängigkeit vom Antwortgenerator verringert, was eine skalierbare Evaluierung in ressourcenarmen medizinischen Kontexten ermöglicht.

Das Wesentliche

🩺 Wer prüft den Prüfer? Ein Experiment mit KI-Arztschülern

Stell dir vor, du hast eine riesige Bibliothek mit medizinischen Fragen und Antworten. Normalerweise müssten echte Ärzte (Experten) jede einzelne Antwort lesen und bewerten: „Ist das korrekt? Ist das medizinisch sinnvoll?" Das ist aber extrem teuer und zeitaufwendig, wie wenn man für jeden Schüler einen persönlichen Lehrer braucht, der stundenlang Korrektur liest.

Die Forscher aus Frankreich haben sich gefragt: Können wir statt teurer Ärzte eine andere KI (einen „KI-Richter") einsetzen, der die Antworten der Schüler-KIs bewertet?

Das ist die Idee hinter „LLM-as-a-Judge" (KI als Richter). Aber wie gut macht das die KI? Und ist sie fair?

1. Das Problem: Der „Schüler-Effekt"

Die Forscher haben verschiedene KI-Modelle (die „Schüler") gebeten, medizinische Fragen zu beantworten. Dann haben sie andere KIs (die „Richter") gebeten, diese Antworten zu bewerten.

Die überraschende Entdeckung: Die Richter-KIs waren nicht neutral!

• Die Vorurteile: Ein Richter mochte Antworten von einem bestimmten Schüler-Typ (z. B. von einer KI, die sehr ausführlich schreibt) viel lieber als Antworten von einem anderen (der kurz und knapp ist), auch wenn beide medizinisch korrekt waren.
• Die Analogie: Stell dir einen Lehrer vor, der nur die Aufsätze liebt, die mit viel Tinte und großen Buchstaben geschrieben sind. Wenn ein Schüler die gleiche richtige Antwort in knappen Stichpunkten schreibt, gibt der Lehrer ihm eine schlechte Note, obwohl die Antwort fachlich perfekt ist. Die KI-Richter machen genau das: Sie bewerten oft den Stil der Antwort, nicht den medizinischen Inhalt.

2. Die Lösung: Spezialisierte vs. Allgemeine Richter

Die Forscher haben verschiedene Arten von KI-Richtern getestet:

• Allgemeine Riesen-KIs: Diese sind sehr schlau, aber sie kennen sich im Medizin-Fachgebiet nicht so gut aus. Sie sind oft zu streng und lehnen korrekte, aber kurze Antworten ab.
• Medizin-Spezialisten: Es gab eine KI, die speziell für Medizin trainiert wurde (wie ein Medizinstudent, der nur Medizin gelernt hat). Diese war viel besser im Bewerten, weil sie den „Fachjargon" und die Nuancen besser verstand.

3. Der Clou: Der kleine, aber kluge Helfer

Das Spannendste an der Studie ist der Versuch mit einem kleinen KI-Modell (Phi-3.5-mini).

• Das Problem: Dieser kleine Helfer war am Anfang sehr ungenau. Er war wie ein übermotivierter Prüfer, der fast jede Antwort als „richtig" markierte (zu viele „Ja"-Antworten), nur um sicherzugehen.
• Die Ausbildung (SFT & GRPO): Die Forscher haben diesen kleinen Helfer mit ein paar hundert Beispielen von echten Ärzten trainiert.
  • SFT (Supervised Fine-Tuning): Das ist wie klassischer Unterricht. Der Lehrer zeigt dem Schüler die richtigen Lösungen.
  • GRPO (Group Relative Policy Optimization): Das ist wie ein intensives Trainingsspiel. Der KI wird nicht nur gesagt, was falsch ist, sondern sie lernt durch Vergleiche: „Warum war Antwort A besser als Antwort B?"

Das Ergebnis: Durch dieses spezielle Training wurde aus dem kleinen, ungenauen Helfer ein hervorragender Richter. Er wurde fast so gut wie die riesigen, teuren Spezial-KIs, war aber viel schneller und kostengünstiger.

4. Warum ist das wichtig?

• Für die Zukunft: Wir können in Zukunft viel mehr medizinische KI-Systeme testen, ohne dass wir dafür hunderte von Ärzten bezahlen müssen. Ein kleiner, gut trainierter KI-Richter reicht aus.
• Die Warnung: Man darf den KI-Richter aber nicht blind vertrauen. Er muss wissen, wer die Antwort geschrieben hat (welches KI-Modell), um fair zu bewerten. Sonst bewertet er den Stil statt der Wahrheit.

Zusammenfassung in einem Satz:

Die Studie zeigt, dass KI zwar gut darin ist, andere KIs zu bewerten, aber sie ist oft voreingenommen; doch wenn man eine kleine KI mit ein wenig Hilfe von echten Ärzten „schlau macht", kann sie eine hervorragende, kostengünstige Alternative zu teuren Experten werden – solange man darauf achtet, dass sie nicht nur den Schreibstil, sondern den medizinischen Inhalt bewertet.

Technische Zusammenfassung

1. Problemstellung

Die automatische Evaluation von medizinischen Open-Ended-Question-Answering-Systemen (OEQA) stellt eine große Herausforderung dar. Herkömmliche Metriken wie BLEU, ROUGE oder BERTScore basieren auf lexikalischer oder semantischer Ähnlichkeit und erfassen weder die faktische Richtigkeit noch die klinische Relevanz einer Antwort. Dies führt zu einer schwachen Korrelation mit menschlichen Expertenurteilen.

Der aktuelle Stand der Technik verlässt sich oft auf Multiple-Choice-Tests (MCQA), die jedoch nicht die Fähigkeit eines Modells zur freien, klinisch fundierten Argumentation widerspiegeln. Die manuelle Evaluation durch medizinische Experten ist zwar zuverlässig, aber teuer und nicht skalierbar. Der Ansatz „LLM-as-a-Judge" (LLMs als automatisierte Bewerter) bietet eine potenzielle Alternative, doch es bestehen offene Fragen bezüglich:

• Der Zuverlässigkeit von LLMs in spezialisierten medizinischen Kontexten.
• Der Sensitivität dieser Bewerter gegenüber dem Modell, das die zu bewertende Antwort generiert hat (Generator-Bias).
• Der Möglichkeit, kompakte Modelle mit begrenzten Experten-Daten zu verlässlichen Bewertern zu trainieren.
• Der spezifischen Situation im Französischen, wo medizinische Terminologie und Praxis von den englischsprachigen Standards abweichen.

2. Methodik

Datensatz und Aufgabe:

• Aufgabe: Binäre semantische Äquivalenz (Ja/Nein): Ist die von einem LLM generierte Antwort medizinisch korrekt und klinisch äquivalent zu einer Experten-Referenzantwort?
• Daten:
  • Trainingsset: 184 annotierte Instanzen (100 Originalfragen + 42 kontrastive negative Beispiele durch Antwort-Tausch + 42 positive Beispiele durch Paraphrasierung).
  • Eval-Set: 500 Instanzen (100 Fragen, jeweils generiert von 5 verschiedenen LLMs: Gemma-3, SFT-LLaMA-13B, MedGemma-4B, SFT-Qwen-4B, Qwen3-4B).
• Annotation: Ein zertifizierter Neurovaskulär-Chirurg bewertete die Äquivalenz. Eine zweite Ärztin validierte 10% der Daten (90% Übereinstimmung).

Evaluierte Modelle (Judges):
Es wurden verschiedene Modellfamilien verglichen:

• Proprietär/Allgemein: GPT-5.1, Gemini-2.5-Pro.
• Open-Source/Allgemein: Qwen3-Next-80B.
• Biomedizinisch adaptiert: MedGemma-27B.
• Kompakt: Phi-3.5-mini (3,8B Parameter).

Anpassungsstrategien (Alignment):
Für das kompakte Modell Phi-3.5-mini wurden zwei Anpassungsmethoden getestet, um die Leistung zu verbessern:

1. Supervised Fine-Tuning (SFT): 5 Epochen auf den 184 Experten-Daten.
2. Group Relative Policy Optimization (GRPO): Zusätzliches Reinforcement Learning über 2 Epochen, um die Stabilität und Diskriminierungsfähigkeit zu erhöhen.

Auswertung:

• Metriken: Accuracy, F1-Score, Pearson-Korrelation zu den Expertenlabels.
• Statistik: McNemar-Test für Accuracy, Bootstrap- und Permutationstests für F1 und Korrelation, um die Signifikanz von Verbesserungen zu prüfen.
• Analyse: Separate Betrachtung der Leistung pro Generator-Modell, um Bias zu identifizieren.

3. Wichtige Beiträge

1. Systematische Bewertung im Französischen: Erste umfassende Untersuchung von LLM-as-a-Judge für medizinische OEQA in Französisch, was als Testumfeld für nicht-englische klinische Kontexte dient.
2. Nachweis von Generator-Bias: Die Studie zeigt, dass LLM-Bewerter nicht generator-invariant sind. Die Leistung variiert stark je nachdem, welches Modell die zu bewertende Antwort generiert hat (z. B. Neigung, kurze Antworten von feinabgestimmten Modellen fälschlicherweise abzulehnen).
3. Effektivität leichter Anpassung: Es wird demonstriert, dass kleine Modelle (Phi-3.5-mini) durch SFT und insbesondere GRPO zu verlässlichen Bewertern trainiert werden können, die mit großen, domänenspezifischen Modellen mithalten können, selbst bei sehr kleinen Trainingsdatensätzen.

4. Ergebnisse

Vergleich der Baseline-Modelle:

• Domänenangepasste Modelle: MedGemma-27B und Qwen-80B erzielten die beste Balance (höchste F1-Scores von ~60% und ~60,5%) und die höchste Korrelation mit Expertenurteilen.
• Allgemeine Modelle: GPT-5.1 und Gemini-2.5-Pro zeigten hohe Genauigkeit, aber eine sehr niedrige Recall-Rate (konservative Tendenz, Äquivalenz abzulehnen), was zu niedrigeren F1-Scores führte.
• Kompakte Modelle (Baseline): Das unangepasste Phi-3.5-mini neigte stark zu False Positives (hoher Recall von 98%, aber niedrige Präzision), was auf eine Übergeneralisierung hindeutet.

Einfluss des Generators:
Alle Bewerter zeigten eine Abhängigkeit vom Generator. Beispielsweise lehnten GPT-5.1 und Gemini Antworten von feinabgestimmten LLaMA/Qwen-Modellen (die oft prägnanter sind) häufiger ab als Antworten von Gemma-Modellen. MedGemma-27B zeigte die geringste Sensitivität gegenüber dem Generator.

Effekt der Anpassung (SFT & GRPO):

• SFT: Verbesserte den F1-Score von 52,6% auf 54,5%, indem die Tendenz zu False Positives leicht reduziert wurde.
• GRPO: Erzielte die größten Fortschritte. Der F1-Score stieg auf 57,1% und die Genauigkeit auf 71,4%.
• Statistische Signifikanz: Der McNemar-Test bestätigte, dass GRPO im Vergleich zur Basis und zu SFT allein signifikant weniger Fehler macht (p < 0,001).
• Vergleichbarkeit: Der angepasste Phi-3.5-mini (GRPO) erreichte eine Leistung, die der von MedGemma-27B und Qwen-80B nahekommt, obwohl er deutlich kleiner ist.

5. Bedeutung und Fazit

Die Studie unterstreicht, dass die Zuverlässigkeit von LLM-as-a-Judge stark vom Kontext und dem Generator abhängt.

• Generator-Awareness: Evaluationssysteme müssen den Einfluss des Antwort-Generators berücksichtigen, da Bewerter systematische Verzerrungen gegenüber bestimmten Antwortstilen oder Modellfamilien aufweisen.
• Skalierbarkeit in Low-Resource-Szenarien: Es ist nicht zwingend notwendig, riesige Modelle für die Evaluation einzusetzen. Durch gezielte, leichte Anpassung (SFT + GRPO) können kompakte Modelle zu kosteneffizienten und verlässlichen Bewertern in medizinischen Domänen mit begrenzten Daten werden.
• Limitationen: Die Studie basiert auf einem kleinen Datensatz und einer binären Äquivalenzaufgabe. Komplexere klinische Nuancen (z. B. Sicherheit, Vollständigkeit) wurden nicht abgedeckt. Die Modelle sind daher nicht für autonome klinische Entscheidungen geeignet, sondern dienen als skalierbare Unterstützung für Experten.

Zusammenfassend liefert das Paper einen wichtigen Baustein für die Entwicklung robuster, domänenspezifischer Evaluierungsframeworks für medizinische LLMs, insbesondere für nicht-englische Sprachen wie Französisch.