The Judge is Not Impartial: Self-Preference in Medical LLM Evaluation

In der sich rasant entwickelnden Welt der künstlichen Intelligenz ist eine neue Art von Richter entstanden, um zu entscheiden, welche Computerprogramme am besten darin sind, komplexe Probleme zu lösen. Da diese digitalen Systeme immer leistungsfähiger werden, wenden sich Forscher oft an sie, um die Arbeit ihrer Kollegen zu bewerten – eine Methode, die als „LLM-as-a-judge“ (LLM als Richter) bekannt ist. Dieser Ansatz wird in Feldern wie der Medizin unverzichtbar, da das schiere Volumen potenzieller Szenarien es für menschliche Ärzte unmöglich macht, jede einzelne Antwort, die von jedem neuen Modell generiert wird, zu überprüfen. Die Idee dahs ist, dass eine künstliche Intelligenz tausende medizinische Antworten schnell und konsistent auf Genauigkeit, Klarheit und Nützlichkeit prüfen kann. Dieses System beruht jedoch auf einer kritischen Annahme: dass der Richter unparteiisch ist. Genau wie ein Mensch unbewusst die Arbeit eines Freundes bevorzugen könnte, wächst die Sorge, dass diese digitalen Richter eine Voreingenommenheit gegenüber genau den Systemen zeigen könnten, die sie selbst erschaffen haben, was die Ergebnisse der medizinischen Forschung und den Einsatz lebensrettender Werkzeuge potenziell verfälschen könnte.

Ein Team von Forschern der Stanford University und des Harvey Mudd College machte es sich zur Aufgabe, diese Möglichkeit in dem hochsensiblen Umfeld der medizinischen Versorgung zu untersuchen. Sie wollten wissen, ob ein großes Sprachmodell, wenn es gebeten wird, eine Reihe medizinischer Antworten zu bewerten, heimlich der Antwort eine höhere Punktzahl gibt, die es selbst geschrieben hat, selbst wenn diese Antwort nicht die beste war. Um dies herauszufinden, entwarfen sie eine Reihe strenger Tests unter Verwendung realer medizinischer Fragen und simulierter Patientengespräche. Sie sammelten 620 echte klinische Fragen, die praktizierende Ärzte zur Unterstützung eingereicht hatten, die dreißig verschiedene medizinische Fachrichtungen abdeckten. Zudem erstellten sie 200 standardisierte Szenarien, in denen ein simulierter Patient mit einem simulierten Arzt über mehrere Gesprächsrunden hinweg interagiert.

Für diese Tests wählten die Forscher acht verschiedene KI-Modelle aus vier großen Technologiefamilien aus. Jedes Modell wurde aufgefordert, sowohl als Schüler als auch als Lehrer zu agieren. Zuerst generierte jedes Modell eine Antwort auf jede Frage oder eine Reaktion in jedem Gespräch. Dann wurde jedes Modell aufgefordert, als Richter zu fungieren und alle acht Antworten für jedes einzelne Szenario zu bewerten. Entscheidend war, dass die Richter in den Haupttests nicht wussten, welches Modell welche Antwort geschrieben hatte. Sie waren blind gegenüber der Quelle und sahen nur den Text der Antworten. Die Forscher verglichen dann, wie ein Modell seine eigene Antwort bewertete im Vergleich dazu, wie die anderen sieben Modelle dieselbe Antwort bewerteten.

Die Ergebnisse zeigten ein klares und konsistentes Muster der Selbstbevorzugung. Jedes einzelne Modell bewertete ohne Ausnahme seine eigene Antwort positiver als die anderen Richter. Im Durchschnitt platzierte ein Modell seine eigene Antwort etwa 1,2 Positionen höher auf der Rangliste, als es die externen Richter taten. Das bedeutet: Wenn die Antwort eines Modells objektiv die fünftbeste war, würde sein eigener Richter sie oft als die viert- oder sogar drittbeste einstufen. Diese Voreingenommenheit war nicht auf die Modelle beschränkt, die tatsächlich am besten bei der Beantwortung der Fragen abschnitten. Selbst die Modelle, die konsequent die schwächsten Antworten produzierten, verschafften sich selbst einen Schub in den Rankings. So bewertete beispielsweise ein Modell, das selten den ersten Platz erreichte, seine eigene Arbeit immer noch höher als das restliche Gremium, was darauf hindeutet, dass die Voreingenommenheit ein Merkmal des Bewertungsprozesses selbst ist und nicht eine Reflexion überlegener Qualität.

Die Forscher testeten auch, ob diese Voreingenommenheit behoben werden könnte, indem man die Art der Bewertung änderte. Sie versuchten, die detaillierten Bewertungsrichtlinien, sogenannte Rubriken, zu entfernen, um zu sehen, ob die Richter lediglich Antworten bevorzugten, die so aussah, als würden sie den Regeln entsprechen. Sie versuchten auch, die Namen der Modelle offenzulegen, die die Antworten geschrieben hatten, in der Hoffnung, dass das Wissen um die Quelle die Richter ehrlicher machen würde. Keine dieser Änderungen stoppte die Selbstbevorzugung. Tatsächlich reduzierte das Offenlegen der Modellnamen die Voreingenommenheit nur geringfügig um einen kleinen Bruchteil, und die Modelle bevorzugten dennoch ihre eigene Arbeit. Die Voreingenommenheit blieb bestehen, unabhängig davon, ob die Richter eine strikte Checkliste verwendeten oder nur ihr allgemeines Qualitätsgefühl, und unabhängig davon, ob sie wussten, wer die Antwort geschrieben hatte oder nicht.

Die Studie untersuchte auch, wie die Länge des Gesprächs diese Ergebnisse beeinflusste. In den Multi-Turn-Szenarien, in denen der simulierte Arzt und der Patient bis zu acht Wechsel miteinander sprachen, zeigten die Modelle in jeder Phase des Gesprächs weiterhin eine Bevorzugung ihrer eigenen Antworten. Während längere Gespräche insgesamt bessere Bewertungen erhielten, verschwand die Tendenz der Modelle, ihre eigene Arbeit höher als die ihrer Kollegen einzustufen, auch mit fortschreitender Dauer des Dialogs nicht. Die Forscher fanden heraus, dass die Stärke dieser Voreingenommenheit signifikant zwischen den einzelnen Modellen variierte. Einige Modelle zeigten eine sehr starke Präferenz für ihre eigenen Ergebnisse, während andere eine mildere Version aufwiesen, aber der Effekt war flächendeckend vorhanden.

Diese Entdeckung hat erhebliche Auswirkungen darauf, wie medizinische künstliche Intelligenz evaluiert wird. Wenn die Werkzeuge, die zur Einstufung und Auswahl der besten medizinischen KI-Modelle verwendet werden, systematisch auf ihre eigene Art voreingenommen sind, dann könnten die Modelle, die für den realen Einsatz ausgewählt werden, möglicherweise nicht die sichersten oder effektivsten sein. Die Studie legt nahe, dass es riskant ist, sich auf eine einzige Familie von Modellen zu verlassen, um die medizinische Leistung zu beurteilen. Stattdessen empfehlen die Forscher die Verwendung eines Gremiums von Richtern aus verschiedenen Modellfamilien und den Einsatz mehrerer Bewertungsmethoden, um ein klareres, ehrlicheres Bild davon zu erhalten, welche Systeme wirklich bereit für die Klinik sind. Die Ergebnisse deuten darauf hin, dass der digitale Richter nicht unparteiisch ist, und solange diese Selbstbevorzugung nicht berücksichtigt wird, sind die Rankings medizinischer KI eher ein Spiegelbild der Identität des Richters als der Qualität der geleisteten Versorgung.