Stellen Sie sich vor, Sie müssten entscheiden, welcher Film das Beste des Jahres ist. Sie bitten eine Gruppe von Freunden, die Filme anzusehen und eine Bewertung abzugeben. Aber hier ist der Clou: Sie bitten einen Freund, wie ein strenger Filmkritiker zu urteilen, der langsames Erzähltempo hasst, einen anderen, wie ein Teenager, der auf coole Spezialeffekte steht, und einen dritten, wie ein Elternteil, der auf den pädagogischen Wert achtet. Plötzlich kann sich der „beste“ Film ändern, je nachdem, wen Sie gefragt haben! Dies ist das Herzstück der Information Retrieval (IR) Evaluation – der Wissenschaft darüber, wie gut Suchmaschinen die richtigen Antworten finden. Jahrzehntelang haben Menschen diese Bewertung vorgenommen, aber das ist langsam und teuer. Jetzt setzen Wissenschaftler Large Language Models (LLMs) ein – superintelligente KI-Chatbots –, um die Bewertung zu übernehmen. Die große Frage ist: Wenn wir eine KI bitten, sich wie verschiedene Arten von Menschen zu „verhalten“, ändert das die Ergebnisse? Hängt die Antwort der KI davon ab, welche „Maske“ sie trägt?

Dieses Paper untersucht genau diese Frage. Die Forscher wollten wissen, ob das Geben einer spezifischen „Persona“ (wie „ein Arzt“ oder „ein Anwalt“) an eine KI die Art und Weise verändert, wie sie Suchergebnisse rankt, oder ob sie einfach immer die gleiche Antwort gibt, egal was man sagt. Sie behandelten diese Personas wie einen Stresstest, um die KI zu prüfen und zu sehen, wie instabil ihre Meinungen sind. Sie fanden heraus, dass die KI zwar nicht komplett ihre gesamte Liste der Gewinner und Verlierer umwirft, aber doch ein wenig eigenwillig wird. Die Ergebnisse legen nahe, dass das Urteil der KI keine feste Wahrheit ist; es verschiebt sich leicht, je nachdem, welche Rolle sie spielt, und dieser Wandel ist für kleinere, weniger leistungsfähige KI-Modelle bedeutender als für die großen, hochintelligenten Modelle.

Die Geschichte des Gestaltwandlers

In der Welt der Suchmaschinen müssen wir wissen, ob ein neuer Algorithmus tatsächlich besser ist als der alte. Um das herauszufinden, führen wir eine Reihe von Test-Suchanfragen durch und bitten einen „Beurteiler“, die Qualität der Ergebnisse zu bewerten. Traditionell wurde dies von Menschen gemacht. Aber Menschen sind müde, teuer und manchmal uneinig. Deshalb begannen Forscher, KI-Modelle als Richter einzusetzen. Die Idee ist, dass eine KI, wenn man sie richtig anspricht, wie ein professioneller menschlicher Richter agieren kann.

Aber hier liegt der Haken: KI ist sensibel. Wenn man die Art und Weise ändert, wie man eine Frage stellt, kann sich die Antwort ändern. Dieses Paper fragt: Was passiert, wenn wir die Identität des Richters ändern? Anstatt die KI nur zu bitten, „ein Richter zu sein“, sagten die Forscher ihr: „Sei ein Arzt“, „sei ein Anwalt“ oder „sei ein skeptischer Faktenchecker“. Sie wollten sehen, ob diese verschiedenen „Masken“ die KI dazu bringen würden, ihre Meinung darüber zu ändern, welche Suchergebnisse gut waren.

Das Experiment: Die KI verkleiden

Die Forscher gestalteten ein riesiges Experiment mit zwei verschiedenen Sätzen von Suchanfragen (genannt Datensätze). Ein Satz bestand aus faktischen, kurzen Fragen (wie „Wer gewann den Nobelpreis?“), und der andere aus komplexen, offenen Themen (wie „Wie sollten Lehrer mit staatlichen Tests umgehen?“).

Sie nahmen sechs verschiedene KI-Modelle – einige sehr große und leistungsstarke, andere kleinere und leichtere – und baten sie, die Suchergebnisse zu bewerten. Aber sie baten sie nicht einfach nur zu bewerten; sie gaben ihnen spezifische Rollen:

1. Der query-orientierte Richter: Konzentriert sich darauf, was der Nutzer meinte.
2. Der Fachexperte: Konzentriert sich auf spezifische Bereiche wie Gesundheit oder Recht.
3. Der orthogonale Richter: Ein „Konträr-Denker“, der die Dinge aus einem völlig anderen Blickwinkel betrachtet.
4. Der Evidenz-Prüfer: Ein strenger Faktenchecker, der Beweise fordert.
5. Der globale Beurteiler: Ein standardmäßiger, professioneller Bewerter.

Sie probierten auch zwei verschiedene Wege aus, um diese Rollen zu erstellen: einen unter Verwendung abstrakter Beschreibungen (wie „ein Elternteil“) und einen mit detaillierten Skill-Listen (wie „eine Person mit Kompetenzen in der Lehrplanentwicklung“).

Was sie fanden: Die KI ist ein Feng Shui-Stein, kein Fels

Die Ergebnisse waren faszinierend und etwas überraschend. Die KI verlor nicht völlig den Verstand. Wenn sie die Persona änderten, entschied die KI nicht plötzlich, dass ein schlechtes Ergebnis perfekt und ein perfektes Ergebnis schrecklich sei. Stattdessen waren die Änderungen subtiler, vergleichbar mit einem Feng Shui-Stein, der seine Farbe ändert.

1. Der Verschiebung der „Strenge“
Meistens blieben die Rankings der KI ziemlich nah am Standard-Baseline-Wert. Dennoch veränderten die Personas die Strenge der KI. Zum Beispiel neigte die Persona des „Evidenz-Prüfers“ dazu, strenger zu sein und niedrigere Bewertungen für Ergebnisse zu geben, die keine soliden Beweise lieferten. Die „Konträr“-Persona war eher bereit, der Standardansicht zu widersprechen. Entscheidend war jedoch, dass diese Änderungen die Scores meist nur ein wenig nach oben oder unten drückten; sie verursachten kein totales Chaos, bei dem die gesamte Liste der Gewinner durcheinandergebracht wurde.

2. Größe zählt: Große Gehirne vs. kleine Gehirne
Dies war eine wesentliche Erkenntung. Die größten, leistungsstärksten KI-Modelle (wie die mit 70 Milliarden Parametern) waren sehr stabil. Egal, welche „Maske“ sie trugen, sie behielten ihre Rankings weitgehend gleich. Sie waren wie ein weiser alter Richter, der die Regeln kennt und sich nicht von einem Kostümwechsel beeinflussen lässt.
Die kleineren, weniger leistungsfähigen KI-Modelle hingegen waren viel sensibler. Wenn man einer kleinen KI eine „Konträr“-Maske aufsetzte, wurde sie verwirrt und ihre Rankings sprangen stark hin und her. Dies deutet darauf an, dass, wenn man eine schwache KI für die Bewertung nutzt, die Ergebnisse allein deshalb unzuverlässig sein können, weil man sie gebeten hat, auf eine bestimmte Weise zu „agieren“.

3. Der „Konträr-Denker“ ist am disruptivsten
Unter allen Rollen verursachte die „orthogonale“ (oder konträre) Persona die größten Verschiebungen in den Rankings. Das ergibt Sinn: Wenn man eine KI anweist, die Dinge aus einem völlig anderen Blickwinkel zu betrachten, wird sie ihre Meinung eher ändern als wenn man sie anweist, ein „Fachexperte“ zu sein. Die Forscher fanden heraus, dass die Verwendung eines „kompetenzbasierten“ Konträr-Denkers (einer mit einer spezifischen Liste von Fähigkeiten) noch mehr Bewegung verursachte als ein generischer.

4. Es geht nicht darum, wer die Persona ist, sondern was sie tut
Die Forscher fragten sich, ob die Quelle der Persona eine Rolle spielte. War es wichtig, ob die Persona aus einer Datenbank abstrakter Beschreibungen oder aus einer Datenbank beruflicher Fähigkeiten stammte? Sie fanden heraus, dass es kaum eine Rolle spielte. Ob die KI nun angewiesen wurde, ein „Soziologieprofessor“ zu sein oder eine „Person mit Kompetenzen in der Lehrplanentwicklung“, der Effekt war ähnlich. Was am wichtigsten war, war die Rolle (z. B. ein Faktenchecker im Vergleich zu einem Konträr-Denker) und die Größe des KI-Modells.

Warum das wichtig ist

Dieses Paper sagt nicht, dass KI-Richter nutzlos sind. Im Gegenteil, es legt nahe, dass sie sehr gut darin sind, das Gesamtbild stabil zu halten, insbesondere die großen, leistungsstarken Modelle. Es warnt uns jedoch davor, dass KI-Richter keine perfekten Wahrheitsfinder sind. Ihre Meinungen können davon beeinflusst werden, wie wir die Aufgabe formulieren.

Die Autoren schlagen vor, diese „Persona-Wechsel“ als Diagnosewerkzeug zu nutzen. Denken Sie an es wie einen Stresstest für eine Brücke. Wenn man die Brücke ein wenig schüttelt (die Persona ändert) und sie zu sehr wackelt, weiß man, dass die Brücke (oder das Suchsystem) eine Schwachstelle hat. Indem wir sehen, welche Suchsysteme ihre Rangfolge ändern, wenn sich die „Stimmung“ der KI ändert, können Forscher Systeme finden, die zu sensibel auf die Art ihrer Evaluierung reagieren.

Kurz gesagt lehrt uns das Paper, dass eine KI zwar ein großartiger Richter sein kann, wir aber vorsichtig mit dem „Kostüm“ sein müssen, das wir ihr anlegen. Wenn wir zuverlässige Ergebnisse wollen, sollten wir bei den größten, klügsten Modellen bleiben und verstehen, dass die Art und Weise, wie wir die KI zur Bewertung auffordern, das Ergebnis subtil beeinflussen kann. Es ist eine Erinnerung daran, dass selbst in der Welt der künstlichen Intelligenz die Perspektive zählt.