The Authenticity Gap in Human Evaluation

In der Welt der Computersprachen, in der Maschinen beigebracht wird, Geschichten zu schreiben, Fragen zu beantworten und Gespräche zu führen, gibt es ein hartnäckiges Problem: Woher wissen wir, ob die Maschine tatsächlich eine gute Arbeit leistet? Jahrelang war die Standardmethode, Menschen zu engagieren, die den von dem Computer erzeugten Text lesen und ihm eine Punktzahl geben, ganz ähnlich wie ein Preisrichter bei einer Talentshow. Diese menschlichen Bewertungen werden als die ultimative Wahrheit behandelt, als der Goldstandard, gegen den alle neuen Computerprogramme gemessen werden. Die Logik scheint simpel zu sein: Wenn ein Computer eine Geschichte schreibt, die von Menschen hoch bewertet wird, ist er ein guter Schreiber. Doch dieser Ansatz beruht auf einer verborgenen Annahme – nämlich dass die Zahl, die ein Mensch einem Text gibt, sein wahres Empfinden perfekt einfängt. Er setzt voraus, dass der Abstand zwischen einer „guten“ und einer „großartigen“ Bewertung für jeden gleich ist und dass das Mittel dieser Bewertungen uns genau sagt, welcher Computer besser ist.

Ein Forscherteam der Stanford University beschloss, diesen Prozess genauer unter die Lupe zu nehmen – nicht nur, um zu sehen, ob die Preisrichter ihren Job machen, sondern um zu fragen, ob das Bewertungssystem selbst fehlerhaft ist. Sie näherten sich dem Problem aus der Perspektive der Wirtschaftswissenschaften, wie diese menschliche Entscheidungen verstehen, und betrachteten die Fähigkeit eines Computers, Texte zu generieren, als eine Art Wette. Wenn ein Computer schreibt, produziert er nicht ein einziges, feststehendes Ergebnis, sondern er produziert eine Spanne möglicher Ergebnisse, einige brillant und andere schrecklich. Die Forscher fanden heraus, dass die Standardmethode, nach der Menschen gebeten werden, diese Ergebnisse zu bewerten, oft versagt, die tatsächliche Präferenz der Menschen zu erfassen. Tatsächlich entdeckten sie, dass allein der Akt des Mittelwertens dieser Bewertungen manchmal die Ergebnisse umkehren kann, sodass ein schlechterer Computer besser aussieht als ein besserer, oder die Tatsache verbirgt, dass Menschen den Unterschied zwischen einer Maschine und einem Menschen erkennen können.

Um dies zu beheben, schlugen die Forscher einen völlig neuen Weg vor, Meinungen einzuholen. Anstatt eine Person zu bitten, eine einzelne Geschichte auf einer Skala von eins bis fünf zu bewerten, baten sie sie, die beiden Computer nebeneinander zu betrachten und die Wahrscheinlichkeit abzuschätzen, dass der eine insgesamt besser ist als der andere. Diese Methode, die sie systemische probabilistische Bewertung nennen, betrachtet den menschlichen Richter nicht als Taschenrechner für Punktzahlen, sondern als Experten, der eine Wahrscheinlichkeit schätzt. Als sie diese neue Methode gegen die alte Methode unter Verwendung verschiedener Versionen eines leistungsstarken Sprachmodells testeten, waren die Ergebnisse beeindruckend. Die alte Methode, die seit Jahren der Industriestandard ist, konnte klare Unterschiede zwischen den Modellen, die offensichtlich hätten sein müssen, nicht erkennen. Sie konnte nicht feststellen, dass ein größerer, fortgeschrittenerer Computer besser war als ein kleinerer, und sie suggerierte sogar, dass ein Computer signifikant besser als ein menschlicher Autor sei – eine Erkenntnis, die früheren Forschungen widerspricht.

Die neue Methode jedoch funktionierte genau so, wie die Forscher es gehofft hatten. Wenn Menschen den probabilitärischen Ansatz verwendeten, identifizierten sie konsistent die korrekte Reihenfolge der Computermodelle und erkannten, dass die größeren, komplexeren Systeme bessere Geschichten produzierten. Sie identifizierten auch korrekt, dass während der kleinste Computer eindeutig schlechter als ein Mensch war, der größte Computer nicht von einem menschlichen Autor zu unterscheiden war. Dieser Erfolg beruhte nicht darauf, mehr Menschen oder mehr Daten zu haben; die Forscher nutzten für beide Tests dieselbe Gruppe von neunzig Freiwilligen. Der Unterschied lag allein darin, wie die Frage gestellt wurde. Die Standardmethode, die nach einer Bewertung auf einer festen Skala fragt, zwingt Menschen dazu, Urteile zu fällen, für die ihr Gehirn nicht konsistent programmiert ist. Sie setzt voraus, dass die Lücke zwischen einer Drei und einer Vier für jeden Menschen dasselbe bedeutet, eine Annahme, die in der Realität selten Bestand hat.

Die Forscher zeigten, dass dieser Fehler nicht nur ein kleiner technischer Irrtum ist, sondern ein grundlegendes Missverständnis dessen, wie menschliche Präferenzen funktionieren. Wenn Menschen gebeten werden, einen Text auf einer Skala zu bewerten, raten sie oft über die Distanz zwischen den Punkten, und diese Vermutungen können von Person zu Person stark variieren. Eine Person könnte denken, dass eine Vier nur etwas besser als eine Drei ist, während eine andere denken könnte, dass sie doppelt so gut ist. Wenn man diese widersprüchlichen Ansichten mittelt, ist das Ergebnis ein trüberes Signal, das die Wahrheit verschleiert. Die neue Methode umgeht diese Verwirrung, indem sie die Menschen bittet, einen Schritt zurückzutreten und das große Ganze zu betrachten. Anstatt einen einzelnen Satz zu beurteilen, beurteilen sie das gesamte System und schätzen ein, wie oft sie einen Computer gegenüber einem anderen bevorzugen würden, wenn sie viele Beispiele sähen. Dieser Ansatz erkennt an, dass Menschen nicht jedes mögliche Ergebnis sehen können, das ein Computer generieren könnte, aber sie können dennoch ein zuverlässiges Gefühl dafür entwickeln, welches System überlegen ist, basierend auf einer Stichprobe.

Die Auswirkungen dieser Erkenntnis reichen weit über das Testen von geschichtenschreibenden Computern hinaus. Sie stellt die Art und Weise in Frage, wie das gesamte Feld der Künstlichen Intelligenz seinen eigenen Fortschritt bewertet. Jahrelang haben Forscher neue Modelle entwickelt und behauptet, sie seien besser, weil sie höhere Durchschnittswerte von menschlichen Preisrichtern erhielten. Wenn diese Punktzahlen mathematisch nicht treu gegenüber der menschlichen Präferenz sind, dann könnten viele dieser Behauptungen falsch sein. Die Studie legt nahe, dass sich das Feld von einfachen Bewertungsskalen wegbewegen und hin zu Methoden bewegen muss, die der Komplexität menschlichen Urteilsvermögens Respekt zollen. Indem wir Menschen bitten, Wahrscheinlichkeiten statt Zahlen zu schätzen, erhalten wir ein klareres, ehrlicheres Bild davon, wozu diese Maschinen tatsächlich fähig sind.

In ihren Experimenten verwendeten die Forscher einen spezifischen Satz von Geschichtsimpulsen und baten die Freiwilligen, verschiedene Versionen eines Sprachmodells zu vergleichen, die von einer kleinen, einfachen Version bis zu einer massiven, fortgeschrittenen Version reichten. Sie bezogen auch Geschichten ein, die von tatsächlichen Menschen geschrieben wurden, um als Benchmark zu dienen. Die Ergebnisse waren eindeutig: Die neue Methode stellte alle erwarteten Präferenzen wieder her, ordnete die Computer korrekt von schlecht nach gut und platzierte den menschlichen Autor korrekt in das Gefüge. Die alte Methode, obwohl sie dieselben Freiwilligen und dieselben Geschichten verwendete, stellte nur zwei der fünf erwarteten Präferenzen wieder her. Sie konnte den Unterschied zwischen den mittelgroßen Computern nicht erkennen und kam überraschenderweise zu dem Schluss, dass der menschliche Autor signifikant schlechter als der größte Computer war. Dieser Fehler verdeutlicht eine gefährliche blinde Stelle in aktuellen Evaluierungspraktiken, in denen ein fehlerhaftes Protokoll dazu führen kann, dass Forscher glauben, ihre Maschinen hätten die menschliche Fähigkeit übertroffen, obwohl sie dies nicht getan haben.

Die Forscher testeten diesen neuen Ansatz auch bei der Bildgenerierung und baten Menschen zu beurteilen, welcher Computer bessere Bilder erzeugte. Die Ergebnisse hielten auch hier stand und zeigten, dass die Methode über verschiedene Arten kreativer Aufgaben hinweg funktioniert. Sie fanden heraus, dass die Menschen, je mehr Beispiele sie sahen, desto sicherer sie sich über ihre Präferenzen wurden, aber selbst mit einer geringen Anzahl von Beispielen war die probabilistische Methode in der Lage, den richtigen Gewinner zu identifizieren. Dies deutet darauf darauf hin, dass die Methode robust und effizient ist und in der Lage ist, zuverlässige Antworten zu liefern, ohne eine unmögliche Menge an Daten zu erfordern. Sie respektiert die Grenzen der menschlichen Aufmerksamkeit und fängt dennoch die Essenz der menschlichen Präferenz ein.

Letztendlich geht es bei dieser Arbeit darum, unsere Werkzeuge mit der Realität in Einklang zu bringen. Das Standardprotokoll zur Bewertung Künstlicher Intelligenz wurde auf einem Fundament von Annahmen aufgebaut, die nicht mit der Art und Weise übereinstimmen, wie Menschen tatsächlich denken oder fühlen. Indem sie den Fokus von willkürlichen Zahlen auf ehrliche Wahrscheinlichkeitsschätzungen verlagern, haben die Forscher einen Weg zu genaueren und vertrauenswürdigeren Bewertungen aufgezeigt. Es ist eine Erinnerung daran, dass wir bei dem Bestreben, bessere Maschinen zu bauen, zuerst sicherstellen müssen, dass unsere Methoden zur Messung von ihnen fundiert sind. Das Ziel ist nicht nur zu wissen, welcher Computer gewinnt, sondern zu verstehen, was dieser Sieg tatsächlich für die Zukunft der Mensch-Computer-Interaktion bedeutet. Da diese Systeme immer stärker in unser Leben integriert werden, ist es nicht nur eine akademische Übung, die Bewertung richtig zu gestalten; es ist eine Notwendigkeit, um sicherzustellen, dass die Technologie, die wir bauen, den Menschen, die sie nutzen, wirklich dient.