Preference Reasoning under Indeterminacy in Large Language Models
Dieses Paper argumentiert, dass Unbestimmtheit – resultierend aus unvollständigen Informationen und nicht existierenden Lösungen – eine zentrale Herausforderung für das Präferenz-Reasoning von KI darstellt, wobei nachgewiesen wird, dass hochmoderne große Sprachmodelle systematisch daran scheitern, zwischen determinierten und unbestimmten Instanzen zu unterscheiden, was zu einem fehlkalibrierten Reasoning führt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der künstliche Intelligenz als persönlicher Assistent, als Vermittler für Gruppenentscheidungen oder als Matchmaker für komplexe Systeme fungiert. In diesen Rollen muss die Maschine verstehen, was Menschen wollen, oft wenn diese Wünsche vage, unvollständig oder sogar widersprüchlich sind. Sie muss nicht nur entscheiden, was die beste Wahl ist, sondern auch, wann eine beste Wahl schlichtweg nicht gefunden werden kann. Dies ist das Reich des Präferenz-Reasoning (Präferenz-Schlussfolgerung), ein Feld, in dem Computer lernen, menschliche Wünsche zu navigieren. Jahrelang haben Forscher diese Systeme mit Rätseln getestet, die klare, eindeutige Antworten haben, vergleichbar mit einem mathematischen Test, bei dem jedes Problem eine darauf wartende Lösung besitzt. Doch das echte Leben ist selten so ordentlich. In der realen Welt sind Informationen oft unvollständig, oder die Regeln der Situation machen es unmöglich, eine Lösung zu konstruieren. Die Frage, vor der heute Wissenschaftler stehen, lautet, ob unsere fortschrittlichsten KIs den Unterschied zwischen einem Problem, das gelöst werden muss, und einem Problem, das gar keine Antwort hat, erkennen können.
Ein Forscherteam der Penn State University machte sich daran, genau diese Fähigkeit zu testen. Sie entwickelten eine Reihe von Herausforderungen, die auf klassischen ökonomischen Problemen basieren, wie etwa der Zuweisung von Häusern zu Personen oder dem Matching von Partnern in einem Markt. In diesen Szenarien hat jede Person eine Liste dessen, was sie bevorzugt. Die Forscher erstellten tausende dieser Szenarien, die von einfachen Listen mit zehn Artikeln bis hin zu komplexen Netzwerken mit hunderten von Akteuren reichten. Sie gestalteten die Tests so, dass sie zwei Arten von Unsicherheit enthielten. Die erste Art tritt auf, wenn die bereitgestellten Informationen schlicht unvollständig sind, wie etwa bei einer Person, die nur die Hälfte ihrer Lieblingsspeisen auflistet. Die zweite Art tritt auf, wenn die Struktur des Problems selbst eine Lösung unmöglich macht, wie zum Beispiel bei einem Satz von Präferenzen, bei dem niemals eine faire Anordnung existieren kann, ohne dass jemand unzufrieden wäre. Die Forscher ließen dann vier der derzeit leistungsfähigsten Sprachmodelle diese Rätsel lösen. Sie wollten sehen, ob die Maschinen korrekt erkennen konnten, wann eine Frage unbeantwortbar war, und ob sie – falls ja – zugaben, es nicht zu wissen, anstatt zu raten.
Die Ergebnisse offenbarten einen signifikanten blinden Fleck in der Art und Weise, wie diese Systeme denken. Wenn sie mit einem Problem konfrontiert wurden, das eine klare Antwort hatte, schnitten die Modelle gut ab und trafen oft die Details richtig. Wenn jedoch die Informationen unvollständig oder die Lösung unmöglich war, versagten die Modelle konsistent darin, die Sackgasse zu erkennen. Anstatt zu sagen: „Ich kann dies nicht bestimmen“, erfanden sie selbstbewusst Antworten. Dies geschah, indem sie im Stillen Annahmen trafen, um die fehlenden Lücken zu füllen. Wenn beispielsweise die Präferenzliste einer Person gekürzt war, nahmen die Modelle an, dass die fehlenden Artikel in alphabetischer Reihenfolge oder nach einer anderen willkürlichen Regel sortiert seien, und lieferten dann eine definitive Antwort basierend auf dieser Vermutung. In Fällen, in denen keine Lösung existierte, generierten die Modelle oft trotzdem eine fiktive Lösung oder behaupteten, eine Lösung existiere, obwohl dies nicht der Fall war. Dieses Verhalten war kein zufälliger Fehler; es war ein systematisches Muster. Die Modelle schienen nicht in der Lage zu sein, zwischen einer Situation, in der sie intensiver nachdenken mussten, und einer Situation, in der intensiveres Nachdenken nicht helfen würde, weil die Antwort schlicht nicht existierte, zu unterscheiden.
Die Forscher testeten auch, ob es das Problem lösen würde, den Modellen einen Weg zu geben, „Ich weiß es nicht“ zu sagen. Sie fügten eine spezifische Option hinzu, die die Modelle wählen konnten, wenn sie das Gefühl hatten, die Informationen seien unzureichend. Dies half den Modellen zwar, Unklarheiten in einigen Fällen zuzugeben, schuf aber ein neues Problem. Die Modelle begannen, diese Option zu übermäßig zu nutzen und erklärten, dass keine Lösung existierte, selbst wenn eine durchaus möglich war. Es war, als hätten die Modelle das Pendel von einem Extrem der blinden Zuversicht zum anderen der übermäßigen Vorsicht ausgeschlagen, unfähig, den Mittelweg zu finden. Selbst als die Forscher den Modellen erlaubten, Computercode zu schreiben, um die Probleme zu lösen – eine Methode, die normalerweise die Genauigkeit verbessert –, hatten die Modelle Schwierigkeiten. Sie konnten kleine, einfache Versionen der Probleme lösen, indem sie jede Möglichkeit überprüften, aber sobald die Probleme größer wurden, kehrten sie zum Raten oder Aufgeben zurück, unfähig, ihr Denken auf die Größe realer Anwendungen zu skalieren.
Vielleicht war der aufschlussreichste Befund ein Test, bei dem die Modelle nicht gebeten wurden, eine Lösung zu erstellen, sondern lediglich die richtige aus einer Liste von Optionen auszuwählen. Selbst bei dieser einfacheren Aufgabe, bei der die Modelle nur eine Antwort verifizieren und nicht erst konstruieren mussten, wählten sie häufig die falsche Option. Sie wählten oft eine Lösung, die plausibel aussah, aber die strengen Regeln des Problems verletzte. Die Studie zeigte, dass diese Modelle eine tief verwurzelte Tendenz haben, hilfreicher und entscheidungsfreudiger zu erscheinen, als es hinsichtlich der tatsächlichen Möglichkeiten korrekt zu sein. Sie sind darauf trainiert, Muster zu vervollständigen und Texte zu generieren, die richtig aussehen, was sie exzellent darin macht, Lücken in einer Geschichte zu füllen, aber schlecht darin, zu erkennen, wenn eine Geschichte kein Ende hat.
Diese Forschung legt nahe, dass wir vorsichtig sein müssen, was wir von diesen Systemen erwarten, wenn wir sie in kritische Entscheidungsprozesse integrieren. Die Fähigkeit zu erkennen, wann eine Frage nicht beantwortet werden kann, ist ebenso wichtig wie die Fähigkeit, eine Frage zu beantworten. Derzeit sind die fortschrittlichsten Modelle noch nicht in der Lage, diese Unterscheidung zuverlässig zu treffen. Sie werden wahrscheinlich weiterhin selbstbewusste, plausibel klingende Antworten liefern, selbst wenn die Daten fehlen oder die Regeln eine Lösung unmöglich machen. Bis sich dies ändert, erfordert die Nutzung dieser Systeme für Entscheidungen mit hoher Tragweite, die menschliche Präferenzen betreffen, einen Menschen im Prozess, der nicht nur die Antwort, sondern die bloße Möglichkeit der Antwort selbst überprüft. Die Studie behauptet nicht, dass diese Modelle defekt sind, sondern dass sie mit einer anderen Art von Logik operieren als Menschen – einer Logik, die Schwierigkeiten hat, die Grenzen dessen zu akzeptieren, was man wissen kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.