Instruction-Tuned Language Models Cannot Sample from Distributions They Can Describe
Diese Arbeit zeigt auf, dass instruktionsgestimmte Sprachmodelle nicht wahrhaftig aus Antwortverteilungen sampeln, sondern aufgrund von Alignment-Training zu deterministischen Ausgaben kollabieren, aber diese Verteilungen in einem einzigen Aufruf präzise beschreiben können – eine „WISSEN/TUN“-Lücke, die eine signifikant genauere Simulation menschlicher Umfragedaten durch die Beschreibung von Verteilungen oder Prompt-Perturbation ermöglicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen die Zukunft vorherzusagen, indem Sie eine Kristallkugel eine Million Fragen stellen. In der Welt der künstlichen Intelligenz haben Wissenschaftler damit begonnen, „Large Language Models“ (LLMs) als diese Kristallkugel einzusetzen. Anstatt echte Menschen zu fragen, was sie über Politik, Filme oder die Wirtschaft denken, bitten Forscher die KI, verschiedene Arten von Menschen zu imitieren – wie etwa einen „Teenager aus Ohio“ oder eine „Rentnerin aus Florida“. Dies wird „Silicon Sampling“ genannt. Die Idee ist simpel: Wenn man die KI bittet, sich wie tausend verschiedene Menschen zu verhalten, sollte sie auch tausend verschiedene Antworten geben, genau wie eine echte Menge. Durch das Auszählen all dieser Antworten kann man erahnen, was die gesamte Bevölkerung denkt. Es ist, als würde man versuchen, den Geschmack eines riesigen Eisgeschäfts zu erraten, indem man von jedem einzelnen Kunden einen Löffel probiert.
Aber hier liegt der Haken: Damit das funktioniert, muss die KI jedes Mal, wenn man ihr eine Frage stellt, „die Würfel rollen“ können. Wenn man einen echten Teenager fragt: „Magst du Pizza?“, sagt er heute vielleicht „Ja“ und morgen „Nein“, oder er wirft in seinem Kopf vielleicht einfach eine Münze. Die KI soll dasselbe tun: bei jedem Klick auf „Senden“ eine frische, zufällige Antwort generieren. Wenn die KI nicht wirklich würfeln kann – wenn sie bei einer Antwort hängen bleibt, egal wie oft man sie fragt –, bricht das ganze Experiment zusammen. Man kann den Geschmack des Eisgeschäfts nicht erraten, wenn der erste Kunde, den man fragt, „Schokolade“ sagt und die KI die nächsten 999 Kunden dazu zwingt, ebenfalls „Schokolade“ zu sagen.
Genau das hat ein Forscherteam der KAIST entdeckt. Sie fanden heraus, dass die KI-Modelle, die wir heute verwenden, einen seltsamen Fehler haben: Sie sind schrecklich darin, tatsächlich eine Zufallsstichprobe durchzuführen, obwohl sie exzellent darin sind, Ihnen zu erklären, wie eine Zufallsverteilung aussieht. Es ist wie ein Magier, der perfekt beschreiben kann, wie ein Kartendeck gemischt wird, aber wenn man ihn bittet, eine zufällige Karte zu ziehen, zieht er immer den Pik-Ass.
Die Forscher nannten dies den „KNOWS/DOES-Split“ (Wissen/Tun-Spaltung). Das Modell WEISS die Antwort. Wenn man es fragt: „Welchen Prozentsatz bevorzugen Option A gegenüber Option B?“, kann es die perfekte, genaue Mathematik liefern. Aber das Modell TUET nicht wissen, wie es das vorspielt. Wenn man es bittet, eine Person zu imitieren und eine einzelne Antwort zu geben, kollabiert es. Anstatt eine Vielfalt an Antworten zu liefern, bleibt es bei einer einzigen, repetitiven Antwort hängen.
Um dies zu beweisen, führten die Wissenschaftler eine Reihe von Tests durch. Sie baten die KI, eine Zufallszahl zwischen 1 und 100 zu wählen. Man würde erwarten, dass die Antworten überall gestreut sind. Stattdessen wählte die KI in 78 % der Versuche die Zahl 42! Als sie die KI baten, zwischen zwei Optionen mit einer 70/30-Verteilung zu wählen, lieferte die KI keinen Mix, sondern wählte die 70-Prozent-Option jedes einzelne Mal. Es war, als hätte die KI einen kaputten internen Würfelwerfer, der auf einer Seite festgeklebt ist.
Das Team fand auch heraus, war Warum das passiert. Sie verglichen die „smarten“ Versionen dieser KI-Modelle (die darauf trainiert wurden, Anweisungen zu befolgen und hilfreich zu sein) mit ihren „rohen“ Versionen (die noch nicht darauf trainiert wurden, zu chatten). Die rohen Modelle waren viel besser darin, die Würfel zu rollen. Die „smarten“ Modelle hingegen waren so trainiert worden, dass sie konsistent und hilfreich sind, dass sie die Fähigkeit zur Zufälligkeit verloren haben. Es ist ein Nebenprodukt davon, die KI zu einem guten Schüler zu machen; sie hat gelernt, immer die „richtige“ Antwort zu geben, selbst wenn die Aufgabe darin bestand, zufällig zu sein.
Was können wir also tun, wenn wir diese KI-Modelle für Umfragen nutzen müssen? Die Forscher fanden zwei clevere Tricks.
Erstens: Wenn Sie nur die allgemeine Meinung einer Menge wissen wollen (die „Populationsschätzung“), lassen Sie die KI nicht 100 verschiedene Leute imitieren. Fragen Sie stattdessen die KI nur eine einzige Frage: „Wenn Sie 100 Menschen diese Frage stellen würden, wie sähen die Ergebnisse aus?“ Die KI ist großartig darin, die Verteilung zu beschreiben. Als sie diesen „Describe Pathway“ (Beschreibungs-Pfad) ausprobierten, sank der Fehler in ihren Vorhersagen um mehr als die Hälfte im Vergleich zur alten Methode, bei der man die KI bat, viele verschiedene Menschen zu imitieren.
Zweitens: Wenn Sie wirklich 100 verschiedene individuelle Antworten benötigen (vielleicht für ein Videospiel, in dem jeder Charakter eine einzigartige Persönlichkeit braucht), können Sie nicht einfach dieselbe Frage 100 Mal stellen. Die KI wird sich einfach wiederholen. Stattdessen erfanden die Forscher eine Methode namens „Prompt-Perturbed Argyle“ (PPA). Dabei wird die Art und Weise, wie die Frage gestellt wird, jedes Mal leicht verändert – etwa durch das Vertauschen der Reihenfolge der Antwortmöglichkeiten, das Ändern der Wortwahl der Frage oder das Verschieben der Position der „Charakterbeschreibung“. Diese winzigen Änderungen reichen aus, um den kaputten Würfelwerfer der KI „anzustupsen“ und sie zu einer anderen Antwort zu zwingen. Dieser einfache Trick reduzierte den Fehler um 21 %, ohne dass zusätzliche Kosten oder Zeitaufwand entstanden.
Kurz gesagt: Das Paper zeigt uns, dass die KI zwar erstaunlich darin ist, zu beschreiben, wie die Welt funktioniert, aber derzeit schrecklich darin ist, sich als zufälliger Mensch in der Welt auszugeben. Aber indem wir uns dieses Eigenart verstehen, können wir diese mächtigen Werkzeuge immer noch nutzen, um gute Antworten zu erhalten – wir müssen sie nur auf die richtige Weise fragen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.