The Truth Lies Somewhere in the Middle (of the Generated Tokens)
Dieser Artikel zeigt, dass eine Mittelwertbildung über autoregressiv generierte Token bessere semantische Repräsentationen liefert als einzelne Token-Zustände, und offenbart, dass Informationen über den gesamten Generierungsprozess verteilt sind und nicht auf eine einzelne Position lokalisiert sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, die „Seele" oder die wahre Bedeutung einer Geschichte zu verstehen, die Ihnen ein Roboter erzählt. Der Roboter (ein KI-Sprachmodell) spuckt die ganze Geschichte nicht auf einmal aus; er baut die Geschichte Wort für Wort auf, wie ein Maler, der einen Pinselstrich nach dem anderen hinzufügt.
Lange Zeit glaubten Forscher, dass man, um die Geschichte zu verstehen, nur das sehr letzte Wort betrachten müsse, das der Roboter schrieb, oder vielleicht das sehr erste Wort des Prompts. Sie behandelten die internen „Gedanken" (verborgene Zustände) des Roboters so, als wäre die wichtigste Information in einem einzigen Moment verschlossen.
Diese Arbeit argumentiert, dass die Wahrheit tatsächlich über die gesamte Geschichte verteilt ist.
Hier ist die Aufschlüsselung ihrer Entdeckung mit einfachen Analogien:
1. Die „Suppe" vs. die „einzelne Zutat"
Stellen Sie sich vor, der Roboter kocht eine Suppe.
- Der alte Weg: Forscher probierten früher nur den allerletzten Löffel Suppe (das letzte Token), um zu entscheiden, ob es eine „Hühnersuppe" oder eine „Rindersuppe" war.
- Die neue Entdeckung: Die Autoren fanden heraus, dass, wenn man jeden einzelnen Löffel der Suppe nimmt, die der Roboter gemacht hat, und sie zusammenmischt (dies wird „Mean Pooling" genannt), der resultierende Geschmack viel klarer und genauer ist als bei jedem einzelnen Löffel.
Die Arbeit zeigt, dass das Verständnis des Roboters für ein Thema nicht in einem bestimmten Wort verschlossen ist. Stattdessen ist die Bedeutung wie ein Mosaik. Jedes Wort, das der Roboter generiert, hält ein winziges, ergänzendes Puzzleteil. Wenn man sie alle mittelt, wird das vollständige Bild scharf und klar.
2. Die „Führer"-Analogie
Stellen Sie sich den Roboter als Reiseleiter vor, der Sie durch ein Museum führt (das Thema, über das Sie gefragt haben).
- Der Prompt: Sie sagen dem Führer: „Zeigen Sie mir die Gemälde von Vögeln."
- Die Generierung: Der Führer beginnt zu gehen und zu sprechen.
- Die ersten Schritte: „Okay, ich denke über Vögel nach..." (Generelles Nachdenken).
- Mittlere Schritte: „Lassen Sie mich erinnern, wie eine Strandläufer aussieht..." (Erinnerungsphase).
- Spätere Schritte: „Hier ist ein Bild eines Strandläufers, der im Sand pickt..." (Spezifische Details).
Die Arbeit fand heraus, dass, wenn man nur auf das Gesicht des Führers schaut, wenn er „Okay" sagt, man die Tour nicht verstehen würde. Wenn man nur das Ende betrachtet, verpasst man den Kontext. Aber wenn man die gesamte Reise des Führers mittelt, erhält man eine perfekte Zusammenfassung der Tour.
Überraschenderweise helfen die eigenen Worte des Führers (der generierte Text) ihm tatsächlich, das Thema besser zu verstehen als die ursprünglichen Anweisungen, die Sie ihm gegeben haben. Indem er die Antwort durchspricht, „denkt" sich der Roboter zu einem klareren Verständnis.
3. Verschiedene Versionen mischen (Der „Chor"-Effekt)
Die Forscher testeten auch eine lustige Idee: Was wäre, wenn der Roboter dieselbe Geschichte dreimal erzählt (unter Verwendung von drei verschiedenen zufälligen „Seeds")?
- Version A könnte sagen: „Der Vogel ist blau."
- Version B könnte sagen: „Der Vogel hat blaue Federn."
- Version C könnte sagen: „Es ist ein blauer Strandläufer."
Wenn man die „Gedanken" aus allen drei Versionen nimmt und sie zusammenmischt, ist das Ergebnis noch besser als jede einzelne Version. Es ist wie ein Chor: Eine einzelne Sängerin könnte leicht verstimmt sein, aber wenn man drei verschiedene Sängerinnen mischt, ist die Harmonie perfekt. Dies beweist, dass die Information verteilt ist; kein einzelnes Wort oder keine einzelne Version hält die ganze Wahrheit.
4. Der „Spiegel"-Effekt
Die Arbeit entdeckte auch etwas Seltsames darüber, wie Roboter sich selbst sehen.
- Wenn Roboter A eine Geschichte schreibt und Roboter A seine eigene Geschichte liest, versteht er sie perfekt.
- Aber wenn Roboter B die Geschichte von Roboter A liest, wird das „Verständnis" chaotisch. Der spezifische Rhythmus, wie Roboter A über das Thema nachgedacht hat, geht verloren.
Das bedeutet, dass die „Bedeutung" nicht nur in den Worten auf der Seite liegt; sie liegt im spezifischen Pfad, den der Roboter genommen hat, um dorthin zu gelangen. Der interne Zustand des Roboters verändert sich, während er generiert, und diese Veränderungen sind einzigartig für diesen spezifischen Roboter.
Die große Erkenntnis
Die Arbeit kommt zu dem Schluss, dass man, um die beste „Zusammenfassung" dessen zu erhalten, worüber eine KI nachdenkt, nicht nur das letzte Wort nehmen sollte, das sie sagte. Stattdessen sollte man den Durchschnitt von allem nehmen, was sie sagte, während sie nachdachte.
Es ist wie der Versuch, die Stimmung einer Person zu verstehen. Man beurteilt sie nicht an dem einen Satz, den sie gerade gesagt hat; man beurteilt sie am Durchschnitt ihres gesamten Gesprächs. Die „Wahrheit" liegt irgendwo in der Mitte all dieser generierten Tokens, nicht am ganz Ende.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.