Beyond Fixed Directions: Adaptive Representation Analysis of Reasoning and Memorization in LLMs
Diese Arbeit zeigt, dass, während Aufgaben des Schlussfolgerns und des Auswendiglernens in LLMs über eine einzige Repräsentationsrichtung dekodierbar sind, diese Richtung nicht fixiert ist, sondern während des Reinforcement Learning einer substanziellen geometrischen Reorganisation unterliegt, selbst wenn die zugrunde liegenden Informationen weiterhin zugänglich bleiben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der sich schnell entwickelnden Welt der künstlichen Intelligenz sind große Sprachmodelle in der Lage geworden, komplexe Rätsel zu lösen und riesige Mengen an Informationen abzurufen. Wissenschaftler fragen sich schon lange, wie diese digitalen Gehirne eigentlich funktionieren. Eine vorherrschende Idee besagt, dass spezifische Verhaltensweisen, wie logisches Denken oder das einfache Abrufen von Fakten, an bestimmte, feste Pfade innerhalb des internen Gedächtnisses des Modells gebunden sind. Stellen Sie sich den Geist des Modells als einen riesigen, mehrdimensionalen Raum vor, in dem jeder Gedanke eine Spur hinterlässt. Wenn diese Idee zutrifft, dann sollte der Unterschied zwischen einem Modell, das ein mathematisches Problem durchdenkt, und einem, das lediglich einen Fakt abruft, als eine einzige, gerade Linie sichtbar sein, die in eine bestimmte Richtung zeigt. Dieses Konzept ist so attraktiv, dass einige Forscher versucht haben, diese festen Linien als Leitfaden zu nutzen, um Modelle zu besserem Denken zu trainieren, in der Annahme, dass der gefundene Pfad stabil und zuverlässig bleiben würde.
Ein neuer Studienansatz stellt jedoch die Annahme infrage, dass diese Pfade an ihrem Platz bleiben. Forscher untersuchten ein kleines Sprachmodell, speziell eine Version namens Qwen3-0.6B, um zu sehen, ob diese Idee der festen Richtung standhält, wenn das Modell einem intensiven Training unterzogen wird. Sie sammelten einen sorgfältig ausbalancierten Satz von 400 Beispielen, von denen die Hälfte logisches Denken und die andere Hälfte den Abruf von Fakten erforderte. Indem sie Ablenkungen wie Satzlänge oder spezifischen Wortschatz entfernten, stellten sie sicher, dass jeder gefundene Unterschied tatsächlich auf die Art des Denkprozesses zurückzuführen war. Ihre erste Entdeckung war beruhigend: Sie bestätigten, dass der Unterschied zwischen Denken und Erinnern zu jedem beliebigen Zeitpunkt der Zeit so klar ist, dass eine einzige Linie die beiden Gruppen perfekt voneinander trennen kann. Tatsächlich funktionierte diese einfache Linie genauso gut wie eine komplexe, hochdimensionale Analyse, die jeden möglichen Winkel der Daten betrachtete.
Die Geschichte nimmt eine Wendung, als die Forscher das Modell mit einer leistungsstarken Technik namens Group-Relative Policy Optimization trainierten, einer Methode, die darauf ausgelegt ist, die Denkfähigkeiten zu steigen. Sie erwarteten, dass – falls die Idee der festen Richtung wahr wäre – die Linie, die das Denken vom Erinnern trennt, an derselben Stelle bleiben würde, selbst während das Modell lernt. Stattdessen stellten sie fest, dass das Modell zwar den Unterschied zwischen den beiden Aufgaben immer noch perfekt kannte, die tatsächliche Richtung dieses Wissens sich jedoch dramatisch verschoben hatte. Nach dem Training hatte sich die Linie, die einst klar in Richtung „Denken“ zeigte, so stark gedreht, dass sie nicht mehr mit ihrer ursprünglichen Position übereinstimmte. Im Durchschnitt war die neue Richtung nur etwa 45 Prozent ähnlich wie die alte, und in den tiefsten Schichten des Modells war die Verschiebung noch ausgeprägter, wobei die interne Repräsentation um mehr als die Hälfte driftete.
Dieser Befund offenbart eine entscheidende Unterscheidung zwischen dem, was ein Modell weiß, und der Art und Weise, wie es dieses Wissen speichert. Die Information selbst verschwand nicht; das Modell konnte nach dem Training immer noch eine mathematische Aufgabe perfekt von einer Trivia-Frage unterscheiden. Aber die geometrischen Koordinaten, die es zur Darstellung dieser Unterscheidung verwendete, waren komplett reorganisiert worden. Es ist, als ob die Karte einer Stadt weiterhin perfekt angibt, wo sich die Bibliothek befindet, aber die Kompassrichtungen auf der Karte so gedreht wurden, dass „Norden“ nun dorthin zeigt, wo früher „Osten“ war. Die Forscher maßen diese Verschiebung, indem sie den internen Zustand des Modells vor und nach dem Training verglichen, und fanden heraus, dass die Änderung nicht nur eine geringfügige Anpassung, sondern eine substanzielle Reorganisation der internen Landschaft des Modells war.
Die Studie kommt zu dem Schluss, dass die Fähigkeit, das Denken vom Erinnern zu trennen, zwar robust ist, die Idee jedoch falsch ist, dass diese Fähigkeit auf einer einzigen, unveränderlichen Richtung beruht. Die Information bleibt bestehen, aber der spezifische Pfad, den sie durch den Geist des Modells nimmt, ist fließend und verändert sich mit dem Lernen. Dies deutet darauf hin, dass für zukünftige Bemühungen, künstliche Intelligenz mithilfe dieser internen Richtungen zu steuern, Wissenschaftler nicht einfach einen Pfad einmal finden und davon ausgehen können, dass er gültig bleibt. Stattdessen müssen sie akzeptieren, dass die Karte selbst ständig neu gezeichnet wird, selbst wenn die Wahrzeichen an ihrem Platz bleiben. Die Stabilität des Wissens garantiert nicht die Stabilität des Pfades, der genutzt wird, um darauf zuzugreifen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.