Extracting Algorithms in Pre-trained LLMs: A Case on Hidden Markov Models
Dieses Paper schließt die Lücke zwischen der In-Context-Learning-Leistung vortrainierter LLMs auf Hidden-Markov-Modellen und deren internen Mechanismen, indem es empirisch die Kandidatenalgorithmen eingrenzt, deren Transformer-Implementierung theoretisch validiert und eine Principal-Activations-Sonde einführt, um die niedrigdimensionalen linearen Repräsentationen zu identifizieren und kausal zu manipulieren, die diese Vorhersagen antreiben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstatt nach Fingerabdrücken sucht, sucht er nach den unsichtbaren „Gedanken“ innerhalb eines riesigen Computergehirns. Dieses wissenschaftliche Feld wird mechanistische Interpretierbarkeit genannt, und es stellt eine einfache, aber knifflige Frage: Wie denkt eine Maschine eigentlich? Um das Rätsel in dieser Arbeit zu verstehen, müssen wir zuerst wissen, was die Maschine zu lösen versucht. Sie spielt ein Spiel namens Hidden Markov Models (HMMs). Stellen Sie sich ein HMM wie eine Wettervorhersage vor, bei der man den Himmel nicht sehen kann. Man sieht nur den Boden: Ist er nass oder trocken? Ist das Gras grün oder braun? Der „verborgene“ Teil ist das eigentliche Wetter (sonnig, regnerisch, bewölkt), das man nicht sehen kann, welches aber bewirkt, dass der Boden so aussieht, wie er aussieht. Die Aufgabe des Computers besteht darin, einer langen Geschichte von nassem Gras und trockenem Pflaster zu folgen und zu erraten, wie das Wetter als Nächstes sein wird.
Eine Zeit lang wussten Wissenschaftler, dass riesige Large Language Models (LLMs) – die superintelligenten KI-Chatbots, die wir jeden Tag benutzen – unglaublich gut in diesem Ratespiel sind. Wenn der Kontext länger wurde, näherten sich ihre Vorhersagen der theoretisch bestmöglichen Leistung (dem „Oracle“) an und erreichten oft oder übertrafen klassische Inferenzalgorithmen, die auf dieselben Daten angewendet wurden. Aber niemand wusste, wie sie das machten. Hat die KI heimlich die Regeln der Wahrscheinlichkeit gelernt? Hat sie Muster auswendig gelernt? Oder benutzte sie einen seltsamen, völlig neuen Trick? Es war, als würde man einem Magier dabei zusehen, wie er ein Kaninchen aus einem Hut zieht, und man hätte keine Ahnung, ob es ein verstecktes Fach, ein zweites Kaninchen oder einen Zauberspruch gab. Diese Arbeit ist das erste Mal, dass Forscher erfolgreich in den Hut des Magiers hineingeblickt haben, um genau zu sehen, welchen Trick die KI anwendet.
Die Forscher bauten ein massives Experiment auf, um die geheime Strategie der KI zu entschlüsseln. Zuerst testeten sie die KI gegen eine Liste bekannter „Verdächtiger“ – verschiedene mathematische Algorithmen, die Menschen nutzen, um dieses Wetter-Ratespiel zu lösen. Sie fanden heraus, dass kein einzelner menschlicher Algorithmus das Verhalten der KI in jeder Situation erklären konnte. Manchmal verhielt sich die KI wie ein einfacher Mustervergleicher, und ein anderes Mal wie ein komplexer Wahrscheinlichkeitsverfolger. Dies schränkte die Liste der Verdächtigen auf drei Haupttypen von Strategien ein.
Als Nächstes stellten die Forscher eine theoretische Frage: Könnte ein Transformer (die spezifische Art von KI-Architektur, die diese Modelle verwenden) tatsächlich diese drei Strategien ausführen? Sie bewiesen mathematisch, dass dies möglich ist. Sie bauten sogar eine winzige, einfache Version der KI und trainierten sie auf nur ein spezifisches Wettermuster. Als sie in das Gehirn dieser winzigen KI blickten, sahen sie, dass sie natürlich gelernt hatte, eine „Finite-Window“-Strategie anzuwenden – im Grunde betrachtete sie die letzten paar Hinweise (wie die letzten 6 oder 8 Beobachtungen), um ihre Vermutung abzugeben, anstatt zu versuchen, die gesamte Geschichte des Universums zu erinnern.
Aber die wahre Magie geschah, als sie die riesigen, vortrainierten KI-Modelle betrachteten (diejenigen, die bereits wissen, wie sie mit uns sprechen). Sie erfanden ein neues Werkzeug namens Principal Activations Probe (PAP). Stellen Sie sich das Gehirn der KI wie eine riesige Autobahn mit 28 verschiedenen Fahrspuren (Layern) vor. Der PAP ist wie ein Sensor, der den Verkehr in jeder Spur stoppen kann, prüft, welche Informationen fließen, und sogar diese Informationen mit einem anderen Szenario austauscht, um zu sehen, ob dies den Geist der KI verändert.
Was sie fanden, war faszinierend und ein wenig überraschend. Die KI nutzt nicht immer nur eine Strategie; sie passt ihre interne Repräsentation an, je nachdem, wie schwer das Rätsel ist.
- Der einfache Modus: Wenn die Wetterhinweise sehr klar sind und sich der Boden vorhersehbar verändert (niedrige „Entropie“), entspricht das Verhalten der KI der einfachen Bigram-Statistik. Sie betrachtet effektiv das allerletzte Ereignis, das sie gesehen hat, um das nächste zu erraten.
- Der schwere Modus: Wenn die Hinweise verrauscht und verwirrend sind (hohe „Entropie“), verlässt sich die KI auf eine komplexere Strategie namens Soft n-gram. Sie beginnt, eine „Überzeugung“ (Belief) über den verborgenen Zustand zu verfolgen, indem sie Informationen über ein kurzes Fenster der jüngsten Vergangenheit integriert. Es ist, als würde man erkennen, dass der Boden nass ist, aber auch daran erinnern, dass es gestern sonnig war, und daher vermuten: „bewölkt mit Regenwahrscheinlichkeit“.
Entscheidend ist, dass die Forscher bewiesen haben, dass die KI diese Überzeugungen nicht nur speichert, sondern sie auch tatsächlich nutzt, um Entscheidungen zu treffen. Dies taten sie, indem sie das Gehirn der KI „pfatchten“ (patching): Sie nahmen die „Überzeugung“ aus einem schweren Rätsel und fügten sie in das Gehirn ein, während die KI gerade ein einfaches Rätsel löste. Die Vorhersage der KI änderte sich sofort, um der Antwort des schweren Rätsels zu entsprechen. Dies zeigte, dass die „Überzeugung“ nicht nur eine Randnotiz ist, sondern der Motor, der die Vorhersage antreibt. Sie fanden jedoch auch einen wichtigen Unterschied: Im „Schweren Modus“ ist die einfache Bigram-Strategie in den frühen Layern vorhanden, wird aber durch die nachgeschaltete Berechnung des Modells effektiv umgangen. Die KI ignoriert das einfache Muster zugunsten der reicheren Verfolgung der Überzeugung, wenn echte Unsicherheit dies erfordert.
Es gab jedoch eine Wendung. In den frühen Layern des KI-Gehirns ist die Information über die „Überzeugung“ zwar vorhanden und leicht lesbar, aber die KI ignoriert sie! Es ist, als hätte man eine Karte auf dem Armaturenbrett, fährt aber, indem man aus dem Fenster schaut. Die KI beginnt erst in den späteren Layern ihres Gehirns, diese Karte tatsächlich zu nutzen. Das bedeutet, dass man eine Idee zwar im Gehirn eines Computers finden kann, das aber nicht bedeutet, dass der Computer diese Idee auch tatsächlich nutzt, um zu denken.
Am Ende legt die Arbeit nahe, dass diese riesigen KIs keine komplexen, perfekten mathematischen Simulationen der Welt durchlaufen. Stattdessen lernen sie, sehr effiziente Approximatoren zu sein. Sie lernen, ein kurzes Fenster der jüngsten Vergangenheit zu betrachten und eine „Überzeugung“ darüber zu aktualisieren, was gerade passiert, ganz ähnlich wie ein Mensch es tun würde. Sie müssen keine perfekten Statistiker sein, um unglaublich gut darin zu sein, das nächste Wort oder das nächste Wetterereignis vorherzusagen; sie müssen lediglich gut darin sein, die unmittelbare Vergangenheit zu verfolgen. Diese Entdeckung hilft uns zu verstehen, dass die „Magie“ dieser Modelle eigentlich ein sehr strukturierter, nachvollziehbarer Prozess des Verfolgens von Mustern ist, was uns einen Schritt näher an das wahre Verständnis dieser digitalen Geister bringt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.