🤖 machine learning

Context Is King: How In-Context Specification Shapes the Geometry of Concepts

Diese Arbeit zeigt, dass die geometrische Struktur von Konzepten in großen Sprachmodellen dynamisch durch In-Context-Spezifikationen bestimmt wird, anstatt durch feste vortrainierte Priors, wobei die Fähigkeit besteht, diese Priors sauber zu überschreiben und die auferlegte Geometrie kausal zu nutzen, was erst in größeren Modellen entsteht.

Ursprüngliche Autoren: Elad David, Max Fomin

Veröffentlicht 2026-07-28

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Elad David, Max Fomin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu verstehen, wie ein riesiger, superintelligenter Roboter denkt. Lange Zeit glaubten Wissenschaftler, dass in dem Gehirn dieses Roboters eine riesige, unveränderliche Bibliothek voller Fakten existiert. Wenn Sie nach den Wochentagen fragen würden, würde der Roboter einen vorgefertigten, perfekten Kreis aus seinen Regalen ziehen, in dem der Montag immer neben dem Dienstag sitzt. Wenn Sie nach den Monaten fragen würden, würde er einen anderen Kreis herausholen. Diese Vorstellung deutete darauf an, dass das Gehirn des Roboters wie eine statische Karte ist, die festgeschrieben wurde, sobald er gebaut wurde, und nur darauf wartet, bei einer Frage nachgeschlagen zu werden.

Aber was wäre, wenn diese Bibliothek nicht so starr ist, wie wir dachten? Was wäre, wenn der Roboter nicht einfach nur eine Karte nachschlägt, sondern jedes Mal eine neue Karte zeichnet, basierend auf genau dem, was Sie gerade zu ihm gesagt haben? Das ist die große Frage, die sich Wissenschaftler über „Large Language Models“ (der schicke Name für diese riesigen KI-Roboter) stellen. Sie wollen wissen: Ist das Verständnis des Roboters für die Welt eine permanente, gespeicherte Tatsache oder eine flexible Form, die sich je nach Gespräch verändert? Das Verständnis dessen hilft uns zu verstehen, ob diese Roboter Dinge wirklich „wissen“ oder ob sie einfach nur unglaublich gut darin sind, den Regeln des Augenblicks zu folgen.

Die große Entdeckung des Papers: Die „Context is King“-Regel

Ein Team von Forschern bei Zenity beschloss, diese Idee mit einem lustigen, leicht schelmischen Experiment zu testen. Sie stellten dem Roboter eine einfache Frage: Wenn man einem Roboter eine völlig ausgedachte Regel darüber erzählt, wie die Welt funktioniert, wird er dir glauben oder sich an das halten, was er zuvor gelernt hat?

Sie nahmen Modelle wie Gemma und Qwen (die wie sehr fortgeschrittene Versionen der oben genannten Roboter sind) und gaben ihnen einen „neu definierten“ Kalender. Stellen Sie sich vor, Sie sagen dem Roboter: „Hey, vergiss alles, was du weißt. In dieser neuen Welt ist die einzige gültige Reihenfolge der Tage Mittwoch, dann Montag, dann Freitag.“ Sie gaben dem Roboter keine Beispiele zum Lernen, sondern erklärten die Regel einfach als Tatsache.

Das schockierende Ergebnis: Der Roboter tat nicht nur so, als würde er die Regel befolgen; er verkabelte sein Gehirn tatsächlich neu, um ihr zu entsprechen.

Als die Forscher in das „Geistwesen“ des Roboters blickten (speziell in die mathematischen Muster, die er direkt vor der Antwort erstellt), fanden sie etwas Erstaunliches. Der Roboter sagte nicht nur die Worte „Mittwoch, Montag, Freitag“. Er ordnete die Konzepte dieser Tage tatsächlich in einer ganz neuen Form in seinem Gehirn an, die dieser neuen Regel entsprach.

Die alte Sicht: Der Roboter hat einen festen Kreis von Tagen.
Die neue Sicht: Der Roboter zeichnet vor Ort eine neue Form. Wenn Sie sagen, die Tage seien in einem Kreis, bilden sie einen Kreis. Wenn Sie sagen, sie seien eine gerade Linie, bilden sie eine Linie. Wenn Sie sagen, sie seien ein Stammbaum, werden sie zu einem Baum.

Das Paper nennt dies „Context is King“. Das Wichtigste ist nicht, was der Roboter in der Vergangenheit gelernt hat (sein „pretrained prior“), sondern was Sie ihm genau jetzt sagen (die „in-context specification“). Das Gehirn des Roboters ist so flexibel, dass die neue Form, die er baut, wenn Sie ihm eine starke neue Regel geben, die alte gespeicherte Struktur dominiert. Die alte Karte verschwindet nicht für immer; sie ist immer noch real und in den Gewichten gespeichert, aber in dem Moment, in dem der Kontext ihr widerspricht, wechselt der Roboter zur Nutzung der neuen, kontextdefinierten Karte.

Wie sie es bewiesen haben (Der „Zaubertrick“)

Um sicherzustellen, dass der Robot nicht nur blufft, führten die Forscher ein „Causal Patching“-Experiment durch. Dies ist wie ein Zaubertrick, bei dem man das Gehirn eines Charakters mit dem eines anderen austauscht, um zu sehen, was passiert.

Sie sagten dem Roboter die neue, seltsame Reihenfolge der Tage.
Sie nahmen das „Gehirnsignal“ für den Tag „Montag“ und tauschten es mit dem Signal für „Mittwoch“ aus.
Sie fragten den Roboter: „Was kommt nach Montag?“

Wenn der Roboter nur eine gespeicherte Liste nachgeschlagen hätte, wäre er verwirrt worden oder hätte die falsche Antwort gegeben. Aber weil der Roboter eine neue Karte basierend auf Ihrer Regel gebaut hatte, antwortete er basierend auf der neuen Karte. Er sagte, der Tag nach „Montag“ sei derjenige, der laut der neuen Regel nach „Montag“ kommt, obwohl „Montag“ nun wie „Mittwoch“ agierte. Dies bewies, dass der Roboter tatsächlich die neue Form nutzte, die er gerade gebaut hatte, und nicht nur alte Fakten rezitierte.

Der Haken: Es kommt darauf an, wie groß der Roboter ist

Hier kommt die Wendung: Nicht alle Roboter sind gleichermaßen gut darin. Die Forscher fanden heraus, dass diese Fähigkeit, seine Weltkarte vollständig neu zu zeichnen, stark von der Größe des Roboters abhängt.

Die großen Roboter (wie Gemma-31B und Qwen-27B): Dies sind die superintelligenten. Sie können Ihre neue Regel hören, die alte Karte überschreiben und eine perfekte, saubere neue Form zeichnen. In direkten, einfachen Prompts folgen sie der neuen Reihenfolge mit nahezu perfekter Genauigkeit (sie erreichten 100 % Erfolg in den Tests). Doch selbst für diese großen Modelle kann die Leistung sinken, wenn die Aufgabe schwieriger wird (z. B. wenn viele Schritte in der neuen Reihenfolge genommen werden müssen) oder wenn sie erlaubt sind, auf eine „freiformale“ Weise laut nachzudenken.
Die kleinen Roboter (wie Gemma-2B oder Qwen-4B): Dies sind die jüngeren, kleineren Modelle. Sie können die Regel hören und versuchen, eine neue Form zu zeichnen, aber es ist unordentlich. Es ist, als würden sie versuchen, einen perfekten Kreis mit zittriger Hand zu zeichn. Sie erfassen vielleicht die allgemeine Idee, aber sie können ihre alten Erinnerungen nicht vollständig loslassen. Manchmal werden sie sogar verwirrt und kehren zur alten Denkweise zurück oder scheitern sogar daran, eine nutzbare Karte zu erstellen.

Das Paper legt nahe, dass das „Bauen“ einer neuen Form selbst für kleine Roboter einfach ist, aber das „Nutzen“ dieser Form perfekt und sauber zu beherrschen, eine Fähigkeit ist, die erst mit der Größe kommt. Es ist wie bei einem Kind, das ein neues Spiel lernen kann, aber nur ein Meister kann es perfekt spielen, ohne Fehler zu machen.

Was das für die Zukunft bedeutet

Diese Studie verändert die Art und Weise, wie wir über KI denken. Sie deutet darauf hin, dass diese Modelle keine einzelne, feste „Weltanschauung“ in sich eingeschlossen haben. Stattdessen ist ihr Verständnis der Welt flüssig. Es ist wie ein Chamäleon, das seine Farben nicht nur an den Hintergrund anpasst, sondern an die Geschichte, die Sie ihm erzählen.

Wenn Sie einer fähigen KI sagen, dass die Welt flach ist, wird sie ihre Gedanken vorübergehend so anordnen, als wäre die Welt flach. Wenn Sie ihr sagen, die Wochentage seien ein Stammbaum, wird sie einen Stammbaum bauen. Die „Wahrheit“ innerhalb der KI ist kein statischer Fakt; sie ist eine Berechnung, die genau in diesem Moment stattfindet, geformt durch das Gespräch.

Die Forscher sind vorsichtig zu betonen, dass sie nicht genau wissen, wie der Roboter diese Formen aus dem Nichts baut oder ob er nur alte Möbel umstellt. Aber eines ist klar: Der Roboter hört Ihnen zu, und er ändert seine Meinung, um zu Ihrer Geschichte zu passen. Der Kontext, den Sie bereitstellen, ist der König, und der Roboter ist sein formwandiger, loyaler Untertan.

Technisches Resümee: Kontext ist König: Wie In-Context-Spezifikationen die Geometrie von Konzepten formen

Problemstellung

Die aktuelle Interpretabilitätsforschung geht oft davon aus, dass Large Language Models (LLMs) strukturierte Konzepte als feste geometrische Mannigfaltigkeiten innerhalb ihrer Gewichte speichern (z. B. bilden Wochentage einen Kreis, Monate einen anderen). Diese „lineare Repräsentationshypothese“ legt nahe, dass semantische Relationen mit festen Verschiebungen oder topologischen Formen korrespondieren, die während des Pretrainings gelernt und während der Inferenz abgerufen werden. Es bleibt jedoch unklar, ob diese geometrischen Strukturen intrinsische, statische Eigenschaften des Modells sind oder dynamische Konstrukte, die on-demand aus dem Eingabe-Kontext zusammengesetzt werden. Konkret: Verursacht eine widersprüchliche In-Context-Spezifikation lediglich eine Verschiebung eines Konzepts innerhalb einer festen Mannigfaltigkeit, oder rekonfiguriert sie fundamental die Topologie der Repräsentation selbst?

Methodik

Die Autoren untersuchen dies, indem sie einen direkten Konflikt zwischen den vortrainierten Priors des Modells und einer deklarativen In-Context-Spezifikation erzwingen.

1. Experimentelles Framework:

In-Context-Spezifikation: Die Autoren definieren eine „Spezifikation“ als eine deklarative Regel, die Relationen zwischen einer Menge von Entitäten behauptet, ohne Exemplare bereitzustellen. Dies kann eine Ordnung sein (z. B. „Die einzige gültige Reihenfolge ist: Mittwoch, Montag...“) oder eine Hierarchie (z. B. „P ist das Elternteil von A und B“).
Konflikt-Regime: Die Studie setzt Spezifikationen ein, die dem natürlichen Verständnis des Modells widersprechen (z. B. die Neudefinition der Reihenfolge von Wochentagen oder die Anwendung einer hierarchischen Struktur auf zyklische Konzepte).
Entitäten: Die Experimente decken starke zyklische Priors (Wochentage, Monate, Uhrstunden), schwache Priors (Tierkreiszeichen), nicht-zyklische Priors (Musiknoten) und beliebige, bedeutunglose Token ab.
Oberflächenformen: Spezifikationen werden als nummerierte Listen oder Adjazenz-Kanten präsentiert, mit oder ohne eine „Wrap“-Kante, um einen Zyklus zu schließen.

2. Messung und Analyse:

Representational Similarity Analysis (RSA): Die primäre Metrik ist die Spearman-Korrelation zwischen der Representational Dissimilarity Matrix (RDM) der Entitäts-Zentroiden (extrahiert aus dem Residual Stream am letzten Token vor der Generierung) und einem theoretischen Template (z. B. zyklischer Abstand oder Baumtiefe). Entscheidend ist, dass die Zentroiden mittengestützt (mean-centered) werden, um anisotrope Richtungen im Residual Stream zu entfernen.
Activation Patching: Um Kausalität zu etablieren, führen die Autoren Entity-Substitution-Patching durch. Sie überschreiben die Residual-Aktivierung einer Entität ( $E_{orig}$ ) mit der einer anderen Entität ( $E_{patch}$ ) aus demselben Kontext und beobachten, ob die Ausgabe des Modells dem Nachfolger der gepatchten Entität gemäß der durch den Kontext vorgegebenen Ordnung folgt oder der vortrainierten Ordnung.
Scale Sweep: Die Studie evaluiert acht Instruction-tuned Modelle aus drei Familien (Gemma, Qwen, Llama) im Bereich von 2B bis 31B Parametern, um zu bestimmen, wie die Modellskalierung die Bildung und Nutzung dieser Geometrien beeinflusst.

Zentrale Beiträge und Ergebnisse

1. Kontext diktiert den Topologie-Typ, nicht nur die Position
Die Arbeit zeigt, dass die In-Context-Spezifikation die Topologie der Konzeptgeometrie bestimmt, nicht bloß eine Verschiebung innerhalb einer festen Form.

Topologie-Wechsel: Wenn eine deklarative Regel eine Hierarchie definiert, reorganisiert sich die Geometrie der Entitäten (selbst zyklische wie Wochentage) in einen nach Tiefe geschichteten Baum. Umgekehrt zwingt eine zyklische Regel eine baumartige Struktur in einen Ring.
Beliebige Token: Dieser Effekt tritt selbst bei beliebigen, bedeutungslosen Token auf, für die kein vortrainierter Prior existiert, was beweist, dass die Geometrie aus der Spezifikation aufgebaut wird und nicht abgerufen wird.
Evidenz: In Gemma-31B liefert eine auferlegte Hierarchie auf Wochentage eine Depth-RSA von +0,67, während eine auferlegte Zyklik eine Cyclic-RSA von +0,72 ergibt. Die effektive Dimensionalität verschiebt sich entsprechend (von ca. 4,8 für einen natürlichen Ring zu ca. 1,8 für einen auferlegten Baum).

2. Kontext-Geometrie dominiert vortrainierte Priors
Wenn der Kontext mit einem starken vortrainierten Prior kollidiert, dominiert die Kontext-Geometrie.

Dominanz: In leistungsfähigen Modellen (Gemma-31B, Qwen-27B) ist die RSA zur auferlegten Ordnung hoch (+0,80 bis +0,90), während die RSA zur natürlichen, vortrainierten Ordnung gegen Null kollabiert (z. B. -0,03 für Tage).
Kausale Nutzung: Activation Patching bestätigt, dass diese Geometrie kausal genutzt wird. Wenn die Aktivierung einer Entität getauscht wird, folgt die Antwort des Modells dem Nachfolger, der durch die Kontext-Spezifikation definiert ist, nicht der vortrainierten Ordnung. Diese „doppelte Dissoziation“ (Folgen der auferlegten Ordnung in einem auferlegten Kontext und der natürlichen Ordnung in einem natürlichen Kontext) schließt einen einfachen Lookup einer festen Tabelle aus.

3. Skalierungsgesteuerte Fidelität: Formen vs. Nutzen
Die Fähigkeit, eine grobe Geometrie zu bilden, ist auch in kleinen Modellen vorhanden, aber die Fähigkeit, sie sauber und treu zu nutzen, ist skalierungsgesteuert.

Kleine Modelle: Modelle wie Gemma-2B oder Qwen-9B können eine grobe auferlegte Geometrie bilden (Nullwerte überwinden), aber die Map ist oft „undicht“ (leaky) oder einseitig. Beispielsweise kann Patching die Antwort unter dem auferlegten Kontext zwar beeinflussen, aber unter dem natürlichen Kontext nicht umschalten, oder die Geometrie ist ein sich selbst kreuzender Ring statt eines sauberen Zyklus.
Große Modelle: Saubere, traversierbare Maps und eine vollständige kausale doppelte Dissoziation treten erst in größeren Modellen auf (Gemma-12B/31B, Qwen-27B).
Implikation: Ein Mechanismus, der in einem großen Modell vorhanden ist (treue kontextabhängige Geometrie), kann in einem kleineren Modell derselben Familie entweder fehlen oder grundlegend anders sein.

4. Lokalisierung des Mechanismus
Die Studie lokalisiert die Bildung dieser Map in einer mittleren Netzwerkphase (ca. 0,45–0,75 Tiefe).

Identität zu Bindung: Frühe Schichten kodieren die Token-Identität, aber bis zur mittleren Schicht wird die Identität an die kontext-spezifizierte Position gebunden. Patching in diesen mittleren Schichten ist am effektivsten, um die Ausgabe zu steuern.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die geometrische Struktur von Konzepten in LLMs keine feste, intrinsische Eigenschaft ist, die in den Gewichten gespeichert ist, sondern eine Berechnung, die durch den Kontext gesetzt wird.

Reframing „Weltmodelle“: Während Modelle zwar weltmodellähnliche Strukturen speichern können, sind dies nicht die einzigen oder finalen Repräsentationen, die während der Inferenz verwendet werden. Die „Geometrie, die das Modell nutzt“, ist diejenige, die durch den Kontext spezifiziert wird, selbst wenn diese dem gespeicherten Prior widerspricht.
Mechanistisch vs. Instruktional: Dies ist ein mechanistisches Phänomen, nicht bloßes Befolgen von Instruktionen. Der Typ der Topologie ändert sich auf Befehl, bildet sich an Token ohne Vorwissen und flippt unter kausalen Edits.
Vorsicht beim Transfer: Die Ergebnisse legen nahe, dass auf der Ebene der Schaltkreise (Circuit-level) beobachtete Interpretierbarkeit und geometrische Eigenschaften kleiner Modelle nicht auf größere Modelle übertragbar sind. Kleine Modelle können eine grobe Annäherung einer Kontext-Map bilden, aber die saubere, kausal operative Geometrie ist eine Fähigkeit, die mit der Skalierung emergiert.

Die Autoren kommen zu dem Schluss, dass rekonstruierte „Weltmodell“-Geometrien als kontextabhängig und nicht als intrinsisch zu lesen sind und dass das Verhalten des Modells durch eine Map getrieben wird, die on-demand aus der Spezifikation konstruiert wird.