💬 NLP

What Iterated Self-Feeding Probes of Language Models Measure, and a test that separates the construction from the model

Dieses Paper führt einen rigorosen Test ein, um zwischen Artefakten einzubedifferenzieren, die der Konstruktion der Sonde inhärent sind (wie etwa die Ausbreitung kinematischer Schäden), und echten Modelleigenschaften (wie etwa Lyapunov-Exponenten) in iterierten, sich selbst fütternden Sprachmodell-Experimenten, wobei aufgezeigt wird, dass frühere Behauptungen über Phasenübergänge oft den Modellen statt der Methodik zugeschrieben wurden.

Ursprüngliche Autoren: Nicolás Vera Zúñiga

Veröffentlicht 2026-08-12

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nicolás Vera Zúñiga

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Dilemma des Detektivs: Wenn das Werkzeug zum Indiz wird

Stellen Sie sich vor, Sie versuchen herauszufinden, wie ein bestimmter Automotor funktioniert. Sie können ihn nicht auseinanderbauen, also bauen Sie stattdin eine riesige, automatisierte Teststrecke. Sie leiten den eigenen Abgasstrom des Autos immer wieder zurück in dessen Ansaugtrakt und beobachten, wie der Motor auf seine eigenen Dämpfe reagiert. Das ist ein wenig wie das, was Wissenschaftler mit modernen „Large Language Models“ (KI) machen. Diese KI-Systeme sind wie superintelligente Motoren, die das nächste Wort in einem Satz vorhersagen. Forscher führen oft die eigenen Ausgaben der KI wieder in sie selbst zurück, um zu sehen, ob sie ihre eigenen Fehler korrigieren, tiefer denken oder schwierige Probleme lösen kann. Dies wird als „Self-Feeding“ oder „Iterated Probing“ bezeichnet.

Aber hier liegt der knifflige Teil: Wenn Sie eine Teststrecke bauen, hat die Strecke selbst Regeln. Vielleicht ist die Strecke zu holprig, oder der Wind weht in einer bestimmten Weise, die das Auto ins Wanken bringt. Wenn Sie sehen, dass das Auto schwankt, liegt es dann daran, dass der Motor defekt ist, oder weil die Strecke holprig ist? In der Welt der KI messen Wissenschaftler Dinge wie „wie schnell sich die Gedanken der KI ändern“ oder „wie stabil ihre Antworten sind“, in der Annahme, dass diese Zahlen etwas über das Gehirn der KI aussagen. Dieses Paper stellt eine einfache, beängstigende Frage: Was, wenn diese Zahlen eigentlich nur von der Teststrecke erzählen, die wir gebaut haben, und gar nicht von der KI selbst?

Die große Verwechslung: Ist es die KI oder das Experiment?

In diesem Paper stellt der Forscher, Nicolás Vera Zúñiga, ein sehr spezifisches, leicht seltsames Experiment auf, um dies herauszufinden. Stellen Sie sich eine riesige kreisförmige Halskette aus 4096 Perlen vor, wobei jede Perle ein Wort (oder „Token“) aus dem Vokabular der KI ist. Die KI betrachtet ein kleines Fenster von Perlen um einen bestimmten Punkt herum, rät, welche Perle dort stehen sollte, und ersetzt die aktuelle Perle durch ihre neue Vermutung. Dies geschieht für jede Perle auf der Halskette, immer wieder, in einer zufälligen Reihenfolge. Dadurch entsteht ein geschlossener Kreislauf, in dem die KI ihre eigene Geschichte ständig basierend auf ihren eigenen vorherigen Vermutungen umschreibt.

Um dies zu testen, erstellt der Forscher zwei identische Halsketten. Auf der zweiten Halskette vertauscht er zu Beginn gerade einmal eine einzige Perle. Dann lässt er beide Halsketten durch exakt dieselbe Simulation laufen, wobei er die exakt gleichen Zufallszahlen verwendet, um die Vertauschungen zu entscheiden. Wenn das „Gehirn“ der KI sensibel ist, sollte diese eine vertauschte Perle einen Welleneffekt auslösen, der die beiden Halsketten im Laufe der Zeit immer unterschiedlicher aussehen lässt. Dies wird als „Damage Spreading“ (Schadensausbreitung) bezeichnet. Der Forscher misst, wie schnell sich dieser Schaden ausbreitet (eine Zahl namens $\lambda_{ca}$ ) und wie viel davon überlebt.

Die große Überraschung: Der „Phasenübergang“, der keiner war

Der Forscher fand etwas Schockierendes heraus. Als er dieses Experiment bei sehr niedrigen „Temperaturen“ durchführte (was bedeutet, dass die KI gezwungen wird, sehr selbstbewusst zu sein und nur die wahrscheinlichsten Wörter zu wählen), kollabierte das System plötzlich. Die Halskette hörte auf, sich zu verändern, und fror in ein einziges, sich wiederholendes Wort ein (wie eine kaputte Schallplatte, die bei „Newline“ hängen geblieben ist). Dies sah aus wie ein dramatischer „Phasenübergang“, ähnlich wie Wasser, das augenblicklich zu Eis wird.

Der Forscher maß diesen Übergang mit extremer Präzision, bis auf drei Dezimalstellen genau. Es sah wie eine echte Entdeckung darüber aus, wie sich KI-Modelle verhalten. Jedoch beweist das Paper, dass dieser Übergang dem Experiment und nicht der KI zuzuschreiben ist.

So wussten sie es:

Der Kontrolltest: Sie führten exakt dasselbe Experiment an einem anderen Typ von KI-Modell durch (einem „Masked Language Model“), das anders aufgebaut ist. Dieses zweite Modell fror selbst bei densen niedrigen Temperaturen niemals ein.
Der Mechanismus: Sie erkannten, dass das Einfrieren aufgrund einer spezifischen mathematischen „Falle“ in der Art und Weise geschah, wie das erste KI-Modell seine Wörter auswählt. Es ist wie ein Ball, der in ein tiefes Loch rollt; sobald er hineinfällt, kommt er nicht mehr heraus. Dieses Loch existiert, weil die Regeln des Experiments (die spezifische Art, wie die KI gezwungen wird, ihre Perlen zu aktualisieren) die Ursache sind, und nicht, weil die KI etwas Besonderes ist.
Das Urteil: Der „Phasenübergang“ war ein „manufactured event“ (ein künstlich erzeugtes Ereignis). Er war eine Eigenschaft der Teststrecke, nicht des Autos. Der Forscher gibt zu, dass sie vier Monate lang dachten, sie hätten ein neues Gesetz der KI-Physik entdeckt, nur um dann zu erkennen, dass sie lediglich eine Eigenheit ihres eigenen Messwerkzeugs entdeckt hatten.

Was misst das Experiment wirklich?

Wenn der „Phasenübergang“ also falsch war, sagt uns das Experiment dann überhaupt etwas Reales? Ja, aber man muss sehr vorsichtig damit sein, worauf man schaut:

Die „Konstruktions“-Messwerte (Das Rauschen): Einige Zahlen, wie die Geschwindigkeit, mit der sich der Schaden ausbreitet ( $\lambda_{ca}$ ), sind durch die Geometrie des Tests fest vorgegeben. Wenn man die Größe des Fensters oder die Reihenfolge der Perlen ändert, ändern sich diese Zahlen. Wenn man das KI-Modell ändert, bleiben diese Zahlen weitgehend gleich. Diese Messwerte sagen etwas über das Experiment aus, nicht über die KI.
Die „Modell“-Messwerte (Das Signal):ung Andere Zahlen, wie der „Attractor Share“ (wie stark die KI auf ein spezifisches Wort einsinkt), ändern sich tatsächlich, wenn man das KI-Modell ändert. Wenn man ein Modell länger trainiert, bewegt sich diese Zahl. Wenn man zu einer anderen KI-Architektur wechselt, bewegt sich diese Zahl. Dies ist der einzige Teil, der uns tatsächlich etwas über das Gehirn der KI verrät.

Die „Fallstricke“ und zurückgezogenen Behauptungen

Das Paper ist auch eine Warnung davor, wie leicht man sich durch Statistiken selbst täuschen kann. Der Forscher listet vier Fälle auf, in denen er fast eine „Entdeckung“ veröffentlicht hätte, die sich als falsch herausstellte, weil er seine Mathematik nicht gründlich genug geprüft hatte:

Er maß einmal einen „kritischen Punkt“ mit einem Aufbau, der zu klein war, um valide zu sein.
Er verwendete versehentlich dieselben Zufallszahlen für verschiedene Teile des Tests, wodurch die Ergebnisse sicherer erschienen, als sie waren.
Er versuchte, ein Muster in Daten zu finden, die eigentlich nur eine flache Linie (Nullvarianz) waren, was eine Korrelation echt aussehen ließ, obwohl es nur ein Zufall der Art und Weise war, wie die Daten sortiert wurden.

Jedes Mal entdeckte er den Fehler nicht durch ein Peer-Review, sondern indem er einen „bekannten Antwort“-Test durchführte (wie eine Simulation, bei der das Ergebnis bereits bekannt ist) und sah, dass sein Werkzeug die falsche Antwort lieferte.

Das Fazit

Dieses Paper verleiht uns keine neue Superkraft für die KI. Stattdessen schenkt es uns eine neue Brille. Es lehrt uns, dass wir, wenn wir einer KI ihre eigenen Ausgaben zurückführen, zwei Dinge vermischen: die tatsächliche Intelligenz der KI und die künstlichen Regeln unseres Experiments.

Die wichtigste Erkenntung ist, dass wir nicht einfach eine Zahl betrachten und davon ausgehen können, dass sie uns etwas über die KI verrät. Wir müssen das Spiel von „Kontrolle und Variable“ spielen: Wenn wir die KI ändern und die Zahl bleibt gleich, handelt die Zahl vom Experiment. Wenn wir das Experiment ändern und die Zahl gleich bleibt, handelt die Zahl von der KI. Das Paper beweist, dass einige der aufregendsten „Entdeckungen“ auf diesem Gebiet vielleicht nur Reflexionen des Spiegels sind, den wir vor uns halten, und nicht das Gesicht, das wir betrachten wollen. Es ist ein Aufruf an Wissenschaftler, bescheiden zu sein, ihre Werkzeuge zu prüfen und zu erkennen, dass das Interessanteste, was man finden kann, manchmal der Fehler im eigenen Maßband ist.

Technisches Resümee: Was iterierte selbst-fütternde Sonden von Sprachmodellen messen

Problemstellung

Eine wachsende Klasse von Methoden sondiert Sprachmodelle (LMs), indem sie deren eigenen Output wieder als Input einspeist, wodurch dynamische Systeme wie Selbstkonsistenz, iterative Verfeinerung und agentische Schleifen entstehen. Während diese Methoden Routine sind, bleibt eine fundamentale Frage unbeantwortet: Was messen die Dynamiken dieser selbst-fütternden Sonden eigentlich?

Das Paper argumentiert, dass aktuelle Interpretationen solcher Sonden zwei distinkte Informationsquellen vermischen:

Konstruktionsdeterminierte Größen: Eigenschaften, die ausschließlich aus der Mechanik der Sonde resultieren (z. B. die Schleifenstruktur, Resampling-Regeln und die Kopplungsmethode).
Modelldeterminierte Größen: Eigenschaften, die dem Sprachmodell selbst inhärent sind.

Ohne eine Methode, zwischen diesen zu unterscheiden, riskieren Forscher, Artefakte des Messapparats fälschlicherweise den Modellen zuzuschreiben. Der Autor berichtet von einem spezifischen Fall, in dem er eine „Phasenübergang“ bis auf drei Dezimalstellen maß, nur um festzustellen, dass dieser vollständig der Konstruktion der Sonde und nicht dem Modell zuzurechnen war.

Methodik

Die Konstruktion

Der Autor verwendet eine spezifische Konstruktion, um das Konfundieren zwischen Sonde und Modell zu isolieren:

Zustand: Ein Ring aus $N$ Token-Zellen mit periodischen Randbedingungen.
Dynamik: In-place Resampling. In jedem Schritt wird eine Position $x_i$ aus der fensterbasierten bedingten Wahrscheinlichkeit des Modells $p(x_i | x_{i \pm r})$ bei Temperatur $T$ neu gezogen. Das zentrale Token wird aus seinem eigenen Fenster maskiert.
Kopplung: Zwei Ringe ( $x$ und $\tilde{x}$ ) werden unter Verwendung von Common Random Numbers (CRN) vorangetrieben. Sie sind identisch, außer für ein umgeflipptes Token bei $t=0$ . Beide nutzen denselben Strom von Uniform-Variaten und dieselbe Besuchsreihenfolge.
Nullhypothese: Unter CRN ziehen zwei Ringe mit identischen Fenstern exakt dasselbe Token (Inverse-CDF-Sampling gegen eine gemeinsame Uniform-Verteilung). Unbeschädigte Zwillinge divergieren also um exakt Null. Jede Divergenz ist strikt auf das injizierte Flip zurückzuführen.

Gemessene Größen

$\lambda_{ca}$ (Token-Raum-Lyapunov-Exponent): Die exponentielle Wachstumsrate der Anzahl differierender Positionen ( $d_t$ ) vor der Sättigung.
$D_{norm}$ : Das sättierende Niveau des Schadens, normiert auf ein unabhängiges Rausch-Floor.
Attraktor-Anteil (Attractor Share): Die Besetzung des dominanten Tokens im stabilisierten Ring.

Validierungsstrategie

Das Instrument wird durch die Reproduktion an Systemen mit bekannten Antworten kalibriert, spezifisch am Domany–Kinzel probabilistischen zellulären Automaten. Der Autor verifiziert, dass seine Implementierung bit-exakte Übereinstimmungen mit unabhängigen Vorhersagen auf diesem Automaten liefert, bevor er ihn auf Sprachmodelle anwendet.

Zentrale Beiträge

1. Ein validiertes Instrument

Der Autor stellt ein kalibriertes Werkzeug bereit, das zwischen der Geometrie der Sonde und dem Verhalten des Modells unterscheidet. Das Instrument wurde validiert, indem es das Domany–Kinzel-Schadensfeld exakt reproduzierte und bekannte Übergangsmatrizen für elementare zelluläre Automaten wiederherstellte.

2. Identifikation eines „manufakturierten“ Phasenübergangs

Der Autor entdeckte einen scharfen Übergang in den absorbierenden Zuständen in der Dynamik der Sonde bei einer kritischen Temperatur $T_c \in [0.4343, 0.4391]$ .

Natur: Dieser Übergang ist eine Eigenschaft der Sonde, nicht des Modells.
Mechanismus: Er entsteht durch einen attraktiven Fixpunkt der Argmax-Map in der autoregressiven Konstruktion (speziell für Modelle wie Pythia-410m), was dazu führt, dass das Gitter bei niedrigen Temperaturen auf ein einzelnes Token (z. B. ein Newline-Zeichen) kollabiert.
Evidenz: Der Übergang verschwindet, wenn die Konstruktion geändert wird (z. B. durch Verwendung einer Masked-LM-Konstruktion ohne einen solchen Fixpunkt), bleibt aber über 19 verschiedene Modelle und Skalen-Leitern (70-fache Variation) hinweg bestehen.

3. Der Diskriminator-Test

Das Paper führt einen rigorosen Test ein, um konstruktionsdeterminierte von modellbedingten Messungen zu trennen:

Test: Variiere einen Faktor (Konstruktion oder Modell), während der andere konstant gehalten wird.
Kriterium: Wenn sich ein Messwert ändert, wenn die Konstruktion geändert wird, aber gleich bleibt, wenn das Modell geändert wird, ist er konstruktionsdeterminiert. Wenn er sich ändert, wenn das Modell geändert wird, aber gleich bleibt, wenn die Konstruktion geändert wird, ist er modelldeterminiert.
Anwendung:
- Konstruktionsdeterminiert: Der Schadens-Lichtkegel (kinematisch) und die Radius-Skalierung von $\lambda_{ca}$ (modellinvariant).
- Modelldeterminiert: Der Attraktor-Anteil, welcher Modelle über verschiedene Konstruktionen hinweg konsistent rankt.
- Entwicklungsbedingt: $\lambda_{ca}$ verfolgt die Trainings-Trajektorie eines einzelnen Modells (kreuzt Null an einem reproduzierbaren Punkt), versagt aber beim Unterscheiden zwischen verschiedenen Modellfamilien.

4. Schätzer-Gating und zurückgenommene Urteile

Der Autor berichtet von vier zurückgenommenen Urteilen, bei denen Schätzer konfidente, aber falsche Zahlen lieferten, weil sie auf Größen angewendet wurden, die keinen Spielraum zur Variation hatten (z. B. gesättigte Prädiktoren, undefinierte Werte, die als Null behandelt wurden, oder korrelierte Replikate). Er veröffentlicht ein Paket von „Wächtern“ (z. B. Dynamikbereich-Checks, Noise Gates, Tie-aware Ranking), um diese Fehler zu verhindern.

Ergebnisse

Sonden-Artefakte: Der in autoregressiven Modellen beobachtete „Phasenübergang“ ist ein Artefakt der Geometrie der Sonde (speziell der Fixpunkt der Argmax-Map). Er ist reproduzierbar, trägt aber keine Information über die Fähigkeiten des Modells.
Modell-Sensitivität:
- $\lambda_{ca}$ : Zeigt zwar einen entwicklungsbedingten Übergang (kreuzt Null während des Trainings), ist aber modellinvariant über verschiedene Architekturen und Skalen hinweg. Es dient nicht als zuverlässige Metrik für den Vergleich verschiedener Modelle.
- Attraktor-Anteil: Diese Metrik unterscheidet erfolgreich zwischen Modellfamilien (z. B. RWKV vs. Attention-Modelle) und ist robust gegenüber Änderungen in der Konstruktion der Sonde (Radius, Temperatur).
Ablations-Reaktion: Das Entfernen interner Komponenten (z. B. Attention-Blöcke) verändert die Dynamik, was bestätigt, dass das Instrument das Modell liest. Die Reaktion ist jedoch nicht-monoton und hängt vom Initialzustand des Referenzmodells ab, was auf eine komplexe statistische Beziehung statt eines einfachen kausalen Mechanismus hindeutet.
Prädiktive Kraft: Der Attraktor-Anteil sagt Versagen beim Befolgen von Instruktionen voraus, während der entwicklungsbedingte Übergang ( $\lambda_{ca}$ ) dies nicht tut. Umgekehrt sagt $\lambda_{ca}$ (via Diversität) Greedy-Degeneration voraus, während der Attraktor-Anteil dies nicht tut.

Bedeutung und Ansprüche

Das Paper behauptet, dass iterierte selbst-fütternde Sonden eine Mischung aus der Konstruktion und dem Modell messen, und dass diese Komponenten allein durch Inspektion nicht unterscheidbar sind.

Bescheidenheit der Ansprüche: Der Autor stellt explizit klar, dass dies kein Interpretierbarkeits-Ergebnis ist. Er behauptet nicht, dass $\lambda_{ca}$ einen spezifischen internen Mechanismus lokalisiert. Stattdessen ist der Beitrag die Messung: zu definieren, was diese Sonden lesen, was sie nicht lesen und wie man die beiden unterscheidet.
Kern-Erkenntnis: Ein Instrument kann für eine Art des Vergleichs (z. B. Verfolgung eines einzelnen Modells während des Trainings) valide sein, für eine andere Art (z. B. Vergleich verschiedener Modellfamilien) jedoch leer.
Methodischer Wandel: Der Autor argumentiert, dass Größen, die aus selbst-fütternden Schleifen abgeleitet werden, dem „Diskriminator-Test“ (Variieren von Konstruktion vs. Modell) unterzogen werden müssen, bevor sie als Eigenschaften des Sprachmodells interpretiert werden können.
Reproduzierbarkeit: Der gesamte Code, die Daten und die Skripte für die Abbildungen werden mit strikter Rückverfolgbarkeit (SHA-256 Hashing) veröffentlicht, um sicherzustellen, dass die Abbildungen nicht länger existieren als der Code, der sie erzeugt hat.

Das Paper schließt mit dem Argument, dass die „saubere Zusammenfassung“, wonach das Instrument sich selbst misst, falsch ist; das Instrument liest tatsächlich das Modell, aber es liest auch die Sonde mit gleicher Präzision. Die Folge des Versagens, diese zu unterscheiden, ist die Fehlattribution von Sonden-Artefakten (wie dem manufakturierten Phasenübergang) an das Modell.