💬 NLP

What Iterated Self-Feeding Probes of Language Models Measure, and a test that separates the construction from the model

Dit artikel introduceert een rigoureuze test om onderscheid te maken tussen artefacten die inherent zijn aan de constructie van de probe (zoals kinematische schadeverspreiding) en genuïne modeleigenschappen (zoals Lyapunov-exponenten) in iteratieve zelfvoedende taalmodelexperimenten, waarbij wordt onthuld dat eerdere claims van faseovergangen vaak onterecht werden toegeschreven aan de modellen in plaats van aan de methodologie.

Oorspronkelijke auteurs: Nicolás Vera Zúñiga

Gepubliceerd 2026-08-12

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nicolás Vera Zúñiga

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Dilemma van de Detective: Wanneer het Gereedschap het Aanwijzing Wordt

Stel je voor dat je probeert uit te zoeken hoe een specifiek type automotor werkt. Je kunt hem niet uit elkaar halen, dus bouw je in plaats daarvan een gigantische, geautomatiseerde testbaan. Je voert de eigen uitlaatgassen van de auto weer terug in de inlaat, steeds opnieuw, en kijkt hoe de motor reageert op zijn eigen dampen. Dit is een beetje wat wetenschappers doen met moderne "Large Language Models" (AI). Deze AI-systemen zijn als superintelligente motoren die het volgende woord in een zin voorspellen. Onderzoekers voeren de output van de AI vaak weer terug in zichzelf om te zien of de AI zijn eigen fouten kan herstellen, dieper kan nadenken of moeilijke problemen kan oplossen. Dit wordt "self-feeding" of "iterated probing" genoemd.

Maar hier komt het lastige deel: wanneer je een testbaan bouwt, heeft de baan zelf regels. Misschien is de baan te hobbelig, of misschien waait de wind op een bepaalde manier waardoor de auto gaat wankelen. Als je ziet dat de auto wankelt, komt dat dan omdat de motor kapot is, of omdat de baan hobbelig is? In de wereld van AI meten wetenschappers zaken zoals "hoe snel de gedachten van de AI veranderen" of "hoe stabiel de antwoorden zijn", in de veronderstelling dat deze getallen hen iets vertellen over het brein van de AI. Dit artikel stelt een simpele, angstaanjagende vraag: wat als die getallen ons eigenlijk alleen maar iets vertellen over de testbaan die we hebben gebouwd, en niet over de AI zelf?

De Grote Verwarring: Is het de AI of het Experiment?

In dit artikel stelt de onderzoeker, Nicolás Vera Zúñiga, een zeer specifiek, lichtelijk vreemd experiment op om dit uit te zoeken. Stel je een gigantische cirkelvormige ketting voor gemaakt van 4096 kralen, waarbij elke kraal een woord (of "token") is uit de vocabulaire van de AI. De AI kijkt naar een klein venster van kralen rond een specifieke plek, raadt welk kraal er zou moeten zijn, en vervangt de huidige kraal door zijn nieuwe gok. Dit doet hij voor elke kraal op de ketting, steeds opnieuw, in een willekeurige volgorde. Dit creëert een gesloten lus waarbij de AI constant zijn eigen verhaal herschrijft op basis van zijn eigen eerdere gissingen.

Om dit te testen, maakt de onderzoeker twee identieke kettingen. Op de tweede ketting draait hij slechts één kraal om aan het begin. Vervolgens laat hij beide kettingen door exact dezelfde simulatie lopen, waarbij hij exact dezelfde willekeurige getallen gebruikt om de wisselingen te bepalen. Als het "brein" van de AI gevoelig is, zou die enkele omgedraaide kraal een rimpeleffect moeten veroorzaken, waardoor de twee kettingen na verloop van tijd steeds meer van elkaar gaan verschillen. Dit wordt "damage spreading" genoemd. De onderzoeker meet hoe snel deze schade zich verspreidt (een getal genoteerd als $\lambda_{ca}$ ) en hoeveel ervan overleeft.

De Grote Verrassing: De "Faseovergang" Die Niet Bestond

De onderzoeker ontdekte iets schokkend. Wanneer hij dit experiment uitvoerde bij zeer lage "temperaturen" (wat betekent dat de AI wordt gedwongen om zeer zelfverzekerd te zijn en alleen de meest waarschijnlijke woorden te kiezen), stortte het systeem plotseling in. De ketting stopte met veranderen en bevroor in één enkel herhalend woord (zoals een kapotte grammofoonplaat die blijft hangen op "newline"). Dit leek op een dramatische "faseovergang", vergelijkbaar met water dat direct in ijs verandert.

De onderzoeker mat deze overgang met extreme precisie, tot op drie decimalen nauwkeurig. Het leek een echte ontdekking over hoe AI-modellen zich gedragen. Echter, het artikel bewijst dat deze overgang toebehoort aan het experiment, en niet aan de AI.

Zo wisten ze het:

De Controle-test: Ze voerden exact hetzelfde experiment uit op een ander type AI-model (een "masked language model") dat anders is opgebouwd. Dit tweede model bevroor nooit, zelfs niet bij dezelfde lage temperaturen.
Het Mechanisme: Ze realiseerden zich dat het bevriezen gebeurde door een specifieke wiskundige "val" in de manier waarop het eerste AI-model zijn woorden kiest. Het is als een bal die in een diep gat rolt; zodra hij erin valt, kan hij er niet meer uit. Dit gat bestaat vanwege de regels van het experiment (de specifieke manier waarop de AI wordt gedwongen zijn kralen bij te werken), en niet omdat de AI bijzonder is.
Het Vonnis: De "faseovergang" was een "gefabriceerd" evenement. Het was een eigenschap van de testbaan, niet van de auto. De onderzoeker geeft toe dat hij vier maanden lang dacht dat hij een nieuwe wet van de AI-fysica had ontdekt, om er vervolgens achter te komen dat hij slechts een eigenaardigheid van zijn eigen meetlat had ontdekt.

Wat Meet het Experiment Dan Wel?

Dus, als de "faseovergang" nep was, vertelt het experiment ons dan wel iets reëels? Ja, maar je moet heel voorzichtig zijn over waar je naar kijkt:

De "Constructie"-metingen (De Ruis): Sommige getallen, zoals de snelheid waarmee de schade zich verspreidt ( $\lambda_{ca}$ ), worden bepaald door de geometrie van de test. Als je de grootte van het venster of de volgorde van de kralen verandert, veranderen deze getallen. Als je het AI-model verandert, blijven deze getallen grotendeels gelijk. Deze metingen vertellen je over het experiment, niet over de AI.
De "Model"-metingen (Het Signaal): Andere getallen, zoals de "attractor share" (hoeveel de AI bezwijkt onder één specifiek woord), veranderen wel wanneer je het AI-model verandert. Als je een model langer traint, beweegt dit getal. Als je overschakelt naar een andere AI-architectuur, beweegt dit getal. Dit is het enige deel dat daadwerkelijk iets zegt over het brein van de AI.

De "Valstrikken" en Geannuleerde Claims

Het artikel is ook een waarschuwend verhaal over hoe gemakkelijk je jezelf kunt bedriegen met statistiek. De onderzoeker somt vier momenten op waarop hij bijna een "ontdekking" publiceerde die onjuist bleek te zijn omdat hij zijn wiskunde niet goed had gecontroleerd:

Hij mat ooit een "kritiek punt" met een opstelling die te klein was om geldig te zijn.
Hij gebruikte per ongeluk dezelfde willekeurige getallen voor verschillende delen van de test, waardoor de resultaten er zekerder uitzagen dan ze waren.
Hij probeerde een patroon te vinden in data die eigenlijk een vlakke lijn was (nul variantie), waardoor een correlatie echt leek terwijl het slechts een toevalstreffer was van hoe de data was gesorteerd.

Elke keer betrapt hij zichzelf niet door peer review, maar door een "bekend antwoord"-test te draaien (zoals een simulatie waarvan de uitkomst al bekend is) en te zien dat zijn instrument het verkeerde antwoord gaf.

De Kernboodschap

Dit artikel geeft ons geen nieuwe superkracht voor AI. In plaats daarvan geeft het ons een nieuwe bril. Het leert ons dat wanneer we een AI zijn eigen output voeren, we twee dingen mengen: de werkelijke intelligentie van de AI en de kunstmatige regels van ons experiment.

De belangrijkste les is dat we niet simpelweg naar een getal kunnen kijken en ervan uitgaan dat het ons iets vertelt over de AI. We moeten een spel van "controle en variabele" spelen: als we de AI veranderen en het getal blijft gelijk, dan gaat het getal over het experiment. Als we het experiment veranderen en het getal blijft gelijk, dan gaat het over de AI. Het artikel bewijst dat sommige van de meest opwindende "ontdekkingen" in dit veld slechts reflecties zijn van de spiegel die we vasthouden, en niet het gezicht waar we naar kijken. Het is een oproep aan wetenschappers om nederig te zijn, hun instrumenten te controleren, en te beseffen dat de meest interessante ontdekking die je doet, soms de fout in je eigen meetlint is.

Technische Samenvatting: Wat iteratieve zelfvoedende sondes van taalmodellen meten

Probleemstelling

Een groeiende klasse van methoden onderzoekt taalmodellen (LM's) door hun eigen output terug te voeren in hun input, waardoor dynamische systemen ontstaan zoals zelfconsistentie, iteratieve verfijning en agentische loops. Hoewel deze methoden routinematig zijn, blijft een fundamentele vraag onbeantwoord: wat meten de dynamieken van deze zelfvoedende sondes eigenlijk?

Het artikel betoogt dat huidige interpretaties van dergelijke sondes twee onderscheidbare bronnen van informatie vermengen:

Constructie-bepaalde grootheden: Eigenschappen die uitsluitend voortvloeien uit de mechanica van de sonde (bijv. de loopstructuur, her-samplingsregels en koppelingsmethode).
Model-bepaalde grootheden: Eigenschappen die inherent zijn aan het taalmodel zelf.

Zonder een methode om dit onderscheid te maken, riskeren onderzoekers het toeschrijven van artefacten van het meetapparaat aan het model. De auteur rapporteert een specifiek geval waarbij een "faseovergang" werd gemeten tot op drie decimalen nauwkeurig, om er vervolgens achter te komen dat deze volledig toebehoorde aan de constructie van de sonde, en niet aan het model.

Methodologie

De Constructie

De auteur hanteert een specifieke constructie om de verwarring tussen sonde en model te isoleren:

Toestand: Een ring van $N$ token-cellen met periodieke grenzen.
Dynamiek: In-place her-sampling. Bij elke stap wordt een locatie $x_i$ opnieuw gesampled uit de venstergestuurde conditionele waarschijnlijkheid van het model $p(x_i | x_{i \pm r})$ bij temperatuur $T$ . Het centrale token wordt gemaskeerd vanuit zijn eigen venster.
Koppeling: Twee ringen ( $x$ en $\tilde{x}$ ) worden voortgestuwd met behulp van Common Random Numbers (CRN). Ze zijn identiek, behalve voor één omgeklapt token bij $t=0$ . Beiden gebruiken dezelfde stroom uniforme variabelen en dezelfde volgorde van bezoeken.
Nulhypothese: Onder CRN, als twee ringen identieke vensters hebben, trekken ze exact hetzelfde token (inverse-CDF sampling tegen een gedeelde uniforme verdeling). Zo divergeren onbeschadigde tweelingen met exact nul. Elke divergentie is strikt toe te schrijven aan de geïnjecteerde flip.

Gemeten Grootheden

$\lambda_{ca}$ (Token-ruimte Lyapunov-exponent): De exponentiële groeisnelheid van het aantal verschillende locaties ( $d_t$ ) vóór verzadiging.
$D_{norm}$ : Het verzadigende niveau van schade, genormaliseerd door een onafhankelijke ruisvloer.
Attractor Share: De bezettingsgraad van het dominante token in de gestabiliseerde ring.

Validatiestrategie

Het instrument wordt gekalibreerd via reproductie op systemen met bekende antwoorden, specifiek de Domany–Kinzel probabilistische cellulaire automaat. De auteur verifieert dat hun implementatie exact overeenkomende resultaten produceert met onafhankelijke voorspellingen op deze automaat voordat het op taalmodellen wordt toegepast.

Belangrijkste Bijdragen

1. Een gevalideerd instrument

De auteur biedt een gekalibreerd hulpmiddel dat onderscheid maakt tussen de geometrie van de sonde en het gedrag van het model. Het instrument werd gevalideerd door de Domany–Kinzel schadeveld exact te reproduceren en bekende transitiematrices voor elementaire cellulaire automata te herstellen.

2. Identificatie van een "gefabriceerde" faseovergang

De auteur ontdekte een scherpe absorberende-toestand transitie in de dynamiek van de sonde bij een kritieke temperatuur $T_c \in [0.4343, 0.4391]$ .

Aard: Deze transitie is een eigenschap van de sonde, niet van het model.
Mechanisme: Het ontstaat uit een aantrekkend vast punt van de argmax-map in de autoregressieve constructie (specifiek voor modellen zoals Pythia-410m), wat ervoor zorgt dat het rooster bij lage temperaturen inklapt op een enkel token (bijv. een newline).
Bewijs: De transitie verdwijnt wanneer de constructie wordt gewijzigd (bijv. door een masked-LM constructie te gebruiken zonder zodanig vast punt), maar blijft persistent over 19 verschillende modellen en schaal-ladders (70x variatie).

3. De Discriminator-test

Het artikel introduceert een rigoureuze test om constructie-bepaalde van model-bepaalde metingen te scheiden:

Test: Varieer één factor (constructie of model) terwijl de andere vast wordt gehouden.
Criterium: Als een meting verandert wanneer de constructie verandert maar constant blijft wanneer het model verandert, is het constructie-bepaald. Als het verandert wanneer het model verandert maar constant blijft wanneer de constructie verandert, is het model-bepaald.
Toepassing:
- Constructie-bepaald: De schade lichtkegel (kinematisch) en de radius-schaling van $\lambda_{ca}$ (model-invariant).
- Model-bepaald: De attractor share, die modellen consistent rangschikt over verschillende constructies heen.
- Ontwikkelingsgericht: $\lambda_{ca}$ volgt het trainingspad van een enkel model (het kruist nul op een reproduceerbaar punt) maar faalt in het onderscheiden van verschillende model-families.

4. Estimator Gating en Teruggetrokken Conclusies

De auteur rapporteert vier gevallen waarin conclusies werden ingetrokken omdat estimators zelfverzekerde maar incorrecte getallen produceerden omdat ze werden toegepast op grootheden met geen ruimte om te variëren (bijv. verzadigde voorspellers, ongedefinieerde waarden behandeld als nul, of gecorreleerde replica's). Zij leveren een pakket aan "guards" (bijv. dynamisch bereikcontroles, ruispoorten, tie-bewuste ranking) om deze fouten te voorkomen.

Resultaten

Sonde-artefacten: De "faseovergang" waargenomen in autoregressieve modellen is een artefact van de geometrie van de sonde (specifiek de argmax-map's vaste punt). Het is reproduceerbaar maar bevat geen informatie over de capaciteiten van het model.
Modelgevoeligheid:
- $\lambda_{ca}$ : Hoewel het een ontwikkelings-transitie vertoont (het kruist nul tijdens de training), is het model-invariant over verschillende architecturen en schalen. Het dient niet als een betrouwbare metriek voor het vergelijken van verschillende modellen.
- Attractor Share: Deze metriek onderscheidt succesvol model-families (bijv. RWKV versus Attention-modellen) en is robuust tegen veranderingen in de constructie van de sonde (radius, temperatuur).
Ablatie-respons: Het verwijderen van interne componenten (bijv. attention blocks) verandert de dynamiek, wat bevestigt dat het instrument het model leest. Echter, de respons is niet-monotoon en hangt af van de initiële toestand van de referentie, wat wijst op een complexe statistische relatie in plaats van een simpel causaal mechanisme.
Voorspellende kracht: De attractor share voorspelt falen in het opvolgen van instructies, terwijl de ontwikkelings-transitie ( $\lambda_{ca}$ ) dat niet doet; omgekeerd voorspelt $\lambda_{ca}$ (via diversiteit) de degeneratie naar een 'greedy' modus, terwijl de attractor share dat niet doet.

Betekenis en Claims

Het artikel claimt dat iteratieve zelfvoedende sondes een mengeling meten van de constructie en het model, en dat deze componenten niet louter op basis van inspectie te onderscheiden zijn.

Bescheidenheid van Claims: De auteur stelt expliciet dat dit geen interpretatie-resultaat is. Zij beweren niet dat $\lambda_{ca}$ een specifieke interne mechanisme lokaliseert. In plaats daarvan is de bijdrage meting: definiëren wat deze sondes lezen, wat ze niet lezen, en hoe men de twee te onderscheiden.
Kerninzicht: Een instrument kan valide zijn voor één type vergelijking (bijv. het volgen van de training van een enkel model) en leeg voor een andere (bijv. het vergelijken van verschillende model-families).
Methodologische Verschuiving: De auteur betoogt dat grootheden afgeleid van zelfvoedende loops onderworpen moeten worden aan de "discriminator-test" (het variëren van constructie versus model) voordat ze geïnterpreteerd kunnen worden als eigenschappen van het taalmodel.
Reproduceerbaarheid: Alle code, data en figuurscripts worden vrijgegeven met strikte traceerbaarheid (SHA-256 hashing) om te garanderen dat figuren niet langer kunnen bestaan dan de code die ze produceerde.

Het artikel concludeert dat de "nettere samenvatting" dat het instrument zichzelf meet, onjuist is; het instrument leest het model wel, maar het leest de sonde met evenveel precisie. De prijs van het falen om dit onderscheid te maken, is de foutieve toeschrijving van sonde-artefacten (zoals de gefabriceerde faseovergang) aan het model.