🤖 machine learning

The Algorithm Is Not the Behavior: Learned Priors Override Look-Ahead in a Chess-Playing Neural Network

Deze studie toont aan dat in Leela Chess Zero de interne algoritmische look-ahead van het neurale netwerk schaakpuzzels correct oplost, maar dat deze oplossingen systematisch worden overschreven in de uiteindelijke output door geleerde veiligheidsprioriteiten, wat bewijst dat de aanwezigheid van algoritmische structuur algoritmisch gedrag niet garandeert.

Oorspronkelijke auteurs: Elias Sandmann, Sebastian Lapuschkin, Wojciech Samek

Gepubliceerd 2026-06-11

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Elias Sandmann, Sebastian Lapuschkin, Wojciech Samek

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Het Brein Weet het Antwoord, Maar de Mond Zegt Iets Anders

Stel je voor dat je een zeer moeilijke wiskundetoets maakt. Je bent een genie dat jarenlang heeft gestudeerd. Terwijl je een probleem uitwerkt, berekent je brein correct het antwoord: 42. Je weet het 100% zeker. Je hebt de berekening uitgevoerd, de stappen gecontroleerd en de logica is perfect.

Maar dan, vlak voordat je het antwoord opschrijft, fluistert er een stem in je hoofd: "Hé, 42 is riskant. Wat als de leraar boos wordt? Laten we gewoon '10' opschrijven. Dat is veiliger. Er kan niemand iets overkomen."

Dus schrijf je 10 op.

Dit artikel gaat over een superintelligent AI-schaakprogramma genaamd Leela Chess Zero. De onderzoekers ontdekten dat deze AI precies hetzelfde probleem heeft. De AI berekent vaak de perfecte, winnende zet diep in zijn "brein" (de middelste lagen), maar negeert dat antwoord vervolgens en speelt in plaats daarvan een saaie, veilige zet.

Het Detectiewerk: De "Logit Lens"

Hoe wisten ze dat de AI het antwoord wist? Ze gebruikten een hulpmiddel genaamd een "Logit Lens."

Zie het brein van de AI als een gebouw met 15 verdiepingen.

De Begane Grond: De AI ziet het schaakbord.
De Middelste Verdiepingen: De AI begint na te denken, te rekenen en verschillende zetten te verkennen.
De Bovenste Verdieping: De AI neemt zijn uiteindelijke beslissing en kiest een zet.

Normaal gesproken zien we alleen wat er op de Bovenste Verdieping gebeurt. De Logit Lens is als een speciale bril waarmee de onderzoekers de aantekeningen kunnen zien die op elke verdieping worden geschreven terwijl de AI nadenkt.

Toen ze door deze bril keken, zagen ze iets schokkends:

Op de Middelste Verdiepingen riep de AI vol zelfvertrouwen: "Verplaats de Dame hierheen! Het is een mat! We winnen!"
Maar terwijl het signaal naar de Bovenste Verdieping reisde, werd die zelfverzekerde stem zachter.
Tegen de tijd dat het de bovenste verdieping bereikte, had de AI van gedachten veranderd naar een stille, veilige zet zoals: "Verplaats de Koning een klein beetje naar achteren."

De onderzoekers noemen dit "Vergeten Puzzels" (Forgotten Puzzles). De AI vond de oplossing, maar "vergat" deze vervolgens te gebruiken.

Waarom Gebeurt Dit? De "Veiligheidsbeveiliger"

De onderzoekers vroegen zich af: Faalde de AI in de wiskunde? Zag hij het mat niet?

Ze controleerden de "wiskunde" (het look-ahead mechanisme) en zagen dat dit perfect werkte. De AI zag de toekomstige zetten. Het kende het winnende pad.

Wat hield het dan tegen?

Ze ontdekten dat de AI een "Veiligheidsbias" heeft ontwikkeld.
Denk aan de trainingsdata van de AI als een enorme bibliotheek met miljoenen schaakpartijen. In de meeste van die partijen is het een goede strategie om veilig te spelen en geen stukken te verliezen. De AI heeft dit zo goed geleerd dat het een gewoonte is geworden.

In de laatste paar lagen van het netwerk treedt een "Veiligheidsbeveiliger" in werking. Deze Beveiliger kijkt naar de spannende, risicovolle, winnende zet (zoals het opofferen van een Dame om de partij te winnen) en zegt: "Nee, nee, nee. Dat is te gevaarlijk. We willen geen stuk verliezen. Laten we het veilig spelen."

De Beveiliger overrulet de geniale berekening met een conservatief instinct.

Het Bewijs: De Beveiliger Opzij Duwen

Om te bewijzen dat dit het probleem was, probeerden de onderzoekers de AI te "sturen". Stel je voor dat ze een zachte hand op de schouder van de Veiligheidsbeveiliger legden en fluisterden: "Hé, ontspan. Het is oké om deze keer een risico te nemen."

Ze deden dit door de interne gedachten van de AI wiskundig weg te duwen van "veiligheid" en richting "agressie".

Het Resultaat:

Toen ze dit deden, herinnerde de AI zich plotseling de winnende zetten die hij eerder was vergeten.
Hij herstelde 61,7% van de puzzels waar hij voorheen bij faalde.
Het bewees dat de AI het antwoord de hele tijd al had; hij had alleen toestemming nodig om het te zeggen.

De Belangrijkste Les

De belangrijkste les van dit artikel is simpel maar diepgaand: Alleen omdat een computer het juiste antwoord in zijn hoofd heeft, betekent niet dat hij het ook hardop zegt.

De AI is niet "dom" of "kapot". Hij is eigenlijk heel slim. Maar zijn "persoonlijkheid" (geleerde gewoonten over veiligheid) is soms sterker dan zijn "logica" (het vermogen om een overwinning te berekenen).

Dit is belangrijk omdat het laat zien dat we bij AI niet alleen de uiteindelijke output kunnen vertrouwen. De AI kan zijn ware capaciteiten verbergen achter een laag voorzichtigheid. Als we willen begrijpen wat een AI echt kan, moeten we in de lagen kijken om te zien wat hij denkt, en niet alleen wat hij doet.

Technische Samenvatting: Het Algoritme is Niet het Gedrag

Probleemstelling

Recent werk op het gebied van mechanistische interpreteerbaarheid heeft aangetoond dat neurale netwerken complexe algoritmen kunnen leren en uitvoeren, zoals modulaire rekenkunde, zoeken en plannen. Er blijft echter een kritische kloof bestaan in het begrip of de aanwezigheid van een interne algoritmische structuur garandeert dat het algoritme de uiteindelijke output van het model bepaalt. Kan een model intern een correcte oplossing berekenen via een geleerd algoritme, om deze vervolgens te overschrijven met een andere output? Dit artikel onderzoekt dit "vergeten puzzel"-fenomeen in Leela Chess Zero (Lc0), de sterkste neurale schaakengine, waar eerder werk (Jenner et al., 2024) geleerde look-ahead-mechanismen heeft geïdentificeerd. De auteurs vragen zich af: als het look-ahead-algoritme correct functioneert, wat overschrijft dan de berekende oplossing in de uiteindelijke output?

Methodologie

De auteurs breiden de logit lens techniek (nostalgebraist, 2020) uit naar de Post-LN architectuur van de zetselectie-policy van Lc0. In tegen tegenstelling tot decoder-only taalmodellen waarbij de logit lens beperkt is tot single-token posities, behandelt de encoder-only architectuur van Lc0 elk schaakveld als een token, waardoor de projectie van intermediaire representaties door de output-head mogelijk is om de policy-distributies op elk laagniveau te onthullen.

Om de uitdagingen van Post-LN architecturen aan te pakken (waarbij layer normalization plaatsvindt na de residual connections), passen de auteurs de logit lens aan door zero ablation toe te passen op sublayer-outputs voorbij een specifieke laag $\ell$ , terwijl daaropvolgende layer normalizations en schalingfactoren behouden blijven. Dit maakt het mogelijk om betekenisvolle intermediaire policies te extraheren.

De studie maakt gebruik van drie primaire analytische benaderingen:

Laag-gewijze Policy Analyse: Het volgen van de evolutie van zet-kansen en het succespercentage bij het oplossen van puzzels over de 15 transformer-lagen.
Causale Verificatie van Look-Ahead: Het repliceren van de analyses van Jenner et al. (2024)—activatie patching, attention head ablation en bilaterale probing—op "vergeten puzzels" (posities waar intermediaire lagen de correcte oplossing vinden, maar het uiteindelijke model dat niet doet) om te bepalen of het look-ahead-mechanisme actief is.
Concept Steering: Het analyseren van laag-gewijze concept-voorkeuren (met Stockfish evaluatie-termen als proxies voor veiligheid en agressie) en het toepassen van gradiënt-gebaseerde activatie-steering om geleerde priors tegen te werken, waarbij wordt getest of dit de vergeten oplossingen herstelt.

Belangrijkste Bijdragen

Uitgebreide Logit Lens voor Post-LN: De auteurs hebben de logit lens succesvol uitgebreid naar de Post-LN architectuur van Leela, wat onthult dat intermediaire policies een gestructureerd proces volgen door schaakheuristieken van toenemende complexiteit, waarbij de speelsterkte consistent verbetert met de diepte.
Identificatie van "Vergeten Puzzels": Zij identificeren een systematische foutmodus waarbij correcte oplossingen (vaak betrokken bij offers of dwingende zetten) met een hoge waarschijnlijkheid in intermediaire lagen verschijnen, maar worden overschreven in de uiteindelijke output. In een dataset van 7.901 dergelijke posities betreft 88,6% van de gevallen offers, en vervangt het model deze vaak door "rustige" positionele zetten.
Causaal Bewijs van Veiligheidspriors: Het artikel levert causaal bewijs dat de overschrijving niet te wijten is aan een falen van het look-ahead-algoritme. In plaats daarvan verschuiven de late lagen (specifiek rond laag 13) naar het prioriteren van veiligheidspriors (bijv. koningsveiligheid, het vermijden van dreigingen) boven agressieve tactische oplossingen. Door het model te sturen tegen deze veiligheidsvoorkeuren, herstellen de auteurs 61,7% van de vergeten puzzels, wat aantoont dat geleerde distributionele heuristieken een algoritmische oplossing kunnen overschrijven.

Belangrijkste Resultaten

Algoritmische Structuur vs. Gedrag: Het look-ahead-mechanisme werkt normaal in vergeten puzzels. Toekomstige zetten van de correcte voortzetting worden gerepresenteerd, zijn causaal belangrijk (geverifieerd via activatie patching en attention ablation) en lineair decodeerbaar (via probing). Het algoritme berekent de correcte oplossing, maar deze wordt niet gebruikt.
Het Overschrijvingsmechanisme: De overschrijving vindt primair plaats in de laatste feed-forward lagen. De value head beoordeelt de winnende uitkomst van de correcte zet correct (bijv. het toekennen van een 99,8% winstkans aan een gedwongen mat), maar de policy head selecteert een verliezende zet.
Dominantie van Veiligheidsprior: Analyse van concept-voorkeuren laat zien dat terwijl vroege en middelste lagen agressieve concepten bevoordelen (kwetsbaarheid van de vijandelijke koning, dreigingen), late lagen steeds meer conservatieve concepten prioriteren (eigen koningsveiligheid, verminderen van vijandelijke dreigingen).
Interventie Succes: Gradiënt-gebaseerde steering tegen veiligheidsconcepten bij laag 13 (specifiek het verminderen van het gewicht op het mitigeren van vijandelijke dreigingen) herstelt 61,7% van de vergeten puzzels met minimale regressies, wat bevestigt dat veiligheidspriors het primaire mechanisme zijn dat de algoritmische oplossing onderdrukt.

Betekenis en Claims

Het artikel claimt dat algoritmische structuur geen algoritmisch gedrag garandeert. Een model kan de interne capaciteit bezitten om een probleem op te lossen (via een geleerd look-ahead-algoritme) en toch het foutieve antwoord geven omdat concurrerende geleerde priors (in dit geval veiligheidsheuristieken afgeleid van de trainingsdistributie) de algoritmische berekening in de laatste lagen overschrijven.

Deze bevinding daagt de aanname uit dat het identificeren van causale circuits (algoritmen) voldoende is om het gedrag van een model te voorspellen. Het suggereert dat modellen in domeinen met verifieerbare grondwaarheid "verborgen capaciteiten" kunnen bezitten die niet weerspiegeld worden in hun output vanwege de dominantie van distributionele heuristieken. De auteurs positioneren dit als een waarschuwing voor mechanistische interpreteerbaarheid: begrijpen wat een model berekent is verschillend van begrijpen wat het kiest om uit te voeren, aangezien dat laatste bepaald kan worden door priors die conflicteren met de algoritmische oplossing.