🤖 machine learning

Interaction Locality in Hierarchical Recursive Reasoning

Dit artikel introduceert "interactielokaaliteit", een taak-geometrie-bewust raamwerk dat activatie-patching en feature-ablatie gebruikt om aan te tonen dat hiërarchische en recursieve redeneringsmodellen (HRM en TRM) complexe ruimtelijke taken oplossen door lokale informatieschrijfbewerkingen op te hopen in globale structuren, een patroon dat contrasteert met de grensgeconcentreerde localiteit die wordt waargenomen in grootschalige geëmbodimenteerde 3D-modellen.

Oorspronkelijke auteurs: Yosuke Miyanishi, Tetsuro Morimura

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yosuke Miyanishi, Tetsuro Morimura

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Hoe "denken" AI's over ruimte?

Stel je voor dat je een gigantisch doolhof probeert op te lossen. Om dit te doen, heb je twee dingen nodig die samenwerken:

Lokale bewegingen: "Ik kan niet naar rechts omdat er hier een muur staat."
Globale plannen: "Ik moet bij de uitgang komen, die ver weg is, dus ik moet naar het noorden gaan."

Dit artikel stelt een specifieke vraag over hoe AI-modellen (specifiek "recursieve" modellen die in lussen denken) met deze twee dingen omgaan. Bewaren ze lokale details en globale plannen gescheiden? Of raken ze door elkaar?

De auteurs hebben een nieuw hulpmiddel bedacht genaamd "Interactie-Lokaalheid". Denk hierbij aan een ruimtelijke hittekaart voor informatieflow. Het meet: Als ik op een specifiek deel van het brein van de AI prik (zoals een enkele cel in een doolhof), blijft de reactie daar dan, of golft het uit om het hele plaatje te veranderen?

De Hulpmiddelen: Hoe ze het testten

Om te zien hoe deze AI-modellen werken, gebruikten de onderzoekers drie verschillende "probes" (manieren om de AI te prikken):

De "Sparse Feature" Check (SAE): Stel je voor dat de AI een bibliotheek heeft met duizenden kleine, specifieke ideeën (zoals "dit is een rode muur" of "dit is een bocht"). Ze schakelden deze ideeën één voor één uit om te zien welke delen van het doolhof of de puzzel ze beïnvloedden.
De "Noise Injection" Test (Activation Patching): Dit is de belangrijkste test. Ze namen een klein beetje "ruis" of statische storing en injecteerden dit op één specifiek punt in het geheugen van de AI. Vervolgens keken ze waar die ruis naartoe reisde. Bleef het in die ene kamer? Of verspreidde het zich naar het hele huis?
De "Blueprint" Check (Jacobian/Attention): Ze keken naar de wiskundige bedradingsschema's om te zien hoe de AI theoretisch dingen zou kunnen verbinden, zelfs als ze dit in de praktijk niet altijd deden.

De Experimenten: Puzzels en 3D-werelden

Ze testten dit op drie soorten puzzels en één simulatie uit de echte wereld:

Maze-Hard: Navigeren door een complex pad.
Sudoku Extreme: Een raster vullen met getallen op basis van regels.
ARC-AGI: Visuele patroonpuzzels oplossen (zoals "als deze vorm blauw wordt, wordt de volgende rood").
MTU3D: Een grote 3D-robot die een echte binnenruimte navigeert (zoals een ScanNet-dataset).

Wat ze Vonden

1. De "Lokale Schrijver" versus de "Globale Bode"

In de puzzelmodellen (HRM en TRM) vonden ze een fascinerend patroon:

De "Hoog-niveau" Staat (H): Dit is het deel van de AI dat het "grote plaatje" plan vasthoudt. Verrassend genoeg, wanneer dit deel informatie schrijft, is het zeer lokaal. Het schrijft notities naar zijn directe buren (bijvoorbeeld: "Deze specifieke cel in de Sudoku is een 5").
De "Laag-niveau" Staat (L): Dit is het deel dat het gedetailleerde werk doet.
De Magie van Lussen: Het geheim is dat de AI dit proces keer op keer herhaalt. Het "Hoog-niveau" deel schrijft een lokale notitie, geeft deze door aan de volgende lus, die het weer doorgeeft aan de volgende. Na verloop van tijd accumuleren deze kleine, lokale notities om de globale oplossing te bouwen.

Analogie: Stel je een team mensen voor dat een boodschap door een lange rij doorgeeft.

Persoon A (Hoog-niveau) fluistert een geheim naar Persoon B (Lokaal).
Persoon B fluistert het door naar Persoon C.
Uiteindelijk bereikt de boodschap het einde van de rij.
Het artikel vond dat het "fluisteren" zelf heel stil en lokaal is, maar de keten van fluisteringen creëert een luid, globaal aankondiging.

2. De 3D-robot Verrassing (MTU3D)

Toen ze dit testten op de 3D-robot die een echte kamer navigeerde, veranderde het patroon.

Bij de puzzels gebeurde de "lokaal-naar-globaal" overdracht binnen de denk-lussen.
Bij de 3D-robot gebeurde het "lokale" gedrag alleen op de grens waar de ogen van de robot (visuele encoder) data overdroegen aan zijn brein (grounding module).
Binnen het visuele brein van de robot bleef de informatie niet lokaal; het was overal door elkaar gemengd.

Analogie:

Puzzel-AI: Zoals een groep buren die een emmer water door een lange rij doorgeeft om een brand te blussen. Iedereen raakt alleen de emmer naast zich aan, maar het water beweegt over de hele straat.
3D-robot: Zoals een camera die een foto maakt. De camera ziet de hele kamer in één keer (globaal). Het "lokale" deel gebeurt alleen wanneer de camera de foto overhandigt aan de persoon die beslist wat er als volgende moet gebeuren. De camera zelf houdt de "lokale" details niet gescheiden; het mengt ze allemaal samen.

De Hoofdconclusie

Het artikel concludeert dat "Lokaal" en "Globaal" geen vaste labels zijn voor verschillende delen van een AI. In plaats daarvan zijn het relaties die afhankelijk zijn van:

De Taak: Is het een rasterpuzzel of een 3D-kamer?
Het Tijdstip: Is het de eerste stap van het denken of de tiende?
De Architectuur: Gebruikt de AI aparte modules of één gedeelde module?

Het "Interactie-Lokaalheid"-kader bewijst dat voor deze puzzeloplossende AI's, het "Globale Plan" eigenlijk wordt gebouwd door vele kleine, lokale updates bovenop elkaar te stapelen, in plaats van een apart "Globaal Brein" te hebben dat alles in één keer bekijkt.

Kortom: Het artikel geeft ons een nieuwe manier om te meten waar de gedachten van een AI blijven en waar ze zich verspreiden, en laat zien dat voor recursieve modellen het "grote plaatje" gewoon een stapel zeer zorgvuldige, lokale notities is die in een lus rondgaan.

Technische Samenvatting: Interactielokaal in Hiërarchisch Recursief Redeneren

Probleemstelling
Ruimtelijk redeneren bij kunstmatige agenten vereist een dubbel vermogen: het vermogen om locatiegebonden berekeningen uit te voeren (bijvoorbeeld het verplaatsen van een specifieke cel, het vermijden van een specifiek obstakel) terwijl gelijktijdig locatie-invariante structuren worden onderhouden (bijvoorbeeld globale routes, constraint-huizen of object-niveau plannen). Hoewel compacte recursieve architecturen zoals het Hiërarchisch Redeneringsmodel (HRM) en het Tiny Recursieve Model (TRM) succes hebben bewezen op taken zoals Maze-Hard, Sudoku Extreme en ARC-AGI, blijft het mechanistisch inzicht in hoe deze modellen lokale uitvoering scheiden van globale planning grotendeels hypothetisch. Bestaande interpretatievermogen vertrouwt vaak op informele labels (bijvoorbeeld "Hoog-niveau staat = globale planning") die geen mechanistische metingen van ruimtelijke reikwijdte vormen. Er is behoefte aan een raamwerk dat empirisch kan meten of informatieflow binnen nabijgelegen cellen/semantische segmenten blijft of deze kruist, toepasbaar op zowel symbolische puzzels als belichaamde 3D-omgevingen.

Methodologie: Interactielokaal Raamwerk
De auteurs stellen Interactielokaal voor, een taak-geometrie-bewust raamwerk ontworpen om de ruimtelijke reikwijdte van informatieflow binnen neurale berekeningen te meten. Het raamwerk definieert "lokaal" ten opzichte van de externe geometrie van de taak (bijvoorbeeld doorgangen in een doolhof, Sudoku 3x3-huizen of ARC-AGI-objectbuurten).

De methodologie maakt gebruik van een drie-traps probe-suite om dit raamwerk te concretiseren:

Sparse Autoencoder (SAE) Feature-Abtraties: Gebruikt om menselijk leesbare features te identificeren en hun impact binnen specifieke taaksegmenten te meten (bijvoorbeeld een specifieke doorgang of Sudoku-blok). Dit biedt semantische hypothesen, maar vestigt niet volledig causale reikwijdte.
Finite-Noise Activatie Patching: De primaire causale test. De auteurs verstoren een enkel activatievector op een bronlocatie $v$ met eindige ruis ( $\sigma \epsilon$ ) en meten het resulterende activatieverschil op doellocaties $u$ . Lokaal wordt gekwantificeerd als het fractie van de activatie-veranderingsmassa die binnen de taak-gedefinieerde buurt van de bron blijft. Deze methode test causale reikwijdte onder niet-infinitesimale veranderingen.
Structurele Checks (Bijlage): Jacobiaan- en attentie-analyses worden gebruikt als structurele diagnostiek om gelineariseerde topologie en attentie-bias te rapporteren, dienend als context voor de finite-perturbatie-resultaten in plaats van als primaire causale bewijslast.

Het raamwerk wordt toegepast op:

HRM en TRM: Geanalyseerd op Maze-Hard, Sudoku Extreme en ARC-AGI. Kritieke analysevensters worden geselecteerd op basis van convergentie van staatveranderingen (bijvoorbeeld vroege redeneerstappen).
MTU3D: Een grootschalig belichaamd 3D-scène-groundingmodel getest op ScanNet-interieurscènes. Hier worden buurten gedefinieerd door metrische objectafstand in 3D-ruimte.

Belangrijkste Resultaten

Lokaal-naar-Globaal Overdracht in Recursieve Modellen: Over doolhof, Sudoku en ARC-AGI heen, onthult finite-noise patching een consistent patroon: Hoog-niveau (H) recurrente staten neigen informatie binnen nabijgelegen cellen of binnen-same-segment eenheden te schrijven. Hoewel H-niveau schrijfsels vaak ruimtelijk geconcentreerder zijn dan Laag-niveau (L) schrijfsels, zorgt cross-cycle propagatie ervoor dat deze lokale samenvattingen breed worden gedragen door de recursieve staat.
- In TRM/Maze is het contrast scherp: binnen-H lokaal is hoog (0,580), terwijl binnen-L dicht bij de baseline ligt (0,032), wat suggereert dat de gedeelde recursieve operator lokale schrijfsels concentreert in de H-staat.
- In HRM zijn H-niveau schrijfsels ook lokaal, maar is het onderscheid minder uitgesproken in Sudoku vanwege de grotere omvang van de "house" constraint-eenheid.
Dissociatie in Belichaamde 3D Modellen: Wanneer toegepast op MTU3D, onthult het raamwerk een andere dynamiek. Causale ruimtelijke localiteit lijkt voornamelijk aanwezig bij de overgang waar visuele scène-features worden overgedragen aan de downstream grounding-module (grens Stage 1–2). Echter, binnen de geünificeerde visuele encoder blijft causale herstel-patching dicht bij de willekeurige baseline, ondanks dat structurele Jacobiaan- en attentiescores ruimtelijke bias tonen. Dit suggereert dat in belichaamde 3D-modellen causale ruimtelijke structuur geconcentreerd is bij modulegrenzen in plaats van uniform verdeeld te zijn of voort te komen uit recursieve dynamiek zoals gezien bij HRM/TRM.
Triangulatie van Bewijs: Het artikel demonstreert dat SAE-features leesbare segment-niveau hypothesen bieden (bijvoorbeeld features die werken op specifieke doorgangen), terwijl finite-noise patching bevestigt dat deze localiteiten overleven bij niet-infinitesimale interventies. Structurele Jacobianen bieden de gelineariseerde topologie context.

Betekenis en Claims
Het artikel claimt het meetparadigma voor ruimtelijk redeneren interpretatievermogen te verschuiven van kwalitatieve visualisatie naar een reproduceerbaar, interventie-gebaseerd raamwerk.

Mechanistische Herziening: De resultaten herzien de informele hypothese dat "H globaal is en L lokaal". In plaats daarvan tonen de auteurs aan dat H-niveau staten vaak lokale schrijfsels uitvoeren binnen een cyclus, die vervolgens breed worden gepropageerd over recursieve tijd. Lokaal en globaal rekenen zijn geen statische eigenschappen van een benoemde staat, maar relaties tussen de staat, taakgeometrie, perturbatieschaal en recursieve tijd-edges.
Raamwerk Scope: Interactielokaal wordt gepresenteerd als een diagnostisch hulpmiddel om te bepalen of lokale acties, object-niveau relaties en globale plannen causaal verbonden zijn, in plaats van slechts co-zichtbaar in een representatie.
Beperkingen en Bescheidenheid: De auteurs stellen expliciet dat de analyse vrijgegeven checkpoints vergelijkt in plaats van een op nauwkeurigheid afgestemde trainingssweep. Zij merken op dat het raamwerk geometrie-afhankelijk is (afhankelijk van gedefinieerde buurten) en dat de dissociatie waargenomen in MTU3D (structurele bias zonder causale localiteit) benadrukt dat architecturale ruimtelijke attentie niet automatisch causale lokale herstel garandeert. Het artikel claimt niet ruimtelijk redeneren op te lossen, maar biedt een methode om te auditeren hoe bestaande modellen ruimtelijke schaal hanteren.

Conclusie
Interactielokaal biedt een unifyend coördinatenstelsel voor het vergelijken van lokale beweging, constraint-propagatie en route-niveau planning over verschillende architecturen en domeinen. Door interpretatievermogen te verankeren in finite interventies en taakgeometrie, biedt het raamwerk een strengere manier om te begrijpen hoe recursieve en belichaamde modellen de scheiding tussen lokale uitvoering en globale planning beheren.