Interaction Locality in Hierarchical Recursive Reasoning

Riepilogo Tecnico: Località delle Interazioni nel Ragionamento Ricorsivo Gerarchico

Enunciato del Problema
Il ragionamento spaziale negli agenti artificiali richiede una duplice capacità: la possibilità di eseguire calcoli vincolati alla posizione (ad esempio, spostare una cella specifica, evitare un ostacolo specifico) mantenendo simultaneamente strutture invarianti rispetto alla posizione (ad esempio, percorsi globali, vincoli di "casa", o piani a livello di oggetto). Sebbene architetture ricorsive compatte come il Modello di Ragionamento Gerarchico (HRM) e il Modello Ricorsivo Minimo (TRM) abbiano dimostrato successo in compiti come Maze-Hard, Sudoku Extreme e ARC-AGI, la comprensione meccanicistica di come questi modelli separino l'esecuzione locale dalla pianificazione globale rimane largamente ipotetica. L'interpretabilità esistente si basa spesso su etichette informali (ad esempio, "Stato di alto livello = pianificazione globale") che non costituiscono misurazioni meccanicistiche della portata spaziale. È necessario un framework in grado di misurare empiricamente se il flusso di informazioni rimane all'interno di celle o segmenti semantici vicini o li attraversa, applicabile sia a puzzle simbolici che a ambienti 3D incarnati.

Metodologia: Framework della Località delle Interazioni
Gli autori propongono la Località delle Interazioni, un framework consapevole della geometria del compito, progettato per misurare la portata spaziale del flusso di informazioni all'interno dei calcoli neurali. Il framework definisce la "località" rispetto alla geometria esterna del compito (ad esempio, corridoi di un labirinto, "case" 3x3 di Sudoku, o vicinati di oggetti in ARC-AGI).

La metodologia impiega una suite di sonde a tre livelli per istanziare questo framework:

1. Ablazioni di Caratteristiche tramite Sparse Autoencoder (SAE): Utilizzate per identificare caratteristiche leggibili dall'uomo e misurarne l'impatto all'interno di segmenti specifici del compito (ad esempio, un corridoio specifico o una casella di Sudoku). Questo fornisce ipotesi semantiche ma non stabilisce pienamente la portata causale.
2. Patching di Attivazioni con Rumore Finito: Il test causale principale. Gli autori perturbano un singolo vettore di attivazione in un sito sorgente $v$ con rumore finito ($\sigma \epsilon$) e misurano la differenza risultante nelle attivazioni nei siti target $u$. La località è quantificata come la frazione della massa di cambiamento dell'attivazione che rimane all'interno del vicinato definito dal compito della sorgente. Questo metodo testa la portata causale sotto cambiamenti non infinitesimali.
3. Controlli Strutturali (Appendice): Le analisi di Jacobiano e attenzione sono utilizzate come diagnosi strutturali per riportare la topologia linearizzata e il bias di attenzione, fungendo da contesto per i risultati delle perturbazioni finite piuttosto che come prova causale primaria.

Il framework è applicato a:

• HRM e TRM: Analizzati su Maze-Hard, Sudoku Extreme e ARC-AGI. Le finestre di analisi critiche sono selezionate in base alla convergenza del cambiamento di stato (ad esempio, i primi passaggi del ragionamento).
• MTU3D: Un modello su larga scala di grounding di scene 3D incarnate testato su scene interne di ScanNet. Qui, i vicinati sono definiti dalla distanza metrica tra gli oggetti nello spazio 3D.

Risultati Chiave

• Passaggio da Locale a Globale nei Modelli Ricorsivi: Attraverso Maze, Sudoku e ARC-AGI, il patching con rumore finito rivela un pattern coerente: gli stati ricorrenti di alto livello (H) tendono a scrivere informazioni all'interno di celle vicine o unità dello stesso segmento. Sebbene le scritture a livello H siano spesso più concentrate spazialmente rispetto alle scritture a livello Basso (L), la propagazione tra cicli permette a questi riassunti locali di essere trasportati ampiamente attraverso lo stato ricorsivo.
  • In TRM/Maze, il contrasto è netto: la località all'interno di H è alta (0,580), mentre quella all'interno di L è vicina alla linea di base (0,032), suggerendo che l'operatore ricorsivo condiviso concentra le scritture locali nello stato H.
  • In HRM, le scritture a livello H sono anch'esse locali, ma la distinzione è meno pronunciata in Sudoku a causa delle dimensioni maggiori dell'unità di vincolo "casa".
• Dissociazione nei Modelli 3D Incarnati: Quando applicato a MTU3D, il framework rivela una dinamica diversa. La località spaziale causale appare principalmente alla transizione in cui le caratteristiche della scena visiva sono passate al modulo di grounding a valle (confine tra Fase 1 e 2). Tuttavia, all'interno del codificatore visivo unificato, il patching di recupero causale rimane vicino alla linea di base casuale, nonostante i punteggi strutturali di Jacobiano e attenzione mostrino un bias spaziale. Ciò suggerisce che nei modelli 3D incarnati, la struttura spaziale causale è concentrata ai confini dei moduli piuttosto che essere uniformemente distribuita o emergere da dinamiche ricorsive come osservato in HRM/TRM.
• Triangolazione delle Evidenze: Il documento dimostra che le caratteristiche SAE forniscono ipotesi leggibili a livello di segmento (ad esempio, caratteristiche che agiscono su corridoi specifici), mentre il patching con rumore finito conferma che queste località sopravvivono a interventi non infinitesimali. I Jacobiani strutturali forniscono il contesto della topologia linearizzata.

Significato e Affermazioni
Il documento afferma di spostare il paradigma di misurazione per l'interpretabilità del ragionamento spaziale dalla visualizzazione qualitativa a un framework riproducibile basato su interventi.

• Revisione Meccanicistica: I risultati revisionano l'ipotesi informale secondo cui "H è globale e L è locale". Al contrario, gli autori dimostrano che gli stati a livello H spesso eseguono scritture locali all'interno di un ciclo, che vengono poi propagate ampiamente attraverso il tempo ricorsivo. Il calcolo locale e globale non sono proprietà statiche di uno stato denominato, ma relazioni tra lo stato, la geometria del compito, la scala di perturbazione e gli archi del tempo ricorsivo.
• Ambito del Framework: La località delle interazioni è presentata come uno strumento diagnostico per determinare se azioni locali, relazioni a livello di oggetto e piani globali sono causalmente connessi, piuttosto che semplicemente co-visibili in una rappresentazione.
• Limitazioni e Modestia: Gli autori dichiarano esplicitamente che l'analisi confronta checkpoint rilasciati piuttosto che una serie di addestramento abbinata per accuratezza. Osservano che il framework è dipendente dalla geometria (basandosi su vicinati definiti) e che la dissociazione osservata in MTU3D (bias strutturale senza località causale) evidenzia che l'attenzione spaziale architetturale non garantisce automaticamente un recupero locale causale. Il documento non afferma di risolvere il ragionamento spaziale, ma offre un metodo per verificare come i modelli esistenti gestiscono la scala spaziale.

Conclusione
La località delle interazioni fornisce un sistema di coordinate unificato per confrontare il movimento locale, la propagazione dei vincoli e la pianificazione a livello di percorso attraverso diverse architetture e domini. Fondando l'interpretabilità su interventi finiti e geometria del compito, il framework offre un modo più rigoroso per comprendere come i modelli ricorsivi e incarnati gestiscano la separazione tra esecuzione locale e pianificazione globale.