Interaction Locality in Hierarchical Recursive Reasoning

Resumo Técnico: Localidade de Interação em Raciocínio Recursivo Hierárquico

Declaração do Problema
O raciocínio espacial em agentes artificiais exige uma capacidade dual: a habilidade de realizar computações vinculadas a locais (por exemplo, mover uma célula específica, evitar um obstáculo específico) enquanto mantém simultaneamente estruturas invariantes em relação ao local (por exemplo, rotas globais, casas de restrição ou planos em nível de objeto). Embora arquiteturas recursivas compactas como o Modelo de Raciocínio Hierárquico (HRM) e o Modelo Recursivo Mínimo (TRM) tenham demonstrado sucesso em tarefas como Maze-Hard, Sudoku Extreme e ARC-AGI, a compreensão mecanicista de como esses modelos separam a execução local do planejamento global permanece amplamente hipotética. A interpretabilidade existente frequentemente depende de rótulos informais (por exemplo, "Estado de alto nível = planejamento global"), os quais não constituem medições mecanicistas do alcance espacial. Há necessidade de um framework que possa medir empiricamente se o fluxo de informação permanece dentro de células ou segmentos semânticos próximos ou se os atravessa, aplicável tanto a quebra-cabeças simbólicos quanto a ambientes 3D corporificados.

Metodologia: Framework de Localidade de Interação
Os autores propõem a Localidade de Interação, um framework consciente da geometria da tarefa projetado para medir o alcance espacial do fluxo de informação dentro de computações neurais. O framework define "localidade" em relação à geometria externa da tarefa (por exemplo, corredores de labirinto, casas 3x3 de Sudoku ou vizinhanças de objetos do ARC-AGI).

A metodologia emprega um conjunto de sondas de três níveis para instanciar este framework:

1. Ablações de Características com Autoencoder Esparso (SAE): Utilizadas para identificar características legíveis por humanos e medir seu impacto dentro de segmentos específicos da tarefa (por exemplo, um corredor específico ou caixa de Sudoku). Isso fornece hipóteses semânticas, mas não estabelece plenamente o alcance causal.
2. Correção de Ativação com Ruído Finito: O teste causal primário. Os autores perturbam um único vetor de ativação em um local de origem $v$ com ruído finito ($\sigma \epsilon$) e medem a diferença de ativação resultante em locais de destino $u$. A localidade é quantificada como a fração da massa de mudança de ativação que permanece dentro da vizinhança definida pela tarefa da origem. Este método testa o alcance causal sob mudanças não infinitesimais.
3. Verificações Estruturais (Apêndice): Análises de Jacobiano e atenção são utilizadas como diagnósticos estruturais para relatar topologia linearizada e viés de atenção, servindo como contexto para os resultados de perturbação finita, em vez de evidência causal primária.

O framework é aplicado a:

• HRM e TRM: Analisados em Maze-Hard, Sudoku Extreme e ARC-AGI. Janelas críticas de análise são selecionadas com base na convergência de mudança de estado (por exemplo, etapas iniciais de raciocínio).
• MTU3D: Um modelo de fundamentação de cena 3D corporificado em grande escala testado em cenas internas do ScanNet. Aqui, as vizinhanças são definidas pela distância métrica entre objetos no espaço 3D.

Principais Resultados

• Transferência Local para Global em Modelos Recursivos: Em Maze, Sudoku e ARC-AGI, a correção com ruído finito revela um padrão consistente: Estados recorrentes de Alto nível (H) tendem a escrever informações dentro de células próximas ou unidades do mesmo segmento. Embora as escritas em nível H sejam frequentemente mais concentradas espacialmente do que as escritas em nível Baixo (L), a propagação entre ciclos permite que esses resumos locais sejam transportados amplamente através do estado recursivo.
  • Em TRM/Maze, o contraste é marcante: a localidade dentro de H é alta (0,580), enquanto dentro de L está próxima da linha de base (0,032), sugerindo que o operador recursivo compartilhado concentra escritas locais no estado H.
  • Em HRM, as escritas em nível H também são locais, mas a distinção é menos pronunciada no Sudoku devido ao tamanho maior da unidade de restrição "casa".
• Dissociação em Modelos 3D Corporificados: Quando aplicado ao MTU3D, o framework revela uma dinâmica diferente. A localidade espacial causal aparece principalmente na transição onde as características da cena visual são entregues ao módulo de fundamentação a jusante (limite entre Estágio 1 e 2). No entanto, dentro do codificador visual unificado, a correção de recuperação causal permanece próxima da linha de base aleatória, apesar de escores estruturais de Jacobiano e atenção mostrarem viés espacial. Isso sugere que, em modelos 3D corporificados, a estrutura espacial causal está concentrada nas fronteiras dos módulos, em vez de estar uniformemente distribuída ou emergindo de dinâmicas recursivas como observado em HRM/TRM.
• Triangulação de Evidências: O artigo demonstra que as características do SAE fornecem hipóteses legíveis em nível de segmento (por exemplo, características atuando em corredores específicos), enquanto a correção com ruído finito confirma que essas localidades sobrevivem a intervenções não infinitesimais. Jacobianos estruturais fornecem o contexto de topologia linearizada.

Significado e Alegações
O artigo afirma mudar o paradigma de medição para a interpretabilidade do raciocínio espacial, passando de visualização qualitativa para um framework baseado em intervenções e reproduzível.

• Revisão Mecanicista: Os resultados revisam a hipótese informal de que "H é global e L é local". Em vez disso, os autores demonstram que estados de nível H frequentemente realizam escritas locais dentro de um ciclo, que são então propagadas amplamente através do tempo recursivo. Computação local e global não são propriedades estáticas de um estado nomeado, mas relações entre o estado, a geometria da tarefa, a escala de perturbação e as arestas do tempo recursivo.
• Escopo do Framework: A localidade de interação é apresentada como uma ferramenta de diagnóstico para determinar se ações locais, relações em nível de objeto e planos globais estão causalmente conectados, em vez de meramente co-visíveis em uma representação.
• Limitações e Modéstia: Os autores declaram explicitamente que a análise compara checkpoints lançados em vez de uma varredura de treinamento com precisão correspondida. Eles observam que o framework é dependente da geometria (baseando-se em vizinhanças definidas) e que a dissociação observada no MTU3D (viés estrutural sem localidade causal) destaca que a atenção espacial arquitetônica não garante automaticamente a recuperação causal local. O artigo não afirma resolver o raciocínio espacial, mas oferece um método para auditar como os modelos existentes lidam com a escala espacial.

Conclusão
A localidade de interação fornece um sistema de coordenadas unificado para comparar movimento local, propagação de restrições e planejamento em nível de rota entre diferentes arquiteturas e domínios. Ao fundamentar a interpretabilidade em intervenções finitas e geometria da tarefa, o framework oferece uma maneira mais rigorosa de entender como modelos recursivos e corporificados gerenciam a separação entre execução local e planejamento global.