Interaction Locality in Hierarchical Recursive Reasoning

Resumen Técnico: Localidad de la Interacción en el Razonamiento Recursivo Jerárquico

Enunciado del Problema
El razonamiento espacial en agentes artificiales requiere una doble capacidad: la habilidad para realizar cálculos vinculados a la ubicación (por ejemplo, mover una celda específica, evitar un obstáculo concreto) mientras se mantienen simultáneamente estructuras invariantes a la ubicación (por ejemplo, rutas globales, conjuntos de restricciones o planes a nivel de objeto). Aunque arquitecturas recursivas compactas como el Modelo de Razonamiento Jerárquico (HRM) y el Modelo Recursivo Pequeño (TRM) han demostrado éxito en tareas como Maze-Hard, Sudoku Extreme y ARC-AGI, la comprensión mecanicista de cómo estos modelos separan la ejecución local de la planificación global sigue siendo en gran medida hipotética. La interpretabilidad existente a menudo depende de etiquetas informales (por ejemplo, "Estado de alto nivel = planificación global") que no constituyen mediciones mecanicistas del alcance espacial. Existe la necesidad de un marco que pueda medir empíricamente si el flujo de información se mantiene dentro de celdas o segmentos semánticos cercanos o si los cruza, aplicable tanto a puzzles simbólicos como a entornos 3D encarnados.

Metodología: Marco de Localidad de la Interacción
Los autores proponen la Localidad de la Interacción, un marco consciente de la geometría de la tarea diseñado para medir el alcance espacial del flujo de información dentro de los cálculos neuronales. El marco define "localidad" en relación con la geometría externa de la tarea (por ejemplo, corredores de laberinto, conjuntos de 3x3 en Sudoku o vecindarios de objetos en ARC-AGI).

La metodología emplea un conjunto de sondas de tres niveles para instanciar este marco:

1. Ablaciones de Características con Autoencoder Disperso (SAE): Utilizadas para identificar características legibles por humanos y medir su impacto dentro de segmentos específicos de la tarea (por ejemplo, un corredor específico o una caja de Sudoku). Esto proporciona hipótesis semánticas pero no establece completamente el alcance causal.
2. Parcheo de Activación con Ruido Finito: La prueba causal principal. Los autores perturban un único vector de activación en un sitio fuente $v$ con ruido finito ($\sigma \epsilon$) y miden la diferencia de activación resultante en los sitios objetivo $u$. La localidad se cuantifica como la fracción de la masa de cambio de activación que permanece dentro del vecindario definido por la tarea del origen. Este método prueba el alcance causal bajo cambios no infinitesimales.
3. Verificaciones Estructurales (Apéndice): Los análisis de Jacobiano y atención se utilizan como diagnósticos estructurales para informar la topología linealizada y el sesgo de atención, sirviendo como contexto para los resultados de perturbación finita en lugar de ser la evidencia causal principal.

El marco se aplica a:

• HRM y TRM: Analizados en Maze-Hard, Sudoku Extreme y ARC-AGI. Las ventanas de análisis críticas se seleccionan basándose en la convergencia del cambio de estado (por ejemplo, pasos tempranos de razonamiento).
• MTU3D: Un modelo de anclaje de escenas 3D encarnado a gran escala probado en escenas interiores de ScanNet. Aquí, los vecindarios se definen por la distancia métrica entre objetos en el espacio 3D.

Resultados Clave

• Transferencia de Local a Global en Modelos Recursivos: En Maze, Sudoku y ARC-AGI, el parcheo con ruido finito revela un patrón consistente: los estados recurrentes de alto nivel (H) tienden a escribir información dentro de celdas cercanas o unidades del mismo segmento. Aunque las escrituras de nivel H suelen estar más concentradas espacialmente que las escrituras de nivel Bajo (L), la propagación entre ciclos permite que estos resúmenes locales se transporten ampliamente a través del estado recursivo.
  • En TRM/Maze, el contraste es marcado: la localidad dentro de H es alta (0.580), mientras que dentro de L está cerca de la línea base (0.032), lo que sugiere que el operador recursivo compartido concentra las escrituras locales en el estado H.
  • En HRM, las escrituras de nivel H también son locales, pero la distinción es menos pronunciada en Sudoku debido al mayor tamaño de la unidad de restricción "conjunto".
• Disociación en Modelos 3D Encarnados: Al aplicarse a MTU3D, el marco revela una dinámica diferente. La localidad espacial causal aparece principalmente en la transición donde las características de la escena visual se entregan al módulo de anclaje aguas abajo (límite entre la Etapa 1 y 2). Sin embargo, dentro del codificador visual unificado, el parcheo de recuperación causal permanece cerca de la línea base aleatoria, a pesar de que los puntuaciones estructurales de Jacobiano y atención muestran un sesgo espacial. Esto sugiere que en modelos 3D encarnados, la estructura espacial causal se concentra en los límites del módulo en lugar de estar distribuida uniformemente o emerger de dinámicas recursivas como se observa en HRM/TRM.
• Triangulación de Evidencia: El artículo demuestra que las características de SAE proporcionan hipótesis legibles a nivel de segmento (por ejemplo, características que actúan sobre corredores específicos), mientras que el parcheo con ruido finito confirma que estas localidades sobreviven a intervenciones no infinitesimales. Los Jacobianos estructurales proporcionan el contexto de la topología linealizada.

Significado y Afirmaciones
El artículo afirma cambiar el paradigma de medición para la interpretabilidad del razonamiento espacial, pasando de la visualización cualitativa a un marco reproducible basado en intervenciones.

• Revisión Mecanicista: Los resultados revisan la hipótesis informal de que "H es global y L es local". En cambio, los autores demuestran que los estados de nivel H a menudo realizan escrituras locales dentro de un ciclo, las cuales luego se propagan ampliamente a través del tiempo recursivo. El cálculo local y global no son propiedades estáticas de un estado nombrado, sino relaciones entre el estado, la geometría de la tarea, la escala de perturbación y los bordes del tiempo recursivo.
• Alcance del Marco: La localidad de la interacción se presenta como una herramienta de diagnóstico para determinar si las acciones locales, las relaciones a nivel de objeto y los planes globales están causalmente conectados, en lugar de ser meramente co-visibles en una representación.
• Limitaciones y Modestia: Los autores declaran explícitamente que el análisis compara puntos de control publicados en lugar de un barrido de entrenamiento con precisión coincidente. Señalan que el marco depende de la geometría (basado en vecindarios definidos) y que la disociación observada en MTU3D (sesgo estructural sin localidad causal) destaca que la atención espacial arquitectónica no garantiza automáticamente una recuperación local causal. El artículo no afirma resolver el razonamiento espacial, sino ofrece un método para auditar cómo los modelos existentes manejan la escala espacial.

Conclusión
La localidad de la interacción proporciona un sistema de coordenadas unificado para comparar el movimiento local, la propagación de restricciones y la planificación a nivel de ruta a través de diferentes arquitecturas y dominios. Al fundamentar la interpretabilidad en intervenciones finitas y la geometría de la tarea, el marco ofrece una manera más rigurosa de entender cómo los modelos recursivos y encarnados gestionan la separación entre la ejecución local y la planificación global.