Resumen Técnico: Anclaje de Relaciones Espaciales en un Modelo de Mundo Compacto

1. Planteamiento del Problema

El artículo investiga un modo de fallo crítico en modelos de mundo compactos y condicionados por objetivos diseñados para el control encarnado (embodied control). Estos modelos, a menudo basados en Arquitecturas Predictivas de Embebido Conjunto (JEPA), pretenden representar relaciones espaciales (por ejemplo, "pon el bloque rojo a la izquierda del bloque azul") utilizando una combinación de un estado latente global y anclajes de referencia métricos explícitos.

El problema central identificado es la Fuga de Instrucciones (Instruction Leakage). Los autores demuestran que cuando la dinámica de transición de un modelo de mundo está condicionada por un objetivo de lenguaje que nombra explícitamente la relación que se está evaluando (por ejemplo, la instrucción "mover X a la izquierda de Y" contiene la palabra "izquierda"), el modelo no aprende a percibir la relación espacial de la escena. En su lugar, aprende a transcribir la instrucción directamente en sus coordenadas de anclaje predichas.

Esto crea una ilusión engañosa de anclaje (grounding):

• Alta Precisión de Lectura: Los modelos logran una alta precisión (p. ej., 0.90) en las lecturas de relaciones.
• Fragilidad: Esta precisión colapsa a niveles de azar (p. ej., 0.27) cuando el objetivo se retiene.
• Fallo Contrafáctico: Cuando se presenta una instrucción contrafáctica (por ejemplo, "mover X a la derecha" cuando la escena muestra "izquierda"), las coordenadas de anclaje predichas por el modelo siguen la instrucción falsa el 94.5% de las veces, ignorando la escena real.

El artículo argumenta que esta fuga ocurre porque el predictor puede explotar la instrucción como un atajo, haciendo que las entradas no relacionadas con la instrucción (estado, acción) resulten irrelevantes para la tarea específica de lectura de la relación.

2. Metodología

Configuración Experimental

Los autores utilizan un entorno de mesa 2D controlado de relaciones (inspirado en CLEVR) donde:

• Escenas: Contienen $N=4$ formas de colores.
• Tarea: Un objeto objetivo debe ser movido relativo a un objeto de anclaje (relaciones: izquierda, derecha, arriba, abajo).
• Ambigüedad: El número de distractores duplicados ($a \in \{0, \dots, 4\}$) es ajustable para probar la ambigüedad referencial.
• Arquitectura del Modelo (PrismWM): Un modelo basado en JEPA que factoriza el estado en:
  • Un latente global $z$ (codificado por un ViT-tiny).
  • Anclajes de puntos métricos dispersos $p$ (leídos de las características de los parches).
  • Un embedding de objetivo $g$.
  • Un predictor Transformer condicionado por la acción que proyecta $(z, p)$ hacia adelante.

Protocolo de Detección

Para distinguir entre la percepción genuina y la transcripción de la instrucción, los autores emplean dos controles específicos sobre la distribución de renderizado de entrenamiento:

1. Control de Objetivo Retenido (Goal-Withheld Control): Los tokens del objetivo se ponen a cero durante la fase de lectura. Un modelo perceptivo genuino debería mantener la precisión; un modelo transcriptor debería colapsar al azar.
2. Control Contrafáctico (Counterfactual Control): Se alimenta al modelo con una instrucción que nombra una relación diferente a la escena real. Un modelo genuino sigue la escena; un modelo transcriptor sigue la instrucción falsa.

Variantes del Modelo

Los autores entrenan y comparan varias variantes para aislar la causa:

• GoalDyn: El objetivo se introduce en la dinámica (predictor).
• GoalDyn+Read: El objetivo en la dinámica, más una ruta de lectura supervisada para los anclajes observados.
• GoalFree (La Solución): El objetivo es eliminado de la dinámica (el predictor nunca ve el objetivo) y solo se utiliza en la función de coste del planificador. La ruta de lectura es supervisada.
• NoGoal: Línea base sin condicionamiento por objetivo.
• Benchmarks Externos: El fenómeno se valida en BabyAI (MiniGrid) y Language-Table (Google), variando si las instrucciones nombran la relación o solo los referentes.

3. Contribuciones Clave

1. Caracterización de la Fuga de Instrucciones: El artículo establece que la fuga está gobernada por la transcribibilidad. Ocurre cuando la instrucción nombra la cantidad puntuada (la relación) y es esencialmente independiente de la fuerza predictiva de las entradas no relacionadas con la instrucción (estado/acción). Esto fue verificado en tres entornos (Tabletop, BabyAI, Language-Table) y mediante una dosis-respuesta de ablación de acción.
2. Protocolo de Detección Validado: Los autores proponen un protocolo de prueba riguroso (probes de Objetivo Retenido y Contrafácticos) que separa claramente la percepción de la transcripción. Demuestran que la alta precisión de un modelo condicionado por objetivo es un artefacto de "transcripción pura".
3. Solución Arquitectónica (Dinámica Libre de Objetivo - Goal-Free Dynamics): El artículo prescribe y valida una solución: eliminar el objetivo de las dinámicas de transición. Al forzar al predictor a inferir relaciones únicamente a partir de la escena (sin ver el objetivo) y supervisar la ruta de lectura de anclajes, el modelo logra un anclaje genuino e independiente de la instrucción.
4. Análisis de Control: El estudio revela que el condicionamiento por objetivo degrada activamente el rendimiento del control. Eliminar el objetivo de la dinámica recupera el rendimiento del control al nivel de la línea base más simple "NoGoal", confirmando que el objetivo era la fuente de la degradación, no la falta de características.

4. Resultados

Representación y Anclaje (Grounding)

• Fuga: El modelo estándar condicionado por objetivo (GoalDyn) logra una precisión de anclaje predicho de ~0.90 con el objetivo presente, pero esto cae a ~0.27 (azar) cuando el objetivo se retiene. Bajo instrucciones contrafácticas, sigue la instrucción falsa el 94.5% de las veces.
• Anclaje Genuino: El modelo GoalFree (objetivo eliminado de la dinámica) logra una alta precisión (~0.88) que es idéntica ya sea que el objetivo esté presente o se haya retenido. Esto demuestra que los anclajes codifican la relación basándose en la percepción, no en la transcripción de la instrucción.
• Límite de Ambigüedad: El anclaje genuino existe en niveles de ambigüedad baja y media, pero colapsa al azar en la ambigüedad máxima ($a=4$), lo que indica que el anclaje aprendido está estrechamente ajustado a las pistas de la distribución de entrenamiento en lugar de ser un perceptor relacional general.
• Validación Externa:
  • BabyAI: Las instrucciones que nombran la relación causan fuga (puntuación contrafáctica de 1.00).
  • Language-Table: Las instrucciones que nombran solo los referentes (sin el nombre de la relación) no muestran fuga. Aumentar estas instrucciones para que nombren la dirección induce la fuga.

Rendimiento de Control

• Degradación Monotónica: La tasa de éxito de control disminuye monotónicamente a medida que el objetivo gana más influencia sobre la dinámica:
  • NoGoal / GoalFree: ~0.30
  • GoalDyn (objetivo como predictor): ~0.14
  • GoalDyn (objetivo en el rollout): ~0.03 (suelo aleatorio)
• Recompensa de la Solución: El modelo GoalFree iguala la línea base "NoGoal" en rendimiento de control. El artículo establece explícitamente que no pretende un aumento de control sobre la línea base; más bien, el valor de la solución es la recuperación de la percepción anclada (que la línea base NoGoal carece) y la eliminación del daño activo causado por el condicionamiento del objetivo.
• Brecha Residual: Todos los modelos rinden significativamente por debajo del Oracle (dinámica real), lo que los autores atribuyen a la fidelidad de la dinámica (deriva en el despliegue de múltiples pasos) más que al mecanismo de representación o anclaje.

5. Significado y Reivindicaciones

La importancia del artículo radica en identificar un "atajo" sutil pero persistente en los modelos de mundo condicionados por objetivos, donde la instrucción actúa como una señal espuria, eludiendo la necesidad de la percepción visual.

• Lección Metodológica: La alta precisión de lectura de relaciones en modelos condicionados por objetivos no es evidencia de anclaje si la instrucción nombra la relación. Debe validarse con controles de objetivo retenido y contrafácticos.
• Lección Arquitectónica: El objetivo pertenece en la función de coste del planificador, no en las dinámicas de transición. Condicionar las dinámicas en la instrucción crea un camino para que el modelo copie la respuesta en lugar de predecir la escena.
• Alcance: Los autores son modestos en sus afirmaciones. No pretenden haber resuelto el anclaje 3D o la robótica en el mundo real. Demuestran que, para tareas de denominación de relaciones, la "receta" actual de condicionar las dinámicas en el lenguaje es insegura. La solución (dinámicas libres de objetivo) recupera la percepción genuina, pero no mejora inherentemente el control más allá de la línea base más simple; el cuello de botella restante es la fidelidad de las dinámicas aprendidas.

El artículo concluye que esta fuga es un problema estructural en los diseños que condicionan los predictores en el lenguaje cuando este nombra la cantidad evaluada, y que la detección y la solución propuestas son aplicables a cualquier modelo de mundo condicionado por objetivos de este tipo.