Resumen Técnico: CST-WM: Un Modelo de Mundo con Estructura Causal para el Seguimiento Visual Corpóreo

1. Definición del Problema

El seguimiento visual corpóreo requiere que un robot siga a un objetivo en movimiento desde observaciones egocéntricas, manteniendo la visibilidad, regulando la distancia de seguimiento y garantizando la seguridad en entornos congestionados y parcialmente observables. El desafío central no surge cuando el objetivo es claramente visible, sino durante oclusiones temporales, derivas del campo de visión o cuando el objetivo puede confundirse con distractores. En estos escenarios, el robot debe tomar decisiones predictivas sobre la futura observabilidad del objetivo y la escala aparente antes de que la evidencia fiable esté disponible nuevamente.

Los autores identifican un modo de fallo específico en los modelos de predicción secuencial condicionados por la acción, denominado alucinación causal. En los modelos de mundo estándar, la fuerte correlación entre las acciones de control del robot y las observaciones relacionadas con el objetivo puede llevar al modelo a alucinar un efecto causal directo de la acción actual sobre la evidencia del objetivo. En lugar de permitir que las acciones influyan en la evidencia futura del objetivo únicamente a través del mecanismo físico del movimiento del robot cambiando la observación, el modelo puede tomar un "atajo" inyectando información de la acción directamente en el estado del objetivo. Esto resulta en ejecuciones (rollouts) futuras plausibles que poseen una semántica incorrecta para la planificación orientada al seguimiento, fallando al distinguir entre secuencias de acciones que preservan la visibilidad y aquellas que no lo hacen.

2. Metodología: CST-WM

Para abordar la alucinación causal, los autores proponen CST-WM (Modelo de Mundo con Estructura Causal), el cual impone una restricción estructural en la representación de la planificación.

2.1 Descomposición Causal y Representación de Estado

El modelo descompone el estado latente $S_\ell$ en tres ramas distintas:

1. Rama de Evidencia del Objetivo ($H_\ell$): Una representación compacta derivada de la observación actual, que consiste en una puntuación de confianza de detección (de GroundingDINO) y un área del objetivo normalizada (que sirve como proxy para la escala aparente/distancia). Crucialmente, esta rama no es una estimación completa del estado externo, sino un resumen de la observabilidad y la escala.
2. Rama del Robot ($x_\ell$): Representa el estado cinemático del robot, integrado a partir del historial de acciones.
3. Rama de la Observación ($Z_\ell$): Una representación latente visual codificada mediante un VAE preentrenado.

2.2 Transición Estructuralmente Causal

La innovación central es la factorización de la dinámica de transición para prevenir la inyección directa de la acción en la rama de evidencia del objetivo. La transición se define como:
$$p(H_{\ell+1}, x_{\ell+1}, Z_{\ell+1} | H_\ell, Z_\ell, x_\ell, a_\ell) = p(H_{\ell+1} | H_\ell, Z_\ell, x_\ell) \cdot p(x_{\ell+1} | x_\ell, a_\ell) \cdot p(Z_{\ell+1} | Z_\ell, H_{\ell+1}, x_{\ell+1})$$

Las restricciones arquitectónicas clave incluyen:

• Restricción de No Fuga (Non-Leakage): La actualización de la rama de evidencia del objetivo $H_{\ell+1}$ está condicionada al estado previo y al estado del robot, pero excluye explícitamente la acción actual $a_\ell$. Matemáticamente, $\frac{\partial \hat{H}_{\ell+1}}{\partial a_\ell} = 0$.
• Vía de la Acción: Las acciones influyen en la evidencia futura del objetivo solo indirectamente: $a_\ell \to x_{\ell+1} \to Z_{\ell+1}$ (y posteriormente $H_{\ell+1}$ a través de la observación).
• Arquitectura de Capa Única: Las ramas se actualizan en un orden fijo (Evidencia del Objetivo $\to$ Robot $\to$ Observación) con un enmascaramiento estricto para asegurar que ninguna representación que transporte información de la acción entre en la actualización de la evidencia del objetivo.

2.3 Entrenamiento y Planificación

• Entrenamiento: El modelo se entrena utilizando un Modelo Probabilístico de Difusión (DDPM) sobre tuplas de transición $(O_\ell, a_\ell, O_{\ell+1})$. Se introduce una pérdida auxiliar sensible a la distancia, supervisada por etiquetas de distancia relativa propias del simulador, para mejorar la correlación entre el proxy de la evidencia del objetivo y la distancia real. Esta supervisión se utiliza solo durante el entrenamiento; no hay señales geométricas privilegiadas disponibles en el tiempo de inferencia.
• Planificación: El sistema emplea Control Predictivo por Modelo (MPC) utilizando el Método de la Cruz de Entropía (CEM). El planificador ejecuta secuencias de acciones candidatas utilizando la dinámica aprendida, puntuándolas mediante una función de valor que recompensa la visibilidad del objetivo ($H_{vis}$), la escala aparente apropiada ($H_{area}$), la validez de la acción y la seguridad. Se ejecuta la primera acción de la mejor secuencia de manera de horizonte recesivo.

3. Contribuciones Clave

1. Formulación de la Alucinación Causal: El artículo identifica y formaliza la "alucinación causal" como un fallo estructural específico en los modelos de mundo condicionados por la acción para el seguimiento, donde los modelos confunden las señales de control con la evidencia del objetivo.
2. Arquitectura CST-WM: La propuesta de un modelo de mundo con estructura causal que bloquea explícitamente la inyección directa de la acción en la rama de evidencia del objetivo, asegurando que la evidencia del objetivo evolucione únicamente a través de las consecuencias del movimiento propio sobre las observaciones.
3. Representación Compacta Orientada a la Planificación: La introducción de un proxy de evidencia del objetivo (confianza de detección + área normalizada) que resume la observabilidad y la escala sin requerir la recuperación total del estado geométrico ni supervisión privilegiada en el tiempo de inferencia.
4. Evaluación Exhaustiva: Una evaluación rigurosa en EVT-Bench y Habitat 3.0, que incluye seguimiento estándar, recuperación de pérdida de objetivo, transferencia entre conjuntos de datos y diagnósticos offline (fidelidad de la ejecución, consistencia del valor de planificación y análisis de fugas).

4. Resultados Experimentales

Los autores evaluaron CST-WM frente a líneas base reactivas (ej. TrackVLA, Uni-NaVid) y modelos de mundo adaptados (ej. Modelos de Mundo de Navegación) a través de tres configuraciones:

• Seguimiento Estándar: En EVT-Bench, CST-WM logró la mayor Tasa de Éxito (88.7%), Tasa de Seguimiento (83.4%) y la menor Tasa de Colisión (1.41%). En Habitat 3.0, mejoró la Tasa de Seguimiento (0.53), el Éxito de Rango de Distancia (0.70) y el Éxito del Episodio (0.61) en comparación con las líneas base.
• Recuperación de Pérdida de Objetivo: En escenarios que implican oclusión corta/larga, deriva fuera del campo de visión (FOV) y cruce de distractores, CST-WM demostró un éxito de re-adquisición superior (ej. 0.84 vs. 0.71 para oclusión corta) y tiempos de recuperación más rápidos.
• Diagnósticos Offline:
  • Fidelidad de Ejecución (Rollout Fidelity): CST-WM mostró un error de predicción latente menor y un mayor AUROC de visibilidad del objetivo en horizontes largos en comparación con las líneas base, con una brecha de rendimiento que aumenta a medida que el horizonte crece.
  • Consistencia del Valor de Planificación: El modelo logró una mayor correlación de rango (Spearman $\rho$ = 0.68) con las clasificaciones inducidas por el simulador de las secuencias candidatas, lo que indica una mejor evaluación comparativa de comportamientos futuros.
  • Análisis de Fugas (Leakage): Los diagnósticos basados en el Jacobiano confirmaron que la fuga directa de la acción hacia la rama de evidencia del objetivo se redujo a casi cero ($\approx 0.001$), mientras que las líneas base exhibieron fugas significativas.

5. Significado y Pretensiones

El artículo argumenta que para el seguimiento visual corpóreo, la predicción futura por sí sola es insuficiente; la estructura predictiva misma debe alinearse con la forma en que la evidencia del objetivo entra en la planificación.

Los autores afirman que, al imponer una estructura causal donde la evidencia del objetivo se actualiza sin la inyección directa de la acción, el modelo evita los errores semánticos asociados con la alucinación causal. Esta alineación estructural permite un seguimiento más estable, un mejor control de la distancia y una re-adquisición de objetivos más fiable bajo oclusión. Los resultados sugieren que la factorización propuesta mejora tanto el rendimiento del control descendente como la calidad interna de los futuros imaginados.

Los autores mantienen la modestia respecto a sus afirmaciones, señalando que:

• El método depende de un detector (GroundingDINO), y el rendimiento decae si el detector falla (ej. desenfoque intenso, puntos de vista extremos).
• El proxy de evidencia del objetivo no es un estimador de distancia métrica, sino un proxy basado en la escala efectivo dentro de un rango específico (1–3 m).
• La evidencia principal proviene de simulación (EVT-Bench, Habitat 3.0), y aunque se muestran resultados cualitativos en el mundo real, no se reportan estadísticas de robots físicos a gran escala.
• La restricción de no fuga es un requisito estructural para la representación de la planificación, no una afirmación de recuperación causal completa de la dinámica externa humanoide.