Resumen Técnico: LPA-CWM

Planteamiento del Problema

Los Modelos de Mundo Contrafactuales (CWM, por sus siglas en inglés) extraen el movimiento comparando las predicciones fácticas con las predicciones generadas bajo intervenciones localizadas (máscaras). Sin embargo, diferentes máscaras de fotogramas objetivo producen respuestas inconsistentes para la misma consulta: algunas localizan el movimiento con precisión, mientras que otras se ven corrompidas por el contenido del fondo, movimientos competidores o ambigüedad visual. Los enfoques existentes suelen emplear una agregación uniforme, tratando todas las respuestas candidatas como igualmente fiables. Esto diluye la evidencia útil y conduce a fallos característicos como el desvío de objetos en movimiento, la distracción por movimientos competidores y la pérdida de seguimiento durante cambios de apariencia. Además, los benchmarks existentes suelen fallar al medir directamente la calidad de la correspondencia de puntos recuperada mediante las intervenciones de CWM, particularmente en lo que respecta a la completitud y continuidad de la trayectoria.

Metodología

El artículo propone LPA-CWM, un marco que formula la inferencia de CWM con múltiples máscaras como un problema de estimación de la fiabilidad de los candidatos. La innovación central es un Adjudicador Físico Aprendido (LPA) ligero que pondera dinámicamente las respuestas candidatas basándose en el contexto visual y la estructura de la respuesta.

1. Generación de Candidatos

Dados fotogramas consecutivos $(I_t, I_{t+1})$ y un punto de consulta $p_t$, un CWM congelado (que comprende un predictor RGB preentrenado $\Psi_{RGB}$ y un generador de intervención $\delta_\theta$) genera $M$ candidatos de movimiento. Para cada máscara $M_m$, el sistema computa la respuesta $\Delta_m$ que representa el cambio en la predicción causado por la intervención. Cada candidato proporciona un punto final propuesto $b^{(m)}_{t+1}$ (la ubicación del pico de respuesta).

2. Estrategias de Ponderación

El artículo compara dos métodos para agregar estos $M$ candidatos:

• APA-CWM (Adjudicador Físico Analítico): Un baseline sin entrenamiento que deriva pesos a partir del Gradiente Espaciotemporal Normalizado (NSG). Computa una puntuación de consistencia física $P$ utilizando una red de puntuación de un Modelo de Difusión Ablado (ADM) congelado, midiendo la alineación entre el campo de puntuación y los cambios observados en el fotograma. Los pesos se asignan basándose en la puntuación NSG local alrededor de cada pico candidato.

• LPA-CWM (Adjudicador Físico Aprendido): Un módulo aprendido que predice pesos relativos analizando cuatro fuentes de información para cada candidato:

  1. Evidencia Visual Local: Recortes de 32×32 de RGB de origen/objetivo, diferencias absolutas y la respuesta candidata.
  2. Respuesta Completa: La forma global y la ambigüedad de todo el mapa de respuesta.
  3. Contexto del Fotograma: Información compartida a nivel de escena de la pareja de fotogramas completa.
  4. Estadísticas del Candidato: 16 descriptores escalares (desplazamiento, concentración de la respuesta, ambigüedad, etc.).

  Estas características se codifican en tokens y se procesan mediante un Transformer de Conjunto (sin incrustaciones posicionales para asegurar la equivariancia de permutación) para predecir pesos normalizados.

3. Entrenamiento y Supervisión

El LPA (3.0M de parámetros) se entrena exclusivamente con trayectorias densas del conjunto de datos MOVi-F. La señal de supervisión se deriva del campo de movimiento hacia adelante de la verdad de campo (ground-truth):

• Objetivos de Fiabilidad Suaves (Soft Reliability Targets): Los errores de los puntos finales de los candidatos se convierten en una distribución suave $q$ utilizando un softmax escalado por temperatura.
• Función de Pérdida: El objetivo de entrenamiento combina tres términos:
  1. Divergencia KL: Empareja los pesos predichos con los objetivos de fiabilidad suaves.
  2. SmoothL1: Incentiva que el punto final ponderado de los candidatos se aproxime a la verdad de campo.
  3. Entropía Cruzada: Incentiva que el candidato con el error más bajo reciba la puntuación más alta.

4. Pipeline de Inferencia

1. Agregación Ponderada: El LPA pondera los mapas de respuesta completos de CWM para producir un mapa de localización ponderado.
2. Localización por Ventana: Un proceso de dos pasos de ventana gaussiana suprime picos secundarios distantes, refinando la estimación inicial del punto final.
3. Reevaluación por Pares: El punto final refinado se utiliza para centrar un nuevo conjunto de máscaras para una nueva evaluación única de CWM. El movimiento final se obtiene promediando uniformemente estas nuevas respuestas.

Principales Contribuciones

1. Formulación de la Aprendizaje de Fiabilidad: El artículo reformula la agregación de CWM con múltiples máscaras como un problema de estimación de la fiabilidad de los candidatos, yendo más allá del promedio uniforme.
2. Arquitectura LPA-CWM: Introducción de un adjudicador ligero, supervisado físicamente, entrenado en trayectorias densas sintéticas para aprender la fiabilidad relativa sin modificar el CWM congelado.
3. Benchmark CMC: Propuesta del Benchmark de Correspondencia de Movimiento con Conciencia de Completitud (CMC), un protocolo de evaluación anclado en la verdad de campo que mide conjuntamente la localización, la completitud de la trayectoria, la visibilidad y la continuidad temporal. A diferencia de las métricas estándar, el CMC cuenta las predicciones faltantes en puntos visibles como fallos.
4. Baseline Analítico (APA-CWM): Un método de referencia sin entrenamiento que utiliza pistas de consistencia derivadas de NSG para establecer un baseline de ponderación analítica.

Resultados Experimentales

El método fue evaluado en subconjuntos de DAVIS y Kinetics utilizando anotaciones de TAP-Vid, comparándolo con baselines externos (SMURF, GMRW, DODUO, CoTracker3, RAFT, SEA-RAFT) y variantes de CWM.

• Rendimiento CMC: LPA-CWM supera significativamente a Uniform CWM y APA-CWM.
  • En DAVIS, mejora la DCA$_{avg}$ (Precisión de Correspondencia Dinámica) en un 60.0% respecto a Uniform CWM.
  • En Kinetics, mejora la DCA$_{avg}$ en un 29.0% respecto a Uniform CWM.
  • LPA-CWM logra los mejores valores en todas las métricas CMC reportadas en Kinetics y lidera en cobertura, completitud y continuidad en DAVIS.
• TAP-Vid First: Dentro de la familia CWM, LPA-CWM logra los mejores resultados en las cinco medidas reportadas (Jaccard promedio, puntos dentro del umbral, distancia promedio/mediana, precisión de oclusión) en ambos conjuntos de datos, superando consistentemente a Uniform CWM y APA-CWM.
• Análisis Cualitativo: Las comparaciones visuales muestran que LPA-CWM produce trayectorias coherentes que se mantienen estables bajo grandes cambios de movimiento y apariencia, mientras que Uniform CWM a menudo se desvía o pierde el seguimiento.

Significado y Limitaciones

El artículo afirma que aprender la fiabilidad relativa a partir de la supervisión de trayectorias densas permite que un modelo de mundo congelado recupere trayectorias de movimiento más coherentes y completas que los métodos de agregación analítica o uniforme. La introducción de CMC resalta que las métricas de seguimiento estándar pueden ocultar segmentos de trayectoria faltantes, mientras que CMC penaliza explícitamente la incompletitud.

Los autores reconocen tres limitaciones:

1. Dependencia de Candidatos: LPA solo puede reponderar los candidatos existentes; no puede recuperar el movimiento si el conjunto inicial de candidatos es erróneo o está ausente.
2. Entrenamiento Sintético: El LPA se entrena con datos sintéticos de MOVi-F y, aunque se generaliza a DAVIS y Kinetics, es necesaria una mayor validación en datos de agentes reales (embodied data).
3. Costo Computacional: La inferencia de múltiples máscaras y la reevaluación por pares aumentan el cómputo por consulta, lo que sugiere la necesidad de una selección de candidatos más eficiente o un cómputo compartido en trabajos futuros.