Physics-Informed Tracking (PIT)

1. El Problema

El rastreo de objetos en video es un desafío fundamental en visión por computadora. Los métodos actuales basados en aprendizaje profundo (como CenterNet o YOLO) suelen localizar objetos como picos en mapas de calor (heatmaps). Sin embargo, estos enfoques presentan limitaciones:

• Falta de consistencia física: Las predicciones de posición, velocidad y colisiones pueden ser físicamente imposibles (ej. un objeto que atraviesa una pared o acelera sin fuerza externa).
• Dependencia de etiquetas: La mayoría de los métodos requieren grandes cantidades de datos etiquetados (posición, velocidad, rebotes) para entrenar modelos precisos.
• Ruido: El rendimiento suele degradarse significativamente en condiciones de video ruidoso o con objetos pequeños.

El objetivo de este trabajo es desarrollar un marco de rastreo que integre leyes físicas conocidas directamente en el proceso de aprendizaje de una red neuronal, permitiendo un rastreo preciso, robusto al ruido y capaz de estimar estados físicos (velocidad, rebotes) sin depender exclusivamente de etiquetas de ground-truth.

2. Metodología

Los autores proponen PIT (Physics-Informed Tracking), un marco basado en un autoencoder con restricciones físicas. La arquitectura y el proceso se describen a continuación:

Arquitectura de la Red (Autoencoder con Botella Dividida)

El modelo utiliza un autoencoder de entrada-salida compartido que procesa ventanas de 3 frames consecutivos ($t-1, t, t+1$):

• Codificador (Encoder): Comparte pesos para extraer características de cada frame.
• Botella Dividida (Split Bottleneck): La representación latente se separa en dos componentes:
  1. Mapas de calor de hitos (Landmark Heatmaps): Capturan la estructura de rastreo (posición del objeto).
  2. Residuo (Background/Noise): Captura el ruido y el fondo para la reconstrucción de la imagen.
• Decodificador (Decoder): Reconstruye la imagen y refina los mapas de calor a múltiples escalas (56x56, 112x112, 224x224) utilizando conexiones de salto (skip connections).

Módulo de Física Diferenciable

Una vez que el encoder extrae las posiciones preliminares (hitos) de los mapas de calor, estas se pasan a un módulo de física diferenciable basado en el integrador Velocity-Verlet:

• Modelo Físico: Asume gravedad constante y colisiones inelásticas con los bordes de la imagen (coeficiente de restitución $e$).
• Salidas: El módulo no solo refina la posición, sino que calcula explícitamente la velocidad y detecta rebotes (cambio de signo en la velocidad vertical).
• Diferenciabilidad: Todas las operaciones (incluyendo la detección de colisiones mediante torch.where) son diferenciables, permitiendo el flujo de gradientes hacia atrás.

Funciones de Pérdida (Losses) y Factores de Diseño

El entrenamiento se evalúa mediante un diseño factorial replicado ($2^6$, 64 configuraciones) controlando seis factores binarios (A-F):

• PILL (Physics-Informed Landmark Loss): Una pérdida no supervisada que compara la trayectoria predicha por la red con la trayectoria generada por el módulo de física. Obliga a los hitos a seguir leyes físicas sin necesidad de etiquetas de posición real.
• PILLS (PILL Supervised): Una variante supervisada que compara las predicciones (posición, velocidad, rebote) directamente contra el ground-truth de la simulación.
• Pérdidas Auxiliares: Pérdida de reconstrucción de imagen (BCE) y pérdida de focal para los mapas de calor (similar a CenterNet).

3. Contribuciones Clave

1. Autoencoder con Botella Dividida: Una arquitectura novedosa que separa explícitamente la información de rastreo (hitos) del ruido de fondo, facilitando tanto el aprendizaje supervisado como no supervisado.
2. PILL y PILLS: Introducción de funciones de pérdida que integran restricciones físicas directamente en el entrenamiento. PILL permite el entrenamiento sin etiquetas de posición, mientras que PILLS permite un aprendizaje end-to-end de posición, velocidad y tiempo de rebote.
3. Predicción de Estado Físico Completo: A diferencia de los métodos basados en mapas de calor estándar que solo devuelven posición, PIT genera velocidad y detección de rebotes en una sola pasada forward del módulo de física.
4. Evaluación Rigurosa: Uso de un diseño factorial replicado exhaustivo para analizar el impacto de cada componente (ruido, escalas, tipos de pérdida) en el rendimiento.

4. Resultados

El modelo se evaluó en secuencias de video sintéticas de una pelota con trayectoria parabólica y rebotes, bajo condiciones limpias ($\sigma=0$) y ruidosas ($\sigma=1$).

• Precisión Sub-píxel: La configuración con PILLS (supervisión física supervisada) logró consistentemente la menor tasa de error, alcanzando precisión sub-píxel (< 0.42 píxeles) en las escalas de decodificador (112 y 224), tanto en condiciones limpias como ruidosas.
• Robustez al Ruido: Bajo condiciones ruidosas ($\sigma=1$), los métodos basados únicamente en mapas de calor (línea base) fallaron o tuvieron errores altos. Las configuraciones con restricciones físicas (especialmente PILLS) mantuvieron un rendimiento estable y preciso.
• Comparación de Métodos:
  • Las predicciones refinadas por física (P) y las interpolaciones bilineales (B) superaron al hard argmax (H) en precisión de localización, aunque el hard argmax fue más robusto en la escala más baja (56).
  • La pérdida supervisada de física (Factor E) fue el efecto principal más dominante para reducir el error.
• Predicción de Velocidad y Rebote: El modelo logró predecir con alta precisión la velocidad y el momento exacto del rebote, algo que los métodos de rastreo estándar no pueden ofrecer directamente.

5. Significado e Impacto

Este trabajo representa un avance significativo en la intersección entre el aprendizaje profundo y la ciencia computacional (Scientific Machine Learning):

• Generalización y Robustez: Demostrar que incorporar leyes físicas conocidas (gravedad, rebotes) actúa como un sesgo inductivo fuerte, mejorando drásticamente la robustez del modelo ante ruido y reduciendo la necesidad de datos etiquetados masivos.
• Salida de Estado Físico: Proporciona una vía para obtener no solo "dónde está el objeto", sino "cómo se mueve" (velocidad, aceleración, colisiones) de manera end-to-end, lo cual es crucial para aplicaciones en robótica, simulación y análisis de movimiento.
• Potencial Generativo: La separación de la dinámica física del ruido de fondo sugiere que este marco puede extenderse a la generación de videos o trayectorias futuras que sean visualmente plausibles y físicamente consistentes.
• Limitaciones: Actualmente se limita al rastreo de una sola partícula y utiliza datos sintéticos. El futuro trabajo debe abordar el rastreo de múltiples partículas con trayectorias cruzadas y la validación en datos del mundo real.

En resumen, PIT establece un nuevo estándar para el rastreo de objetos al demostrar que la integración de módulos de física diferenciable dentro de arquitecturas de autoencoders permite un rastreo de alta precisión, físicamente consistente y robusto, superando a los enfoques puramente basados en datos.