💻 computer science

Tracking and Understanding Object Transformations

Este artículo introduce la tarea "Track Any State" y el benchmark VOST-TAS para abordar el desafío de rastrear objetos a través de transformaciones de estado, proponiendo TubeletGraph, un sistema zero-shot que recupera pistas perdidas y genera grafos de estado semánticos para describir la evolución de la dinámica de los objetos.

Autores originales: Yihong Sun, Xinyu Yang, Jennifer J. Sun, Bharath Hariharan

Publicado 2026-01-15

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yihong Sun, Xinyu Yang, Jennifer J. Sun, Bharath Hariharan

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás viendo una película donde una manzana entera se corta en trozos, o una oruga se convierte en mariposa. Si fueras un operador de cámara de cine estándar, podrías perder el rastro de la "manzana" en el momento en que se corta, porque de repente ya no estás viendo una cosa roja y redonda; estás viendo cinco trozos blancos. También podrías perder a la "oruga" porque desaparece dentro de un capullo, solo para que aparezca una mariposa más tarde.

Este es el problema que el artículo "Tracking and Understanding Object Transformations" intenta resolver. Los autores, de la Universidad de Cornell, argumentan que los sistemas actuales de visión computacional son como malos directores de cine: pueden seguir a un personaje mientras luzca igual, pero si el personaje cambia de disfraz, se rompe o se transforma, el sistema lo pierde por completo.

Aquí hay un desglose sencillo de su solución, TubeletGraph, y cómo funciona.

El Problema: La "Persona Desaparecida" en la Multitud

Los sistemas de seguimiento actuales dependen en gran medida de la apariencia. Dicen: "Veo una manzana roja; seguiré esa manzana roja". Pero cuando la manzana se corta, la piel roja desaparece y la pulpa blanca es diferente. El sistema piensa: "¡La manzana roja se ha ido!" y deja de rastrearla. No se da cuenta de que los trozos blancos son la manzana, solo que en un estado nuevo.

Los autores notaron un patrón específico: estos sistemas suelen cometer falsos negativos. Piensan que un objeto ha desaparecido cuando en realidad solo ha cambiado de forma.

La Solución: TubeletGraph (El "Detective con una Red")

Los autores construyeron un sistema llamado TubeletGraph. Imagínalo como un detective que no solo sigue a una persona, sino que lanza una red amplia para atrapar a todos en la escena, y luego usa la lógica para averiguar quién es quién.

Así es como funciona en tres pasos:

1. Lanzar la Red (Los "Tubelets")

En lugar de solo seguir el objeto específico que pediste (como la manzana), TubeletGraph divide todo el video en pequeños fragmentos en movimiento llamados "tubelets".

Analogía: Imagina que un video es un río. En lugar de seguir solo una hoja específica (la manzana), el sistema pone una red en el agua que atrapa todas las hojas, ramas y piedras que aparecen.
Rastrea la manzana original, pero también comienza a rastrear cosas nuevas que aparecen más tarde, como las rodajas de manzana o la mariposa que emerge.

2. La Lógica del Detective (Proximidad y Semántica)

Ahora el sistema tiene una "sopa" de muchos rastros diferentes. Necesita averiguar qué nuevos rastros pertenecen al objeto original. Utiliza dos reglas:

La Regla del "Abrazo" (Proximidad Espacial): Si la manzana se corta, los trozos estarán justo al lado de donde estaba la manzana. Si un objeto nuevo aparece lejos (como una mano sosteniendo un cuchillo), probablemente no sea parte de la manzana. El sistema comprueba: "¿Está este nuevo trozo cerca de la manzana original?".
La Regla de la "Identidad" (Consistencia Semántica): El sistema pregunta: "¿Tiene sentido que esta nueva cosa sea una versión de la antigua?".
- Coincidencia buena: Una rodaja de manzana se parece a la pulpa de una manzana.
- Coincidencia mala: Una mano sosteniendo la manzana parece una mano, no una manzana.
- Analogía: Si estás buscando a tu perro y ves un golden retriever cerca, dices: "¡Ese es mi perro!". Pero si ves un gato cerca, dices: "No, ese no es mi perro", incluso si el gato está justo al lado de ti.

3. El Narrador (El Grafo de Estados)

Una vez que el sistema recupera las piezas faltantes (las rodajas de manzana o la mariposa), no solo sigue rastreándolas; le pide a una IA poderosa (un Modelo de Lenguaje Grande) que explique qué sucedió.

Mira el "antes" (manzana entera) y el "después" (rodajas).
Le pregunta a la IA: "¿Qué pasó aquí?".
La IA responde: "La manzana fue cortada en rodajas".
El sistema luego dibuja un mapa (un Grafo de Estados) que muestra la línea de tiempo: Manzana -> Cortada -> Rodajas.

Lo Que Lograron

El artículo presenta un nuevo desafío llamado "Track Any State" (Rastrear Cualquier Estado). Esto no es solo seguir un objeto; es seguir un objeto a través de sus cambios y describir esos cambios.

Para probar esto, crearon un nuevo conjunto de datos llamado VOST-TAS, que contiene videos de cosas cambiando (como pelar un plátano o cortar un tomate) con etiquetas detalladas.

Los Resultados:

Mejor Seguimiento: Su sistema, TubeletGraph, es mejor manteniendo el rastro de objetos que cambian de forma que los sistemas de alto nivel existentes (como SAM2). Recupera las piezas "faltantes" que otros sistemas pierden.
Mejor Comprensión: No solo dibuja un cuadro alrededor del objeto; genera una descripción de texto de la transformación (por ejemplo, "La oruga emergió del capullo").
Zero-Shot: El sistema no necesitó ser reentrenado para cada tipo específico de transformación (como "cortar" frente a "pelar"). Lo descubrió sobre la marcha usando conocimiento general.

Resumen

En resumen, el artículo dice: "Los ordenadores actuales pierden el rastro de las cosas cuando cambian. Nosotros construimos un sistema que lanza una red amplia para atrapar todo, usa la lógica para averiguar qué cosas nuevas son en realidad las cosas viejas disfrazadas, y luego le pide a una IA que escriba una historia sobre cómo ocurrió la transformación".

Esto permite que los ordenadores entiendan que una "mariposa" y un "capullo" son parte de la misma historia, y que las "rodajas de manzana" siguen siendo "manzana", incluso si ya no se ven como la fruta original.

Resumen Técnico: Seguimiento y Comprensión de Transformaciones de Objetos

Definición del Problema: Rastrear Cualquier Estado

El artículo aborda una limitación crítica en los sistemas actuales de visión por computadora: la incapacidad de rastrear objetos a través de transformaciones de estado significativas (por ejemplo, una manzana siendo rebanada, una mariposa emergiendo de un capullo). Los métodos de seguimiento de objetos existentes, que dependen fuertemente de la consistencia de la apariencia, suelen fallar cuando un objeto cambia drásticamente su geometría o textura, lo que resulta frecuentemente en errores de "falso negativo" donde el rastreador pierde el objetivo. Por el contrario, los métodos existentes de reconocimiento de cambios de estado carecen de la fundamentación espaciotemporal para rastrear los objetos resultantes después de una transformación.

Para cerrar esta brecha, los autores introducen Track Any State (Rastrear Cualquier Estado), una nueva tarea definida como: dado un video y un prompt inicial de objeto (una máscara en el primer fotograma), el sistema debe:

Rastrear el objeto consistentemente a través de su transformación, incluyendo todas las partes resultantes (por ejemplo, rastrear tanto el núcleo de la manzana como las rebanadas).
Detectar y Describir los cambios de estado, emitiendo una representación estructurada de la transformación (tiempo, verbo de acción y objetos resultantes).

Metodología: TubeletGraph

Los autores proponen TubeletGraph, un marco de trabajo zero-shot diseñado para recuperar objetos perdidos y razonar sobre transformaciones sin un ajuste fino (fine-tuning) específico para la tarea. El flujo de trabajo consta de tres etapas principales:

1. Partición Espaciotemporal (Generación de Tubelets)

Para superar el problema del espacio de búsqueda al encontrar un objeto "perdido" tras una transformación, el sistema crea una partición espaciotemporal densa del video:

Partición Inicial: El primer fotograma se segmenta en entidades utilizando CropFormer, incluyendo la máscara del prompt proporcionada por el usuario.
Seguimiento: Cada entidad inicial se rastrea hacia adelante en el tiempo utilizando SAM2.
Iniciación Dinámica: A medida que el video progresa, el sistema identifica "regiones vacías" (píxeles no cubiertos por los rastreos existentes). Cuando se detecta una entidad en estas regiones, se inicia un nuevo rastro (un "tubelet").
Resultado: Esto crea una "sopa" de tubelets que cubre casi todos los píxeles del video, asegurando que los objetos post-transformación (que aparecen como nuevos componentes conectados) sean capturados como candidatos de rastreo.

2. Recuperación de Candidatos mediante Razonamiento

No todos los nuevos tubelets son parte del objeto transformado (por ejemplo, una mano entrando en el encuadre). El sistema filtra los candidatos usando dos priors:

Proximidad Espacial: Basándose en la suposición de que los objetos transformados permanecen cerca de la ubicación original, el sistema calcula la superposición entre un rastro candidato y las múltiples máscaras candidatas predichas por SAM2 para el prompt original.
Consistencia Semántica: Basándose en la suposición de que la semántica de identidad se preserva (por ejemplo, una crisálida se convierte en mariposa, no en un pájaro), el sistema utiliza características de masked CLIP para calcular la similitud semántica entre el rastro del prompt y el rastro candidato.
Selección: Solo los tubelets que satisfacen tanto el umbral de proximidad como el semántico se añaden al conjunto de seguimiento final.

3. Construcción del Grafo de Estado

Una vez que se identifica un nuevo rastro válido, el sistema trata su emergencia como un marcador de una transformación de estado:

Consulta a VLMs: El sistema consulta a un Modelo de Lenguaje de Gran Escala multimodal (GPT-4.1) con el fotograma inicial y el fotograma donde aparece el nuevo rastro.
Generación: Se le pide al LLM que describa el verbo de acción (por ejemplo, "cortar", "desenrollar") y las identidades de los objetos resultantes.
Salida del Grafo: Estas descripciones se analizan para construir un Grafo de Estado, una representación estructurada que vincula los rastros pre-transformación, el evento de transformación y los rastros post-transformación.

Contribuciones Clave

Formulación de la Tarea: Introducción de Track Any State, una tarea unificada que combina el seguimiento de objetos con la detección y descripción de cambios de estado.
Dataset: Lanzamiento de VOST-TAS, un nuevo conjunto de datos de referencia derivado del conjunto de validación de VOST, que contiene 57 instancias de video, 108 transformaciones anotadas y 293 anotaciones de objetos resultantes con límites temporales y descripciones semánticas.
Sistema: Desarrollo de TubeletGraph, un sistema zero-shot que recupera objetos perdidos mediante partición espaciotemporal y genera grafos de estado mediante razonamiento de visión-lenguaje.

Resultados Experimentales

Los autores evalúan TubeletGraph en múltiples bancos de pruebas, incluyendo VOST, VSCOS, M3-VOS y DAVIS 2017.

Rendimiento de Seguimiento: TubeletGraph logra un rendimiento de vanguardia (SOTA) en VOST y VSCOS, superando a la base de SAM2 y sus variantes ajustadas (fine-tuned). Notablemente, mejora el índice de Jaccard (J) en 2.5 puntos respecto a la base de SAM2 y supera al SAM2 ajustado en el último 25% de los fotogramas del video ( $J_{tr}$ ), demostrando una robustez superior a las transformaciones.
Calidad del Grafo de Estado: En el benchmark VOST-TAS, el sistema logra una precisión de localización temporal del 43.1% y una precisión semántica del 81.8% para verbos de acción. Aunque el recall general para transformaciones completamente correctas (temporal + semántica + espacial) es modesto (6.5%), los autores señalan que esto refleja la dificultad significativa de la tarea no restringida.
Estudios de Ablación: Se demuestra que el sistema es robusto a las variaciones de hiperparámetros. La ablación confirma que la partición espaciotemporal es crucial para la recuperación de candidatos, mientras que las restricciones semánticas y espaciales son necesarias para filtrar falsos positivos.

Significancia y Reivindicaciones

El artículo posiciona a TubeletGraph como un paso hacia sistemas de visión más robustos e informativos para aplicaciones de uso descendente (downstream). Los autores afirman:

Capacidad Zero-Shot: A diferencia de los métodos que requieren un extenso ajuste fino específico para cada dominio, TubeletGraph opera sin entrenarse en los tipos de transformación objetivo, ofreciendo una mejor generalización.
Representación Integral: Al combinar el seguimiento con la generación de grafos de estado, el sistema proporciona una representación completa de la evolución del objeto, lo cual es útil para tareas como el anclaje de acciones (action-grounding, por ejemplo, robots comprendiendo las pre y post condiciones de una manzana rebanada), edición de video y modelado de escenas.
Recuperación de Errores: El sistema aborda explícitamente el sesgo de "falso negativo" en los rastreadores existentes mediante la recuperación de objetos perdidos y su uso para razonar sobre la transformación que causó la pérdida.

Los autores reconocen limitaciones, incluyendo altos costos computacionales (aproximadamente 7 segundos por fotograma) y la posible propagación de errores desde el rastreador base (SAM2) o el VLM. Concluyen que, si bien la aplicación en tiempo real es actualmente limitada, el sistema es altamente valioso para el análisis fuera de línea (offline), como la generación de anotaciones de entrenamiento para robótica o el análisis del desarrollo biológico.