💻 computer science

PercepCap: Video Captioner with Structured Spatio-Temporal Perception

PercepCap es un novedoso marco de descripción de video que mejora la comprensión espacio-temporal mediante la generación explícita de un rastro de percepción de trayectorias de objetos y eventos antes de producir la descripción final, respaldado por una estrategia de entrenamiento de dos etapas y un flujo de construcción de datos anclados a la descripción para asegurar la alineación entre la evidencia perceptiva y la salida descriptiva.

Autores originales: Yifan Xu, Zihao Wang, Zhixiao Wang, Jiaming Zhang, Yichun Yang, Desen Meng, Yuanxing Zhang, Pengfei Wan, Limin Wang

Publicado 2026-07-23

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yifan Xu, Zihao Wang, Zhixiao Wang, Jiaming Zhang, Yichun Yang, Desen Meng, Yuanxing Zhang, Pengfei Wan, Limin Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a ver una película y escribir una reseña. En el mundo de la inteligencia artificial, esta tarea se llama "video captioning" (descripción de video). Durante mucho tiempo, los robots más inteligentes (conocidos como Modelos de Lenguaje Grandes Multimodales, o MLLM) han ido mejorando en esto, pero tienen una debilidad secreta: son como magos que sacan un conejo de un sombrero sin mostrarte cómo lo hicieron. Miran el video e inmediatamente sueltan una frase como: "Un perro corre por el campo". Pero no muestran su trabajo. No te dicen cuál perro, dónde exactamente estaba corriendo, o cuándo empezó y terminó. Si el robot comete un error —por ejemplo, si piensa que el perro estaba corriendo hacia atrás—, el error queda oculto dentro de la frase final, lo que dificulta su corrección. A los científicos les importa esto porque, si queremos que los robots comprendan realmente el mundo, necesitamos saber cómo lo ven, no solo qué dicen al respecto.

Entra PercepCap, un nuevo marco de trabajo que actúa como un detective para los robots de video. En lugar de dejar que el robot salte directamente a la reseña final, PercepCap lo obliga a escribir primero sus "notas de detective". Antes de escribir la descripción final, debe enumerar explícitamente las pistas que encontró: "Veo un perro (ID: 123) moviéndose desde el lado izquierdo de la pantalla hacia el derecho entre los segundos 2 y 5". Esta cadena de "percibir-luego-describir" hace que el pensamiento del robot sea visible. Los investigadores descubrieron que, al obligar al robot a mostrar su evidencia espacio-temporal (dónde están las cosas y cuándo suceden) antes de escribir la historia, la descripción final es mucho más precisa y detallada. No se limitaron a adivinar que esto funcionaría; entrenaron un modelo utilizando un proceso especial de dos pasos y lo probaron en varios desafíos exigentes, demostrando que este enfoque de "mostrar el trabajo" supera consistentemente a los viejos métodos de "solo adivinar la respuesta".

El cuaderno de notas del detective: Cómo funciona PercepCap

Piensa en la forma antigua de hacer descripción de video como un estudiante que toma un examen donde solo se le permite escribir la respuesta final en la hoja de respuestas. Si el estudiante se equivoca, el profesor no tiene idea de si leyó mal la pregunta, olvidó un dato o simplemente adivinó. El nuevo método, PercepCap, es como darle a ese estudiante un cuaderno de borrador.

El paso de "Percibir" (El cuaderno de borrador)
Primero, el robot observa el video y completa un "cuaderno de detective" estructurado. Esto no es solo una lista aleatoria; es un registro estricto y organizado de dos cosas:

Trayectorias de objetos: Rastrea objetos específicos (como una persona o un coche) y anota exactamente dónde están en la pantalla en diferentes momentos.
Eventos temporales: Anota cuándo ocurren acciones específicas, marcando los tiempos exactos de inicio y fin.

El paso de "Describir" (El informe final)
Solo después de que el cuaderno está lleno, el robot escribe la descripción final. Utiliza las notas del cuaderno de borrador como guía. Debido a que el robot ya ha realizado el trabajo duro de identificar y cronometrar los eventos, es mucho menos probable que la historia final contenga alucinaciones o detalles faltantes.

La salsa secreta: Cómo le enseñaron al robot

Podrías preguntarte: "¿Dónde aprendió el robot a llenar este cuaderno si nadie le había dado cuadernos antes?". Los investigadores tuvieron que inventar una forma ingeniosa de crear datos de entrenamiento, que llaman Construcción de Datos de Percepción Anclados a la Descripción (Caption-Anchored Perception Data Construction).

Imagina que tienes una reseña de película perfecta escrita por un experto humano, pero no tiene marcas de tiempo ni etiquetas de ubicación. Los investigadores tomaron esta reseña y le pidieron a una IA superinteligente que fuera a ver la película de nuevo, esta vez buscando específicamente las cosas mencionadas en la reseña.

Ancla: Comenzaron con la descripción final (el "ancla").
Extraer: Extrajeron los nombres de los objetos y eventos mencionados.
Fundamentar: Hicieron que la IA viera el video de nuevo para encontrar exactamente dónde y cuándo ocurrieron esas cosas específicas, dibujando recuadros alrededor de ellas y añadiendo marcas de tiempo.

Esto creó un conjunto de entrenamiento perfecto donde la descripción final y las "notas de detective" coincidían perfectamente.

El campamento de entrenamiento de dos etapas

Para enseñar al robot esta nueva forma de pensar, los investigadores utilizaron una estrategia de entrenamiento de dos etapas:

Etapa 1: Ajuste Fino Supervisado (La fase de "Aprender las reglas")
Les mostraron al robot miles de estos ejemplos perfectos (descripción + notas coincidentes) y le enseñaron a imitar el proceso. El robot aprendió: "Primero, debo enumerar las pistas. Luego, escribo la historia". Esto se llama Ajuste Fino Supervisado de Percibir-luego-Describir (PD-SFT).
Etapa 2: Aprendizaje por Refuerzo (La fase de "Obtener una estrella de oro")
Copiar no es suficiente; el robot necesita mejorar. Aquí, utilizaron un método llamado Aprendizaje por Refuerzo Basado en la Percepción (PG-RL). Imagina a un profesor calificando el trabajo del robot en dos categorías separadas:
- Las Notas: ¿Rastreaste los objetos correctamente? ¿Acertaste los tiempos de inicio y fin?
- La Historia: ¿Es la descripción final precisa y completa?
El robot recibe una "puntuación" basada en ambos. Si escribe una gran historia pero omitió un objeto clave en sus notas, recibe una puntuación más baja. Esto obliga al robot a preocuparse por la calidad de su percepción, no solo por el flujo de sus frases.

Los resultados: ¿Realmente funciona?

Los investigadores probaron PercepCap en varios desafíos de comprensión de video difíciles, incluyendo DREAM-1K, CaReBench, ShortVidBench y MotionBench. Compararon su nuevo modelo contra la línea base de Qwen3-VL (un modelo existente muy potente que simplemente escribe descripciones directamente).

Los resultados fueron claros: PercepCap superó consistentemente a la línea base.

En DREAM-1K, logró una puntuación F1 de 33.9 (comparado con el 29.1 de la línea base), lo que significa que fue mejor capturando los detalles correctos sin inventar datos falsos.
En CaReBench, mejoró significativamente la precisión en la identificación de acciones y objetos.
Incluso en ShortVidBench y MotionBench, que evalúan qué tan bien una descripción puede responder preguntas sobre un video, PercepCap obtuvo puntuaciones más altas (por ejemplo, 76.1% de precisión frente al 72.8% de la línea base).

Por qué esto es importante (Y lo que aún no puede hacer)

La conclusión principal es que hacer que un robot "muestre su trabajo" antes de hablar lo hace más inteligente y confiable. Al separar el acto de ver (percepción) del acto de hablar (descripción), los investigadores crearon un sistema que es más fácil de depurar y más difícil de engañar.

Sin embargo, el artículo es honesto sobre sus límites. Debido a que los datos de entrenamiento fueron creados por una IA (el método "Anclado a la Descripción"), si la IA inicial cometió un error en las notas, ese error podría transmitirse al robot. Además, este método requiere más tiempo y potencia de cómputo porque el robot tiene que escribir una larga lista de notas antes de poder escribir la frase final. Pero, para cualquiera que desee una IA de video que no solo adivine, sino que realmente comprenda la línea de tiempo y la ubicación de los eventos, PercepCap sugiere una nueva dirección muy prometedora.

Resumen Técnico: PercepCap

Declaración del Problema

El subtitulado de video requiere una comprensión espacio-temporal detallada, que abarque la localización espacial de objetos y la secuenciación temporal de eventos. Los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) existentes emplean típicamente un paradigma de generación de solo subtítulos, mapeando las entradas de video directamente a descripciones de texto finales. Este enfoque hace que la etapa de percepción sea implícita, lo que significa que el modelo identifica objetos, acciones y relaciones temporales dentro de un único proceso autorregresivo sin exponer la evidencia subyacente. En consecuencia, los errores en la identidad de los objetos, el reconocimiento de acciones o el orden temporal solo son visibles en el resultado final, lo que dificulta la identificación, supervisión o corrección de fallos perceptivos específicos. Además, las señales de supervisión estándar aplicadas únicamente al subtítulo final no proporcionan retroalimentación directa sobre si la percepción subyacente del modelo es correcta.

Metodología

Para abordar estas limitaciones, los autores proponen PercepCap, un marco de trabajo consciente de la percepción que separa explícitamente la percepción espacio-temporal de la generación de subtítulos. La innovación central es una cadena de generación de percibir–describir, donde el modelo primero produce un rastro de percepción estructurado y luego genera el subtítulo final condicionado por esta evidencia.

1. Percepción Espacio-Temporal Estructurada

El marco reformula la secuencia de salida como $Y = [Y_{perc}, Y_{cap}]$ , donde $Y_{perc}$ es un rastro estructurado que contiene:

Evidencia de Objetos: Identidades temporalmente consistentes, etiquetas semánticas y secuencias de localización (cuadros delimitadores 2D con marcas de tiempo).
Evidencia de Eventos: Segmentos temporales (tiempos de inicio/fin) con descripciones textuales concisas, vinculados a los objetos rastreados.

2. Estrategia de Entrenamiento de Dos Etapas

PercepCap utiliza un flujo de trabajo de Ajuste Fino por Refuerzo (RFT) de dos etapas:

Ajuste Fino Supervisado de Percibir-luego-Describir (PD-SFT): Esta etapa adapta el modelo de la generación directa de subtítulos a la cadena de percibir–describir. Utiliza una pérdida de entropía cruzada de siguiente token sobre secuencias objetivo serializadas para enseñar al modelo a generar trayectorias de objetos y eventos anclados temporalmente antes de producir el subtítulo final.
Aprendizaje por Refuerzo Basado en la Percepción (PG-RL): Para superar las limitaciones de la supervisión de un solo token (que no puede distinguir entre errores de percepción y errores de subtitulado), PG-RL emplea la Optimización de Política Relativa de Grupo (GRPO). Utiliza una función de recompensa compuesta que descompone la retroalimentación en:
- Recompensas de nivel de percepción: IoU espacial ( $R_{iou}$ ) para la localización de objetos, IoU temporal ( $R_{tiou}$ ) y Solapamiento Semántico ( $R_{sodam}$ ) para la sincronización y descripción de eventos.
- Recompensas de nivel de subtítulo: $R_{cap}$ evalúa la cobertura de objetos y eventos en el texto final frente a la verdad de campo (ground truth).
- Recompensas de formato: $R_{format}$ asegura que la salida se adhiera a una estructura JSON estricta.

3. Construcción de Datos Anclados al Subtítulo

Dado que los conjuntos de datos estándar carecen de anotaciones de percepción intermedia, los autores introducen un flujo de trabajo para construir datos de entrenamiento alineados con los subtítulos:

Generación de Ancla de Subtítulo: Un modelo de video robusto genera una descripción de solo subtítulo ( $Y^*_{cap}$ ).
Extracción de Contenido: El modelo extrae etiquetas de objetos y descripciones de eventos de este subtítulo.
Completado Anclado al Video: El modelo revisita el video para asignar identidades, predecir cuadros delimitadores con marcas de tiempo para los objetos y predecir tiempos de inicio/fin para los eventos.
Ensamblaje: Los datos espaciales/temporales anclados se combinan con el subtítulo original para formar el par de entrenamiento estructurado $Y^* = [Y^*_{perc}, Y^*_{cap}]$ .

Contribuciones Clave

Marco de Trabajo Consciente de la Percepción: El artículo introduce un paradigma que convierte el subtitulado de video en un proceso de generación basado en evidencia al producir explícitamente un rastro de percepción espacio-temporal estructurado (trayectorias de objetos y límites de eventos) antes del subtítulo final.
PD-SFT y PG-RL: Una estrategia de entrenamiento de dos etapas que primero adapta el modelo a la cadena de percibir–describir y luego lo optimiza utilizando recompensas descompuestas que evalúan por separado el anclaje de la percepción y la calidad del subtitulado.
Construcción de Datos Anclados al Subtítulo: Un novedoso flujo de trabajo de datos que genera datos de percepción estructurados alineados con los subtítulos finales, permitiendo el entrenamiento de modelos que requieren supervisión perceptiva intermedia.

Resultados

PercepCap fue evaluado en múltiples benchmarks, incluyendo DREAM-1K, CaReBench, ShortVidBench, MotionBench y VidCapBench-AE.

Desempeño: El modelo supera consistentemente al baseline Qwen3-VL (un modelo de código abierto de 8B) en todos los benchmarks. Por ejemplo, en DREAM-1K, PercepCap logró un F1 de 33.9 comparado con el 29.1 del baseline. En CaReBench, mejoró el F1 de Acción a 39.4 y el F1 de Objeto a 34.7.
Estudios de Ablación: Los experimentos confirmaron que las ganancias no se deben simplemente a un ajuste fino adicional o a una supervisión de subtítulos más fuerte. Las variantes que utilizaban solo recompensas de nivel de subtítulo o paradigmas de generación de solo subtítulos funcionaron significativamente peor que el flujo completo de PercepCap, demostrando la necesidad del rastro de percepción explícito y el enfoque de entrenamiento por etapas.
Análisis Cualitativo: Las comparaciones visuales muestran que PercepCap distingue mejor las entidades clave y sigue las cadenas de acción (por ejemplo, traspasos de objetos) con mayor fidelidad que los baselines de subtitulado directo.

Significancia

El artículo argumenta que el subtitulado de video detallado se beneficia de exponer el proceso de "razonamiento" del modelo. Al hacer explícita la evidencia perceptiva, PercepCap permite:

Supervisión Dirigida: Los errores pueden atribuirse a etapas específicas (percepción vs. verbalización), permitiendo señales de entrenamiento más precisas.
Auditabilidad: El rastro estructurado hace que la comprensión del video por parte del modelo sea inspeccionable, cerrando la brecha entre la entrada de video bruto y la salida de lenguaje natural.
Mejor Anclaje: El marco asegura que el subtítulo final esté estrictamente condicionado por trayectorias de objetos verificadas y límites de eventos, lo que conduce a una mayor cobertura y precisión en la descripción de contenido de video complejo.

Los autores concluyen que los rastros de percepción estructurados sirven como una interfaz intermedia práctica, haciendo que el subtitulado de video sea más anclado, auditable y efectivo para tareas de comprensión fina.