🤖 machine learning

LookWhen? Fast Video Recognition by Learning When, Where, and What to Compute

LookWhen es un marco eficiente de reconocimiento de video que emplea un selector superficial para identificar y procesar solo los tokens más informativos, logrando así compensaciones superiores entre precisión y cómputo en comparación con los modelos existentes al aprender cuándo, dónde y qué calcular.

Autores originales: Ali Salamatian, Anthony Fuller, Pritam Sarkar, James R. Green, Leonid Sigal, Evan Shelhamer

Publicado 2026-05-11

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Ali Salamatian, Anthony Fuller, Pritam Sarkar, James R. Green, Leonid Sigal, Evan Shelhamer

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás viendo un video de 10 minutos de un perro jugando en un parque. Un modelo de IA estándar que intenta entender este video es como un estudiante muy diligente pero agotado que intenta leer cada palabra del guion, incluso las partes donde el perro está simplemente sentado quieto o la cámara hace un barrido sobre un césped vacío. Este estudiante lee cada palabra, toma notas sobre cada palabra y luego intenta resumir la historia. Es preciso, pero lleva una eternidad y consume una cantidad masiva de energía cerebral (potencia de computación).

El artículo introduce un nuevo método llamado LookWhen. Piensa en LookWhen como un editor inteligente que sabe exactamente cuándo prestar atención, dónde mirar y qué anotar, para que pueda entender toda la historia sin leer cada palabra.

Así es como funciona, desglosado en tres partes simples:

1. El editor de "vistazo rápido" (El Selector)

Primero, LookWhen tiene un editor "superficial". Este editor es rápido y no tiene una memoria enorme. Recibe una versión diminuta, borrosa y reducida del video.

Lo que hacen: Escanean rápidamente todo el video y asignan una puntuación a cada pequeño fragmento (llamado "token") basándose en lo único que es.
La analogía: Imagina que estás mirando a una multitud de personas. La mayoría lleva la misma camisa azul (redundante). Pero una persona lleva un sombrero rojo brillante y hace malabares. El editor de "vistazo rápido" ignora el mar de camisas azules y señala solo a la persona con el sombrero rojo.
El objetivo: Encontrar los momentos "únicos" que realmente cuentan la historia, en lugar de las partes aburridas y repetitivas.

2. El "pensador profundo" (El Extractor)

A continuación, LookWhen tiene un "experto" profundo. Este experto es muy inteligente y tiene una memoria enorme, pero es perezoso para hacer trabajo innecesario.

Lo que hacen: Solo miran los fragmentos específicos a los que el editor de "vistazo rápido" señaló (los tokens únicos superiores-K).
La analogía: El experto solo estudia a la persona con el sombrero rojo y a las pocas personas inmediatamente a su alrededor. Ignoran al resto de la multitud. Aunque no miraron a todos, aún pueden decirte exactamente qué pasó en el video porque se centraron en los detalles más importantes.

3. Aprendiendo de dos maestros

¿Cómo aprende el sistema a ser tan inteligente? Se entrena utilizando dos "maestros" diferentes (modelos de IA preentrenados) durante una fase de práctica:

El Maestro de Video: Enseña al sistema a entender todo el video como una historia.
El Maestro de Imagen: Enseña al sistema a detectar cambios. Dado que los videos son simplemente una serie de imágenes, este maestro ayuda al sistema a aprender qué cambia de un fotograma al siguiente.
El truco de la "Distancia Top1": Para enseñar al editor de "vistazo rápido" qué es único, el sistema utiliza un truco matemático astuto. Pregunta: "¿Qué tan lejos está este fragmento del video de todo lo demás?". Si un fragmento del video se ve muy diferente a sus vecinos (como un lobo corriendo en un campo de césped), recibe una puntuación alta. Si se ve igual que el césped junto a él, recibe una puntuación baja. Esto ayuda al sistema a ignorar las partes aburridas y repetitivas.

¿Por qué es esto un gran avance?

El artículo afirma que LookWhen es mucho más rápido y consume menos energía que los modelos principales actuales, sin perder precisión.

El resultado: En pruebas con seis conjuntos de datos de video diferentes (como reconocer personas zambulléndose, cocinando o haciendo gestos con las manos), LookWhen fue a menudo 6.7 veces más rápido que un modelo líder llamado InternVideo2 mientras obtenía la misma precisión.
El compromiso: Es como obtener un resumen de alta calidad de un libro en 10 minutos en lugar de leer todo el libro en 10 horas.

Lo que el artículo no afirma

Los autores tienen cuidado de decir que esta es una herramienta general de reconocimiento de video. No afirman que pueda usarse para diagnóstico médico, vehículos autónomos o vigilancia de seguridad todavía. También admiten que su versión actual funciona mejor con videos de tamaño estándar y que necesitan encontrar mejores "maestros" en el futuro para manejar videos aún más largos o complejos.

En resumen: LookWhen es una IA de video que aprende a ignorar lo aburrido. Detecta rápidamente los momentos únicos e importantes e ignora el resto, lo que le permite entender videos mucho más rápido y barato que los métodos anteriores.

Resumen Técnico: LookWhen – Reconocimiento Rápido de Video Aprendiendo Cuándo, Dónde y Qué Computar

1. Declaración del Problema

Los transformadores se han convertido en la arquitectura dominante para el reconocimiento de video, dividiendo los videos en miles de tokens. Sin embargo, su costo computacional escala de forma superlineal con el número de tokens, creando un cuello de botella significativo para el procesamiento de videos largos. Aunque los videos contienen redundancia sustancial (algunos tokens son redundantes, otros inferibles de su entorno), los transformadores estándar procesan todos los tokens independientemente de la necesidad. Los métodos de cálculo adaptativo existentes a menudo fusionan tokens en capas intermedias o dependen de mapas de atención que pueden contener artefactos o ruido irrelevante, fallando en aprovechar plenamente la dispersión sin sacrificar la precisión o incurrir en sobrecargas de tiempo de ejecución elevadas debido a operaciones no compatibles con GPU.

El desafío central es factorizar el reconocimiento de video en tres tareas de aprendizaje distintas:

Cuándo: Determinar los momentos temporales para procesar.
Dónde: Identificar las ubicaciones espaciales para procesar.
Qué: Definir la representación a extraer.

Esto requiere aislar rápidamente los tokens de entrada responsables de la representación de salida (para aumentar la eficiencia) mientras se aproximan con precisión las representaciones densas de video utilizando únicamente un subconjunto disperso de tokens.

2. Metodología: El Marco LookWhen

LookWhen introduce un marco selector-extractor diseñado específicamente para video, extendiendo trabajos previos basados en imágenes (LookWhere) con adaptaciones arquitectónicas y de pre-entrenamiento críticas.

2.1 Arquitectura

El modelo consta de dos componentes distintos:

Selector Superficial: Recibe un video escalado hacia abajo (reducido en tiempo, altura y ancho). Procesa la entrada completa para puntuar todos los tokens a través del espacio-tiempo, pero permanece computacionalmente económico debido a su profundidad superficial (3 capas de transformador) y resolución de entrada reducida. Genera un mapa de selector para identificar los tokens más informativos.
Extractor Profundo: Recibe únicamente los top-K tokens seleccionados (más los tokens de video y de cuadro) del video de resolución completa. Es un modelo profundo y expresivo (tamaño ViT-B) que aproxima la representación de video completo utilizando únicamente estas entradas dispersas.

2.2 Estrategia de Pre-entrenamiento

Una innovación clave es la definición de objetivos de supervisión efectivos tanto para la selección como para la extracción, abordando la falta de "maestros" adecuados para video.

A. Objetivos de Selección: Aprendiendo "Cuándo" y "Dónde"

Problema con la Atención: Los mapas de atención estándar de maestros de video (por ejemplo, InternVideo2) a menudo contienen artefactos o son ruidosos, lo que los convierte en objetivos pobres para la selección.
Solución (Top1-Distancia): En lugar de predecir la atención, el selector se entrena para predecir la unicidad del token.
- Se utiliza un maestro de imagen (DINOv3) con características ancladas espacialmente para calcular características para todos los parches.
- Un algoritmo de "top1-distancia" calcula la similitud del coseno entre cada parche y su vecino más cercano en el espacio de características.
- Los tokens con la mayor distancia a su vecino más cercano (es decir, los más únicos/aislados) se clasifican más alto.
- El selector aprende a predecir esta puntuación de unicidad, seleccionando efectivamente los tokens menos redundantes.

B. Objetivos de Extracción: Aprendiendo "Qué"

Destilación de Doble Maestro: El extractor se entrena para aproximar representaciones de dos maestros congelados:
1. Maestro de Video (InternVideo2): Proporciona un token a nivel de video que representa el contexto global.
2. Maestro de Imagen (DINOv3): Proporciona características a nivel de cuadro y a nivel de parche.
Normalización Temporal: Para enseñar al extractor qué cambia dentro de un video (crucial para tareas de granularidad fina), los tokens de clase cuadro a cuadro de DINOv3 se normalizan en el tiempo (media cero, varianza unitaria) antes de la concatenación. Esto crea un objetivo que enfatiza la dinámica temporal en lugar del contenido estático.
Funciones de Pérdida: El modelo minimiza una pérdida combinada:
- $L_{map}$ : Entropía Cruzada Binaria entre los mapas de selector predichos y los objetivos.
- $L_{video}$ : Error Cuadrático Medio (MSE) entre el token de video del extractor y los tokens de video de los maestros.
- $L_{frame}$ y $L_{patch}$ : Pérdidas MSE para tokens de cuadro y de parche, donde las características de DINOv3 se normalizan a través del espacio-tiempo.

2.3 Inferencia

Durante la inferencia y el ajuste fino, los maestros se descartan. El sistema opera de manera eficiente: el selector superficial puntúa el video escalado hacia abajo para seleccionar los top-K tokens, y el extractor profundo procesa únicamente estos tokens seleccionados para generar características para tareas posteriores.

3. Contribuciones Clave

Extensión del Marco a Video: Los autores extienden el paradigma selector-extractor al video adaptando la arquitectura (selector superficial, extractor profundo) y los objetivos de pre-entrenamiento para manejar la redundancia espacio-temporal.
Mecanismo de Selección Novel: Introducen top1-distancia, un método para entrenar selectores basados en la unicidad del espacio de características en lugar de mapas de atención. Esto evita la necesidad de atención libre de artefactos e identifica efectivamente los tokens redundantes.
Extracción de Doble Maestro: Proponen una estrategia de pre-entrenamiento que utiliza tanto un maestro de video (para contexto global) como un maestro de imagen con características normalizadas en el tiempo (para aprender cambios temporales), permitiendo que el extractor aprenda representaciones generales y de granularidad fina.
Eficiencia sin Restricciones de Hardware: A diferencia de los métodos de fusión de tokens que pueden sufrir incompatibilidades con Flash Attention o alto pico de memoria, LookWhen utiliza operaciones estándar de aprendizaje profundo, haciéndolo altamente eficiente en la práctica.

4. Resultados Experimentales

Los autores evaluaron LookWhen en seis conjuntos de datos: Kinetics-400 (K400), Something-Something-v2 (SSv2), Epic-Kitchens-100 (EK100), Diving48, Jester y Charades.

Precisión vs. FLOPs: LookWhen logra un compromiso superior entre precisión y computación en comparación con líneas base eficientes (por ejemplo, VideoMAE, VideoMamba) y versiones actualizadas del mismo tamaño.
- En K400, LookWhen (70% disperso) alcanza una precisión del 84,6% con un 40% menos de FLOPs que UMT-B800e y un 78% menos de FLOPs que VideoMambaPro, con precisión comparable o superior.
- En SSv2, alcanza una precisión del 72,0% a 108 GFLOPs, superando a VideoMAEv2 (71,2% a 180 GFLOPs).
Dominancia de Pareto: LookWhen domina en el sentido de Pareto (mejor precisión y menor costo) en 9 de 12 casos de evaluación (6 tareas × 2 configuraciones: sondeo lineal y ajuste fino).
Rendimiento en Tiempo Real: Medido en una GPU NVIDIA L40S, LookWhen es 6,7 veces más rápido que el InternVideo2-B denso (IV2) a precisión igual. Esta brecha es mayor de lo que sugieren los ahorros teóricos de FLOP porque las líneas base IV2 + fusión sufren incompatibilidades con Flash Attention y requieren tamaño de lote 1 o enmascaramiento.
Estudios de Ablación:
- Selección: El entrenamiento en "top1-dist" (unicidad) supera significativamente al entrenamiento en mapas de atención (IV2 o DINOv3) o selección aleatoria.
- Extracción: El uso de ambos maestros de video e imagen, junto con la normalización temporal de las características de DINOv3, produce el mejor rendimiento, particularmente en tareas de granularidad fina como Diving48 y Jester.

5. Significado y Afirmaciones

El artículo afirma que LookWhen aborda con éxito la ineficiencia computacional de los transformadores de video aprendiendo a calcular solo cuándo, dónde y qué es necesario.

Eficiencia: Demuestra que la dispersión puede lograrse sin las penalizaciones de tiempo de ejecución de la fusión de tokens, ofreciendo un camino práctico hacia un reconocimiento de video más rápido.
Generalización: El marco aprende representaciones generales que son efectivas tanto para el sondeo lineal (extracción de características) como para el ajuste fino, a menudo superando a su propio maestro denso (InternVideo2) en escenarios específicos.
Escalabilidad: Al desacoplar la selección de tokens de la extracción profunda de características, el método permite una dispersión agresiva (hasta el 95%) manteniendo una alta precisión.

Los autores señalan limitaciones, como la restricción actual a modelos ViT-Base debido a limitaciones computacionales y la dependencia de maestros con representaciones ancladas posicionalmente. Sin embargo, postulan que a medida que los modelos fundamentales evolucionen para proporcionar salidas mejor ancladas posicionalmente, el marco LookWhen se volverá aún más efectivo. Se sugiere trabajo futuro para videos largos, procesamiento multivista y datos hiperespectrales.