Deep kernel video approximation for unsupervised action segmentation

1. Planteamiento del Problema

El trabajo aborda la segmentación de acciones no supervisada por video (per-video). A diferencia de los enfoques tradicionales que requieren grandes conjuntos de datos de entrenamiento y anotaciones, este método está diseñado para escenarios con restricciones de datos, donde:

• Solo se tiene acceso a un video a la vez.
• No existen grandes conjuntos de datos de entrenamiento (debido a preocupaciones de privacidad, como en aplicaciones de salud o asistencia).
• No hay anotaciones (etiquetas) disponibles.
• El número real de segmentos (acciones) en el video puede ser desconocido.

El objetivo es dividir un video en segmentos mutuamente exclusivos (acciones) aprendiendo una representación compacta del video sin depender de modelos pre-entrenados masivos.

2. Metodología Propuesta

La propuesta central es aprender una aproximación de video sintética (un conjunto pequeño de frames $\{e_{v_m}\}$) que capture la distribución subyacente del video original $\{v_i\}$. El proceso se basa en los siguientes pilares:

A. Métrica de Distancia: Discrepancia de Medias Máxima (MMD)

Para medir qué tan "cerca" está la distribución de la aproximación ($Q$) de la distribución real del video ($P$), el método utiliza la Discrepancia de Medias Máxima (MMD).

• Ventaja sobre Óptimo de Transporte (OT): A diferencia del OT, que es computacionalmente costoso ($O(n^3 \log n)$) y difícil de optimizar, el MMD es más rápido ($O(n^2)$), más fácil de optimizar en lotes (batches) y es menos susceptible a la maldición de la dimensionalidad.
• Preservación de Geometría: El MMD es una métrica que preserva la geometría en el espacio de distribuciones, ofreciendo estimaciones más fiables que métricas euclidianas simples.

B. Espacio de Kernel Profundo: NTK Infinitos

El MMD opera en un espacio de Hilbert de Kernel Reproductor (RKHS). Para evitar soluciones triviales y mejorar el poder descriptivo:

• Elección del Kernel: En lugar de usar kernels fijos tradicionales (como la familia exponencial) que tienen un poder descriptivo limitado, o aprender el kernel junto con los datos (lo que lleva a soluciones triviales), los autores utilizan Kernels Tangentes Neuronales (NTK).
• NTK Infinito: Se emplean NTKs definidos sobre redes neuronales de ancho infinito (implementadas como MLPs de una capa oculta con activación ReLU). Esto combina la flexibilidad no paramétrica de los métodos de kernel con el poder descriptivo de las redes profundas.
• Kernel Híbrido: Dado que el NTK puro no es un "kernel característico" (no garantiza que MMD=0 implique $P=Q$), se combina con un kernel Gaussiano. La fórmula final es un producto escalado:
  $$k(v_i, v_j) = \alpha \cdot k_{NTK}(v_i, v_j) \cdot k_{Gauss}(v_i, v_j)$$
  Donde $\alpha$ es un factor de reescalado basado en la mediana de las distancias para igualar los rangos de los kernels.

C. Proceso de Aprendizaje y Segmentación

1. Optimización: Se aprende un conjunto pequeño de frames sintéticos ($M \ll N$, donde $N$ es el número total de frames) minimizando el MMD cuadrático entre la distribución real y la aproximada.
2. Suavizado Temporal: Para evitar la sobre-segmentación, los frames de entrada se suavizan temporalmente con un filtro Gaussiano antes de la optimización.
3. Asignación: Una vez aprendida la aproximación, cada frame real del video se asigna al segmento sintético ($e_{v_m}$) con el que tiene la mayor similitud de kernel (máxima coincidencia).
4. Alineación: Se utiliza el emparejamiento húngaro (Hungarian matching) para alinear los índices de los segmentos sintéticos con las clases de acción reales (si están disponibles para evaluación).

3. Contribuciones Clave

1. Nuevo Enfoque de Aproximación: Es el primer trabajo que propone aprender una aproximación de video en un espacio de kernel profundo optimizando una métrica geométrica (MMD) para la segmentación no supervisada.
2. Independencia de Datos: El método funciona estrictamente "por video", sin necesidad de grandes bases de datos de entrenamiento, lo que lo hace ideal para aplicaciones privadas o de datos sensibles.
3. Robustez ante el Número Desconocido de Segmentos: A diferencia de los métodos de agrupamiento jerárquico (agglomerative clustering) que asumen un número fijo de clusters, este método puede manejar variaciones en el número de segmentos. Si un frame no se alinea bien con ningún frame sintético, simplemente no se asigna fuertemente, permitiendo una detección de límites más precisa cuando el número de acciones es incierto.
4. Eficiencia Computacional: Al utilizar MMD y optimización por lotes, el método es escalable a videos largos, superando las limitaciones de coste computacional del Óptimo de Transporte.

4. Resultados Experimentales

El método fue evaluado en seis conjuntos de datos estándar: Breakfast, 50 Salads, YTI, Desktop Assembly, Hollywood Extended y MPII Cooking 2.

• Comparativa con el Estado del Arte:
  • El método obtuvo resultados competitivos frente a los métodos más avanzados (SOTA) como TW-FINCH, ABD, ASOT y CLOT.
  • En el conjunto de datos 50 Salads, superó a ASOT.
  • En general, mostró un rendimiento sólido en métricas de MoF (precisión media por frame), IoU (intersección sobre unión) y F1.
• Escenario de Número de Segmentos Desconocido:
  • Este es el punto fuerte del método. Cuando el número de segmentos objetivo se desvía del número real (un escenario realista donde no se conoce la verdad fundamental), el método propuesto superó consistentemente a TW-FINCH en puntuaciones F1.
  • Los métodos basados en agrupamiento jerárquico tienden a crear límites arbitrarios cuando el número de clusters no coincide con la estructura de los datos, mientras que la aproximación basada en MMD sigue mejor la distribución subyacente.
• Análisis de Componentes:
  • La combinación de Kernel Gaussiano + NTK demostró ser superior a usar solo NTK, solo Gaussiano o variantes de NTK (como NNGP o NTK esférico).
  • El suavizado temporal (hyperparámetro $s$) es crucial, especialmente para videos largos, mejorando significativamente la precisión.

5. Significado y Limitaciones

Significado:
El trabajo demuestra que es posible realizar una segmentación de acciones de alta calidad sin entrenamiento supervisado masivo, utilizando principios teóricos de aprendizaje de máquina (kernels, MMD) para aproximar distribuciones de datos. Esto abre la puerta a aplicaciones en entornos privados (hospitales, hogares) donde los datos no pueden salir del dispositivo.

Limitaciones:

• Acciones Muy Similares: El método tiene dificultades para segmentar acciones extremadamente similares (ej. "apretar_tornillo_1" vs "apretar_tornillo_2" en Desktop Assembly), ya que aprende un solo frame sintético por acción, lo cual puede ser una simplificación excesiva.
• Agrupación de Acciones Disímiles: Falla cuando acciones visualmente distintas están etiquetadas bajo un mismo nombre (ej. la clase "fondo" en MPII Cooking 2 que incluye diversas actividades).
• Hiperparámetros: El rendimiento es sensible al parámetro de suavizado temporal, el cual debe ajustarse según la longitud del video.

En conclusión, el artículo presenta una solución elegante y teóricamente fundamentada para un problema práctico y difícil, logrando un equilibrio entre la precisión de la segmentación y la eficiencia computacional en entornos de datos restringidos.