Resumen Técnico: DynaPURLS

Definición del Problema

El Reconocimiento de Acciones Basado en Esqueletos en Cero Disparos (ZS-SAR) tiene como objetivo reconocer clases de acciones sin ejemplos de entrenamiento directos, transfiriendo conocimiento de categorías vistas a no vistas a través de un espacio semántico compartido. Sin embargo, los enfoques existentes enfrentan dos limitaciones principales:

1. Alineación de Baja Granularidad: Los métodos predominantes dependen de alinear características globales del esqueleto con incrustaciones semánticas estáticas a nivel de clase. Esto falla en capturar dinámicas locales de alta granularidad de partes del cuerpo (por ejemplo, movimientos de las manos) que a menudo se comparten entre acciones con patrones globales diferentes, lo que conduce a un fracaso en cerrar la brecha de dominio entre clases vistas y no vistas.
2. Semántica Estática: Los métodos actuales de alta granularidad generan descripciones textuales fuera de línea utilizando Modelos de Lenguaje Grande (LLM) sin acceso a los datos visuales específicos. Estas descripciones estáticas carecen de distinciones específicas de la instancia y no se adaptan a la "Brecha Semántico-Visual" causada por desplazamientos de distribución durante la inferencia, resultando en una generalización frágil.

Metodología: DynaPURLS

Los autores proponen DynaPURLS (Refinamiento Dinámico de Representaciones Conscientes de Partes), un marco unificado que cambia de la coincidencia estática a una alineación dinámica y adaptativa. El marco consta de tres componentes principales:

1. Generación de Representación Semántica de Múltiple Granularidad

En lugar de utilizar etiquetas globales únicas, el marco aprovecha un Modelo de Lenguaje Grande (GPT-3) para descomponer las etiquetas de acción en descripciones textuales jerárquicas:

• Descomposición Espacial: Descripciones para cuatro partes específicas del cuerpo (Cabeza, Manos, Torso, Piernas).
• Descomposición Temporal: Descripciones para tres fases (Inicio, Medio, Fin).
• Descripción Global: Una descripción holística que complementa la etiqueta original.
  Estas descripciones se codifican utilizando un codificador de texto CLIP preentrenado para formar una matriz de anclaje semántico estático de múltiple granularidad.

2. Particionamiento Adaptativo y Alineación Visual-Semántica

Para alinear las características visuales con el texto de múltiple granularidad, el marco emplea un módulo de particionamiento adaptativo basado en atención multimodal:

• Codificación Visual: Un Shift-GCN preentrenado extrae características espacio-temporales de las secuencias de esqueletos.
• Agregación Dinámica: A diferencia del particionamiento estático (que agrupa rígidamente las articulaciones), este módulo trata las incrustaciones de texto como consultas y las características visuales como claves/valores. Aprende a agregar dinámicamente la información visual relevante para cada concepto semántico, permitiendo que el modelo se centre en los nodos espacio-temporales más informativos independientemente de los límites predefinidos. Esto proporciona robustez ante oclusiones y variaciones de punto de vista.
• Objetivo de Entrenamiento: Se utiliza una pérdida de contraste InfoNCE simétrica para maximizar la similitud entre pares visual-texto coincidentes a través de todas las granularidades.

3. Refinamiento Dinámico de Características en Tiempo de Prueba (TTA)

La innovación central es un mecanismo de Adaptación en Tiempo de Prueba (TTA) que refina las representaciones semánticas en línea durante la inferencia para abordar los desplazamientos de dominio:

• Transformación Afín Ligera: En lugar de actualizar los pesados codificadores de la base, el marco introduce parámetros de escala ($S$) y sesgo ($\Delta F$) aprendibles para transformar las incrustaciones de texto estáticas ($F$) en incrustaciones refinadas ($F'$) basadas en el flujo visual entrante.
• Optimización Guiada por Confianza: El refinamiento se impulsa mediante una señal auto-supervisada derivada de las predicciones de alta confianza del propio modelo.
• Banco de Memoria Equilibrado por Clase: Para evitar la propagación de errores desde pseudoetiquetas ruidosas y el sesgo hacia clases frecuentes, un banco de memoria almacena un conjunto equilibrado de muestras de alta confianza por clase. Los parámetros de refinamiento se actualizan mediante descenso de gradiente en un lote equilibrado muestreado de este banco.
• Extensión GZSL: Para el Aprendizaje en Cero Disparos Generalizado, un mecanismo de activación basado en entropía separa las clases vistas y no vistas para evitar que el modelo recurra a predicciones de clases vistas para muestras no vistas.

Contribuciones Clave

1. Marco Novel: Introducción de DynaPURLS, que establece un vínculo dinámico entre características visuales y textuales para superar la alineación de baja granularidad y la semántica estática.
2. Alineación Adaptativa de Alta Granularidad: Una estrategia que coincide con las semánticas generadas por LLM de múltiple granularidad con características visuales a través de un módulo de particionamiento adaptativo, permitiendo una transferencia efectiva de conocimiento a nivel de partes.
3. Mecanismo de Refinamiento en Tiempo de Prueba: El primer trabajo que emplea adaptación en tiempo de prueba para ZSL basada en esqueletos. Utiliza una optimización ligera guiada por confianza con un banco de memoria equilibrado por clase para adaptar características semánticas en la inferencia, mitigando el desplazamiento de dominio con una sobrecarga mínima.
4. Rendimiento de Vanguardia: Extensos experimentos que demuestran un rendimiento superior tanto en configuraciones ZSL como GZSL en tres puntos de referencia.

Resultados Experimentales

El marco fue evaluado en NTU RGB+D 60, NTU RGB+D 120 y PKU-MMD bajo divisiones fijas y aleatorias.

• Rendimiento ZSL: DynaPURLS supera significativamente al estado del arte anterior. En NTU RGB+D 60 (división 55/5), alcanza una precisión del 88.52%, superando al mejor anterior (Neuron) en 1.62%. En NTU RGB+D 120 (división 110/10), alcanza el 89.06%, superando a SCoPLe en 14.53%.
• Rendimiento GZSL: El método logra puntuaciones altas de media armónica (H), indicando un rendimiento equilibrado en clases vistas y no vistas. En NTU RGB+D 120 (divisiones aleatorias), alcanza una puntuación H del 74.72%, y en PKU-MMD, 60.11%.
• Eficiencia: El módulo de refinamiento dinámico es computacionalmente eficiente, requiriendo solo ~8,192 parámetros por clase y añadiendo un tiempo de inferencia mínimo (por ejemplo, 1.0s para la división NTU60 55/5 en una GPU A100).
• Estudios de Ablación: Los resultados confirman que la combinación de alineación de múltiple granularidad y refinamiento dinámico produce los mejores resultados. El banco de memoria es crítico para estabilizar la adaptación, y el método muestra robustez a través de diferentes codificadores visuales (Shift-GCN, PoseC3D, etc.) y estrategias de inicialización.

Significado y Afirmaciones

El artículo afirma que DynaPURLS establece un nuevo estado del arte al abordar fundamentalmente la "Brecha Semántico-Visual" inherente al aprendizaje en cero disparos estático. Al pasar de la coincidencia estática a una alineación dinámica y adaptativa, el marco cierra efectivamente la brecha de dominio entre las distribuciones de entrenamiento y prueba. Los autores enfatizan que este es el primer trabajo que aplica adaptación en tiempo de prueba específicamente para el reconocimiento de acciones en cero disparos basado en esqueletos. Los resultados sugieren que refinar dinámicamente los anclajes semánticos en el momento de la inferencia es una estrategia más efectiva para manejar los matices de las acciones no vistas que depender únicamente de una alineación mejorada en el momento del entrenamiento o de descripciones semánticas estáticas. El trabajo destaca el potencial de combinar LLMs para el enriquecimiento semántico con mecanismos de adaptación en línea para lograr una generalización robusta en escenarios complejos del mundo real.