Gen2Balance: Generative Balancing for Long-Tailed Video Action Recognition

Resumen Técnico: Gen2Balance

Declaración del Problema

El reconocimiento de acciones en video de cola larga sigue siendo un desafío fundamental donde las distribuciones de clases están fuertemente sesgadas, con unas pocas clases "cabecera" que dominan el conjunto de datos y muchas clases "cola" o de "pocos disparos" (few-shot) que tienen muestras escasas. Aunque el aprendizaje de cola larga ha progresado en el reconocimiento de imágenes, el reconocimiento de video se ha quedado significamente atrás. Los enfoques actuales, como el re-muestreo, el re-pesaje y la aumentación en el espacio de características, a menudo no logran cerrar la brección de rendimiento entre los entornos equilibrados y los de cola larga. Por ejemplo, en el conjunto de datos UCF-101, la precisión cae del 92% en entornos equilibrados al 64% bajo un desequilibrio de cola larga. Además, los modelos actuales de generación de video enfrentan desafíos relacionados con la dinámica temporal, la plausibilidad física y la permanencia de los objetos, lo que plantea interrogantes sobre si los videos sintéticos pueden ser lo suficientemente diversos y fieles a las clases de acción para ayudar al reconocimiento.

Metodología: Gen2Balance

Los autores proponen Gen2Balance, un marco que aborda el reconocimiento de video de cola larga mediante la aumentación del conjunto de entrenamiento con videos sintéticos generados a través de un modelo de texto a video. El método consta de dos componentes principales: un pipeline de llenado generativo y una estrategia de entrenamiento de dos etapas.

1. Pipeline de Llenado Generativo

Para sintetizar videos diversos y fieles a la clase para las clases subrepresentadas, los autores emplean un pipeline estructurado utilizando un Modelo de Lenguaje Grande (LLM) multimodal y un generador de texto a video (WAN 2.1). El pipeline aborda la ambigüedad semántica y la falta de diversidad a través de cuatro pasos:

• Diversificación de Prompts de Texto: El LLM genera prompts que varían a lo largo de nueve ejes (por ejemplo, entorno, encuadre de cámara, demografía del actor, iluminación, contexto social) para asegurar la diversidad visual.
• Perfiles de Acción: Para resolver ambigüedades semánticas (por ejemplo, que "Robot Dancing" se refiera a un estilo de baile humano en lugar de un robot mecánico), el LLM genera un "Perfil de Acción" que contiene una definición, restricciones positivas (características visuales clave) y restricciones negativas (malentendidos comunes).
• Ejemplares en Contexto: Para fundamentar aún más el perfil de acción en la semántica correcta, se proporciona al LLM un conjunto de pocos disparos (few-shot) de videos reales de entrenamiento como ejemplares en contexto. Crucialmente, estos ejemplares informan la generación del perfil pero no los prompts finales directamente, preservando la diversidad de los prompts.
• Generación de Video: Los prompts diversificados, condicionados por los perfiles de acción fundamentados, se introducen en el generador de texto a video para producir clips sintéticos.

2. Estrategia de Entrenamiento de Dos Etapas

Entrenar directamente con una mezcla de datos reales y sintéticos introduce riesgos de sobreajuste a artefactos sintéticos y de desplazamiento de dominio (domain shift). Para mitigar esto, Gen2Balance emplea un proceso de entrenamiento de dos etapas:

• Etapa 1 (Aprendizaje de Datos Aumentados): El modelo se entrena en el conjunto de datos combinado ($D_{train} \cup D_{gen}$) utilizando una pérdida de Softmax Balanceada (BSCE). Crucialmente, los márgenes de pérdida se calculan basados en las frecuencias de los datos reales ($N_c$) en lugar de las frecuencias aumentadas. Esto permite que el modelo aproveche la abundancia de datos sintéticos para el aprendizaje de características mientras mantiene los límites de decisión calibrados con los priors de clase reales.
• Etapa 2 (Ensayo sobre Datos Reales): El modelo se ajusta (fine-tuning) exclusivamente en el conjunto de entrenamiento real original ($D_{train}$) utilizando la misma pérdida BSCE con una tasa de aprendizaje reducida. Esta etapa corrige los desplazamientos de dominio y evita el olvido catastrófico de las representaciones aprendidas de los datos sintéticos.

Contribuciones Clave

1. Propuesta de Marco: Introducción de Gen2Balance, un enfoque de balanceo generativo que convierte conjuntos de datos de video desequilibrados en combinaciones equilibradas de clips reales y sintéticos.
2. Pipeline Automático y Conjunto de Datos: Desarrollo de un pipeline automático utilizando un LLM multimodal (Gemini 2.5 Pro) y un generador de video (WAN 2.1) para sintetizar videos fieles a la clase. Los autores lanzan públicamente un conjunto de datos complementario de 140K videos sintéticos con prompts detallados que abarcan 223 clases de acción a través de UCF-LT, K100-LT y RareAct.
3. Análisis de la Estrategia de Entrenamiento: Demostración de que una estrategia de entrenamiento de dos etapas (aumentada luego real) combinada con una pérdida balanceada por clase usando márgenes derivados de datos reales produce resultados superiores en comparación con el entrenamiento estándar o los enfoques de una sola etapa.
4. Evaluación Exhaustiva: Evaluación extensa en divisiones de cola larga de Kinetics-100 (K100-LT) y UCF-101 (UCF-LT), así como en acciones raras del conjunto de datos RareAct.

Resultados Experimentales

Los autores evalúan Gen2Balance en versiones de cola larga de los benchmarks estándar:

• K100-LT: Gen2Balance mejora la precisión promedio de clase en un 7.0% sobre la base de cola larga más fuerte (BSCE), alcanzando un 72.6% de precisión general. Aumenta significativamente la precisión de las clases de pocos disparos en un +38.8%.
• UCF-LT: El método mejora la precisión en un 5.1% sobre la base más fuerte, alcanzando un 88.9% general, con una ganancia de +48.0% en las clases de pocos disparos.
• RareAct: En acciones raras y compositivas (por ejemplo, "cortar teclado"), Gen2Balance mejora la precisión en un 31.9%, demostrando efectividad para acciones genuinamente escasas.
• Ablación y Escalamiento:
  • Balanceo Parcial: Lograr el 79% de las ganancias de rendimiento con solo el 27% del costo computacional (al establecer un umbral de llenado parcial) destaca la escalabilidad del método.
  • Fuentes de Datos: Gen2Balance supera la aumentación por recuperación web y la generación de imágenes estáticas, confirmando la necesidad de pistas de movimiento y la superioridad del pipeline de prompting específico sobre el templating ingenuo.
  • Robustez: El método sigue siendo robusto incluso cuando las clases de pocos disparos son estadísticamente raras en la distribución de entrenamiento del generador (reindexación de popularidad web).

Significado y Reivindicaciones

El artículo afirma que Gen2Balance representa un paso significativo adelante en el reconocimiento de video de cola larga al aprovechar los modelos generativos para sintetizar la diversidad faltante en lugar de depender de la recuperación web o la interpolación en el espacio de características. Los autores enfatizan que:

• Los modelos generativos actuales, cuando se les solicita cuidadosamente con perfiles de acción fundamentados, producen videos de calidad suficiente para lograr un rendimiento de estado del arte en entornos de cola larga.
• La estrategia de entrenamiento de dos etapas mitiga eficazmente el desplazamiento de dominio, permitiendo que los modelos aprendan de los datos sintéticos sin comprometer el rendimiento en los datos reales.
• El enfoque es práctico y escalable, ya que el balanceo parcial ofrece ganancias sustanciales a una fracción del costo computacional.
• El conjunto de datos de 140K videos sintéticos liberado sirve como un recurso para futuras investigaciones en el balanceo generativo para la comprensión de video.

El trabajo no pretende resolver todos los problemas de la generación de video (reconociendo desafíos con la física y la permanencia de objetos), sino que argumenta que, para la tarea específica del reconocimiento de acciones, el contenido generado es lo suficientemente diverso y semánticamente correcto como para superar la escasez de datos.