Resumen Técnico: VideoNet

Enunciado del Problema

El reconocimiento de acciones ha sido durante mucho tiempo una piedra angular de la visión por computadora, sin embargo, los Modelos Visuales-Lingüísticos (VLM) modernos han dejado en gran medida de ser evaluados en esta tarea debido a la escasez de datos diversos, desafiantes y específicos de dominio. Las evaluaciones existentes a menudo se centran en etiquetas de grano grueso (por ejemplo, "escalada en roca") o en atributos temporales de grano fino que carecen de aplicabilidad en el mundo real (por ejemplo, dirección de rotación de un objeto). En consecuencia, los VLM no están siendo probados en su capacidad para reconocer acciones específicas de dominio, como un "salto con triple giro" en el patinaje artístico o una "marcha de steppage" en neurología, las cuales requieren no solo percepción, sino también razonamiento composicional para distinguir variaciones sutiles de nivel experto. La ausencia de tales datos impide a los investigadores evaluar la generalización de los VLM a tareas del mundo real de nivel experto.

Metodología

Construcción de la Evaluación (VideoNet)

Los autores introducen VideoNet, una evaluación que abarca 1.000 acciones distintas en 37 dominios (por ejemplo, deportes, medicina, artesanía, danza) organizados en 7 categorías. El proceso de construcción implicó:

1. Generación de Taxonomía: Un enfoque de arriba hacia abajo utilizando fuentes escritas por expertos y LLM (aumentados con búsquedas web) para definir las acciones y sus diferenciadores visuales.
2. Pipeline de Recolección de Datos: Un proceso de anotación humana de tres etapas:
   • Recolección: Los anotadores encuentran 7 clips por acción de fuentes web distintas.
   • Verificación: Los anotadores verifican si los clips contienen la acción y están bien recortados. Los no expertos clasifican los clips como "conteniendo" o "no conteniendo" la acción para reducir la complejidad.
   • Recorte: Los clips mal recortados son refinados por anotadores entrenados en las definiciones de las acciones.
3. Verificación de Etiquetas: La verificación experta en un subconjunto de 620 clips confirmó una tasa de precisión del 97,6%, validando la robustez del pipeline.
4. Generación de Negativos Difíciles: Para evitar que los modelos dependan de señales a nivel de escena, los autores generaron "negativos difíciles" (acciones visualmente similares al objetivo pero distintas en técnica o movimiento) utilizando LLM y modelos de razonamiento para filtrar acciones co-ocurrentes o ambiguas.
5. Configuraciones de Evaluación:
   • Opción Múltiple: 4 opciones (1 verdad fundamental, 3 negativos difíciles) por clip.
   • Binario Poco Disparado (Few-Shot): Una pregunta binaria "Sí/No" con $k \in \{0, 1, 2, 3\}$ ejemplos de video en contexto.

Conjunto de Datos de Entrenamiento

Reconociendo que la anotación humana es demasiado costosa para datos a escala de entrenamiento, los autores desarrollaron un pipeline totalmente automatizado para recopilar ~500k pares de preguntas y respuestas sobre video (VQA) (filtrados hasta ~160k clips de alta calidad).

• Fuente: Videos rastreados en la web para los 37 dominios.
• Localización: Se utilizó Gemini 2.5 Flash para localizar los tiempos de las acciones.
• Estrategias de Etiquetado: Se probaron tres estrategias de filtrado:
  1. TranscriptLocalized: El nombre de la acción aparece en la transcripción cerca del clip.
  2. TranscriptLocalizedTitleMatch: Nombre de la acción en la transcripción y en el título.
  3. SingleAction: Si el título menciona una acción y el localizador encuentra solo un clip, ese clip se etiqueta como la acción.
• Ajuste Fino: Un modelo Molmo2-4B fue ajustado fino en estos conjuntos de datos.

Resultados Clave

Rendimiento de los VLM en VideoNet

• Opción Múltiple: Los modelos existentes de peso abierto de 8B luchan, logrando solo un 45,0% de precisión (Qwen3-VL-8B), mientras que el mejor modelo propietario (Gemini 3.1 Pro) alcanza un 69,9%. La probabilidad aleatoria es ~25%.
• Binario Zero-Shot: En un entorno binario relajado (probabilidad aleatoria 50%), los modelos abiertos alcanzan un 59,2% (Qwen3-VL-8B), mientras que los modelos propietarios se estancan alrededor del 72%.
• Aprendizaje Poco Disparado (Few-Shot): Los VLM muestran una capacidad limitada para aprender a partir de ejemplos visuales en contexto.
  • Los humanos no expertos mejoran un +13,6% con ejemplos de 3 disparos (3-shot).
  • Los VLM mejoran en promedio solo un +2,9%, y algunos modelos (por ejemplo, Gemini 3.1 Pro) incluso disminuyen su rendimiento.
  • Esto sugiere que los VLM carecen de los mecanismos perceptuales para un aprendizaje visual eficiente poco disparado en comparación con los humanos.

Impacto de los Datos de Entrenamiento

• El ajuste fino del modelo Molmo2-4B en el conjunto de datos SingleAction (el subconjunto más pequeño pero de mayor calidad) produjo una mejora de 11,5 puntos porcentuales en la configuración de opción múltiple, alcanzando una precisión del 53,5%.
• Crucialmente, este modelo de 4B ajustado fino superó a todos los modelos existentes de peso abierto de 8B y se acercó al rendimiento de los modelos propietarios de 8B+, demostrando que los datos de entrenamiento específicos de dominio son más críticos que la escala del modelo para esta tarea.
• El modelo ajustado fino de 4B también alcanzó un 66,6% en la configuración binaria 0-shot, superando el rendimiento de 3 disparos de Qwen3-VL-8B (66,2%).

Significado y Afirmaciones

El artículo afirma que VideoNet revitaliza el reconocimiento de acciones como una tarea de evaluación relevante para la era de los VLM al centrarse en acciones específicas de dominio y de grano fino. Los autores argumentan que:

1. Los VLM actuales son deficientes en el reconocimiento de acciones específicas de dominio, luchando incluso en configuraciones binarias relajadas y fallando en aprovechar eficazmente los ejemplos visuales poco disparados.
2. La calidad de los datos y la especificidad del dominio son fundamentales; un conjunto de datos de entrenamiento más pequeño y de alta calidad (SingleAction) permitió que un modelo de 4B superara a modelos más grandes de 8B, desafiando la noción de que la escala por sí sola resuelve estas tareas.
3. Brecha entre Humanos y Modelos: La brecha significativa entre el rendimiento poco disparado de humanos y modelos destaca una limitación fundamental en la capacidad actual de los VLM para aprender patrones visuales a partir de demostraciones.
4. Investigación Futura: El conjunto de datos sirve como campo de pruebas para mejorar la percepción, el razonamiento visual y la comprensión de acciones en el mundo real, potencialmente desbloqueando aplicaciones en dominios asistidos por expertos como el diagnóstico médico o el entrenamiento deportivo.

Los autores enfatizan que su trabajo proporciona la infraestructura necesaria (evaluación y datos de entrenamiento) para ir más allá de tareas de razonamiento temporal de grano grueso o sintéticas hacia una comprensión de video genuina y de nivel experto.