Resumen Técnico: MRBench

Planteamiento del Problema

Los benchmarks actuales de recuperación de movimiento humano-texto, principalmente HumanML3D y KIT-ML, sufren limitaciones críticas que dificultan la evaluación fiable de la alineación cross-modal. Estos conjuntos de datos están dominados por escenarios homogéneos de captura de movimiento (MoCap) en interiores, lo que resulta en distribuciones de movimiento estrechas e desequilibradas (por ejemplo, "caminar" constituye una parte significativa de las muestras). Además, las descripciones textuales en estos benchmarks suelen ser sobresimplificadas, repetitivas y carecen de discriminabilidad semántica. Un único prompt de texto frecuentemente se mapea a cientos de instancias de movimiento distintas, creando "colisiones de texto" donde las métricas de recuperación estándar (como Recall@K) no logran distinguir entre un modelo que recupera un movimiento válido y uno que recupera un movimiento igualmente válido pero semánticamente redundante. En consecuencia, los benchmarks existentes no pueden evaluar eficazmente la generalización cross-domain ni la sensibilidad de los modelos a distintos niveles de granularidad textual (desde resúmenes concisos hasta representaciones detalladas).

Metodología

1. Construcción de MRBench

Los autores presentan MRBench, un benchmark exhaustivo construido a través de un riguroso pipeline de curación de datos de múltiples etapas basado en el corpus ViMoGen-228K. El pipeline consta de cuatro etapas:

• Filtrado de Candidatos Guiado por Texto: El filtrado basado en reglas elimina expresiones genéricas y repetitivas. Los Modelos de Lenguaje Extensos (LLMs) califican las leyendas restantes según su discriminabilidad semántica y compacidad, filtrando detalles no cinemáticos (por ejemplo, descripciones excesivas de la escena u objetos) que distraen de la alineación del movimiento.
• Muestreo Equilibrado Guiado por Taxonomía: Los candidatos se organizan en una taxonomía jerárquica (7 categorías generales, 33 intermedias, 118 detalladas). El muestreo estratificado asegura una cobertura equilibrada entre categorías, mientras que la deduplicación semántica regula la uniformidad.
• Alineación Semántica y Desambiguación: Una Evaluación de Alineación Semántica Estructurada (SSAE) utilizando modelos de visión-lenguaje avanzados (por ejemplo, Gemini-3-pro-preview) verifica que el movimiento principal descrito en el texto sea observable en los fotogramas de video correspondientes. Este paso asegura pares de movimiento-texto inequívocos. Las categorías subrepresentadas se suplementan mediante movimientos sintetizados (HY-Motion) basados en guiones generados por LLM.
• Expansión de Texto Multigranular: Utilizando reescritura anclada visualmente, cada movimiento es anotado con tres niveles de granularidad de texto: Conciso (semántica condensada), Estándar (descripción equilibrada) y Detallado (dinámicas de partes del cuerpo y temporales detalladas). Estas son validadas manualmente para asegurar la consistencia con el movimiento observado.

Estadísticas del Conjunto de Datos: MRBench contiene 3,390 secuencias de movimiento que cubren 118 categorías detalladas. Las fuentes de datos son heterogéneas: 43.8% MoCap, 26.5% video in-the-wild, 22.7% video sintético y 7.0% movimientos generados. Esto produce un total de 10,170 leyendas.

2. Modelo de Recuperación Consciente de la Granularidad

Para abordar la sensibilidad de los modelos de recuperación a la granularidad de la consulta, los autores proponen un modelo ligero, consciente de la granularidad:

• Ancla Base: Primero se entrena un modelo de doble codificador (codificadores de movimiento y texto con cabezales de proyección global) sobre pares de leyenda estándar y luego se congela para servir como un ancla de alineación global.
• Módulos Específicos de Granularidad: Para granularidades no estándar (Conciso y Detallado), se introducen módulos ligeros:
  • Extractores de Movimiento: Vectores de consulta aprendibles realizan un pooling de atención sobre los tokens de movimiento para extraer representaciones específicas de la granularidad.
  • Adaptadores de Texto: Adaptadores de proyección específicos de la granularidad mapean los embeddings de texto en el espacio de recuperación compartido.
• Pseudo-Supervisión: El conjunto de entrenamiento se expande con leyendas concisas y detalladas reescritas por LLM (generadas por Qwen2.5-7B-Instruct) para servir como pseudo-etiquetas para el entrenamiento de estos módulos específicos.
• Estrategia de Inferencia: Durante la inferencia, la granularidad del texto dicta la rama activa. Para consultas no estándar, un mecanismo de fusión de puntuación consciente de la granularidad integra la puntuación de similitud global con la puntuación de similitud adaptada. Esta fusión mantiene la comparabilidad de las puntuaciones a través de diferentes niveles de descripción sin requerir leyendas estándar emparejadas en el momento de la inferencia.

Principales Contribuciones

1. Benchmark MRBench: El primer benchmark a gran escala y de múltiples fuentes diseñado específicamente para la recuperación exhaustiva de movimiento humano-texto. Presenta distribuciones de movimiento heterogéneas y soporta nativamente la evaluación cross-granularidad (Conciso, Estándar, Detallado).
2. Pipeline de Curación de Datos: Un pipeline de múltiples etapas que combina filtrado basado en reglas, muestreo equilibrado guiado por taxonomía, evaluación semántica cross-modal y reescritura multigranular con validación humana para asegurar alineaciones de alta calidad e inequívocas.
3. Modelo Consciente de la Granularidad: Una arquitectura de recuperación que congela un codificador dual alineado con leyendas estándar mientras utiliza leyendas reescritas por LLM para supervisar los extractores y adaptadores específicos de la granularidad. Este diseño mejora el rendimiento en consultas no estándar preservando el rendimiento del ancla de la leyenda estándar.

Resultados Experimentales

Evaluaciones extensas en MRBench revelan brechas significativas en los métodos existentes:

• Brecha de Generalización: Los modelos entrenados en conjuntos de datos homogéneos (como HumanML3D) exhiben caídas sustanciales de rendimiento cuando se evalúan en MRBench, indicando que el éxito in-domain no garantiza la robustez ante movimientos diversos.
• Sensibilidad a la Granularidad: Los baselines actuales (TEMOS, TMR, MoPatch, SGAR) muestran una pronunciada sensibilidad a la granularidad de la consulta, con un rendimiento que se degrada significativamente para consultas concisas y detalladas en comparación con las estándar.
• Rendimiento del Modelo: El modelo propuesto, consciente de la granularidad y construido sobre el ancla de MoPatch, mejora con éxito el rendimiento de la recuperación para consultas detalladas y de granularidad mixta (Texto-a-Movimiento y Movimiento-a-Texto) sin comprometer el rendimiento de la leyenda estándar.
• Transferencia Cross-Dataset: Los modelos entrenados en el corpus MRBench-Train (40,168 pares) logran el rendimiento general más fuerte, lo que sugiere que una cobertura de movimiento más amplia y anotaciones orientadas a la recuperación son más beneficiosas para una alineación robusta que la mera escala de los datos por sí sola.

Significado

El artículo postula que MRBench proporciona un banco de pruebas necesario y exhaustivo para avanzar en la evaluación de la alineación movimiento-lenguaje. Al exponer las limitaciones de los benchmarks actuales —específicamente su incapacidad para manejar fuentes de movimiento heterogéneas y textos multigranulares— los autores argumentan que el progreso fiable en este campo requiere un cambio hacia protocolos de evaluación diversos, equilibrados y discriminativos. El modelo propuesto, consciente de la granularidad, demuestra que la robustez ante descripciones no estándar puede lograrse sin sacrificar las capacidades de alineación establecidas, ofreciendo una base práctica para desarrollar sistemas de movimiento-lenguaje que generalicen más allá de conjuntos de datos estrechos y estilos de leyenda fijos.