MoCHA: Denoising Caption Supervision for Motion-Text Retrieval

Resumen Técnico: MoCHA

1. El Problema: Ruido en la Supervisión de Texto

El campo de la recuperación de texto-movimiento (Motion-Text Retrieval) busca alinear descripciones de lenguaje natural con secuencias de movimiento humano en 3D. Los métodos actuales, basados en objetivos de aprendizaje contrastivo (como InfoNCE), asumen erróneamente que cada subtítulo (caption) es una etiqueta determinista y perfecta para un movimiento dado.

Los autores identifican que esta premisa es incorrecta debido a la naturaleza estocástica de la anotación:

• Distribución de etiquetas: Un mismo movimiento puede ser descrito de múltiples formas válidas por diferentes anotadores.
• Factores de ruido ($a$): Los subtítulos mezclan semántica recuperable del movimiento (tipo de acción, partes del cuerpo, dirección) con factores de molestia específicos del anotador, como estilo lingüístico, inferencias de contexto no verificables (ej. "nervioso", "asustado") e intenciones alucinatedas que no tienen rastro en las coordenadas de las articulaciones 3D.
• Consecuencia: El entrenamiento contrastivo estándar trata cada anotación como un objetivo positivo único, lo que introduce una alta varianza dentro del mismo movimiento. Esto debilita la alineación en el espacio de incrustaciones (embeddings) y causa un mal rendimiento en la transferencia entre conjuntos de datos (cross-dataset transfer), ya que el modelo aprende el "ruido" específico de un conjunto de datos en lugar de la semántica del movimiento.

2. Metodología: MoCHA (Motion Canonicalization for Human Action)

MoCHA es un marco de trabajo que actúa como un paso de preprocesamiento para "desruidar" la supervisión de texto antes de que ingrese al objetivo de aprendizaje contrastivo. No modifica la arquitectura del modelo de recuperación, sino que transforma los datos de entrada.

Componentes Clave:

• Descomposición Teórica: Se modela el subtítulo $t$ como una combinación de:

  • $s$: Semántica recuperable del movimiento (acción, cuerpo, dirección).
  • $a$: Factores de molestia (estilo, contexto inferido, relleno).
  • El objetivo es proyectar $t$ sobre $s$, eliminando $a$.

• Operador de Canonización ($C(\cdot)$):

  • Implementación LLM: Inicialmente, se utiliza un LLM (GPT-5.2 en el papel, aunque el nombre sugiere una versión futura o hipotética, el texto menciona GPT-5.2) para extraer solo la semántica del movimiento, eliminando adjetivos emocionales y contextos inferidos.
  • Distilación (Inferencia sin LLM): Para evitar la dependencia de un LLM costoso en tiempo de ejecución, se entrena un modelo ligero (FlanT5-base) mediante destilación de conocimiento sobre pares $(t, C(t))$ generados por el LLM. Este modelo puede realizar la canonización de forma eficiente.

• Entrenamiento por Mezcla (Blend Training):

  • Para equilibrar la estabilidad semántica con la diversidad lingüística natural, MoCHA utiliza un esquema de doble paso en cada lote de entrenamiento:
    1. Vista Desruidada: Se usa el subtítulo canonizado $C(t_i)$ para anclar la alineación en la semántica pura $s$ (baja varianza).
    2. Vista Original: Se usa el subtítulo original $t_i$ como regularizador para mantener la diversidad del lenguaje natural y evitar la sobre-canonicalización (pérdida de detalles finos).
  • La función de pérdida combina ambos objetivos: $L_{mix} = \lambda L_{InfoNCE}(m, C(t)) + (1-\lambda) L_{InfoNCE}(m, t)$.

3. Contribuciones Principales

1. Definición de Canonización de Texto: Formalizan la proyección de subtítulos hacia su contenido recuperable del movimiento, demostrando que incluso métodos basados en reglas simples (como eliminar palabras vacías) mejoran la transferencia, aunque los métodos aprendidos son superiores.
2. Nuevo Estado del Arte (SOTA): Logran los mejores resultados en los benchmarks HumanML3D y KIT-ML, así como en la transferencia cruzada entre ellos.
3. Superioridad del Desruido sobre la Aumentación: Demuestran que reducir la varianza de la supervisión (desruido) es más efectivo que aumentarla (paráfrasis), ya que la paráfrasis a menudo amplifica el ruido en lugar de eliminarlo.
4. Evidencia Empírica: Proporcionan análisis cuantitativos que muestran cómo la canonización reduce la varianza de las incrustaciones de texto dentro del mismo movimiento y mejora la geometría del espacio de incrustaciones.

4. Resultados Experimentales

• Rendimiento Intra-Dataset:

  • En HumanML3D, la variante LLM alcanza un 13.9% de R@1 en la tarea Texto-a-Movimiento (T2M), una mejora de +3.1 puntos porcentuales sobre el modelo base (MoPa).
  • En KIT-ML, la mejora es aún más drástica: 24.3% de R@1 (+10.3 pp). La variante sin LLM (FlanT5) también supera significativamente a los métodos anteriores (+2.5pp / +8.1pp).

• Transferencia Cruzada (Cross-Dataset):

  • Los beneficios son masivos en la transferencia entre dominios, donde los modelos suelen fallar debido a diferencias en el estilo de anotación.
  • HumanML3D $\to$ KIT-ML: Mejora relativa del +94% en R@1.
  • KIT-ML $\to$ HumanML3D: Mejora relativa del +52% en R@1.

• Análisis de Varianza y Geometría:

  • La canonización reduce la varianza de las incrustaciones de texto dentro del mismo movimiento en un 11–19%.
  • Reduce la varianza del gradiente en un 11.1%, lo que lleva a señales de entrenamiento más consistentes.
  • Mejora la separación entre positivos (mismo movimiento) y negativos, creando clusters más compactos y mejor alineados con el movimiento.

5. Significado e Impacto

El trabajo de MoCHA es significativo porque cambia el paradigma de cómo se trata la supervisión en la recuperación de movimiento. En lugar de tratar los datos anotados como "verdad absoluta", reconoce y corrige el ruido inherente a la anotación humana.

• Generalidad: El principio de canonización es agnóstico a la arquitectura; funciona con cualquier modelo de recuperación basado en contraste.
• Eficiencia: La capacidad de destilar el proceso en un modelo T5 pequeño permite su implementación en producción sin necesidad de infraestructura de LLMs costosa.
• Robustez: Al eliminar los factores de estilo específicos del conjunto de datos, los modelos se vuelven mucho más robustos y transferibles, resolviendo uno de los mayores cuellos de botella en la evaluación de modelos de movimiento: la brecha entre conjuntos de datos con estilos de anotación diferentes.

En conclusión, MoCHA demuestra que estandarizar el espacio lingüístico hacia el contenido cinemático recuperable es la clave para obtener representaciones de lenguaje-movimiento más transferibles y precisas.