MoCHA: Denoising Caption Supervision for Motion-Text Retrieval

1. Het Probleem: Ruis in Caption Supervisie

Traditionele systemen voor het zoeken naar beweging op basis van tekst (motion-text retrieval) leren een gedeelde inbeddingsruimte door bewegingssequenties en bijbehorende tekstbeschrijvingen (captions) te koppelen via contrastieve leerdoelen (zoals InfoNCE).

Het paper identificeert een fundamenteel probleem in deze aanpak:

• Deterministische vs. Distributie-benadering: Bestaande methoden behandelen elke caption als een deterministische, perfecte ground truth-label. In werkelijkheid is een caption echter een steekproef uit een distributie van geldige beschrijvingen.
• De (s, a) Decompositie: Elke annotatie is een mengsel van twee componenten:
  1. $s$ (Motion-recoverable semantics): De kinematische kern die uit de 3D-gelecoördinaten kan worden afgeleid (bijv. actie-type, lichaamsdelen, richting, tijdsvolgorde).
  2. $a$ (Nuisance factors): Annotator-specifieke variatie die niet uit de beweging zelf volgt. Dit omvat stilistische keuzes, geïnfereerde context (bijv. "nervous", "scared"), en hallucinaties over intenties.
• Gevolg: Omdat standaard contrastieve training elke caption als het enige positieve doel behandelt, wordt de inbeddingsruimte verstoord door de variatie in $a$. Dit leidt tot een hoge variantie binnen dezelfde beweging (within-motion variance), wat de uitlijning verzwakt en de prestaties bij cross-dataset overdracht (transfer) aanzienlijk beperkt, omdat verschillende datasets verschillende verdelingen van $a$ hebben (bijv. HumanML3D is verbose, KIT-ML is beknopt).

2. Methodologie: MoCHA Framework

De auteurs stellen MoCHA (Motion Canonicalization for Human Action retrieval) voor, een framework dat de supervisie "denoist" voordat deze de contrastieve loss bereikt.

• Canonicalisatie-operator $C(t)$:
  • Het doel is om de caption $t$ te projecteren op de bewegingsherstelbare semantiek $s$, terwijl de ruis $a$ wordt verwijderd.
  • Formeel: $C(t) \approx \phi(s)$.
  • Implementatie: Eerst wordt een Large Language Model (LLM, specifiek GPT-5.2 in het paper) gebruikt om captions te herschrijven naar een deterministische, bewegingsgerichte vorm. Vervolgens wordt dit model "gedistilleerd" naar een lichter model (FlanT5-base) dat geen externe LLM nodig heeft tijdens inferentie.
• Blend Training:
  • Om te voorkomen dat het model te veel details verliest (over-canonicalisatie) en om natuurlijke taalvariatie te behouden, introduceert MoCHA een tweeledige trainingsstrategie.
  • Voor elke batch worden twee contrastieve doelen berekend:
    1. Een gedenoiste weergave $(m_i, C(t_i))$ die de uitlijning stabiliseert rond de kern $s$.
    2. Een originele weergave $(m_i, t_i)$ die dient als regularisatie om de model te laten leren van de bredere distributie van natuurlijke taal.
  • De totale loss is een gewogen som van beide: $\mathcal{L}_{mix} = \lambda \mathcal{L}_{canon} + (1-\lambda) \mathcal{L}_{orig}$.
• Architectonische Onafhankelijkheid: MoCHA werkt uitsluitend op het tekstkanaal als een voorverwerkingsstap en is compatibel met elke bestaande retrieval-architectuur (in het paper getest op MotionPatches/MoPa).

3. Belangrijkste Bijdragen

1. Definitie van Text Canonicalization: Het formaliseren van caption-supervisie als een ruisprobleem en het voorstellen van een operator om captions te projecteren op bewegingsherstelbare inhoud.
2. MoCHA Framework: Een werkend systeem met twee varianten (LLM-gebaseerd en een gedistilleerde T5-variant zonder LLM) en de introductie van "Blend Training" om balans te vinden tussen stabiliteit en diversiteit.
3. Denoising vs. Augmentatie: Het bewijzen dat het verwijderen van ruis (canonicalisatie) effectiever is dan het vermeerderen van ruis (paraphrasing/augmentatie), wat vaak de variantie vergroot in plaats van verkleint.
4. Empirisch Bewijs: Kwantificering van de ruisreductie en de verbetering van de geometrie van de inbeddingsruimte.

4. Resultaten

De methode is getest op de benchmarks HumanML3D (H) en KIT-ML (K).

• State-of-the-Art (In-distribution):
  • Op HumanML3D bereikt de LLM-variant een T2M R@1 van 13,91% (een stijging van +3,1 procentpunten ten opzichte van de vorige beste, MoPa).
  • Op KIT-ML wordt een T2M R@1 van 24,30% bereikt (+10,3 procentpunten).
  • De T5-variant (zonder LLM) behaalt ook aanzienlijke verbeteringen (+2,5pp op H, +8,1pp op K).
• Cross-Dataset Transfer:
  • Dit is waar de grootste winst wordt geboekt, omdat dataset-specifieke stijl ($a$) wordt verwijderd.
  • Transfer van HumanML3D naar KIT-ML (H→K) toont een relative verbetering van +94% in R@1.
  • Transfer van KIT-ML naar HumanML3D (K→H) toont een verbetering van +52%.
• Geometrie van de Inbeddingsruimte:
  • Canonicalisatie verlaagt de variantie binnen bewegingen (within-motion variance) met 11–19%.
  • Het zorgt voor dichter bij elkaar liggende positieve clusters (hogere intra-similarity) en betere scheiding van negatieve voorbeelden.
  • De gradienten tijdens training worden consistenter (lagere gradient variance), wat leidt tot een scherpere contrastieve signaal.

5. Significantie en Conclusie

Het paper demonstreert dat de beperkingen in motion-text retrieval vaak niet liggen in de bewegingsencoder, maar in de kwaliteit en structuur van de tekstuele supervisie.

• Algemene Principes: Het paper stelt dat canonicalisatie een algemeen principe is; zelfs simpele regelgebaseerde methoden (zoals het verwijderen van stopwoorden) verbeteren de transfer, hoewel geleerde canonicalizers (LLM/T5) veel grotere winsten opleveren omdat ze nuance en temporele structuur beter behouden.
• Praktische Toepasbaarheid: De gedistilleerde FlanT5-variant maakt het mogelijk om state-of-the-art prestaties te behalen zonder de kosten en latentie van een externe LLM tijdens inferentie.
• Impact: Door de focus te verschuiven van het matchen van "ruis" naar het matchen van "kinematische kern", biedt MoCHA een robuustere basis voor bewegingsgeneratie, actiebegrip en mens-computerinteractie, en lost het het probleem van dataset-bias in cross-dataset evaluaties op.