ViPo-MLLM: Visual-Pose Multimodal LLM for Gloss-Free Sign Language Translation

Technische Samenvatting: ViPo-MLLM voor Gloss-vrije Gebarentaalvertaling

Probleemstelling
Gebarentaalvertaling (Sign Language Translation, SLT) heeft als doel de communicatiekloof te overbruggen door videobeelden van gebarentaal om te zetten in gesproken zinnen. Hoewel vroege systemen vertrouwden op "gloss-gebaseerde" benaderingen met gebruikmakend van woordachtige annotaties als tussenstappen, lijden deze methoden onder hoge annotatiekosten, beperkte schaalbaarheid en rigide zinstructuren. "Gloss-vrije" SLT, die video's direct vertaalt naar vloeiende tekst zonder tussenliggende glossen, is een veelbelovend alternatief, maar blijft uitdagend. Bestaande gloss-vrije methoden vertrouwen vaak op single-modality kenmerken of zwak gefuseerde representaties, waardoor ze niet in staat zijn de fijnmazige articulatie details (handen, lichaam, gezichtscues) en langetermijn temporele afhankelijkheden vast te leggen die nodig zijn voor nauwkeurige vertaling. Bovamenteel faalt een naïeve fusie van visuele en pose-data vaak in het effectief uitlijnen van deze modaliteiten.

Methodologie: ViPo-MLLM
De auteurs stellen ViPo-MLLM (Visual-Pose Multimodal LLM) voor, een framework dat is ontworpen om spatio-temporele RGB-kenmerken en menselijke pose-cues te integreren via een cross-modaal aandachtmechanisme. De architectuur werkt als volgt:

1. Feature Extractie:

   • Spatio-Temporele RGB-kenmerken ($Z_s$): Geëxtraheerd met behulp van een vooraf getrainde USTM-encoder (gebaseerd op Swin Transformer-stadia met temporele adapters). De encoder is bevroren, en taakspecifieke koppen (MS-TCN, BiLSTM) worden verwijderd om temporele bias te voorkomen, wat resulteert in frame-niveau representaties.
   • Pose-kenmerken ($Z_p$): Geëxtraheerd met behulp van OpenPose om volledige lichaams- en fijnmazige handposes te schatten. In plaats van heatmaps worden intermediaire kenmerken per frame ruimtelijk gepoold om fixed-dimensionale vectoren te creëren.

2. Multimodale Fusie:

   • Intra-Modale Temporele Modellering (IMTM): Zowel $Z_s$ als $Z_p$ worden geprojecteerd in een gedeelde ruimte en verwerkt door een gedeelde 2-laagse 1D Temporal Convolutional Network (TCN) om lokale temporele dynamiek binnen elke modaliteit te vangen.
   • Cross-Modale Temporele Modellering (CMTM): De outputs van de IMTM-blokken worden geconcateneerd en door een 4-laags Cross-Modal Attention (CMA) module geleid. Dit blok maakt globale temporele modellering mogelijk en legt afhankelijkheden tussen de visuele en pose-modaliteiten vast.
   • Projectie: De gefuseerde representatie wordt via een MLP geprojecteerd om overeen te komen met de embedding-dimensie van het Large Language Model (LLM).

3. Taalmodellering en Training:

   • Prompt Constructie: De gefuseerde visuele-pose kenmerken worden geconcateneerd met een gestructureerde prompt die taakinstructies en few-shot voorbeelden bevat (bijv. Spaanse/Franse/Engelse vertalingen) om het LLM te conditioneren.
   • Leerdoelen: Het model wordt end-to-end getraind met een combinatie van twee verliezen:
     • Contrastieve Loss: Stemt een globale video-representatie (gepoold uit gefuseerde kenmerken) af met de globale representatie van de ground-truth tekst-embedding.
     • Cross-Entropy Loss: Standaard taalmodellering verlies waarbij het LLM de doelvertaling genereert op basis van de gezamenlijke input van de prompt en gefuseerde kenmerken.
   • Fine-tuning: De LLM-backbone (mT0-XL) wordt gefinetuned met behulp van LoRA (Low-Rank Adaptation).

Belangrijkste Bijdragen
Het artikel schetst vier primaire bijdragen:

1. ViPo-MLLM Framework: Een nieuwe architectuur die spatio-temporele RGB en pose-cues integreert via cross-modale aandacht voor gloss-vrije SLT.
2. Expliciete Fusiestrategie: Een specifieke video-pose fusie-mechanisme (IMTM + CMTM) dat modelleert wanneer en hoe pose-informatie de vertaling beïnvloedt, waarbij zowel lokale als globale afhankelijkheden worden gevangen.
3. Uitgebreide Analyse: Uitgebreide experimenten die de complementaire rollen van pose-informatie en spatio-temporele visuele kenmerken in gloss-vrije SLT aantonen.
4. State-of-the-Art Prestaties: Het behalen van nieuwe beste resultaten op benchmark-datasets terwijl het competitief blijft met gloss-gebaseerde methoden.

Experimentele Resultaten
Het model werd geëvalueerd op twee datasets: PHOENIX14T (Duitse gebarentaal) en CSL-Daily (Chinese gebarentaal).

• PHOENIX14T: ViPo-MLLM behaalde een BLEU-4 score van 27.10 en een ROUGE-L van 51.50, waarmee het bestaande zwak gesuperviseerde en volledig gloss-vrije methoden (bijv. VAP, ConSLT, MMSLT) overtreft. Het bleef competitief met gloss-gebaseerde benaderingen ondanks het niet gebruiken van gloss-annotaties.
• CSL-Daily: Het model behaalde een BLEU-4 van 25.85 en een ROUGE-L van 54.53, wat een nieuwe state-of-the-art vormt voor gloss-vrije methoden en de prestaties van gloss-gebaseerde modellen evenaart.

Ablatie-inzichten

• Modaliteiten: Het combineren van RGB- en pose-kenmerken presteerde significant beter dan het gebruik van één enkele modaliteit alleen. Contrastief leren verbeterde de semantische uitlijning voor beide verder.
• CMA Diepte: De prestaties piekten bij een CMA-diepte van 4; diepere lagen (bijv. 8) leidden tot prestatieverslechtering, waarschijnlijk door overmatige smoothing of overfitting.
• LLM Keuze: Grotere modellen binnen de mT0-familie (mT0-XL) leverden betere resultaten op dan kleinere varianten.
• Prompting: Instructieve prompts (directe taaksturing) leverden de beste prestaties op, terwijl interrogatieve of role-playing prompts de nauwkeurigheid verminderden.

Betekenis
Het artikel beweert dat ViPo-MLLM aantoont dat gloss-vrije training de prestaties van gloss-gesuperviseerde benaderingen kan evenaren of zelfs overtreffen. Door effectief gebruik te maken van pose-cues en cross-modale aandacht, legt de voorgestelde methode succesvol de fijnmazige beweging en langetermijn temporele patronen vast die cruciaal zijn voor vertaling, zonder de evenredig hoge kosten van gloss-annotatie. Het werk valideert de effectiviteit van het integreren van gestructureerde prompting en contrastieve uitlijning binnen een multimodal LLM-framework voor gebarentaalvertaling. Toekomstig werk wordt gesuggereerd om aanvullende modaliteiten en lichtgewicht pose-representaties te verkennen voor real-time schaalbaarheid.