CoInteract: Physically-Consistent Human-Object Interaction Video Synthesis via Spatially-Structured Co-Generation

Probleemstelling

Het synthetiseren van video's van mens-object interacties (Human-Object Interaction, HOI) is cruciaal voor toepassingen zoals e-commerce, digitale reclame en virtueel marketing. Bestaande methoden, voornamelijk gebaseerd op diffusion-modellen, kampen echter met twee fundamentele beperkingen:

1. Structurele instabiliteit: Gevoelige gebieden zoals handen en gezichten vertonen vaak artefacten, zoals samengesmolten vingers of vervaagde gelaatstrekken.
2. Fysieke onrealistiek: Modellen missen vaak een inzicht in 3D-ruimtelijke relaties, wat leidt tot fysiek onmogelijke situaties, zoals handen die door objectoppervlakken heen gaan (interpenetratie) of onnatuurlijke grijpacties.

Bestaande benaderingen vertrouwen vaak op zware voorverwerking (zoals pose-schatting) of ontberen expliciete mechanismen om interactiestructuren en fysieke plausibiliteit af te dwingen.

Methodologie: CoInteract

CoInteract is een end-to-end framework dat is gebouwd op een Diffusion Transformer (DiT)-backbone. Het introduceert een nieuw paradigma genaamd Spatially-Structured Co-Generation om zowel de uiterlijke kwaliteit als de fysieke consistentie te waarborgen.

De kerncomponenten zijn:

1. Ruimtelijk Gestructureerde Co-Generatie (Dual-Stream Training)
In plaats van alleen RGB-pixels te genereren, traint CoInteract twee stromen gelijktijdig binnen dezelfde DiT-backbone:

• RGB-stroom: Genereert de visuele video.
• HOI-stroom (Hulpstroom): Genereert een structuurweergave waarbij het menselijk lichaam wordt gereduceerd tot een silhouet (mesh-projectie) en het object zijn RGB-tekstuur behoudt. Dit creëert een "tekstuurloze" structuur die interactiegrenzen benadrukt zonder afleiding door uiterlijke details.
• Asymmetrische Co-Attention: Tijdens training gebruiken beide stromen een asymmetrisch attention-masker. De RGB-stroom kijkt alleen naar zichzelf, terwijl de HOI-stroom naar beide stromen kijkt. Dit dwingt de gedeelde backbone om ruimtelijke relaties te leren. Bij inferentie wordt de HOI-stroom verwijderd, wat resulteert in nul extra rekentijd (zero-overhead).

2. Human-Aware Mixture-of-Experts (MoE)
Om de kwaliteit van handen en gezichten te verbeteren, wordt een MoE-module ingebouwd in de DiT-blokken:

• Een router (gebaseerd op spatial supervision via bounding boxes) verdeelt tokens naar gespecialiseerde experts: één voor het hoofd, één voor de handen, en één voor de basis (rest van het lichaam).
• Er is ook een gedeelde expert die als shortcut dient.
• Dit zorgt voor gespecialiseerde verwerking van anatomisch complexe gebieden met minimale parameter-overhead.

3. 3D Rotary Positional Encoding (RoPE)
Om heterogene modaliteiten (bewegingsframes, statische referentieafbeeldingen, audio, en de twee generatiestromen) naadloos te integreren, worden tokens toegewezen aan unieke 3D-coördinaten (hoogte, breedte, tijd). Dit zorgt voor causale continuïteit en duidelijke scheiding tussen referentie-anchors en gegenereerde frames.

Kernbijdragen

1. Eind-tot-eind HOI-synthese: CoInteract is het eerste framework dat menselijke structurele priors en interactie-geometrie direct in de DiT-backbone inbedt, zonder afhankelijkheid van externe voor- of nabewerking.
2. Human-Aware MoE: Een innovatieve architectuur die tokens dynamisch routeert naar gespecialiseerde experts voor handen en gezichten, wat structurele fouten aanzienlijk reduceert.
3. Zero-Overhead Co-Generation: Door gebruik te maken van een asymmetrische attention-mechanisme tijdens training, leert het model fysieke interactieregels via de HOI-stroom, maar genereert het tijdens inferentie alleen de RGB-stroom. Dit behoudt de fysieke consistentie zonder extra inferentiekosten.

Resultaten

CoInteract werd geëvalueerd op een dataset van 12.000 hoogwaardige clips en vergeleken met state-of-the-art methoden zoals AnchorCrafter, Phantom, Humo en InteractAvatar.

• Kwantitatieve resultaten: CoInteract behaalde de beste scores op VLM-QA (0.72, een maat voor interactie-plausibiliteit beoordeeld door een Vision-Language Model) en Hand Quality (HQ) (0.724), wat aangeeft dat handen scherper en anatomisch correcter zijn. Het behaalde ook de hoogste scores voor temporale coherentie (Smoothness: 0.9951) en identiteitsbehoud.
• Kwalitatieve resultaten: De gegenereerde video's tonen natuurlijke grijpacties en vermijden hand-object interpenetratie, terwijl concurrenten vaak last hebben van vervormde handen of onrealistische interacties.
• User Study: In een blind onderzoek met 24 beoordelaars behaalde CoInteract de laagste (beste) gemiddelde rangschikking op alle criteria: objectconsistentie, mens/achtergrond-consistentie en interactie-plausibiliteit.
• Efficiëntie: De ablatiestudies tonen aan dat het verwijderen van de HOI-stroom bij inferentie de rekentijd niet verhoogt (1.04x overhead t.o.v. een baseline zonder MoE), terwijl het verwijderen van de HOI-stroom tijdens training leidt tot een drastische daling in fysieke plausibiliteit (-33% in VLM-QA).

Betekenis

CoInteract markeert een belangrijke stap voorwaarts in de generatieve AI voor video. Het lost het fundamentele probleem op dat diffusion-modellen "zien" (pixels) maar niet "begrijpen" (fysica en structuur). Door fysieke constraints en structurele priors direct in het generatieve proces te integreren, maakt het realistische, fysiek plausibele productdemonstraties mogelijk. Dit heeft directe toepassingswaarde voor de e-commerce-sector, waar betrouwbare en realistische video's van producten in gebruik essentieel zijn voor de consument. De methode bewijst dat het mogelijk is om complexe ruimtelijke relaties te leren zonder de inferentie-efficiëntie te offeren.