CoInteract: Physically-Consistent Human-Object Interaction Video Synthesis via Spatially-Structured Co-Generation

Titolo

CoInteract: Sintesi Video di Interazione Uomo-Oggetto (HOI) Fisicamente Coerente tramite Co-Generazione Spazialmente Strutturata

1. Il Problema

La sintesi video di interazioni uomo-oggetto (HOI) è fondamentale per applicazioni come l'e-commerce, la pubblicità digitale e il marketing virtuale. Tuttavia, i modelli di diffusione attuali, pur offrendo un rendering fotorealistico, falliscono frequentemente in due aree critiche quando si tratta di interazioni complesse:

1. Instabilità strutturale: Le regioni sensibili come mani e volti tendono a collassare (es. dita che si fondono, tratti facciali sfocati).
2. Violazioni fisiche: Mancanza di plausibilità fisica nei contatti, come l'interpenetrazione tra mani e oggetti (es. la mano che attraversa la superficie di un prodotto), dovuta alla mancanza di consapevolezza dei confini degli oggetti.

I metodi esistenti si basano spesso su paradigmi di "generazione multi-condizione" (richiedendo un pesante pre-processing di pose e oggetti) o "generazione multi-riferimento" (che spesso manca di vincoli strutturali espliciti), portando a interazioni innaturali.

2. Metodologia: CoInteract

CoInteract è un framework end-to-end per la sintesi video di HOI guidato dal parlato, condizionato da un'immagine di riferimento della persona, un'immagine di riferimento del prodotto, prompt testuali e audio. Il cuore del sistema è un Diffusion Transformer (DiT) potenziato da due design complementari:

A. Co-Generazione Spazialmente Strutturata (Spatially-Structured Co-Generation)

Per insegnare al modello a "comprendere" le relazioni spaziali e non solo a vedere i pixel, CoInteract adotta un paradigma di training a doppio flusso all'interno di un unico backbone condiviso:

• Flusso RGB: Genera l'aspetto visivo standard (texture, colori).
• Flusso Struttura HOI (Ausiliario): Genera una rappresentazione strutturale dove il corpo umano è ridotto a un'ombra (silhouette) e l'oggetto mantiene la sua maschera proiettata, rimuovendo le texture RGB. Questo flusso funge da "impalcatura geometrica".
• Meccanismo di Attenzione Asimmetrica:
  • Durante l'addestramento, il flusso HOI assiste il flusso RGB tramite una maschera di attenzione asimmetrica. Il flusso HOI può guardare sia i token RGB che quelli HOI, mentre il flusso RGB guarda solo se stesso.
  • Questo forza il backbone condiviso a imparare le relazioni di interazione fisica.
  • Inferenza: Il ramo HOI viene rimosso completamente. Poiché i pesi sono stati regolarizzati dal flusso HOI durante il training, il modello genera video RGB fisicamente coerenti senza alcun costo computazionale aggiuntivo (zero-overhead).

B. Mixture-of-Experts (MoE) Consapevole dell'Uomo (Human-Aware MoE)

Per risolvere i problemi di dettaglio nelle regioni critiche:

• Viene introdotto un router leggero supervisionato spazialmente (basato su bounding box per mani e volti).
• Il router instrada i token specifici delle mani e dei volti a expert specializzati (Expert per la testa, Expert per la mano), mentre i token rimanenti vengono gestiti da un expert base condiviso.
• Questo approccio migliora la fedeltà strutturale di mani e volti con un aumento minimo dei parametri.

C. Codifica delle Coordinate 3D (3D RoPE)

Per integrare modalità eterogenee (movimento storico, riferimenti statici, flussi generativi), viene utilizzata una codifica posizionale rotazionale 3D (3D RoPE) che assegna coordinate spaziali e temporali distinte, permettendo al modello di distinguere tra contesto temporale, riferimenti di identità e generazione corrente.

3. Contributi Chiave

1. Framework End-to-End Unificato: CoInteract integra vincoli di geometria di interazione e prior strutturali direttamente nel backbone DiT, eliminando la necessità di pre-processing o post-processing esterni.
2. Human-Aware MoE: Un modulo che utilizza la supervisione spaziale per attivare esperti specializzati per mani e volti, riducendo drasticamente gli artefatti in queste regioni critiche con un overhead parametrico trascurabile.
3. Paradigma di Co-Generazione Asimmetrica: Un metodo di training che usa un flusso strutturale ausiliario per insegnare vincoli fisici, permettendo un'inferenza efficiente a singolo flusso (solo RGB) senza perdita di coerenza fisica.

4. Risultati Sperimentali

Il modello è stato valutato su un dataset di 12.000 clip ad alta qualità e confrontato con metodi avanzati (es. AnchorCrafter, Phantom, SkyReels-V3).

• Metriche Quantitative: CoInteract ottiene i migliori risultati in:
  • Plausibilità dell'interazione (VLM-QA): 0.72 (il più alto), indicando che le interazioni sono logicamente corrette.
  • Qualità delle Mani (HQ): 0.724, dimostrando una struttura delle mani più stabile e priva di distorsioni.
  • Coerenza Temporale e Identità: Eccelle nel mantenere la coerenza del soggetto e dell'oggetto nel tempo.
• Studio Utenti: In uno studio cecato con 24 valutatori, CoInteract ha ottenuto il rango medio più basso (migliore) in tutti i criteri, con un vantaggio significativo nella "Plausibilità dell'Interazione".
• Ablation Study: Rimuovere il flusso HOI causa un crollo del 33% nella plausibilità dell'interazione, mentre rimuovere il MoE degrada significativamente la qualità di mani e volti.

5. Significato e Impatto

CoInteract rappresenta un passo avanti significativo nella generazione video per l'e-commerce e i digital human. Risolve il problema fondamentale della "coerenza fisica" nelle interazioni uomo-oggetto, che è spesso il collo di bottiglia nei modelli attuali.

• Efficienza: A differenza di altri metodi che richiedono branch di inferenza complessi, CoInteract offre vincoli strutturali complessi durante il training ma un'inferenza leggera e veloce.
• Qualità: Garantisce che le mani non attraversino gli oggetti e che i dettagli anatomici rimangano stabili, rendendo il sistema pronto per applicazioni commerciali reali dove la credibilità del prodotto è essenziale.

In sintesi, CoInteract trasforma il generatore video da un semplice "creatore di apparenza" a un "motore di interazione consapevole della struttura", garantendo che le azioni umane sugli oggetti siano fisicamente possibili e visivamente stabili.