💻 computer science

AHOY! Animatable Humans under Occlusion from YouTube Videos with Gaussian Splatting and Video Diffusion Priors

Il paper presenta AHOY, un metodo innovativo che ricostruisce avatar 3D animabili e completi da video monoculari in condizioni reali caratterizzate da forti occlusioni, sfruttando i priori dei modelli di diffusione video per generare supervisione densa su regioni non osservate e garantire una ricostruzione di alta qualità.

Autori originali: Aymen Mir, Riza Alp Guler, Xiangjun Tang, Peter Wonka, Gerard Pons-Moll

Pubblicato 2026-03-19

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Aymen Mir, Riza Alp Guler, Xiangjun Tang, Peter Wonka, Gerard Pons-Moll

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Ciao! Immagina di voler creare un "doppio digitale" perfetto di una persona, un ologramma 3D che puoi far muovere, girare e vestire come vuoi. Fino a oggi, per farlo, servivano studi cinematografici costosi, decine di telecamere e persone che stavano ferme e visibili da tutti i lati.

Il nuovo metodo chiamato AHOY (che sta per Animatable Humans under Occlusion from YouTube Videos) cambia le regole del gioco. Ecco come funziona, spiegato in modo semplice e con qualche metafora.

🌊 Il Problema: La Persona Nascosta

Immagina di guardare un video su YouTube di qualcuno che sta cucinando. La persona è spesso nascosta: a volte il corpo è coperto dal tavolo, a volte da un'altra persona, a volte dalla propria mano mentre mescola la pasta.
I metodi vecchi dicevano: "Non possiamo creare il modello 3D perché non vediamo tutto il corpo!". È come cercare di ricostruire un puzzle completo quando ti mancano metà dei pezzi e non sai nemmeno come sono fatti quelli mancanti.

🎨 La Soluzione: AHOY e l'Arte del "Fantasista"

AHOY è come un artista molto intelligente che guarda quel video imperfetto e dice: "Non importa se non vedo tutto, so come è fatto quel corpo, e posso immaginare (o 'allucinare' in termini tecnici) le parti mancanti in modo realistico".

Ecco i 4 trucchi principali che usa, spiegati con analogie:

1. Il "Fantasista" che riempie i buchi (Hallucination-as-Supervision)

Immagina di avere una foto sbiadita di un amico. Un normale computer direbbe: "Non vedo la sua schiena, non posso disegnarla".
AHOY usa un super-intelligenza artificiale (un modello di diffusione video) che è stato "addestrato" specificamente su quel video. È come se avessi un pittore che conosce così bene il tuo amico da poter dipingere la sua schiena, anche se non l'ha mai vista, basandosi su come si muove e su come è fatto il suo corpo.

Cosa fa: Prende le parti visibili, le usa come base, e poi "immagina" le parti nascoste (la schiena, le braccia dietro il tavolo) creando video finti ma perfetti che mostrano il corpo da tutte le angolazioni.

2. Costruire la casa prima di arredarla (Architettura a due stadi)

Non puoi costruire una casa complessa partendo dal nulla.

Fase 1 (La struttura grezza): AHOY crea prima una versione "sbozzata" e imperfetta del corpo 3D usando solo ciò che vede nel video. È come avere un manichino di cartapesta.
Fase 2 (L'arredamento di lusso): Poi, usa i video "immaginati" dal pittore (di cui parlavamo prima) per trasformare quel manichino grezzo in una statua di marmo perfetta, aggiungendo dettagli, pieghe dei vestiti e texture realistici.

3. Separare la posa dal movimento (Decoupling)

Questo è il trucco più geniale. Quando l'IA "immagina" le parti mancanti, a volte sbaglia un po' la prospettiva (come se un video fosse girato da due angolazioni leggermente diverse).
AHOY risolve questo problema separando due concetti:

La "Mappa" (Map Pose): È il modello statico del corpo in una posizione specifica (es. braccia alzate). Questo rimane fisso e coerente.
Il "Movimento" (LBS Pose): È il movimento che fa il corpo.
Immagina di avere una maschera di cera (la mappa) che non cambia mai, e un pupazzo di pezza (il movimento) che si muove. Se la maschera è perfetta, anche se il pupazzo si muove un po' storto, il risultato finale sembra perfetto perché la maschera corregge gli errori. Questo permette di usare i video "finti" dell'IA senza che il modello 3D finale sembri rotto o sfocato.

4. Il volto è sacro (Testa vs Corpo)

Le IA a volte sono brave a immaginare i vestiti, ma brutte a mantenere il volto identico (potrebbero farti sembrare un'altra persona).
AHOY fa una scissione:

Per il corpo, usa l'IA "fantasista" per riempire i buchi.
Per la faccia, usa un metodo diverso e più preciso che garantisce che il naso, gli occhi e la bocca rimangano esattamente quelli della persona originale, anche se il video originale era sfocato o nascosto.

🚀 Il Risultato Finale

Alla fine di questo processo, hai un avatar 3D completo e animabile.
Puoi prendere quel video YouTube in cui la persona era nascosta dal tavolo, e ora puoi:

Farla girare di 360 gradi (vedendo anche la schiena che prima non c'era).
Farla fare pose che non ha mai fatto nel video originale (es. saltare o sedersi).
Inserirla in un ambiente 3D realistico (come una stanza ricostruita con il telefono) e farla interagire con gli oggetti.

In sintesi

AHOY è come avere un mago che guarda un video sgranato e nascosto, e ti restituisce un ologramma perfetto, pronto per i videogiochi o i film, anche se nel video originale la persona era quasi completamente coperta. Trasforma il "non vedo" in "immagino e creo", aprendo la porta a milioni di video di YouTube come fonte per creare personaggi 3D.

1. Il Problema

La ricostruzione di avatar umani 3D fotorealistici e animabili a partire da video monocolari è un obiettivo fondamentale nella visione artificiale e nella computer grafica. Tuttavia, gli stati dell'arte attuali (basati su NeRF o 3D Gaussian Splatting - 3DGS) assumono quasi sempre che l'input sia non occluso e che il soggetto sia completamente visibile, spesso in una posa canonica.

Questa assunzione esclude la stragrande maggioranza dei video reali (ad esempio, quelli di YouTube), dove le persone sono spesso parzialmente o totalmente nascoste da mobili, oggetti o altre persone. Le sfide principali in questo scenario sono:

Mancanza di supervisione: Grandi porzioni del corpo non vengono mai osservate dalla telecamera.
Assenza di supervisione multi-vista: Non è possibile ottenere supervisione da più angolazioni per ogni posa specifica, rendendo difficile apprendere le deformazioni dipendenti dalla posa.
Inconsistenze geometriche: L'uso di modelli generativi per "riempire" le parti mancanti introduce spesso incoerenze geometriche tra le diverse viste.

2. Metodologia: AHOY

AHOY propone una pipeline in quattro stadi per ricostruire avatar 3D completi e animabili da video monocolari occlusi, sfruttando i priors dei modelli di diffusione video e la 3D Gaussian Splatting.

Fase 1: Costruzione dell'Avatar Grezzo (Coarse Avatar)

Mappatura della Texture: I frame del video vengono analizzati per stimare i parametri SMPL (forma e posa) e le mappe di visibilità. Utilizzando DensePose, le texture visibili vengono proiettate su una mappa UV canonica.
Inpainting: Le regioni non osservate (occluse) sulla mappa canonica vengono riempite utilizzando un modello di inpainting pre-addestrato (FLUX).
Generazione Multi-vista: Un modello di diffusione multi-vista genera 4 viste canoniche (frontale, posteriore, sinistra, destra) dall'immagine inpaintata.
Ricostruzione 3DGS: Viene addestrato un avatar 3DGS "grezzo" basato su una mappa gaussiana canonica (indipendente dalla posa), supervisionato dalle 4 viste generate e dai frame originali del video (mascherando le occlusioni).

Fase 2: Generazione di Supervisione Allucinata (Hallucinated Supervision)

Poiché l'avatar grezzo è incompleto e non generalizza a nuove pose, AHOY genera dati di supervisione sintetici:

Finetuning Identity-Specific: Un modello di diffusione video (Wan 2.2) viene finetunato con LoRA sul video di input per catturare l'identità specifica del soggetto (abbigliamento, aspetto).
Sequenze di Movimento Strutturate: Vengono generate sequenze di movimento specifiche (es. rotazioni a 360° con braccia alzate, pose statiche come seduti) per esporre tutte le superfici del corpo.
RF-Inversion (Rectified Flow Inversion): L'avatar grezzo viene animato in queste sequenze e i render risultanti (che contengono artefatti e texture mancanti) vengono passati attraverso lo spazio latente del modello di diffusione finetunato. Il processo di inversione "ripara" le texture mancanti e le allucina in modo coerente con l'identità del soggetto, generando video di supervisione densi e realistici.

Fase 3: Apprendimento dell'Avatar Completo (Full Avatar Learning)

Questa è la fase cruciale per gestire le incoerenze dei dati generati:

Decoupling Map-Pose / LBS-Pose: Per risolvere le incoerenze multi-vista introdotte dalla diffusione, il metodo introduce due pose distinte:
1. Map Pose ( $\theta_{map}$ ): Fissa per tutti i frame di una sequenza. Serve come input alla rete StyleUNet per generare una singola mappa gaussiana dipendente dalla posa.
2. LBS Pose ( $\theta_{lbs}$ ): Ottimizzata per ogni singolo frame. Viene usata per deformare i gaussiani tramite Linear Blend Skinning (LBS) e assorbe le incoerenze geometriche e le variazioni di vista presenti nei video generati.
Separazione Testa/Corpo: Poiché i modelli di diffusione spesso falliscono nel mantenere l'identità facciale, la testa viene gestita separatamente. Si utilizza un modello di diffusione multi-vista dedicato (CAP4D) per generare immagini facciali coerenti, supervisionando i gaussiani della testa (mappati tramite FLAME) separatamente dal corpo.

Fase 4: Animazione e Composizione

L'avatar finale può essere animato con pose SMPL arbitrarie e composto in scene 3DGS ricostruite da video casuali (es. smartphone), producendo rendering fotorealistici in tempo reale.

3. Contributi Chiave

Ricostruzione da Video Occlusi: Il primo metodo in grado di ricostruire avatar 3DGS completi e animabili da video "in-the-wild" (YouTube) con occlusioni pesanti.
Hallucination-as-Supervision: Un approccio innovativo che utilizza modelli di diffusione video finetunati e RF-Inversion per generare dati di supervisione densi per regioni mai osservate.
Architettura a Due Stadi (Canonico -> Dipendente dalla Posa): Una progressione che parte da una rappresentazione canonica per poi apprendere deformazioni dipendenti dalla posa, abilitata dalla supervisione multi-vista generata artificialmente.
Decoupling Map-Pose/LBS-Pose: Una tecnica architetturale che permette di apprendere mappe gaussiane ad alta fedeltà da dati generati non geometricamente consistenti, separando la generazione della texture dalla deformazione geometrica frame-per-frame.
Strategia di Supervisione Separata: Una divisione testa/corpo che preserva l'identità facciale, evitando che i difetti della generazione video corrompano i lineamenti del viso.

4. Risultati Sperimentali

Il metodo è stato valutato su:

Video YouTube: 50 video con occlusioni significative.
Dataset BEHAVE: Dati multi-vista con occlusioni reali (interazione con oggetti).

Prestazioni:

AHOY supera lo stato dell'arte (baselines come LHM, IDOL, PSHuman, SyncHuman) in tutti i metrici (PSNR, SSIM, LPIPS) sia per la ricostruzione statica che per l'animazione.
Qualità: Produce avatar completi anche quando il 50% o più del corpo è occluso, mentre i metodi baselines falliscono o producono artefatti gravi.
Robustezza: Gli avatar ricostruiti possono essere animati con pose inedite e integrati in scene 3D senza artefatti evidenti.
Ablation Study: Le analisi dimostrano che ogni componente (inversione RF, decoupling pose, separazione testa/corpo) è essenziale per le prestazioni finali.

5. Significato e Impatto

AHOY rappresenta un passo avanti significativo verso lo sfruttamento della vastissima quantità di video esistenti su internet (come YouTube) come fonte di asset 3D umani.

Democratizzazione: Rimuove la necessità di setup di acquisizione controllati, rig multi-vista o cooperazione del soggetto.
Nuovi Paradigmi: Trasforma l'occlusione, tradizionalmente vista come un ostacolo insormontabile, in un problema risolvibile tramite l'uso intelligente di priors generativi.
Applicazioni: Apre nuove possibilità per videogiochi, realtà virtuale, produzione cinematografica e metaverso, permettendo di creare avatar digitali realistici da qualsiasi video disponibile online.

In sintesi, AHOY combina la velocità e la qualità del 3D Gaussian Splatting con la capacità generativa dei modelli di diffusione video per superare i limiti fisici delle telecamere reali, aprendo la strada a una ricostruzione umana 3D scalabile e ubiqua.