Frequency-Decomposed Avatar Representation for Varying Camera Distances

Immaginate di cercare di catturare una persona in un mondo digitale in modo così perfetto da poterle avvicinare, ispezionare la trama della sua camicia o fare un passo indietro per vedere tutto il suo corpo in una stanza affollata. Per anni, gli scienziati informatici hanno lottato per creare questi "umani digitali" che sembrino reali a ogni distanza. Il problema è un compromesso: i metodi che appaiono nitidi quando sei vicino spesso diventano sfocati o glitchati quando ti allontani, mentre i metodi che funzionano bene da lontano perdono i dettagli fini necessari per una visione ravvicinata. Questa limitazione ha frenato le applicazioni nella realtà virtuale, nei videogiochi e nella telepresenza, dove gli utenti devono interagire con persone digitali in modo naturale, muovendosi liberamente senza che l'immagine si frammenti.

La soluzione a questo problema è stata a lungo un concetto noto come "livello di dettaglio", una tecnica utilizzata nella computer grafica per semplificare oggetti complessi quando sono lontani e aggiungere dettagli quando sono vicini. Tuttavia, i metodi esistenti per creare avatar umani animati non sono stati in grado di applicare questa idea in modo fluido. Si affidano o a forme 3D rigide che mancano di texture, o a migliaia di piccoli punti fluttuanti che diventano disordinati e lenti quando la telecamera si avvicina troppo. Un team di ricercatori ha sviluppato un nuovo modo per costruire questi umani digitali che risolve questo problema della distanza, permettendo una singola rappresentazione di alta qualità che appare realistica sia che tu stia a pochi centimetri di distanza, sia che tu sia dall'altra parte della stanza.

I ricercatori, lavorando con dati provenienti da telecamere ad alta risoluzione, hanno creato un sistema che chiamano CloseUpAvatar. Invece di cercare di costruire la persona partendo da una mesh solida o da una nuvola di milioni di punti, rappresentano il corpo umano come una collezione di piccoli quadrati piatti e testurizzati. Pensate a questi quadrati come a piccoli cartelloni pubblicitari flessibili che coprono la superficie del corpo. Ciascuno di questi cartelloni porta con sé la propria immagine, che può cambiare mentre la persona si muove. L'innovazione chiave risiede nel modo in cui queste immagini vengono memorizzate. Il team si è reso conto che un singolo file immagine non può gestire contemporaneamente sia i colori ampi di un volto che i dettagli nitidi di un poro della pelle senza confondersi.

Per risolvere questo problema, hanno diviso l'informazione visiva in due strati separati per ogni singolo cartellone. Uno strato contiene i dettagli a bassa frequenza, ovvero i colori e le forme morbide e generali che definiscono l'aspetto complessivo della persona. Il secondo strato contiene i dettagli ad alta frequenza, ovvero le texture nitide e definite come rughe, pori e trame dei tessuti. Il sistema è progettato per essere intelligente su quando utilizzare quale strato. Quando la telecamera è lontana, il sistema mostra solo lo strato a bassa frequenza, che è efficiente e appare perfetto da lontano. Man mano che la telecamera si avvicina, il sistema fonde automaticamente e gradualmente lo strato ad alta frequenza. Questa transizione avviene in modo così fluido che lo spettatore non nota mai il passaggio; l'immagine diventa semplicemente più nitida man mano che ci si avvicina, senza salti improvvisi o sfocature.

I ricercatori hanno testato questo approccio utilizzando un ampio dataset di persone reali filmate da molte angolazioni, incluse riprese ad alta risoluzione che hanno permesso di simulare primi piani estremi. Hanno confrontato il loro nuovo metodo con le migliori tecniche attuali nel campo. I risultati hanno mostrato che, mentre altri metodi faticavano a produrre un'immagine chiara quando la telecamera zoomava, risultando spesso con volti sfocati o distorti, il loro nuovo sistema manteneva una qualità fotorealistica. Infatti, il nuovo metodo è stato in grado di renderizzare questi avatar dettagliati a una velocità di oltre 200 fotogrammi al secondo, il che è sufficientemente veloce per l'interazione in tempo reale nella realtà virtuale. Questa velocità è stata raggiunta utilizzando molti meno blocchi costruttivi rispetto ai metodi precedenti, dimostrando che avere meno pezzi, ma più intelligenti, è più efficace che averne milioni di semplici.

Uno dei risultati più significativi è stato che il sistema poteva imparare a gestire queste diverse distanze durante il processo di addestramento. I ricercatori hanno insegnato al computer mostrandogli la stessa persona sia molto da vicino che molto da lontano, una tecnica che ha causato il fallimento di altri metodi o la produzione di strani artefatti. Utilizzando il loro approccio di divisione delle frequenze, il sistema ha imparato a separare la forma generale dai dettagli fini, permettendogli di adattarsi istantaneamente alla posizione della telecamera. Ciò significa che un umano digitale creato con questo metodo può essere osservato da vicino, ispezionato e visto da lontano senza che la qualità dell'immagine degradi mai.

Il lavoro dimostra che è possibile avere un essere umano digitale che sia allo stesso tempo efficiente e incredibilmente dettagliato. I ricercatori hanno osservato che, sebbene il loro sistema sia altamente efficace per il corpo e le caratteristiche generali, affronta ancora sfide con dettagli estremamente fini come le singole dita o le espressioni facciali complesse, che rimangono un'area di miglioramento futuro. Tuttavia, per il compito ampio di creare persone digitali realistiche e interattive, questo nuovo approccio offre un salto significativo in avanti. Rimuove la barriera tra l'utente e il mondo digitale, assicurando che, indipendentemente da quanto ci si avvicini, la persona sullo schermo sembri reale tanto quanto lo era da lontano.