Hybrid Neural Radiance Fields and Diffusion-Based Framework for Geometry-Preserving Selfie Perspective

Ogni volta che una persona tiene uno smartphone a un braccio di distanza per scattare un selfie, sta involontariamente invitando un trucco geometrico. Poiché la fotocamera è così vicina al viso, le leggi della prospettiva causano una distorsione per cui le caratteristiche più vicine all'obiettivo — tipicamente il naso e le guance — appaiono sproporzionatamente grandi, mentre le orecchie e la parte posteriore della testa sembrano rimpicciolirsi e appiattirsi. Questa distorsione non è solo un fastidio estetico; altera la struttura fondamentale di un volto, creando proporzioni innaturali che possono confondere i sistemi di riconoscimento facciale, ostacolare la sicurezza biometrica e rendere gli avatar digitali inquietanti. Per anni, gli scienziati informatici hanno cercato di risolvere il problema usando software che semplicemente stirano o deformano l'immagine piatta, ma questi metodi spesso falliscono perché non comprendono che un volto è un oggetto tridimensionale, non un'immagine bidimensionale. Possono levigare una ruga, ma non possono ricostruire la forma sottostante di un naso che è stato allungato da un obiettivo grandangolare.

Per risolvere questo problema, i ricercatori si sono rivolti a un approccio più sofisticato che tratta il volto come un volume di spazio piuttosto che come una superficie piatta. Ciò comporta la ricostruzione della geometria 3D nascosta del volto partendo da una singola foto, calcolando esattamente come la fotocamera fosse posizionata e poi "spostando" matematicamente il punto di vista a una distanza più naturale. Tuttavia, farlo con una precisione sufficiente a sembrare reale è stato difficile. I metodi tradizionali producono spesso risultati sfocati o perdono l'identità unica della persona nel processo. Un nuovo studio condotto da un team di ricercatori provenienti da istituzioni dell'India e degli Stati Uniti propone un sistema ibrido che combina tre tecnologie distinte per superare questi ostacoli. Intrecciando un metodo per la costruzione di scene 3D, uno potente strumento matematico per trovare la soluzione ottimale e un sistema generativo per raffinare i dettagli dell'immagine, il team ha creato un framework capace di correggere la distorsione del selfie mantenendo il volto della persona esattamente identico a se stesso.

Il cuore di questo nuovo framework si basa su una tecnologia nota come Neural Radiance Fields, o NeRF. Immaginate una nuvola digitale di punti che riempie lo spazio attorno a un volto, dove ogni punto conosce il proprio colore e la propria densità. Invece di costruire un volto partendo da una maglia di fil di ferro (wireframe mesh), questo sistema impara a dipingere un volume continuo di luce e materia. Quando i ricercatori caricano un selfie distorto in questo sistema, esso stima prima la profondità del volto e la posizione della fotocamera. Successivamente, utilizza queste informazioni per ricostruire la piena forma 3D del volto, "de-distorcendo" efficacementamente la geometria simulando come apparirebbe il volto se la fotocamera fosse più lontana. Questo passaggio è crucialo perché ripristina le corrette relazioni spaziali tra naso, occhi e orecchie prima ancora che l'immagine venga generata.

Tuttavia, costruire questo modello 3D è un complesso puzzle matematico. Trovare la disposizione perfetta di punti e impostazioni della fotocamera richiede un processo di ottimizzazione, che è essenzialmente una ricerca della migliore risposta possibile tra miliardi di possibilità. I ricercatori hanno scoperto che i metodi di ricerca standard spesso rimangono bloccati in trappole locali o si muovono troppo lentamente per trovare la vera soluzione. Per risolvere il problema, hanno integrato una tecnica numerica di ordine superiore chiamata ottimizzazione Runge-Kutta. Invece di compiere piccoli passi incerti, come un escursionista che tasta il terreno per scendere da una montagna, questo metodo calcola la pendenza del terreno in diversi punti in anticipo per prevedere il percorso più efficiente. Ciò consente al sistema di convergere sulla corretta geometria 3D molto più velocemente e con maggiore stabilità, garantendo che il volto ricostruito sia strutturalmente solido e privo degli errori che affliggono i metodi più semplici.

Una volta che il sistema ha generato una ricostruzione 3D e l'ha renderizzata nuovamente in un'immagine 2D, il risultato è spesso geometricamente corretto, ma può apparire ancora leggermente morbido o privo della fine texture della pelle. Per affrontare questo problema, il team ha aggiunto una fase finale utilizzando un modulo di raffinamento basato sulla diffusione (diffusion-based). Questa componente agisce come un potenziatore d'immagine di alta gamma che impara a rimuovere la sfocatura e gli artefatti lasciati dal processo di rendering 3D. Funziona pulendo iterativamente l'immagine, riaggiungendo i dettagli nitidi dei pori della pelle e dei capelli, pur aderendo rigorosamente alla struttura geometrica stabilita nel passaggio precedente. Fondamentalmente, questo raffinamento è guidato da una funzione di perdita (loss function) che assicura che l'identità della persona rimanga invariata, impedendo al sistema di scambiare accidentalmente i tratti o di creare una versione "allucinata" del volto.

I ricercatori hanno testato il loro sistema su sei diversi dataset contenenti migliaia di volti, che spaziano da ritratti in studio controllati a selfie reali disordinati con angolazioni estreme e scarsa illuminazione. I risultati sono stati misurati utilizzando metriche standard che valutano la qualità dell'immagine e la preservazione dell'identità. Il nuovo framework ha raggiunto un rapporto segnale-rumore di picco di 32,8 decibel e un punteggio di somiglianza strutturale di 0,94, numeri che indicano un altissimo grado di fedeltà. Ancora più importante, il sistema ha mantenuto un punteggio di somiglianza dell'identità di 0,95, dimostrando che le immagini corrette somigliavano ancora ai soggetti originali. Nei confronti diretti, il nuovo metodo ha superato gli approcci esistenti basati su reti neurali convoluzionali e reti avversarie generative (GAN), che spesso faticavano a bilanciare l'accuratezza geometrica con il realismo visivo.

Lo studio conferma che combinare la ricostruzione 3D volumetrica con l'ottimizzazione avanzata e il raffinamento generativo offre una soluzione robusta al vecchio problema della distorsione dei selfie. Trattando il volto come un oggetto fisico nello spazio anziché come un'immagine piatta, il sistema può correggere le caratteristiche esagerate causate dalla fotografia a breve distanza senza perdere la somiglianza della persona. Sebbene l'attuale modello richieda una potenza di calcolo significativa e non sia ancora pronto per l'uso in tempo reale sui telefoni cellulari, i risultati suggeriscono una via chiara per applicazioni nella realtà aumentata, nella realtà virtuale e nella creazione di contenuti digitali. Il lavoro dimostra che quando la geometria, l'ottimizzazione e l'arte generativa sono allineate, è possibile ripristinare le proporzioni naturali del volto umano, trasformando un selfie distorto in un ritratto fedele.