Roomify: Spatially-Grounded Style Transformation for Immersive Virtual Environments

Il paper presenta Roomify, un sistema che trasforma gli spazi fisici in ambienti virtuali tematici preservandone la struttura spaziale e le funzionalità, offrendo un compromesso ottimale tra immersione totale e consapevolezza dell'ambiente reale.

L'essenziale

Immagina di avere un superpotere: quello di trasformare la tua stanza in qualsiasi mondo fantastico tu possa immaginare, senza però perdere la capacità di vedere dove sono i tuoi mobili e di non inciampare su una sedia.

Questo è esattamente ciò che fa Roomify, un nuovo sistema presentato dai ricercatori che sembra uscito da un film di fantascienza, ma che è già realtà.

Ecco come funziona, spiegato in modo semplice:

1. Il Problema: La scelta tra "Incantesimo" e "Sicurezza"

Fino ad oggi, usare gli occhiali per la Realtà Virtuale (VR) era come scegliere tra due opzioni scomode:

• Opzione A (Realtà Virtuale Pura): Ti chiudi in un mondo magico (come Hogwarts o una navicella spaziale), ma non vedi più la tua stanza reale. È bellissimo, ma rischioso: potresti camminare contro il divano perché non lo vedi più.
• Opzione B (Realtà Aumentata/Passthrough): Vedi la tua stanza reale attraverso le telecamere degli occhiali. Sei sicuro, ma l'incantesimo si rompe: vedi i tuoi vecchi mobili grigi e i cavi, e non ti senti più "dentro" la storia.

Roomify risolve questo dilemma. È come se avessi una bacchetta magica che non cancella i tuoi mobili, ma li trasforma in qualcosa di nuovo, mantenendo però la loro forma e posizione esatta.

2. Come funziona la magia? (L'Analogia del "Telaio Invisibile")

Immagina che la tua stanza sia un telaio di metallo (uno scheletro) e che i tuoi mobili siano solo "pelli" o vestiti appesi a quel telaio.

1. La Scansione (Lo Scheletro): Tu giri per la stanza con gli occhiali (come un Meta Quest 3). Il sistema crea una mappa 3D precisa di dove sono i muri, il divano e il tavolo. Questo è il tuo "scheletro" sicuro.
2. L'Idea (La Magia): Tu dici al sistema: "Voglio che la mia stanza sembri una nave pirata" oppure "Voglio che sembri una foresta incantata".
3. La Trasformazione (I Nuovi Vestiti): L'Intelligenza Artificiale prende lo scheletro della tua stanza e "veste" ogni oggetto con un nuovo stile:
   • Il tuo vecchio divano diventa un trono di velluto (ma rimane esattamente dove c'era il divano, così puoi sederti).
   • Il tuo frigorifero diventa una botte di legno (ma occupa lo stesso spazio, quindi non ci sbatti contro).
   • Le pareti diventano tende di muschio o mura di pietra.

3. Il "Laboratorio di Creazione" (MR e VR)

Il sistema ha un trucco speciale per aiutarti a controllare la magia. Funziona in due modalità:

• Modalità Laboratorio (MR): Indossando gli occhiali, vedi la tua stanza reale ma con delle "scatole virtuali" sopra i mobili. Puoi spostare queste scatole con le mani (come se fossero oggetti fisici) per dire all'IA: "Ehi, quel divano è troppo spostato, spostalo qui". È come modellare l'argilla prima di cuocerla.
• Modalità Immersione (VR): Una volta soddisfatto, entri nel mondo completo. Tutto è trasformato, ma la tua memoria spaziale dice: "Ah, sì, il divano è lì, posso sedermi".

4. Perché è così speciale? (I Risultati)

I ricercatori hanno fatto due test: uno con utenti normali e uno con designer professionisti.

• Per gli utenti: Hanno scoperto che Roomify è molto più immersivo (ti senti "dentro" la storia) rispetto a guardare la stanza reale attraverso le telecamere, ma molto più sicuro rispetto a stare in una stanza virtuale vuota dove non sai dove sono gli ostacoli.
• Per i designer: È stato un successo come strumento creativo. Hanno potuto trasformare una stanza in un set cinematografico in pochi minuti, mantenendo le proporzioni reali.

In sintesi

Roomify è come avere un architetto magico e un pittore che lavorano insieme nella tua testa. L'architetto sa esattamente dove sono i muri e i mobili (per la tua sicurezza), mentre il pittore li ridipinge e li rimodella per creare un mondo fantastico.

Non devi più scegliere tra essere al sicuro o essere immerso in una storia: con Roomify, la tua stanza reale diventa il palcoscenico perfetto per la tua fantasia.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "Roomify: Spatially-Grounded Style Transformation for Immersive Virtual Environments", presentato alla conferenza CHI '26.

1. Il Problema

L'adozione crescente dei visori VR in ambienti domestici per intrattenimento e lavoro creativo si scontra con un dilemma fondamentale: il compromesso tra immersione e consapevolezza spaziale.

• Realtà Virtuale (VR) Pura: Offre un'immersione totale ma isola l'utente dall'ambiente fisico, causando disorientamento spaziale e rischi di sicurezza (urtare contro mobili reali).
• Passthrough (Realtà Aumentata): Permette di vedere l'ambiente reale, mantenendo la sicurezza, ma interrompe la presenza ("dream collapsing effect") e rompe l'immersione narrativa.
• Approcci Esistenti: I sistemi di "proxy" o sostituzione parziale spesso mancano di flessibilità stilistica, si limitano a librerie di asset predefinite o applicano solo texture superficiali senza trasformare la geometria, fallendo nel mantenere la coerenza funzionale degli oggetti.

Obiettivo: Creare un sistema che trasformi radicalmente lo stile di una stanza fisica in un ambiente virtuale tematico, mantenendo al contempo la struttura spaziale, la semantica funzionale degli oggetti e la sicurezza dell'utente.

2. Metodologia: Il Pipeline di Roomify

Roomify è un sistema di trasformazione basato su un'architettura end-to-end che combina comprensione spaziale 3D, ragionamento AI e generazione di contenuti stilizzati. Il processo si articola in quattro fasi principali:

A. Comprensione della Scena Spaziale (Spatial Scene Understanding)

• Acquisizione: Utilizza un video RGB monoculare (30-60 secondi) catturato con Meta Quest 3.
• Ricostruzione Geometrica: Impiega SLAM3R per generare nuvole di punti dense e pose della camera.
• Allineamento e Parsing: Utilizza U-ARE-ME per allineare gli assi (Manhattan) e la gravità. Successivamente, SpatialLM analizza la scena per identificare elementi architettonici (muri, porte) e oggetti (mobili), generando un file JSON strutturato con bounding box orientate che fungono da "impalcature spaziali" (spatial scaffolds).

B. Estrazione e Mappatura dello Stile

• Input Multimodale: L'utente fornisce prompt testuali e/o immagini di riferimento.
• Agenti AI: Un agente linguistico (LLM) estrae parole chiave strutturate (categoria, palette colori, materiali, atmosfera).
• Mappatura: Un secondo agente genera una tabella di trasformazione che assegna a ogni componente (oggetti, muri, cielo) specifiche di generazione, garantendo quattro criteri:
  1. Coerenza Funzionale: L'oggetto mantiene il suo ruolo (es. una sedia rimane un sedile).
  2. Coerenza Stilistica: Allineamento con il tema globale.
  3. Coerenza Ambientale: Armonia con la scala e il layout reale.
  4. Sicurezza: Valutazione dei rischi di collisione.

C. Generazione di Contenuti Multimodali

• Oggetti In-Scene: Utilizza un flusso di lavoro guidato da riferimento in tre passaggi:
  1. Selezione del "Best-View Frame" dal video SLAM.
  2. Generazione di immagini stilizzate 2D tramite GPT Image-1 (preservando la geometria).
  3. Conversione in modelli 3D leggeri tramite Tripo AI (v2.5).
• Elementi di Confine: Generazione di texture PBR (RGB, normal maps) per muri e pavimenti.
• Contesto Ambientale: Creazione di skybox dinamici e audio ambientale tramite Blockade Labs e Kling-v2-1.

D. Composizione della Scena

• Registrazione Spaziale: Gli asset generati vengono allineati alle impalcature spaziali originali. Vengono applicati scaling isotropi e ottimizzazioni di rotazione per massimizzare l'intersezione (IoU) con gli oggetti reali, garantendo che i nuovi oggetti virtuali occupino lo stesso volume fisico approssimativo.

3. Strumento di Authoring Cross-Reality

Per gestire la precisione e il controllo creativo, Roomify introduce un tool ibrido che sfrutta i punti di forza di MR (Mixed Reality) e VR:

• Modalità MR (Editing): L'utente vede l'ambiente reale sovrapposto alle "impalcature" (wireframe) degli oggetti rilevati. Può manipolare direttamente le bounding box (spostare, ruotare, ridimensionare) e correggere errori di riconoscimento o allineamento. Fornisce feedback visivo immediato sui rischi di collisione (oggetti contrassegnati in rosso).
• Modalità VR (Preview): Transizione fluida all'esperienza immersiva completa, dove l'utente può valutare l'ambiente trasformato mantenendo la consapevolezza spaziale grazie alla corrispondenza con la geometria fisica.

4. Risultati degli Studi

Due studi utente hanno validato l'efficacia del sistema:

Studio 1: Valutazione dell'Esperienza Utente (18 partecipanti VR)

• Presenza: Roomify ha mostrato un miglioramento del 63% rispetto al passthrough e del 26% rispetto alla VR completamente virtuale.
• Consapevolezza Spaziale: Ha mantenuto una consapevolezza spaziale significativamente superiore alla VR pura, permettendo agli utenti di navigare in sicurezza senza urtare gli oggetti reali.
• Performance: Tempi di completamento dei task più rapidi rispetto alla VR pura e un carico cognitivo simile al passthrough.
• Preferenza: Il 78% dei partecipanti ha preferito Roomify.

Studio 2: Valutazione per Prototipazione Creativa (8 professionisti del design)

• Qualità della Scena: Roomify ha ottenuto un punteggio medio di 5.95/7, superando significativamente il "Re-texturing AI" (3.41) e la generazione "Text-to-3D" (4.50).
• Supporto alla Creatività: Punteggio di 6.08/7. I professionisti hanno apprezzato la capacità del sistema di comprendere la semantica funzionale (es. trasformare un frigorifero in una botte da pirata mantenendo la funzione di "contenitore") e di offrire coerenza stilistica globale.
• Utilizzo Professionale: Identificato come strumento ideale per la fase concettuale, la comunicazione con i clienti e lo storyboarding.

5. Contributi Chiave

1. Pipeline di Generazione Spazialmente Radicata: Un approccio che bilancia flessibilità stilistica e preservazione geometrica, trasformando stanze fisiche in ambienti tematici mantenendo la logica spaziale e funzionale.
2. Tool di Authoring Cross-Reality: Un'interfaccia innovativa che combina l'editing basato su MR (per il controllo spaziale preciso) con la preview immersiva in VR, permettendo un ciclo di iterazione fluido.
3. Validazione Empirica: Dimostrazione empirica che è possibile migliorare l'immersione e la presenza senza sacrificare la sicurezza spaziale, superando i limiti degli approcci attuali.

6. Significato e Impatto

Roomify risolve il paradosso storico della VR domestica: non è necessario scegliere tra essere "dentro" la storia o "sicuri" nella stanza. Trasformando l'ambiente fisico in un contenitore spaziale dinamico, il sistema permette agli utenti di vivere esperienze fantastiche (es. Harry Potter, Pirati dei Caraibi) restando ancorati alla realtà fisica.
Questo apre nuove frontiere per:

• Intrattenimento Domestico: Esperienze di gioco e cinema più immersive e sicure.
• Design e Prototipazione: Strumenti rapidi per visualizzazione di interni e comunicazione con i clienti.
• Sicurezza VR: Riduzione dei rischi di collisione mantenendo l'immersione, rendendo la VR più accessibile e sicura per l'uso quotidiano.

Il lavoro sottolinea come l'integrazione profonda tra comprensione spaziale reale e generazione AI creativa possa superare i compromessi tradizionali, offrendo un futuro in cui lo spazio fisico e quello virtuale collaborano invece di competere.