Riepilogo Tecnico: HairGPT

Enunciato del Problema

La modellazione digitale dei capelli rimane una sfida significativa a causa della dualità intrinseca dei capelli: sono simultaneamente fluidi e strutturati, caotici ma curati. Gli approcci generativi esistenti, in particolare quelli basati su campi di diffusione continui (ad esempio, il proiettare geometrie 3D in mappe di texture latenti 2D), sono fondamentalmente disallineati con la natura strutturata dei capelli. Questi metodi intrecciano la topologia globale con la texture locale, rendendo la modifica composita — come modificare la strettezza delle onde senza alterare la silhouette globale — fragile o irrealizzabile. Inoltre, esiste un profondo divario semantico tra il modo in cui i creatori umani descrivono intuitivamente le acconciature e il modo in cui questi modelli le rappresentano internamente. I metodi attuali spesso trattano i capelli come un segnale indifferenziato piuttosto che come una struttura intenzionalmente organizzata governata da regioni anatomiche e intento estetico.

Metodologia

Gli autori propongono HairGPT, un framework autoregressivo unificato che tratta i singoli ciocchi come unità generative fondamentali, formulando la sintesi dell'acconciatura 3D come un problema di modellazione di sequenze strutturate. La metodologia si basa su una Rappresentazione a Doppio Disaccoppiamento e su un paradigma Ciocco-Come-Linguaggio.

1. Parametrizzazione dell'Acconciatura a Doppio Disaccoppiamento

HairGPT disaccoppia la modellazione dell'acconciatura lungo due assi ortogonali:

• Disaccoppiamento Spaziale (Livello Cuoi Capelluto): Il cuoio capelluto è semanticamente partizionato in otto regioni distinte (Fronte, Vertice, Corona, Nuca, Tempie Sinistra/Destra, Fianchi Sinistro/Destro) basandosi sulla tassonomia Hairmony. Una mappa di densità globale guida il posizionamento delle radici dei ciocchi all'interno di queste regioni, imponendo la località.
• Disaccoppiamento Strutturale (Livello Ciocco): La geometria di ogni ciocco è decomposta in una tupla gerarchica $(u, c, r)$:
  • Radice ($u$): Coordinate spaziali sulla varietà del cuoio capelluto.
  • Forma Grezza ($c$): Una spina dorsale a bassa frequenza che cattura il flusso globale e la topologia, estratta tramite Trasformata Discreta del Coseno (DCT) dei vettori di direzione dei segmenti.
  • Residuo di Stile ($r$): Dettagli geometrici ad alta frequenza (ad esempio, riccioli, nodi) definiti come deviazioni invarianti rispetto a scala e rotazione dalla spina dorsale grezza in un sistema di coordinate locale.

2. Estrazione di Ciocchi Guida Sparsi

Per rendere la modellazione autoregressiva trattabile per asset ad alta fedeltà (che tipicamente contengono $\sim 10^5$ ciocchi), la geometria grezza densa è condensata in un insieme sparso di 512 Ciocchi Guida Rappresentativi. Ciò è ottenuto tramite clustering consapevole della frequenza utilizzando descrittori di forma basati su DCT, il quale evita gli artefatti associati alle trasformate di Fourier su curve aperte.

3. Tokenizzazione Geometrica

Le rappresentazioni geometriche continue sono discretizzate in un vocabolario compatto utilizzando tokenizer specializzati:

• Radici: Quantizzate in indici UV interi su una griglia $256 \times 256$.
• Geometria: Uno schema di Quantizzazione Prodotto Multi-Testa (utilizzando 4 teste) codifica la spina dorsale grezza e i residui di stile. Ogni ciocco è rappresentato da 8 token discreti (4 per la parte grezza, 4 per lo stile), riducendo significativamente la lunghezza della sequenza rispetto alle parametrizzazioni di curve dense.
• Densità: La mappa di densità globale è compressa tramite un VQ-VAE 2D in una sequenza di 1024 token.

4. Sintesi Autoregressiva Unificata

HairGPT impiega un Modello Linguaggio-Visivo (VLM) basato solo su decoder (basato su Qwen) per generare token di capelli in modo autoregressivo sotto condizionamento multimodale (testo e immagine).

• Costruzione di Sequenze Gerarchiche: Il processo di generazione è organizzato in sequenze multi-stadio consapevoli delle regioni. I ciocchi sono raggruppati per regioni del cuoio capelluto e generati in tre modalità distinte: Layout (predizione delle posizioni delle radici basata sulla densità), Grezzo (predizione della forma globale) e Stile (predizione dei residui fini).
• Strategia di Addestramento: Il modello è addestrato utilizzando una strategia multi-stadio in cui le sequenze sono campionate da una sola modalità alla volta per prevenire l'accumulo di errori. Una maschera di ridondanza esclude i token spaziali ripetuti dal calcolo della perdita nelle fasi grezza e di stile, poiché servono solo come ancoraggi di condizionamento.
• Motore Dati: Una pipeline scalabile costruisce un dataset di ~120k triple allineate (Immagine, Testo, Geometria 3D) sfruttando la sintesi visiva generativa e affinando un VLM (Qwen2.5-VL) con LoRA per generare annotazioni semantiche consapevoli delle regioni.

Contributi Chiave

1. Paradigma Ciocco-Come-Linguaggio: Il documento introduce una riformulazione della generazione di capelli 3D come processo autoregressivo a doppio disaccoppiamento in cui i ciocchi fungono da unità generative fondamentali, allontanandosi dalla sintesi olistica delle texture.
2. Tokenizzazione Geometrica: Uno schema innovativo basato sulla quantizzazione prodotto multi-testa che codifica in modo efficiente topologie complesse e dettagli ad alta frequenza in un vocabolario discreto compatto (8 token per ciocco).
3. Costruzione Gerarchica e Addestramento: Una strategia di addestramento multi-stadio che organizza la generazione in sequenze consapevoli delle regioni e specifiche per la fase (Layout, Grezzo, Stile), migliorando la coerenza strutturale e la stabilità dell'ottimizzazione.
4. Condizionamento Robusto e Modifica: Il framework supporta un condizionamento semantico robusto tramite annotazioni testuali consapevoli delle regioni e abilita la modifica composita, consentendo la sintesi di acconciature rare/complesse e l'adattamento a domini stilizzati.

Risultati

Gli autori valutano HairGPT rispetto a baseline dello stato dell'arte, inclusi metodi basati su diffusione (DiffLocks) e metodi di ricostruzione (HairStep, HAAR).

• Prestazioni Qualitative: HairGPT dimostra una capacità superiore di sintetizzare dettagli ad alta frequenza (ad esempio, texture afro strettamente arrotolate) e strutture topologiche complesse (ad esempio, chignon, code di cavallo) mantenendo la coerenza strutturale. Si attiene più strettamente a istruzioni semantiche fini-grana (ad esempio, posizioni specifiche della riga, stili regionali) rispetto a HAAR.
• Metriche Quantitative: Sul set di valutazione DiffLocks, HairGPT ottiene una Distanza di Chamfer inferiore (6,31 contro 7,83) e un punteggio F più alto (0,828 contro 0,824) rispetto a DiffLocks. Ottiene anche un punteggio CLIP più alto (0,592) nei compiti di generazione guidata da immagini.
• Studi di Ablazione: Gli esperimenti confermano la necessità del tokenizer multi-testa (migliorando l'utilizzo del codice) e del disaccoppiamento grezzo-stile (riducendo l'errore direzionale e la deriva posizionale). Lo studio mostra inoltre che la rimozione dell'addestramento multi-stadio o dei separatori di sequenza porta al collasso geometrico e a una generazione caotica dei ciocchi.
• Applicazioni: Il framework si adatta con successo a domini stilizzati (ad esempio, anime 2D) tramite affinamento e supporta la modifica multimodale flessibile, come la modifica delle mappe di densità o dei prompt testuali regionali per alterare attributi specifici dei capelli senza disturbare la struttura globale.

Significato e Affermazioni

Il documento sostiene che il significato primario di HairGPT non risiede meramente nella produzione di un nuovo modello, ma nell'avanzamento di un nuovo paradigma generativo per i capelli. Spostandosi dal trattare le acconciature come campi intrecciati al vederle come composizioni esplicite e strutturate di ciocchi, il framework allinea il processo generativo alla logica strutturata della cura professionale.

Gli autori affermano che questo approccio:

• Trasforma la generazione di capelli da un "problema opaco di sintesi delle texture" in un "processo trasparente e compositivo di modellazione".
• Colma il divario tra l'intento umano (descrizioni linguistiche) e la geometria 3D interiorizzando l'organizzazione gerarchica dei ciocchi e delle regioni.
• Fornisce una base per futuri sistemi agenziali capaci di pianificazione iterativa, modifica e verifica delle strutture delle acconciature, andando oltre la generazione singola verso la creazione interattiva di acconciature 3D.

Gli autori rimangono modesti riguardo alle limitazioni attuali, riconoscendo che il framework si basa su un VLM affinato per le annotazioni (che potrebbe non corrispondere perfettamente all'etichettatura umana esperta), che la tokenizzazione compatta sacrifica inevitabilmente una certa fedeltà geometrica locale per ciocchi con curvatura estremamente elevata, e che i capelli densi sono attualmente ottenuti tramite interpolazione piuttosto che generazione diretta. Notano inoltre che l'inferenza autoregressiva è attualmente più lenta rispetto alle alternative basate su diffusione.