Technische Samenvatting: HairGPT

Probleemstelling

Digitale haarmodellering blijft een aanzienlijke uitdaging vanwege de inherente dualiteit van haar: het is tegelijkertijd vloeibaar en gestructureerd, chaotisch maar toch gekamd. Bestaande generatieve benaderingen, met name die welke vertrouwen op continue diffusievelden (bijvoorbeeld het projecteren van 3D-geometrie naar 2D-latente textuurkaarten), staan fundamenteel haaks op de gestructureerde aard van haar. Deze methoden verstrengelen globale topologie met lokale textuur, waardoor compositiebewerkingen – zoals het aanpassen van de krulstrakheid zonder de globale silhouet te veranderen – breekbaar of onuitvoerbaar worden. Bovendien bestaat er een diep semantisch gat tussen hoe menselijke makers haarstijlen intuïtief beschrijven en hoe deze modellen ze intern representeren. Huidige methoden behandelen haar vaak als een ongedifferentieerd signaal in plaats van als een bewust georganiseerde structuur die wordt gedicteerd door anatomische regio's en esthetische intentie.

Methodologie

De auteurs stellen HairGPT voor, een unificerend autoregressief raamwerk dat individuele haren behandelt als de fundamentele generatieve eenheden, en 3D-haarstijlsynthese formuleert als een gestructureerd sequentiemodelleerprobleem. De methodologie is gebaseerd op een Dual-Decoupled Representatie en een Haar-as-Taal paradigma.

1. Dual-Decoupled Haarstijl Parametrisatie

HairGPT ontkoppelt haarstijlmodellering langs twee orthogonale assen:

• Ruimtelijke Ontkoppeling (Hoofdhuid-niveau): De hoofdhuid wordt semantisch gepartitioneerd in acht distincte regio's (Voor, Top, Kroon, Nape, Links/Rechts Tempels, Links/Rechts Zijkanten) gebaseerd op de Hairmony-taxonomie. Een globale dichtheidskaart leidt de plaatsing van haarwortels binnen deze regio's, waarbij lokaliteit wordt afgedwongen.
• Structurele Ontkoppeling (Haar-niveau): De geometrie van elke haar wordt ontleed in een hiërarchische tuple $(u, c, r)$:
  • Wortel ($u$): Ruimtelijke coördinaten op het hoofdhuid-manifold.
  • Grove Vorm ($c$): Een laagfrequente ruggengraat die globale stroming en topologie vastlegt, geëxtraheerd via Discrete Cosine Transform (DCT) van segmentrichtingsvectoren.
  • Stijlresidu ($r$): Hoogfrequente geometrische details (bijvoorbeeld krullen, knikken) gedefinieerd als schaal- en rotatie-invariante afwijkingen van de grove ruggengraat in een lokaal coördinatenstelsel.

2. Sparse Guide Haar Extractie

Om autoregressieve modellering haalbaar te maken voor high-fidelity assets (die typisch $\sim 10^5$ haren bevatten), wordt de dichte ruwe geometrie gereduceerd tot een schaarse set van 512 representatieve Guide Haren. Dit wordt bereikt via frequentiebewuste clustering met DCT-gebaseerde vormdescriptoren, wat de artefacten vermijdt die geassocieerd zijn met Fourier-transformaties op open krommen.

3. Geometrische Tokenisatie

De continue geometrische representaties worden gediscretiseerd in een compact vocabulaire met behulp van gespecialiseerde tokenizers:

• Wortels: Gequantiseerd naar gehele UV-indexen op een $256 \times 256$-rooster.
• Geometrie: Een Multi-Head Product Quantization-schema (met 4 heads) encodeert de grove ruggengraat en stijlresiduen. Elke haar wordt weergegeven door 8 discrete tokens (4 voor grof, 4 voor stijl), wat de sequentielengte aanzienlijk reduceert in vergelijking met dichte krommeparametrisaties.
• Dichtheid: De globale dichtheidskaart wordt gecomprimeerd via een 2D VQ-VAE tot een sequentie van 1024 tokens.

4. Unificerend Autoregressief Synthese

HairGPT maakt gebruik van een decoder-only Vision-Language Model (gebaseerd op Qwen) om haar-tokens autoregressief te genereren onder multimodale conditionering (tekst en afbeelding).

• Hiërarchische Sequentieconstructie: Het generatieproces is georganiseerd in regio-bewuste, meerstapssequenties. Haren worden gegroepeerd per hoofdhuidregio en gegenereerd in drie distincte modi: Layout (voorspellen van wortelposities op basis van dichtheid), Coarse (voorspellen van globale vorm) en Style (voorspellen van fijne residuen).
• Trainingsstrategie: Het model wordt getraind met een meerstapsstrategie waarbij sequenties per keer uit één modus worden bemonsterd om foutaccumulatie te voorkomen. Een redundantiemasker sluit herhaalde ruimtelijke tokens uit van de verliesberekening in de coarse- en style-fases, aangezien deze alleen dienen als conditioneringsankers.
• Data-engine: Een schaalbaar pijplijn construeert een dataset van ongeveer 120k uitgelijnde triplets (Afbeelding, Tekst, 3D-Geometrie) door gebruik te maken van generatieve visuele synthese en het fine-tunen van een VLM (Qwen2.5-VL) met LoRA om regio-bewuste semantische annotaties te genereren.

Belangrijkste Bijdragen

1. Haar-as-Taal Paradigma: Het paper introduceert een herformulering van 3D-haargeneratie als een dual-decoupled autoregressief proces waarbij haren dienen als fundamentele generatieve eenheden, weg van holistische textuursynthese.
2. Geometrische Tokenisatie: Een nieuw schema gebaseerd op multi-head product quantization dat complexe topologie en hoogfrequente details efficiënt encodeert in een compact discreet vocabulaire (8 tokens per haar).
3. Hiërarchische Constructie & Training: Een meerstaps trainingsstrategie die generatie organiseert in regio-bewuste en fase-specifieke sequenties (Layout, Coarse, Style), wat de structurele coherentie en optimalisatiestabiliteit verbetert.
4. Robuuste Conditionering & Bewerking: Het raamwerk ondersteunt robuuste semantische conditionering via regio-bewuste tekstannotaties en maakt compositiebewerking mogelijk, waardoor synthese van zeldzame/complexere haarstijlen en aanpassing aan gestileerde domeinen mogelijk is.

Resultaten

De auteurs evalueren HairGPT tegen state-of-the-art baselines, waaronder diffusiegebaseerde methoden (DiffLocks) en reconstructiemethoden (HairStep, HAAR).

• Kwalitatieve Prestaties: HairGPT toont een superieure vaardigheid om hoogfrequente details (bijvoorbeeld strak gekrulde afro-texturen) en complexe topologische structuren (bijvoorbeeld knotjes, paardenstaarten) te synthetiseren terwijl structurele consistentie wordt behouden. Het houdt zich nauwkeuriger aan fijnkorrelige semantische instructies (bijvoorbeeld specifieke afscheidingslocaties, regionale stijlen) in vergelijking met HAAR.
• Kwantitatieve Metrieken: Op de DiffLocks-evaluatieset bereikt HairGPT een lagere Chamfer Distance (6,31 vs. 7,83) en een hogere F-score (0,828 vs. 0,824) in vergelijking met DiffLocks. Het bereikt ook een hogere CLIP-score (0,592) in door afbeelding geleide generatietaken.
• Ablatiestudies: Experimenten bevestigen de noodzaak van de multi-head tokenizer (verbetering van codebook-gebruik) en de coarse-style ontkoppeling (reductie van directionele fout en positionele drift). De studie toont ook aan dat het verwijderen van de meerstaps training of sequentiescheiders leidt tot geometrische instorting en chaotische haargeneratie.
• Toepassingen: Het raamwerk past zich succesvol aan gestileerde domeinen (bijvoorbeeld 2D-anime) aan via fine-tuning en ondersteunt flexibele multimodale bewerking, zoals het aanpassen van dichtheidskaarten of regionale tekstprompts om specifieke haarattributen te veranderen zonder de globale structuur te verstoren.

Betekenis en Claims

Het paper stelt dat de primaire betekenis van HairGPT niet alleen ligt in het produceren van een nieuw model, maar in het bevorderen van een nieuw generatief paradigma voor haar. Door over te stappen van het behandelen van haarstijlen als verstrengelde velden naar het zien ervan als expliciete, gestructureerde composities van haren, brengt het raamwerk het generatieve proces in lijn met de gestructureerde logica van professioneel kammen.

De auteurs claimen dat deze aanpak:

• Haargeneratie transformeert van een "ondoorzichtig textuursyntheseprobleem" naar een "doorzichtig, compositiegericht modelleringproces".
• Het gat overbrugt tussen menselijke intentie (taalkundige beschrijvingen) en 3D-geometrie door de hiërarchische organisatie van haren en regio's te internaliseren.
• Een fundament biedt voor toekomstige agentische systemen die capable zijn van iteratieve planning, bewerking en verificatie van haarstijlstructuren, en verder gaan dan eenmalige generatie naar interactieve 3D-haarcreatie.

De auteurs blijven bescheiden met betrekking tot huidige beperkingen, en erkennen dat het raamwerk afhankelijk is van een gefinetuned VLM voor annotaties (wat mogelijk niet perfect overeenkomt met expert menselijke labeling), dat de compacte tokenisatie onvermijdelijk enige lokale geometrische fideliteit opoffert voor haren met extreem hoge kromming, en dat dichte haren momenteel worden verkregen via interpolatie in plaats van directe generatie. Zij merken ook op dat autoregressieve inferentie momenteel trager is dan diffusiegebaseerde alternatieven.