UP2You: Fast Reconstruction of Yourself from Unconstrained Photo Collections

Each language version is independently generated for its own context, not a direct translation.

UP2YOU: Je digitale dubbelganger in 1,5 minuut, gemaakt van je oude foto's

Stel je voor dat je een enorme schoenendoos vol met foto's hebt. Sommige foto's zijn van je gezicht, andere van je rug, weer andere zijn half afgesneden, wazig, of je staat erop met een gekke houding. Je wilt hieruit een perfecte, driedimensionale (3D) poppetje van jezelf maken, zodat je die in een virtuele wereld kunt dragen of bewegen.

Vroeger was dit een nachtmerrie voor computers. Ze hadden perfecte, studio-opnames nodig: je stond stil, de camera's draaiden perfect om je heen, en je had geen last van schaduwen of mensen die in de weg liepen. Als je alleen maar "rommelige" foto's uit je telefoon had, gaf de computer het op of maakte hij een vreemd, vervormd monster van je.

UP2YOU is de nieuwe oplossing die dit probleem oplost. Het is als een slimme, digitale chef-kok die van een hoop losse ingrediënten (je oude foto's) een perfect gerecht (je 3D-figuur) bakt, zonder dat je er uren voor hoeft te wachten.

Hier is hoe het werkt, vertaald in alledaagse termen:

1. De "Schoonmaakrobot" (De Data Rectifier)

Stel je voor dat je een rommelige kamer hebt met foto's die overal liggen. De oude methoden probeerden deze foto's in te drukken in een kleine doos (tokens) en hoopten dat de computer er een 3D-figuur uit kon toveren. Dat duurde uren en het resultaat was vaak raar.

UP2YOU doet iets anders: het is een schoonmaakrobot.

Het neemt al die rommelige foto's.
Het "repareert" ze direct. Het denkt: "Oké, deze foto is van links, die van rechts, en die is van achteren, maar dan schuin."
Het maakt er direct een setje van perfecte, schone foto's van, alsof je in een studio staat met camera's die je van alle kanten omcirkelen.
Dit gebeurt in 30 seconden. Geen wachten, geen ingewikkelde instellingen.

2. De "Slimme Puzzellegger" (PCFA)

Het grootste probleem bij het maken van een 3D-figuur uit losse foto's is: Welke foto moet ik gebruiken voor welk deel?
Als je een foto van je rug hebt, wil je die niet gebruiken om je gezicht te tekenen.

UP2YOU heeft een slimme module genaamd PCFA (Pose-Correlated Feature Aggregation).

De Analogie: Stel je voor dat je een puzzel maakt, maar je hebt 50 verschillende puzzelboxen door elkaar gegooid. De PCFA is als een super-snelle detective die zegt: "Voor het linkerbeen heb ik de foto's nodig waar je links staat, en voor de mouw heb ik de foto's nodig waar je je arm hebt opgeheven."
Het selecteert alleen de belangrijkste stukjes van de juiste foto's en negeert de rest. Hierdoor wordt het proces supersnel en blijft het geheugen van je computer klein, zelfs als je 50 foto's hebt.

3. De "Kledingpasproef" (Shape Predictor)

Oude methoden hadden vaak een standaard "mannequin" nodig om te beginnen. Als je een heel slank of heel breed lichaam had, paste dat niet.
UP2YOU heeft een slimme schatting.

Het kijkt naar al je foto's samen en zegt: "Ah, deze persoon heeft lange benen en een brede schouder."
Het bouwt direct een 3D-skelet (een SMPL-X model) dat precies bij jou past, zonder dat je eerst een 3D-scan hebt laten maken.

4. Het Resultaat: Jouw Digitale Ik

Na deze stappen (die samen ongeveer 1,5 minuut duren), heb je:

Een 3D-figuur van jezelf, compleet met kleding en textuur.
Je kunt hem draaien, van alle kanten bekijken.
Je kunt hem kleden in andere kledingstukken (virtuele pasproef).
Je kunt hem laten dansen of bewegen.

Waarom is dit zo speciaal?

Snelheid: Het duurt 1,5 minuut in plaats van 4 uur.
Geen "perfecte" foto's nodig: Je kunt foto's gebruiken die je op een feestje hebt gemaakt, waar je misschien een glas in je hand hebt of waar iemand voor je staat. UP2YOU vult de gaten in.
Herkenbaarheid: Het ziet er echt uit als jij, niet als een generiek poppetje.

Kortom: UP2YOU is als een magische spiegel die niet alleen je huidige reflectie laat zien, maar je ook in een compleet nieuwe, driedimensionale wereld plaatst, gemaakt van de losse foto's die je al in je telefoon hebt. Het maakt 3D-recreatie toegankelijk voor iedereen, niet alleen voor experts met dure camera's.

Each language version is independently generated for its own context, not a direct translation.

Titel: UP2YOU: Snelle reconstructie van jezelf uit onbeperkte fotocollecties

Auteur: Zeyu Cai et al. (Westlake University, Nanjing University, HKUST-GZ)
Publicatie: ICLR 2026

1. Het Probleem

Het reconstrueren van hoogwaardige 3D-kledingfiguren (geklede mensen) uit onbeperkte ("in-the-wild") fotoalbums is een grote uitdaging. Bestaande methoden hebben vaak te maken met de volgende beperkingen:

Ongeordende invoer: Foto's variëren sterk in houding, camerahoek, bijsnijding en hebben vaak gedeeltelijke occlusies (verdringing).
Gebrek aan synchronisatie: Camera- en lichaamshoudingen zijn zelden gesynchroniseerd.
Huidige oplossingen zijn traag of onnauwkeurig:
- Data-compressie methoden (zoals PuzzleAvatar) comprimeren foto's naar tokens en gebruiken dure fine-tuning (DreamBooth) en SDS-optimatie (Score Distillation Sampling). Dit duurt uren en leidt vaak tot "hallucinaties" of verlies van identiteit.
- Data-reparatie methoden bestaan vaak alleen voor één enkele foto en kunnen geen gebruik maken van meerdere beschikbare foto's om de kwaliteit te verbeteren.
Afhankelijkheid van grondwaarheid: Veel methoden vereisen vooraf vastgelegde 3D-lichaamsmallen (templates) met bekende vormen, wat in realistische scenario's niet beschikbaar is.

2. Methodologie: UP2YOU

UP2YOU introduceert een nieuw paradigma: de "Data Rectifier" (Data-reparator). In plaats van data te comprimeren voor langzame generatieve optimalisatie, converteert het ruwe, ongeordende foto's direct naar schone, orthogonale multi-view beelden en normal maps in één doorloop (forward pass).

Het proces bestaat uit drie hoofdstappen:

A. Orthogonale Multi-view Beeldgeneratie met PCFA

Het kernidee is het omzetten van willekeurige foto's naar zes orthogonale weergaven (0°, 45°, 90°, etc.) gebaseerd op een standaard SMPL-X normal map.

Pose-Correlated Feature Aggregation (PCFA): Dit is de belangrijkste innovatie. Omdat niet alle invoerfoto's relevant zijn voor elke doel-houding (bijv. een achterkant-foto is nutteloos voor een vooraanzicht), selecteert PCFA alleen de meest informatieve kenmerken.
- Het module voorspelt correlatiekaarten tussen de invoerfoto's en de doel-houding (SMPL-X normal).
- Het gebruikt een Top-K selectiestrategie om alleen de meest relevante kenmerken uit de referentieafbeeldingen te aggregeren voor het genereren van de doelweergave.
- Voordeel: Het geheugengebruik blijft bijna constant, ongeacht het aantal invoerfoto's (van 1 tot tientallen), wat zeer efficiënt is.

B. Normal Map Generatie en Mesh Reconstructie

Nadat de orthogonale RGB-beelden zijn gegenereerd, gebruikt het systeem een tweede MV-Adapter (Multi-View Adapter) om corresponderende normal maps te genereren.
Deze normal maps dienen als geometrische aanwijzingen.
Het systeem start met een initieel SMPL-X mesh, "snijdt" (carving) de details bij met de gegenereerde normal maps en "bakt" (texture baking) de kleuren van de gegenereerde RGB-beelden op het mesh.
Handgedeelten worden vaak vervangen door de initiële mesh om artefacten te voorkomen.

C. Multi-Reference Shape Predictor

Om de afhankelijkheid van vooraf bekende lichaamsvormen te elimineren:

Er wordt een Perceiver-gebaseerde shape predictor ontwikkeld.
Deze module neemt DINO-features van meerdere onbeperkte foto's als input en regresseert direct de SMPL-X vormparameters ( $\beta$ ).
Dit stelt het systeem in staat om de juiste lichaamsvorm te schatten zonder grondwaarheid, zelfs bij gedeeltelijke of occludeerde invoer.

3. Belangrijkste Bijdragen

Efficiëntie: UP2YOU is een tuning-vrije oplossing die een volledige 3D-reconstructie in 1,5 minuut voltooit (vs. uren voor bestaande methoden). Het werkt in één doorloop.
Effectiviteit (PCFA): De Pose-Correlated Feature Aggregation module zorgt voor een betere behoud van identiteit en detail, zelfs bij zeer diverse invoer. De kwaliteit verbetert zelfs naarmate er meer foto's worden toegevoegd ("The More You See in 2D, the More You Perceive in 3D").
Geen Ground-Truth Vorm nodig: Het systeem schat de lichaamsvorm direct uit de foto's, waardoor het toepasbaar is op willekeurige real-world fotoalbums zonder vooraf gescande 3D-data.
Veelzijdigheid: Het ondersteunt willekeurige pose-controle en maakt training-vrije 3D virtuele pasproeven (virtual try-on) mogelijk.

4. Resultaten

UP2YOU is geëvalueerd op de datasets PuzzleIOI, 4D-Dress en een zelfverzamelde in-the-wild dataset.

Kwantitatieve prestaties:
- Geometrie: 15% verbetering in Chamfer-distance en 18% verbetering in Point-to-Surface (P2S) afstand op PuzzleIOI ten opzichte van de state-of-the-art (SOTA).
- Textuur: 21% hogere PSNR en 46% lagere LPIPS op 4D-Dress, wat duidt op veel betere textuurfideliteit en perceptuele gelijkenis.
- Vormvoorspelling: De shape predictor presteert aanzienlijk beter (lagere V2V-fout en lagere variantie) dan bestaande single-image methoden zoals Semantify en PromptHMR, vooral bij gedeeltelijke invoer.
Kwalitatieve prestaties:
- UP2YOU behoudt gezichtsdetails en kledingpatronen veel beter dan methoden zoals AvatarBooth en PuzzleAvatar.
- Het systeem is robuust tegen extreme occlusies en variabele houdingen.
- Het produceert consistente resultaten over verschillende doel-houdingen heen.

5. Betekenis en Impact

UP2YOU markeert een verschuiving in het veld van 3D-human reconstructie:

Van "Compressie" naar "Rectificatie": Het bewijst dat het direct omzetten van "vuile" data naar gestructureerde data (orthogonale views) superieur is aan het comprimeren van data naar tokens voor generatieve modellen.
Praktische Toepasbaarheid: Met een verwerkingstijd van slechts 1,5 minuut per persoon en het vermogen om willekeurige fotoalbums (zoals van een smartphone) te verwerken, maakt het 3D-avatar creatie toegankelijk voor real-world scenario's zonder dure apparatuur of geavanceerde 3D-kennis.
Toekomstige Toepassingen: De technologie opent de deur voor snelle 3D virtuele pasproeven, personalisatie van digitale avatars en het digitaliseren van menselijke collecties op schaal.

Conclusie: UP2YOU is de eerste tuning-vrije methode die hoogwaardige, getextureerde 3D-kledingfiguren kan reconstrueren uit extreem ongeordende foto's, met een ongeëvenaarde snelheid en nauwkeurigheid.