Frequency-Decomposed Avatar Representation for Varying Camera Distances

Stel je voor dat je probeert een persoon in een digitale wereld zo perfect vast te leggen dat je er vlak naartoe kunt lopen, de weving van hun overhemd kunt inspecteren, of kunt terugstappen om hun hele lichaam in een drukke kamer te zien. Jarenlang hebben informaticus geprobeerd deze "digitale mensen" te creëren die er op elke afstand echt uitzien. Het probleem is een afweging: methoden die scherp ogen wanneer je dichtbij bent, worden vaak wazig of glitchy wanneer je een stap terug doet, terwijl methoden die goed werken van een afstand, de fijne details verliezen die nodig zijn voor een close-up. Deze beperking heeft toepassingen in virtuele realiteit, videogames en telepresence tegengehouden, waar gebruikers met digitale mensen natuurlijk moeten kunnen interageren, vrij bewegend zonder dat het beeld uit elkaar valt.

De oplossing voor dit probleem is lang een concept geweest dat bekend staat als "level of detail" (detailniveau), een techniek die in computergraphics wordt gebruikt om complexe objecten te vereenvoudigen wanneer ze ver weg zijn en detail toe te voegen wanneer ze dichtbij zijn. Echter, bestaande methoden voor het creëren van geanimeerde menselijke avatars zijn er niet in geslaagd om dit idee vloeiend toe te passen. Ze vertrouwen ofwel op rigide 3D-vormen die geen textuur missen, of ze gebruiken duizenden kleine, zwevende punten die rommelig en traag worden wanneer de camera te dichtbij komt. Een team van onderzoekers heeft nu een nieuwe manier ontwikkeld om deze digitale mensen te bouwen die dit afstandsprobleem oplost, waardoor een enkele, hoogwaardige representatie mogelijk is die er realistisch uitziet of je nu centimeters verwijderd bent of aan de andere kant van de kamer staat.

De onderzoekers hebben, werkend met gegevens van camera's met een hoge resolutie, een systeem ontwikkeld dat ze CloseUpAvatar noemen. In plaats van te proberen de persoon op te bouwen uit een solide mesh of een wolk van miljoenen punten, representeren ze het menselijk lichaam als een verzameling kleine, platte, getextureerde vierkanten. Denk aan deze vierkanten als kleine, flexibele billboards die het oppervlak van het lichaam bedekken. Elk van deze billboards draagt zijn eigen afbeelding, die kan veranderen terwijl de persoon beweegt. De belangrijkste innovatie ligt in de manier waarop deze afbeeldingen worden opgeslagen. Het team realiseerde zich dat één enkel afbeeldingsbestand niet zowel de brede kleuren van een gezicht als de scherpe details van een huidporie tegelijkertijd kan afhandelen zonder in de war te raken.

Om dit op te lossen, splitsen ze de visuele informatie in twee aparte lagen voor elk afzonderlijk billboard. Eén laag bevat de laagfrequente details, wat de gladde, algemene kleuren en vormen zijn die het algemene uiterlijk van de persoon definiëren. De tweede laag bevat de hoogfrequente details, wat de scherpe, heldere texturen zijn zoals rimpels, poriën en stoffenpatronen. Het systeem is ontworpen om slim te zijn over wanneer het welke laag gebruikt. Wanneer de camera ver weg is, toont het systeem alleen de gladde, laagfrequente laag, wat efficiënt is en er van een afstand perfect uitziet. Naarmate de camera dichterbij komt, voegt het systeem automatisch en geleidelijk de scherpe, hoogfrequente laag toe. Deze overgang gebeurt zo vloeiend dat de kijker de overgang nooit merkt; het beeld wordt simpelweg scherper naarmats men dichterbij komt, zonder plotselinge sprongen of wazigheid.

De onderzoekers testten deze aanpak met behulp van een grote dataset van echte mensen, gefilmd vanuit veel verschillende hoeken, inclusief beelden met een hoge resolutie die het mogelijk maakten om extreme close-ups te simuleren. Ze vergeleken hun nieuwe methode met de huidige beste technieken in het veld. De resultaten lieten zien dat terwijl andere methoden moeite hadden om een helder beeld te produceren wanneer de camera inzoomde, wat vaak resulteerde in wazige of vervormde gezichten, hun nieuwe systeem een fotorealistische kwaliteit behield. Sterker nog, de nieuwe methode was in staat om deze gedetailleerde avatars te renderen met een snelheid van meer dan 200 frames per seconde, wat snel genoeg is voor real-time interactie in virtuele realiteit. Deze snelheid werd bereikt door veel minder bouwstenen te gebruiken dan eerdere methoden, wat bewijst dat het hebben van minder, slimmere stukjes effectiever is dan het hebben van miljoenen eenvoudige stukjes.

Een van de meest significante bevindingen was dat het systeem tijdens het trainingsproces kon leren om met deze variërende afstanden om te gaan. De onderzoekers leerden de computer door dezelfde persoon zowel heel dichtbij als heel ver weg te laten zien, een techniek waarbij andere methoden faalden of vreemde artefacten produceerden. Door hun frequentie-gesplitste aanpak te gebruiken, leerde het systeem de algemene vorm te scheiden van de fijne details, waardoor het zich direct kon aanpassen aan de positie van de camera. Dit betekent dat een digitale mens die met deze methode is gemaakt, rondgelopen, van dichtbij bekeken en van een afstand bekeken kan worden zonder dat de beeldkwaliteit ooit verslechtert.

Het werk demonstreert dat het mogelijk is om een enkele digitale mens te hebben die zowel efficiënt als ongelooflijk gedetailleerd is. De onderzoekers merkten op dat hoewel hun systeem zeer effectief is voor het lichaam en algemene kenmerken, het nog steeds uitdagingen ervaart met extreem fijne details zoals individuele vingers of complexe gezichtsuitdrukkingen, wat een gebied blijft voor toekomstige verbetering. Echter, voor de brede taak van het creëren van realistische, interactieve digitale mensen, biedt deze nieuwe aanpak een significante sprong voorwaarts. Het verwijdert de barrière tussen de gebruiker en de digitale wereld, en zorgt ervoor dat, ongeacht hoe dicht jebij komt, de persoon op het scherm er net zo echt uitziet als van een afstand.