PACT: Joint Pose and Camera Transformer for Uncalibrated Multi-View 3D Human Pose Estimation
PACT is een end-to-end transformer-framework dat gezamenlijk 3D menselijke poses en cameraparameters schat uit ongekalibreerde multi-view 2D-keypoints, waarbij het een staat van de kunst bereikt qua nauwkeurigheid en sterke generalisatie over variabele aantal views en real-world domeinen door de noodzaak voor voorafgaande camerakalibratie te elimineren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de wereld van computer vision is het vermogen om een driedimensionaal menselijk lichaam te reconstrueren uit platte, tweedimensionale beelden een fundamentele uitdaging. Decennialang hebben onderzoekers vertrouwd op een strikte voorwaarde om dit puzzelstuk op te lossen: de camera's die de scène vastleggen, moeten vooraf gekalibreerd zijn. Dit betekent dat hun exacte posities, hoeken en interne instellingen bekend en vastgelegd moeten zijn voordat de opname begint, wat vaak een gecontroleerde laboratoriumomgeving met gespecialiseerde apparatuur vereist. Hoewel deze aanpak nauwkeurige resultaten oplevert, creëert het een aanzienlijke barrière voor echt wereldgebruik, waarbij camera's handheld zijn, bewegen en zelden gekalibreerd zijn. De kernvraag die recente onderzoeken drijft, is of een computer naar een reeks foto's kan kijken die vanuit verschillende, onbekende hoeken zijn genomen en tegelijkertijd kan uitrekenen waar de camera's stonden en wat de persoon op de foto in drie dimensies aan het doen was, zonder enige voorafgaande setup.
Een team onderzoekers van de Huaqiao Universiteit heeft een nieuw systeem ontwikkeld genaamd PACT dat deze vraag met een volmondig ja beantwoordt. Hun werk introduceert een verenigd framework dat het menselijk lichaam zelf als een kalibratie-instrument behandelt. In plaats van vooraf de camera-instellingen te moeten kennen, analyseert het systeem de 2D-posities van menselijke gewrichten — zoals ellebogen, knieën en polsen — over meerdere beelden heen. Door het rigide structuur van het menselijk skelet te begrijpen, kan het systeem achteruit werken om zowel de relatieve posities van de camera's als de 3D-pose van de persoon simultaan af te leiden. Deze aanpak elimineert de noodzaak voor gecontroleerde omgevingen, waardoor nauwkeurige reconstructie mogelijk is uit ongekalibreerde beelden, zoals video's gemaakt met handheld mobiele telefoons in alledaagse omgevingen.
De onderzoekers bouwden hun systeem op een geavanceerde architectuur geïnspireerd door de manier waarop moderne kunstmatige intelligentie visuele data verwerkt. Ze ontwierpen een mechanisme dat afwisselt tussen twee soorten analyse. Eerst kijkt het systeem nauwgezet naar elk individueel camerabeeld om de fijne details van de gewrichten binnen dat specifieke frame te begrijpen. Daarna stapt het systeem terug om naar alle beelden samen te kijken, waarbij dezelfde gewrichten over verschillende hoeken heen verbindt om een consistente driedimensionale vorm vast te stellen. Dit heen-en-weer proces stelt het systeem in staat om een balans te vinden tussen lokale details en globale geometrische consistentie. Cruciaal is dat het systeem getraind is om om te gaan met een variabel aantal camera's. Het maakt er niet uit of de input afkomstig is van twee camera's of vierentwintig; het systeem past zich automatisch aan zonder dat het opnieuw getraind hoeft te worden of de instellingen gewijzigd moeten worden.
Om hun creatie te testen, evalueerde het team PACT op twee belangrijke datasets die duizenden uren aan multi-view motion capture bevatten. Op de Human3.6M dataset, die professionele acteurs bevat die diverse handelingen uitvoeren in een lab, behaalde het systeem een gemiddelde fout van 28,1 millimeter bij het voorspellen van de 3D-positie van gewrichten. Deze prestatie plaatst het aan de top van ongekalibreerde methoden en evenaart systemen die wel over vooraf gekalibreerde camera's beschikken. Bovendien voorspelde het systeem de cameraparameters met hoge precisie, waarbij het de rotatie van de camera's schatte met een fout van slechts 0,9 graad en hun positie met een fout van 32,2 millimeter. Deze resultaten demonstreren dat het systeem effectief het menselijk skelet als een bekende referentie kan gebruiken om de onbekende cameraposities te berekenen.
De robuustheid van het systeem werd verder getest door het aantal camera's dat als input werd gebruikt te variëren. Toen de onderzoekers de input verminderden van vierentwintig weergaven naar slechts twee, bleef de nauwkeurigheid sterk, waarbij de fout in de gewrichtsvoorspelling slechts steeg naar 18,6 millimeter. Dit is een significante verbetering ten opzichte van single-view methoden, die worstelen met diepte-ambiguïteit en fouten van meer dan 46 millimeter produceerden in dezelfde tests. Het systeem toonde ook een opmerkelijke efficiëntie, waarbij gegevens in real-time werden verwerkt, zelfs met tot wel vierentwintig weergaven, met een snelheid van ongeveer 122 frames per seconde bij de maximale configuratie. Dit suggereert dat de technologie niet slechts een theoretische oefening is, maar levensvatbaar is voor praktische toepassingen in real-time.
Misschien wel het meest overtuigende bewijs van het vermogen van het systeem kwam uit de test op data die het nog nooit eerder had gezien. De onderzoekers pasten het getrainde model toe op real-world scènes die waren vastgelegd met handheld mobiele telefoons in ongecontroleerde omgevingen, met verschillende achtergronden, lichtomstandigheden en camerabewegingen. Ondanks het significante verschil tussen de schone, indoor trainingsdata en deze rommelige, real-world inputs, slaagde het systeem erin om plausibele 3D-poses en camera-lay-outs te reconstrueren zonder extra afstemming. Dit vermogen om te generaliseren over verschillende domeinen geeft aan dat het systeem fundamentele geometrische regels heeft geleerd over hoe menselijke lichamen door de ruimte bewegen, in plaats van simpelweg patronen uit een specifieke dataset te hebben onthouden.
Het succes van PACT berust op verschillende cruciale ontwerpkeuzes die voorkomen dat het systeem faalt wanneer het met nieuwe situaties wordt geconfronteerd. Door de ruimtelijke coördinaten van de data te normaliseren, zorgt het systeem ervoor dat de grootte van de persoon of de afstand tussen de camera's het model niet in verwarring brengt. Het gebruikt ook een gedeelde identiteit voor elk gewricht, wat betekent dat het systeem een "linkerpols" herkent als hetzelfde anatomische onderdeel, ongeacht welke camera het ziet of waar het in de afbeelding verschijnt. Deze kenmerken, gecombineerd met het afwisselende aandachtmechanisme, stellen het systeem in staat om irrelevante details te negeren en zich te concentreren op de structurele relaties die een menselijk lichaam definiëren.
Hoewel het systeem een belangrijke stap voorwaarts vertegenwoordigt, erkennen de onderzoekers de huidige beperkingen ervan. De nauwkeurigheid van de 3D-reconstructie is nog steeds afhankelijk van de kwaliteit van de initiële 2D-gewrichtdetecties; als de 2D-detector een gewricht niet vindt, zal de 3D-voorspelling eronder lijden. Daarnaast kan de prestatie verslechteren in scenario's met zware occlusie (overlap), zoals wanneer een persoon zit of wanneer lichaamsdelen elkaar vanuit het zicht blokkeren. Echter, het vermogen om gezamenlijk cameraparameters en 3D-pose te schatten uit ongekalibreerde inputs opent nieuwe mogelijkheden voor toepassingen in virtuele realiteit, sportanalyse en motion capture, waarbij het opzetten van een gecontroleerde, gekalibreerde omgeving vaak onpraktisch of onmogelijk is. Het werk demonstreert dat door gebruik te maken van de inherente structuur van het menselijk lichaam, machines in staat zijn om in drie dimensies te zien, zelfs wanneer de camera's zelf onbekend zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.