Monocular Panoramic Imaging for High-Precision 3D Shape Reconstruction

Stel je voor dat je een perfect driedimensionaal model van een complex object, zoals een menselijke voet, probeert te bouwen met alleen maar platte foto's. Dit is een fundamentele uitdaging in computer vision, het vakgebied dat zich bezighoudt met het leren van machines om de wereld te zien en te begrijpen. Decennialang hebben wetenschappers op twee belangrijke manieren geprobeerd dit op te lossen. De eerste methode houdt in dat er veel camera's in een cirkel worden geplaatst, die elk een foto vanuit een andere hoek maken. Hoewel effectief, is deze methode duur, moeilijk op te zetten en vereist het nauwkeurige synchronisatie om ervoor te zorgen dat alle camera's het eens zijn over kleur en timing. De tweede methode gebruikt een enkele camera, maar vertrouwt op complexe software om de diepte van een object te raden, waarbij het vaak moeite heeft wanneer het oppervlak geen textuur of patronen heeft. Beide methoden lopen tegen hindernissen aan bij het proberen vast te leggen van nauwkeurige, realtime metingen van gladde of ingewikkelde vormen, een behoefte die vaak ontstaat bij industriële inspectie en medische diagnostiek.

Een team van onderzoekers van de Zhejiang University of Technology heeft een ander pad voorgesteld, één die de eenvoud van een enkele camera combineert met het uitgebreide zicht van een multi-camerasysteem. Ze ontwierpen een gespecialiseerd apparaat dat in één enkel ogenblik zeven verschillende perspectieven van een object vastlegt, met behulp van spiegels om licht in een enkele lens te vouwen. Door deze gelijktijdige weergaven te analyseren met een nieuwe wiskundige benadering, slaagden ze erin om met hoge precisie de driedimensionale vorm van een menselijke voet te reconstrueren. Hun werk laat zien dat het mogelijk is om hoogwaardige 3D-metingen te verkrijgen zonder de zware kosten en complexiteit van traditionele multi-camerasystemen, wat een robuuste oplossing biedt voor scenario's waarin nauwkeurigheid essentieel is.

De kern van hun innovatie ligt in een op maat gemaakte beeldvormingskamer. In plaats van een camera voor een object te plaatsen en deze rond te bewegen, plaatften de onderzoekers het object in een doos die bekleed is met spiegels. Deze doos heeft de vorm van een trechter, geconstrueerd uit zes trapeziumvormige spiegels die naar binnen gericht zijn. Een enkele high-definition camera kijkt neer in het midden van deze kamer. Wanneer een object, zoals een voet, in de kamer wordt geplaatst, ziet de camera niet alleen het object direct; de camera ziet ook meerdere reflecties van het object die van de spiegels afkaatsen. In één enkele snapshot legt de camera één direct zicht op de bovenkant van het object vast en zes virtuele weergaven van de zijkanten en de achterkant, waardoor effectief een zeven-camera-opstelling wordt gesimuleerd. Omdat al deze weergaven van dezelfde lens en op exact hetzelfde moment komen, vermijdt het systeem de gebruikelijke hoofdpijn van het kalibreren van meerdere camera's of het synchroniseren van hun kleuren. De verlichting wordt ook binnen de kamer gecontroleerd, zodat het object gelijkmatig wordt verlicht en vrij is van afleidende schaduwen of schitteringen.

Zodra de afbeelding is vastgelegd, staan de onderzoekers voor de taak om die platte reflecties om te zetten in een solide 3D-vorm. Ze ontwikkelden een methode die de ruimte rond het object behandelt als een reeks kleine, onzichtbare kubussen, of voxels. Stel je voor dat je de ruimte rond de voet vult met een raster van deze kubussen. Het algoritme controleert vervolgens systematisch elke mogelijke hoek rond het object, van boven naar beneden en helemaal rondom de zijkanten. Voor elke hoek controleert het de overeenkomstige reflecties in de zeven weergaven om te bepalen of een kubus deel uitmaakt van het object of lege ruimte is. Dit doet het door te controleren of de helderheid van de projectie van de kubus consistent is over alle verschillende weergaven. Als het licht in elke reflectie hetzelfde lijkt, is de kubus waarschijnlijk onderdeel van het oppervlak; als de helderheid sterk varieert, wordt de kubus weggehouwen. Dit proces, bekend als space carving (ruimte-uitsnijding), stelt het systeem in staat om de lege ruimte weg te pellen totdat alleen de vorm van het object overblijft, wat een gedetailleerde puntenwolk creëert die het oppervlak definieert.

Om hun systeem te testen, pasten de onderzoekers het toe op de reconstructie van menselijke voeten, een taak die een hoge precisie vereist vanwege de complexe rondingen en de gladde huid van de voet. Ze plaatsten een voet in de spiegelkamer en legden het panoramische beeld vast. Het systeem verwerkte de afbeelding, scheidde de voet van de zwarte achtergrond en zette de kleurgegevens om naar een formaat dat het algoritme kon gebruiken. Het resultaat was een volledige driedimensionale puntenwolk van de voet, inclusief de bijbehorende kleurinformatie. Om de nauwkeurigheid te verifiëren, projecteerden ze dit 3D-model terug op een plat scherm om te zien hoe goed het overeenkwam met het originele silhouet van de voet in het camerazicht. De vergelijking toonde een zeer hoge mate van overlap, waarbij de foutmarges voor de meeste weergaven over het algemeen onder de 3 procent bleven. Het bovenaanzicht en de twee hulpzijdweergaven vertoonden de hoogste nauwkeurigheid, met fouten zo laag als 0,68 procent.

De studie vergeleek hun zeven-weergavesysteem ook met een eerder vijf-weergavesysteem om te zien of de extra spiegels een verschil maakten. Het vijf-weergavesysteem, dat de twee aanvullende hulpspiegels mist, had moeite met het nauwkeurig vastleggen van de achterkant van de voet, wat leidde tot gaten en hogere foutmarges in dat specifieke gebied. Het zeven-weergavesysteem vulde deze ontbrekende details aan door onafhankelijke hoeken voor het achterste gedeelte te bieden, en verminderde de totale fout aanzienlijk. De onderzoekers ontdekten dat de extra gezichtspunten de schommelingen in de meetnauwkeurigheid afvlakten, waardoor zelfs de moeilijkst te zien delen van het object getrouw werden gereconstrueerd. Hoewel de methode zeer effectief is voor gladde, solide objecten, merken de auteurs op dat het beperkingen heeft bij diepe gaten of complexe interne structuren, omdat het licht die gebieden niet kan bereiken om een reflectie te creëren.

Dit onderzoek biedt een overtuigend alternatief voor de dure en complexe machines die vaak voor 3D-scannen worden gebruikt. Door een enkele camera en een slimme rangschikking van spiegels te gebruiken, heeft het team een systeem gecreëerd dat zowel kosteneffectief als zeer nauwkeurig is. Het vermogen om een volledig 360-graden zicht te vangen in één enkele belichting elimineert de noodzaak voor bewegende delen of meerdere gesynchroniseerde apparaten, waardoor het proces sneller en betrouwbaarder wordt. De succesvolle reconstructie van de voetvorm laat zien dat deze aanpak de complexe vormen van de echte wereld kan hanteren met de precisie die vereist is voor medische of industriële toepassingen. Hoewel de technologie nog niet een universele oplossing is voor elk type object, met name voor objecten met diepe holtes, vertegenwoordigt het een belangrijke stap voorwaarts om hoogwaardige 3D-metingen toegankelijker en praktischer te maken. De broncode en documentatie van het systeem zijn openbaar gemaakt, waardoor andere wetenschappers voort kunnen bouwen op dit werk en de techniek verder kunnen verfijnen voor toekomstige toepassingen.