Monocular Panoramic Imaging for High-Precision 3D Shape Reconstruction

Stellen Sie sich vor, Sie versuchen, ein perfektes dreidimensionales Modell eines komplexen Objekts, wie etwa eines menschlichen Fußes, nur mithilfe flacher Fotografien zu erstellen. Dies ist eine grundlegende Herausforderung in der Computer Vision, dem Feld, das sich damit beschäftigt, Maschinen das Sehen und Verstehen der Welt beizubringen. Jahrzehntelang haben Wissenschaftler zwei Hauptansätze genutzt, um dieses Problem zu lösen. Der erste besteht darin, viele Kameras in einem Kreis anzuordnen, von denen jede ein Bild aus einem anderen Winkel aufnimmt. Obwohl diese Methode effektiv ist, ist sie teuer, schwierig einzurichten und erfordert eine präzise Synchronisation, um sicherzustellen, dass alle Kameras hinsichtlich Farbe und Timing übereinstimmen. Der zweite Ansatz verwendet eine einzige Kamera, verlässt sich jedoch auf komplexe Software, die die Tiefe eines Objekts schätzt, wobei er oft Schwierigkeiten hat, wenn die Oberfläche keine Textur oder Muster aufweist. Beide Methoden stoßen an ihre Grenzen, wenn es darum geht, genaue Echtzeitmessungen von glatten oder komplizierten Formen vorzunehmen – ein Bedarf, der in der industriellen Inspektion und der medizinischen Diagnostik häufig auftritt.

Ein Team von Forschern der Zhejiang University of Technology hat einen anderen Weg vorgeschlagen, der die Einfachheit einer einzelnen Kamera mit der umfassenden Sicht eines Multi-Kamera-Arrays kombiniert. Sie entwarfen ein spezielles Gerät, das sieben verschiedene Perspektiven eines Objekts in einem einzigen Augenblick erfasst, indem Spiegel das Licht in eine einzige Linse falten. Durch die Analyse dieser gleichzeitigen Ansichten mit einem neuen mathematischen Ansatz gelang es ihnen, die dreidimensionale Form eines menschlichen Fußes mit hoher Präzision zu rekonstruieren. Ihre Arbeit zeigt, dass es möglich ist, hochwertige 3D-Messungen ohne die hohen Kosten und die Komplexität traditioneller Multi-Kamera-Systeme zu erreichen, was eine robuste Lösung für Szenarien bietet, in denen Genauigkeit entscheidend ist.

Der Kern ihrer Innovation liegt in einer eigens entwickelten Bildkammer. Anstatt eine Kamera vor ein Objekt zu stellen und sie zu bewegen, platzierten die Forscher das Objekt in eine Box, die mit Spiegeln ausgekleidet ist. Diese Box hat die Form eines Trichters, konstruiert aus sechs trapezförmigen Spiegeln, die nach innen gerichtet sind. Eine einzige hochauflösende Kamera blickt in das Zentrum dieser Kammer hinunter. Wenn ein Objekt, wie zum Beispiel ein Fuß, in die Kammer platziert wird, sieht die Kamera nicht nur das Objekt direkt; sie sieht auch mehrere Reflexionen des Objekts, die von den Spiegeln abprallen. In einer einzigen Aufnahme erfasst die Kamera eine direkte Ansicht der Oberseite des Objekts und sechs virtuelle Ansichten der Seiten und der Rückseite, wodurch effektiv ein Sieben-Kamera-Setup simuliert wird. Da all diese Ansichten von derselben Linse im exakt gleichen Moment stammen, vermeidet das System die üblichen Probleme bei der Kalibrierung mehrerer Kameras oder der Synchronisation ihrer Farben. Auch die Beleuchtung wird innerhalb der Kammer kontrolliert, um sicherzustellen, dass das Objekt gleichmäßig beleuchtet und frei von störenden Schatten oder Blendungen ist.

Sobald das Bild aufgenommen wurde, stehen die Forscher vor der Aufgabe, diese flachen Reflexionen in eine feste 3D-Form zu verwandeln. Sie entwickelten eine Methode, die den Raum um das Objekt wie eine Serie winziger, unsichtbarer Würfel, oder Voxel, behandelt. Stellen Sie sich vor, Sie füllen den Raum um den Fuß mit einem Gitter dieser Würfel. Der Algorithmus prüft dann systematisch jeden möglichen Winkel um das Objekt herum, von oben nach unten und einmal komplett um die Seiten herum. Für jeden Winkel prüft er die entsprechende Reflexion in den sieben Ansichten, um zu bestimmen, ob ein Würfel Teil des Obuts oder leerer Raum ist. Dies geschieht durch die Überprüfung, ob die Helligkeit der Projektion des Würfels über alle verschiedenen Ansichten hinweg konsistent ist. Wenn das Licht in jeder Reflexion gleich aussieht, ist der Würfel wahrscheinlich Teil der Oberfläche; wenn die Helligkeit stark variiert, wird der Würfel herausgeschnitten. Dieser Prozess, bekannt als Space Carving (Raummeißeln), ermöglicht es dem System, den leeren Raum so lange abzutragen, bis nur noch die Form des Objekts übrig bleibt, wodurch eine detaillierte Punktwolke entsteht, die dessen Oberfläche definiert.

Um ihr System zu testen, wandten die Forscher es auf die Rekonstruktion menschlicher Füße an, eine Aufgabe, die aufgrund der komplexen Kurven und der glatten Haut des Fußes eine hohe Präzision erfordert. Sie platzierten einen Fuß in die Spiegelkammer und erfassten das Panoramafoto. Das System verarbeitete das Bild, trennte den Fuß vom schwarzen Hintergrund und konvertierte die Farbdaten in ein Format, das der Algorithmus verwenden konnte. Das Ergebnis war eine vollständige dreidimensionale Punktwolke des Fußes, einschließlich seiner Farbinformationen. Um die Genauigkeit zu überprüfen, projizierten sie dieses 3D-Modell zurück auf einen flachen Bildschirm, um zu sehen, wie gut es mit der ursprünglichen Silhouette des Fußes in der Kameraansicht übereinstimmt. Der Vergleich ergab eine sehr hohe Deckungsgleichheit, wobei die Fehlerraten in den meisten Ansichten generell unter 3 Prozent lagen. Die Draufsicht und die zwei zusätzlichen Seitenansichten zeigten die höchste Genauigkeit mit Fehlern von nur 0,68 Prozent.

Die Studie verglich ihr Sieben-Ansichts-System auch mit einem vorherigen Fünf-Ansichts-Setup, um zu sehen, ob die zusätzlichen Spiegel einen Unterschied machten. Das Fünf-Ansichts-System, dem die zwei zusätzlichen Hilfspiegel fehlen, hatte Schwierigkeiten, die Rückseite des Fußes genau zu erfassen, was zu Lücken und höheren Fehlerraten in diesem spezifischen Bereich führte. Das Sieben-Ansichts-System füllte durch die Bereitstellung unabhängiger Winkel für den hinteren Abschnitt diese fehlenden Details aus und reduzierte die Gesamtfehlerrate erheblich. Die Forscher fanden heraus, dass die zusätzlichen Blickwinkel die Schwankungen in der Messgenauigkeit glätteten und sicherstellten, dass selbst die am schwersten einzusehenden Teile des Objekts originalgetreu rekonstruiert wurden. Während die Methode für glatte, feste Objekte hochwirksam ist, merken die Autoren an, dass sie Einschränkungen bei tiefen Löchern oder komplexen internen Strukturen hat, da das Licht diese Bereiche nicht erreichen kann, um eine Reflexion zu erzeugen.

Diese Forschung bietet eine überzeugende Alternative zu den teuren und komplexen Maschinen, die oft für 3D-Scans verwendet werden. Durch die Verwendung einer einzigen Kamera und einer klugen Anordnung von Spiegeln haben die Forscher ein System geschaffen, das sowohl kostengünstig als auch hochpräzise ist. Die Fähigkeit, eine vollständige 360-Grad-Ansicht in einer einzigen Belichtung zu erfassen, eliminiert die Notwendigkeit von beweglichen Teilen oder mehreren synchronisierten Geräten, was den Prozess schneller und zuverlässiger macht. Die erfolgreiche Rekonstruktion der Fußform zeigt, dass dieser Ansatz die Form realer Objekte mit der für medizinische oder industrielle Anwendungen erforderlichen Präzision erfassen kann. Obwohl die Technologie noch keine universelle Lösung für jede Art von Objekt ist, insbesondere für solche mit tiefen Hohlräumen, stellt sie einen bedeutenden Schritt dar, um hochpräzise 3D-Messungen zugänglicher und praktischer zu machen. Der Quellcode und die Dokumentation des Systems wurden öffentlich zugänglich gemacht, damit andere Wissenschaftler auf dieser Arbeit aufbauen und die Technik für zukünftige Anwendungen weiter verfeinern können.