Stellen Sie sich vor, Sie halten eine magische Kamera in der Hand, die nicht nur ein Bild von dem aufnimmt, was Sie sehen, sondern die tatsächliche Form des Raumes um Sie herum erfasst, indem sie Luft und Möbel in eine Wolke aus winzigen, leuchtenden Punkten verwandelt. Dies ist die Welt des 3D-Scannens, ein Bereich, in dem Wissenschaftler und Ingenieure versuchen, Computern beizubringen, wie sie die physische Welt in drei Dimensionen „sehen“, genau wie unsere Augen es tun. Normalend erfordert dies teure, schwere Ausrüstung, die man nur in High-Tech-Laboren findet. Doch vor kurzem haben günstige Sensoren es möglich gemacht, diese Magie in der Tasche oder sogar auf dem Kopf zu tragen. Die große Herausforderung besteht jedoch nicht nur darin, das Bild aufzunehmen; es geht darum, herauszufinden, wie man diese Millionen verstreuten Punkte in eine solide, glatte Wand oder einen Tisch verwandelt, in dem man in einem Videospiel oder einer Virtual-Reality-Welt herumlaufen kann. Es ist, als versuche man, ein Schloss aus Sand zu bauen: Wenn man den Sand einfach vom Wind verwehen lässt, entsteht ein Chaos. Man braucht einen Weg, um den Sand festzudrücken, ihn zu glätten und sicherzustellen, dass jeder Ziegelstein an der richtigen Stelle liegt, bevor man das Schloss fertig erklärt.

Genau dieses Problem wollte ein Team von Forschern der Universität Bologna lösen. Sie entwickelten ein neues System namens MESH4ID (MESH für ein inkrementelles digitales-physisches System). Anstatt den Computer automatisch versuchen zu lassen, während man umherläuft, ein perfektes 3D-Modell zu bauen – was oft zu Verwirrung und Fehlern führt –, entwickelten sie eine „headset-zentrierte“ Pipeline. Stellen Sie sich das wie eine Virtual-Reality-Werkstatt vor, in der Sie, der Nutzer, der Vorarbeiter sind. Sie tragen ein spezielles Headset (eine Meta Quest 3) mit einem Laserscanner (einem Intel RealSense L515), der an der Vorderseite befestigt ist. Während Sie sich bewegen, malt der Scanner den Raum mit einer lebendigen, schwebenden Wolke aus farbigen Punkten. Aber hier ist der Clou: Der Computer versucht nicht, diese Punkte sofort zu einer Wand zusammenzukleben. Stattdessen entscheiden Sie, wann Sie eine Momentaufnahme der Punkte „einfrieren“, speichern und dann virtuelle Werkzeuge verwenden, um das Chaos aufzuräumen, verschiedene Ansichten zu verschmelzen, und erst dann, wenn Sie bereit sind, den Computer bitten, die endgültige glatte Oberfläche zu erstellen.

Die Forscher fanden heraus, dass dieser „Nimm dir Zeit“-Ansatz überraschend gut funktioniert. Indem sie den menschlichen Nutzer die Daten kuratieren lassen – entscheiden lassen, welche Schnappschüsse gut sind, welche man wegwerfen sollte und wie man sie kombiniert –, können sie präzise 3D-Modelle direkt im Headset erstellen. Ihre Experimente zeigten, dass das Speichern und Bereinigen der Daten nur wenige Sekunden dauert, aber der schwierigste Teil darin besteht, viele verschiedene Schnappschüsse miteinander zu verschmelzen, was etwas länger dauern kann (etwa 12 Sekunden für einen kleinen Satz von drei Fotos). Sobald die Daten jedoch verschmolzen sind, ist das Erstellen eines soliden 3D-Meshs sehr schnell. Das Paper legt nahe, dass diese Methode eine praktische, zuverlässige Art ist, Innenräume zu erfassen, ohne einen Supercomputer oder ein Team von Experten zu benötigen, vorausgesetzt, man ist bereit, der aktive Regisseur seines eigenen 3D-Films zu sein.

Das magische Headset und der „Malprozess“

Wie funktioniert das eigentlich? Stellen Sie sich vor, Sie tragen ein VR-Headset, das an der Vorderseite ein winziges, hochmodernes Laserauge hat. Dieser Laser, genannt LiDAR, schießt unsichtbare Strahlen aus, um zu messen, wie weit alles entfernt ist. Während Sie durch einen Raum gehen, sieht das Headset die Welt als eine lebendige, sich verändernde Wolke aus Millionen farbiger Punkte. Wenn Sie einen Stuhl betrachten, sehen Sie eine Punktwolke in Form eines Stuhls. Wenn Sie eine Wand betrachten, sehen Sie eine flache Fläche aus Punkten.

In vielen älteren Systemen versucht der Computer, jeden einzelnen Punkt, den er sieht, sofort in ein einziges riesiges, perfektes 3D-Modell zu kleben. Die Autoren dieser Arbeit argumentieren, dass dies ein wenig so ist, als würde man versuchen, einen Kuchen zu backen, während der Teig noch gemischt wird; es ist chaotisch und fehleranfällig. MESH4ID behandelt die Live-Ansicht stattdessen als eine „Vorschau“. Es ist wie ein Maler, der auf eine Leinwand blickt, sieht, wie das Licht fällt, und entscheidet: „Okay, dieser Teil sieht gut aus, ich mache jetzt ein Foto davon.“

Wenn Sie in der virtuellen Welt einen Knopf drücken, „friert“ das System die aktuelle Punktwolke ein. Es nimmt diesen flüchtigen Moment und speichert ihn als permanente Datei. Es ist, als würde man ein Foto von einer Schneeflocke machen, bevor sie schmilzt. Das System speichert diesen Schnappschuss auf zwei Arten: als eine einfache Textliste (CSV), die jeder lesen kann, und als eine kompakte 3D-Datei (PLY), die der Computer verwenden kann, um die Punkte später wieder darzustellen. Dies ist entscheidend, denn es bedeutet, dass Sie für jeden Datensatz einen „Beleg“ haben. Wenn das endgültige 3D-Modell seltsam aussieht, können Sie genau zurückgehen und prüfen, welcher Schnappschuss das Problem verursacht hat.

Die virtuelle Werkstatt: Reinigen und Verschmelzen

Sobald Sie einige Schnappschüsse aufgenommen haben, betreten Sie die „Werkstattphase“. Hier glänzt das System. In der Virtual-Reality-Umgebung können Sie alle Ihre gespeicherten Schnappschüsse wie geisterhafte Wolken in der Luft schweben sehen. Sie können sie aufheben, sie betrachten und entscheiden, was Sie damit machen wollen.

Manchmal kann ein Schnappschuss ein paar zusätzliche Punkte enthalten, die dort nicht hingehören – vielleicht ist versehentlich Ihre Hand ins Bild gekommen oder der Scanner hat eine Reflexion gesehen, die nicht real ist. Das System stellt Ihnen eine virtuelle „Clipping-Ebene“ zur Verfügung, die wie eine riesige, unsichtbare Glasscheibe funktioniert. Sie können diese Scheibe mit Ihren virtuellen Händen greifen und durch die Punktwolke gleiten lassen. Alles auf einer Seite der Scheibe bleibt; alles auf der anderen Seite wird abgeschnitten. Es ist eine sehr einfache, intuitive Art, die Daten zu bereinigen, ohne komplexe Mathematik verstehen zu müssen.

Nachdem Sie Ihre Schnappschüsse bereinigt haben, möchten Sie sie vielleicht kombinieren. Vielleicht haben Sie ein Bild von der linken Seite eines Raumes und ein anderes von der rechten Seite gemacht. Sie können beide Punktwolken auswählen und dem System sagen, dass es sie „verschmelzen“ soll. Der Computer nimmt dann alle Punkte aus beiden Bildern, richtet sie aufeinander aus und erstellt eine einzige, größere Punktwolke. Das Paper stellt fest, dass dieser Verschmelzungsschritt der langsamste Teil des Prozesses ist und bei einer kleinen Gruppe von drei Schnappschüssen etwa 12 Sekunden auf dem verwendeten Computer dauert. Aber da Sie es mit Absicht tun, anstatt den Computer raten zu lassen, wissen Sie genau, was Sie bekommen.

Das Schloss bauen: Von Punkten zu Wänden

Sob sobald Sie Ihre saubere, verschmolzene Punktwolke haben, ist es Zeit, das Schloss zu bauen. Das System verwendet einen mathematischen Trick namens „Truncated Signed Distance Function“ (TSDF). Stellen Sie sich vor, die Punkte sind Samen, die in einem Feld gepflanzt wurden. Die TSDF ist wie ein magischer Nebel, der um diese Samen herum wächst. Er weiß, dass die Samen auf der Oberfläche liegen, und füllt daher den Raum um sie herum aus, um eine glatte, kontinuierliche Form zu erzeugen.

Das System nutzt dann einen klassischen Algorithmus namens „Marching Cubes“, um durch diesen Nebel zu wandern. Es sucht nach der unsichtbaren Linie, an der der Nebel genau „halbwegs“ zwischen innen und außen liegt. Es zeichnet diese Linie nach und verwandelt sie in ein Netz aus Dreiecken – dieselbe Art von Dreiecken, die auch zur Herstellung von 3D-Charakteren in Videospielen verwendet werden. Das Ergebnis ist ein solides, glattes 3D-Modell des Raumes, den Sie gerade gescannt haben.

Das Beste daran ist, dass Sie dieses Modell direkt in Ihrem Headset sehen können, wo es genau dort schwebt, wo der reale Raum ist. Sie können um das Modell herumgehen, es aus verschiedenen Winkeln betrachten und prüfen, ob die Wände richtig aussehen. Wenn das Modell ein Loch oder einen seltsamen Hügel hat, wissen Sie genau, welcher Schnappschuss die Ursache war, da das System eine perfekte Aufzeichnung jedes Schrittes führt.

Was sie herausgefunden haben und was es bedeutet

Die Forscher testeten ihr System auf einem Standard-Gaming-Computer, der mit dem Headset verbunden war. Sie fanden heraus, dass der gesamte Prozess – vom Aufnehmen eines Schnappschusses bis zum Sehen des fertigen 3D-Modells – innerhalb von Sekunden abläuft. Das Speichern der Daten dauert etwa 3 Sekunden, und das Umwandeln der verschmolzenen Punkte in eine glatte 3D-Oberfläche dauert insgesamt etwa 3 Sekunden. Der einzige echte „Engpass“ war der Verschmelzungsschritt, der für drei Schnappschüsse etwa 12 Sekunden dauerte.

Das Paper legt nahe, dass dieser Ansatz eine sehr praktische Methode für das 3D-Scannen ist. Es beweist, dass man keinen Supercomputer benötigt; ein Standard-PC und ein handelsübliches Headset reichen aus. Die Autoren sind jedoch vorsichtig und betonen, dass dies eine „Machbarkeitsstudie“ ist. Sie haben gezeigt, dass es funktioniert und dass es schnell genug ist, um nützlich zu sein, haben aber nicht exakt gemessen, wie perfekt die 3D-Modelle im Vergleich zu einem professionellen Laserscanner sind. Sie merkten auch an, dass, falls das Tracking des Headsets etwas schwankt (driftet), das 3D-Modell möglicherweise nicht perfekt ausgerichtet ist, wes laquelle es so wichtig ist, dass der Nutzer die Daten bereinigt und verschmilzt.

Letztendlich geht es bei MESH4ID darum, dem Menschen die Kontrolle zurückzugeben. Anstatt einem Black-Box-Algorithmus zu vertrauen, der alles erledigt, schafft es eine Pipeline, in der Sie, der Nutzer, der Führer sind. Sie machen die Fotos, Sie räumen das Chaos auf und Sie entscheiden, wann das 3D-Modell fertig ist. Es verwandelt die komplexe Wissenschaft der 3D-Rekonstruktion in eine praktische, interaktive Erfahrung, die jeder mit einem VR-Headset ausprobieren kann.