In der Welt der Robotik und digitalen Kartierung verlassen sich Computer auf eine spezifische Art und Weise, die Welt zu sehen: eine Wolke aus Millionen winziger Punkte. Diese Punkte, bekannt als Punktwolken, werden von Sensoren gesammelt, die Licht oder Schall von Oberflächen reflektieren, um eine dreidimensionale Karte eines Raumes, eines Waldes oder einer Stadtstraße zu erstellen. Im Gegensatz zu einem Foto, das ein flaches Raster aus Pixeln ist, handelt es sich bei einer Punktwolke um eine verstreute Sammlung von Datenpunkten, die ungleichmäßig, spärlich und ohne bestimmte Ordnung angeordnet sein können. Dies macht es für einen Computer unglaublich schwierig zu verstehen, was er gerade sieht. Er muss herausfinden, wo ein Objekt endet und ein anderes beginnt, entscheiden, ob eine Oberfläche eine Wand oder ein Boden ist, und einzelne Gegenstände wie Stühle oder Tische verfolgen, während er gleichzeitig ignorieren muss, dass die Punkte an einigen Stellen dicht gedrängt und an anderen weit verstreut sein können. Jahrelang kämpften Forscher darum, ein einzelnes System zu entwickeln, das all diese Aufgaben gleichzeitig bewältigen kann, ohne durch die chaotische, unregelmäßige Natur der Daten verwirrt zu werden.

Ein Team von Forschern hat einen neuen Ansatz zur Lösung dieses Problems vorgeschlagen, den sie „Calculus on Clouds“ nennen. Anstatt zu versuchen, die verstreuten Punkte in ein starres Raster oder eine bestimmte Sequenz zu zwingen, behandelt die neue Methode die Daten eher wie eine fluide Sammlung von Messungen, die basierend auf ihrer Form und Dichte summiert und analysiert werden können. Die Forscher bauten ihr System auf einem bestehenden Framework namens OneFormer3D auf, das bereits in der Lage ist, Objekte und Oberflächen im 3D-Raum zu identifizieren. Sie stellten jedoch fest, dass das ursprüngliche System Gruppen von Punkten zu vereinfacht behandelte, indem es sie oft nur herauskürzte oder das prominenteste Element auswählte, was dazu führte, dass wichtige Details über die Geometrie der Szene verloren gingen. Um dies zu beheben, führte das Team drei spezifische Verbesserungen ein, die zusammenarbeiten, um dem Computer zu helfen, die Form des Raumes zu „fühlen“, anstatt nur die Punkte zu zählen.

Die erste Verbesserung konzentriert sich darauf, wie der Computer nahe beieinander liegende Punkte gruppiert. Bei der alten Methode wurde eine Gruppe von Punkten, die eine Wand repräsentierten, möglicherweise durch einen einfachen Durchschnitt zusammengefasst, was die Textur oder die leichte Krümmung der Oberfläche hätte auswaschen können. Die neue Methode, die die Autoren „Lean Gated Discretized Integration“ nennen, weist jedem einzelnen Punkt in einer Gruppe basierend auf seinen Merkmalen ein spezifisches Gewicht zu. Sie kombiniert diese gewichteten Punkte dann, um eine Zusammenfassung zu erstellen, die die lokale Geometrie respektiert. Das bedeutet, dass der Computer zwischen einer flachen Wand und einer Wand mit einem Fenster oder einer Ecke unterscheiden kann, selbst wenn die Punkte ungleichmäßig verteilt sind. Es verwendet ein mathematisches Konzept, das dem Messen der Fläche unter einer Kurve ähnelt, wendet dies jedoch auf den 3D-Raum an, um sicherzustellen, dass die Zusammenfassung einer Region sensibel für die tatsächliche Form der Objekte innerhalb dieser Region ist.

Sobald der Computer ein gutes Verständnis lokaler Gruppen hat, muss er diese Information mit dem Gesamtbild verknüpfen. Die zweite Verbesserung, bekannt als „State-Aware Gated Cross-Attention“, fungiert als Brücke zwischen den lokalen Details und dem globalen Kontext. Stellen Sie sich vor, ein Computer versucht, einen Stuhl zu identifizieren; er muss nicht nur wissen, wie der Stuhl aus der Nähe aussieht, sondern auch, dass er in einem Wohnzimmer und nicht in einem Badezimmer steht. Das neue System unterhält eine kleine, kompakte Speicherbank des Zustands der gesamten Szene. Während der Computer jedes Objekt verarbeitet, kann er in diese Bank zugreifen, um relevante globale Informationen abzurufen. Entscheidend ist, dass dieses System ein „Gate“ (Tor) verwendet, um zu entscheiden, wie viel des globalen Kontextes mit den lokalen Details gemischt werden soll, um sicherzustellen, dass der Computer nicht von zu vielen Informationen überwältigt wird. Dies ermöglicht es dem System, ein konsistentes Verständnis der Szene aufrechtzuerhalten und dennoch zwischen einzelnen Objekten zu unterscheiden.

Das letzte Puzzleteil befasst sich mit der Reihenfolge, in der der Computer Informationen verarbeitet. Die meisten Anwendungen der Künstlichen Intelligenz verarbeiten Daten in einer Sequenz, ähnlich wie beim Lesen von Wörtern in einem Satz. 3D-Punktwolken haben jedoch keine natürliche Ordnung; es gibt keinen „ersten“ oder „letzten“ Punkt. Die Forscher erkannten, dass die Punkte selbst zwar ungeordnet sind, die Schichten des Verarbeitungsnetzwerks des Computers jedoch eine natürliche Ordnung besitzen, die von einfachen Merkmalen zu komplexen Merkmalen führt. Ihre dritte Innovation, die „Depth-wise Selective Scan Aggregation“, behandelt diese Schichten als eine Sequenz. Sie ermöglicht es dem Computer, die Informationen, die durch das Netzwerk fließen, in beide Richtungen zu betrachten – vorwärts und rückwärts – entlang der Tiefe der Verarbeitungsschichten. Dies hilft dem System, sein Verständnis zu verfeinern, indem es seine frühen Schlussfolgerungen mit seinen späteren abgleicht, wodurch eine stabile und genauere endgültige Vorhersage erstellt wird, ohne jemals die 3D-Punkte in eine künstliche Linie zwingen zu müssen.

Als die Forscher ihr neues System an zwei großen Datensätzen von Innenraum-3D-Scans, bekannt als ScanNetV2 und S3DIS, testeten, zeigten die Ergebnisse eine deutliche Verbesserung gegenüber dem bisherigen Standard. Die neue Methode erreichte eine höhere Genauigkeit bei der Identifizierung dessen, was welcher Teil der Szene war (semantische Segmentierung), bei der Trennung einzelner Objekte vone von einander (Instanzsegmentierung) und bei der gleichzeitigen Durchführung beider Aufgaben (panoptische Segmentierung). Beispielsweise verbesserte das System auf dem ScanNetV2-Datensatz seine Fähigkeit, einzelne Objekte zu identifizieren, um eine kleine, aber konsistente Marge, und sein allgemeines Verständnis des Layouts der Szene wurde präziser. Die Forscher merkten an, dass diese Gewinne nicht nur in einem Bereich auftraten, sondern über alle verschiedenen Aufgaben hinweg verteilt waren, was darauf hindeutet, dass der neue Ansatz eine ausgewogenere und robustere Art und Weise bietet, den 3D-Raum zu erfassen.

Die Studie beinhaltete auch sorgfältige Überprüfungen, um sicherzustellen, dass die Verbesserungen auf das neue Design und nicht auf Zufall zurückzuführen sind. Die Forscher führten mehrere Experimente durch, bei denen sie jeweils eine Komponente des Systems gleichzeitig änderten, um zu sehen, welche Bestandteile für den Erfolg verantwortlich waren. Sie fanden heraus, dass jede der drei neuen Komponenten zum Endergebnis beitrug, wobei die Methode zur Gruppierung von Punkten und die Methode zum Lesen des globalen Zustands besonders wichtig waren. Sie verifizierten auch, dass das System stabil blieb, selbst wenn die Daten rotiert oder verschoben wurden, was bewies, dass es tatsächlich die Form der Objekte lernte und nicht bloß deren Position auswendig lernte. Obwohl die Verbesserungen in kleinen Prozentzahlen gemessen wurden, betonten die Autoren, dass selbst ein Bruchteil eines Prozents in der Computer Vision eine bedeutende Errungenschaft für die Zuverlässigkeit darstellen kann.

Trotz dieser Erfolge sind sich die Forscher der Grenzen ihrer Arbeit bewusst. Das System wurde nur in Innenräumen, wie Zimmern und Gebäuden, getestet, und es wurde noch nicht nachgewiesen, dass es auch in großflächigen Außenumgebungen wie Stadtstraßen oder Wäldern funktioniert. Sie merkten auch an, dass das System zwar effizient ist, es aber noch Raum gibt, die Geschwindigkeit und den Speicherverbrauch für Echtzeitanwendungen auf kleineren Geräten zu verbessern. Die Autoren schlagen vor, dass zukünftige Arbeiten untersuchen könnten, wie diese Ideen auf dynamische Szenen angewendet werden können, in denen sich Objekte bewegen, oder wie sie mit anderen Arten von Sensoren integriert werden können. Vorerst bietet der „Calculus on Clouds“-Ansatz jedoch einen vielversprechenden neuen Weg, um Computern zu helfen, die chaotische, unregelmäßige und wunderschöne Komplexität der dreidimensionalen Welt zu verstehen, indem sie über das einfache Zählen hinausgehen und zu einem tieferen, geometrischen Verständnis des Raums gelangen.