ToFormer: Towards Large-scale Scenario Depth Completion for Lightweight ToF Camera

Die vorgestellte Arbeit stellt ein vollumfängliches Framework vor, das durch die Einführung des ersten großflächigen Datensatzes (LASER-ToF) und eines sensorbewussten Netzwerks mit neuartigen 3D-2D-Fusionsmodulen die Tiefenvervollständigung für leichte ToF-Kameras in großräumigen Szenarien ermöglicht und so deren Einsatz auf Robotern für zuverlässige Kartierung und Planung erweitert.

Das Wesentliche

Stellen Sie sich vor, Sie haben eine sehr präzise, aber kurzsichtige Kamera an Ihrem Roboter. Diese Kamera (ein ToF-Sensor) ist klein, leicht und spart viel Energie – perfekt für kleine Drohnen oder Roboter in Fabriken. Das Problem ist: Sie sieht nur etwa 3 bis 6 Meter weit. Alles, was weiter entfernt ist, verschwindet in einem unsichtbaren Nebel. Das ist wie ein Autofahrer, der nur bis zum nächsten Laternenpfahl sehen kann, aber nicht weiß, ob hinter der nächsten Kurve ein Abgrund liegt.

Dieses Papier stellt eine Lösung vor, die diesem Roboter quasi eine "Supersicht" verleiht. Hier ist die Erklärung in einfachen Worten:

1. Das Problem: Der kurzsichtige Roboter

Bisher konnten Roboter mit diesen Kameras nur kleine Räume (wie ein Wohnzimmer) gut navigieren. In großen Hallen, auf Feldern oder in großen Lagerhallen war die Kamera blind für die Ferne. Frühere Versuche, das zu beheben, scheiterten oft, weil:

• Es keine guten Trainingsdaten für große Räume gab.
• Die bestehenden Computermodelle annahmen, dass die fehlenden Punkte im Bild gleichmäßig verteilt sind (wie ein gleichmäßiges Raster). Aber in der Realität fehlen die Daten oft in großen, unregelmäßigen Flecken (wie ein Loch im Käse).

2. Die Lösung: Ein neues "Seh-System" (ToFormer)

Die Forscher haben eine komplette Lösung entwickelt, die aus drei Teilen besteht:

A. Der neue Trainingsplatz (Der LASER-ToF-Datensatz)

Um einen Roboter zu trainieren, braucht man viele Beispiele. Die Forscher haben eine spezielle Plattform gebaut, die wie ein "Augenpaar" funktioniert:

• Ein kurzsichtiges ToF-Kamera-System (das eigentliche Problem).
• Ein riesiges, präzises 3D-Scanner-System (ein LiDAR), das wie ein Gott aus der Vogelperspektive die ganze Welt genau vermessen kann.

Sie haben damit in großen Räumen (Indoor und Outdoor) Daten gesammelt. Das Ergebnis ist LASER-ToF: Der erste Datensatz, der einem Roboter zeigt, wie die Welt wirklich aussieht, wenn man nur kurze, unvollständige Messungen hat, aber die volle Wahrheit im Hintergrund kennt.

• Die Analogie: Es ist, als würde man einem Schüler eine unvollständige Skizze geben und ihm gleichzeitig die perfekte, fertige Zeichnung zeigen, damit er lernt, wie man die fehlenden Teile errät.

B. Der intelligente Kopf (Das ToFormer-Netzwerk)

Das Herzstück ist eine neue KI-Architektur namens ToFormer. Sie ist so gebaut, dass sie die speziellen Schwächen der ToF-Kamera versteht.

• Der 3D-Verstand: Statt nur auf das flache Bild zu schauen, nutzt die KI die 3D-Punkte, die sie hat, um die Geometrie zu verstehen.

• Die Brücke (JPP & MXCA): Die KI hat spezielle Module, die wie ein Dolmetscher zwischen dem "dünnen" 3D-Punktwolken-Daten und dem "dichten" 2D-Bild (RGB) agieren. Sie füllen die großen Lücken intelligent auf, indem sie Muster erkennen, die ein normaler Algorithmus übersehen würde.

• Der Bonus-Input: Wenn der Roboter auch eine visuelle SLAM-Software nutzt (die sich im Raum orientiert), kann die KI diese zusätzlichen, oft verrauschten Punkte aus der Ferne nutzen, um die Vorhersage noch genauer zu machen.

• Die Analogie: Stellen Sie sich vor, Sie versuchen, ein Puzzle zu lösen, bei dem 90% der Teile fehlen. Ein normaler Algorithmus würde raten. ToFormer hingegen schaut sich die wenigen vorhandenen Teile an, versteht die Struktur des Puzzles (die 3D-Geometrie) und nutzt auch Hinweise aus dem Bild (die Farben), um die fehlenden Teile so genau wie möglich zu rekonstruieren.

C. Der Beweis: Der fliegende Roboter

Um zu zeigen, dass es nicht nur Theorie ist, haben die Forscher die KI auf eine kleine Drohne (Quadrocopter) gepackt.

• Die Drohne fliegt mit einer Geschwindigkeit von 10 Bildern pro Sekunde.
• Das Ergebnis: Ohne die KI sieht die Drohne nur den Boden direkt unter sich und die Wand direkt vor ihr. Mit der KI "sieht" sie 15 Meter weit voraus.
• Der Test: In einem Labyrinth mit einer Sackgasse hat die Drohne ohne KI gegen die Wand geflogen (weil sie die Sackgasse zu spät sah). Mit der KI hat sie die Sackgasse früh erkannt, den Weg gewendet und effizienter geflogen. Sie hat Energie gespart und schneller ihr Ziel erreicht.

Zusammenfassung für den Alltag

Dieses Papier zeigt, wie man eine billige, kleine und leichte Kamera, die eigentlich nur für kurze Distanzen gemacht ist, durch eine clevere KI-Software in ein Werkzeug verwandelt, das auch in riesigen Hallen oder im Freien sicher navigieren kann.

• Ohne diese Technik: Ein Roboter ist wie ein Mensch mit verbundenen Augen, der nur einen Schritt voraussehen kann.
• Mit dieser Technik: Der Roboter bekommt eine Art "Röntgenblick", der ihm zeigt, was hinter der nächsten Ecke oder in der Ferne ist, ohne dass er teure, schwere Laserscanner braucht.

Das ist ein großer Schritt für Roboter, die in echten, großen Umgebungen (wie Fabriken oder im Freien) autonom arbeiten sollen, ohne dabei schwer und teuer zu werden.

Technische Zusammenfassung

1. Problemstellung

Time-of-Flight (ToF)-Kameras sind aufgrund ihrer kompakten Bauweise, ihres geringen Gewichts und ihrer hohen Messgenauigkeit ideal für robotische Anwendungen. Allerdings ist ihre effektive Reichweite stark begrenzt (typischerweise 3–6 m), was ihren Einsatz in großflächigen Szenarien (z. B. Lagerhallen, Fabriken, Außenbereiche) einschränkt.
Die bestehenden Ansätze zur Depth Completion (Vervollständigung von Tiefenkarten) stoßen hier an Grenzen:

• Fehlende Datensätze: Es gibt keine spezialisierten Datensätze für ToF-Kameras in großflächigen Umgebungen. Bestehende Datensätze (wie NYU-Depth V2 oder KITTI) basieren entweder auf synthetischen, gleichmäßig gesampelten Daten oder nutzen LiDAR-Daten, die nicht die spezifischen Eigenschaften von ToF-Sensoren (große Lücken, nicht-uniforme Abtastung) abbilden.
• Sensor-Agnostische Modelle: Existierende Netzwerke gehen oft von gleichmäßig verteilten, synthetischen Spärlichkeitsmustern aus. Sie können die realen, nicht-uniformen Verteilungen und die großen fehlenden Bereiche von ToF-Tiefenkarten nicht effektiv modellieren.
• Skalierbarkeit: Viele State-of-the-Art-Methoden sind zu rechenintensiv für den Einsatz auf leichten Robotern (Edge Computing) und generalisieren schlecht auf große Szenen.

2. Methodik

Das Paper stellt ToFormer vor, ein Full-Stack-Framework, das aus drei Hauptkomponenten besteht:

A. Datensatz: LASER-ToF

Die Autoren haben den ersten Datensatz und Benchmark für großflächige ToF-Tiefenvervollständigung erstellt.

• Plattform: Ein Multi-Sensor-System mit LiDAR, visueller Kamera, ToF-Sensor und IMU.
• Ground-Truth-Generierung: Statt statischer Akkumulation (die oft zu Lücken führt) nutzen sie eine rekonstruktionsbasierte Methode mittels eines LiDAR-Visual-Inertial (LVI) SLAM-Systems (R3LIVE). Dies ermöglicht dichte, präzise Ground-Truth-Tiefenkarten für jede einzelne Frame in großen Umgebungen (bis zu 26,3 m Reichweite).
• Daten: Der Datensatz umfasst 20.996 Frames aus 52 Sequenzen (Indoor/Outdoor) mit einer durchschnittlichen Rückgabedichte von 94,6 %. Er bietet zwei Eingabeoptionen: reines ToF und ToF kombiniert mit visuellen SLAM-Punktwolken.

B. Netzwerkarchitektur: ToFormer

Das Netzwerk ist als „Sensor-Aware" (sensorgewahr) konzipiert, um die spezifischen Eigenschaften von ToF-Daten zu adressieren.

• Encoder (2D RGB-D Fusion): Ein hybrider CNN-Transformer-Encoder. Er nutzt Serial Dilated Convolutions (SDC) für lokale Merkmale und Cross-Covariance Attention (XCA), um langreichweitige Beziehungen bei linearer Komplexität zu modellieren.
• 3D-Branch & JPP: Ein neuartiger 3D-Zweig verarbeitet die Punktwolke direkt.
  • EdgeConv: Aggregiert nicht-lokale Nachbarn in der Punktwolke, um geometrische Beziehungen zu erfassen.
  • 3D-2D Joint Propagation Pooling (JPP): Überbrückt die Lücke zwischen dünnen Punktwolken und dichten 2D-Bildern, indem er eine dichte-zu-dichte Interaktion ermöglicht (im Gegensatz zu den üblichen sparse-to-dense Ansätzen).
• MXCA (Multimodal Cross-Covariance Attention): Ein Modul im ersten Encoder-Stadium, das RGB-, Tiefen- und 3D-Features effizient fusioniert, indem es Selbst- und Kreuz-Aufmerksamkeit in einem Schritt berechnet.
• Decoder & SPN: Ein Decoder rekonstruiert die Tiefenkarte auf mehreren Skalen. Ein Spatial Propagation Network (SPN) verfeinert die Ausgabe iterativ, um lokale Details zu schärfen und Ausreißer zu unterdrücken.
• Flexibilität: Das System kann optional visuelle SLAM-Punktwolken als zusätzliche spärliche Eingabe nutzen, um die Genauigkeit in großen Entfernungen zu verbessern.

C. Roboter-Implementierung

Das Netzwerk wurde auf einem Quadrocopter (Jetson Orin NX) in Echtzeit (10 Hz) implementiert. Es integriert die Tiefenvervollständigung direkt in die Kartierung und Pfadplanung.

3. Wichtige Beiträge

1. LASER-ToF Dataset: Der erste reale Benchmark für großflächige ToF-Tiefenvervollständigung mit dichter Ground-Truth und nicht-uniformen Mustern.
2. ToFormer Netzwerk: Eine effiziente, sensor-spezifische Architektur, die nicht-uniforme Spärlichkeit und große Lücken durch 3D-2D-Fusion und Attention-Mechanismen bewältigt.
3. Echtzeit-Robotik-Validierung: Demonstration der Anwendbarkeit auf einem leichten Roboter, der damit großflächige, dichte Kartierung und sichere Langstrecken-Pfadplanung in komplexen Umgebungen ermöglicht.

4. Ergebnisse

• Quantitative Leistung: Auf dem LASER-ToF-Benchmark erreicht ToFormer eine 8,6 % niedrigere mittlere absolute Fehler (MAE) als die zweitbeste Methode. Im Vergleich zum Durchschnitt aller Baselines reduziert sich der MAE um 34,7 % (bei Nutzung von ToF+Visual).
• Effizienz: Das Modell ist extrem leichtgewichtig (7,61 Mio. Parameter, 507,49 GFLOPs). Es ist deutlich effizienter als der Durchschnitt der Baselines (Reduktion von Parametern um 85,9 % und Laufzeit um 73,8 %).
• Robustheit: Das Modell bleibt auch bei verrauschten SLAM-Eingaben oder wenn SLAM komplett ausfällt (nur ToF-Eingabe) stabil und übertrifft generalisierende Modelle (wie OMNI-DC oder Marigold-DC), die bei großen Lücken und nicht-uniformen Mustern versagen.
• Roboter-Experimente:
  • Kartierung: Ermöglicht die Rekonstruktion von Strukturen bis zu 15 m Entfernung (statt nur 3 m mit rohem ToF) und füllt große Lücken in der Karte.
  • Pfadplanung: In Tests mit einem Quadrocopter reduzierte die Nutzung von ToFormer den Energieverbrauch um bis zu 29,0 %, die Weglänge um 8,4 % und die Reisezeit um 16,2 %. In Szenarien mit Sackgassen konnte der Roboter mit Depth Completion Hindernisse frühzeitig erkennen und Kollisionen vermeiden, während er ohne diese Funktion scheiterte.

5. Bedeutung und Fazit

ToFormer löst das fundamentale Problem der begrenzten Reichweite von ToF-Sensoren in der Robotik. Durch die Kombination eines maßgeschneiderten Datensatzes, einer spezialisierten Netzwerkarchitektur und einer erfolgreichen Echtzeit-Implementierung auf Edge-Geräten zeigt das Paper, dass leichte ToF-Kameras durch Deep Learning für großflächige, komplexe robotische Aufgaben (wie autonomes Navigieren in Lagerhallen oder Fabriken) einsatzfähig gemacht werden können. Dies eröffnet neue Möglichkeiten für kostengünstige und energieeffiziente Robotersysteme, die bisher auf teure LiDAR-Systeme angewiesen waren.