Deployment-Aware Codec Selection for Learned RGB-D Compression in Edge--Cloud 3D Reconstruction

In der modernen Welt der digitalen Bildverarbeitung leisten Kameras mehr, als nur ein flaches Bild der Welt einzufangen. Viele Geräte, von Smartphones bis hin zu spezialisierten Sensoren, zeichnen heute zwei Dinge gleichzeitig auf: die Farbe einer Szene und die Entfernung zu jedem Punkt innerhalb dieser Szene. Diese Kombination, bekannt als RGB-D-Daten, erzeugt eine reichhaltige, dreidimensionale Karte, die es Computern ermöglicht, die Form und das Layout eines Raumes, eines Waldes oder einer Straße zu verstehen. Diese zusätzliche Ebene an Tiefeninformationen bringt jedoch einen hohen Preis mit sich: Sie verdoppelt die Menge der Daten, die gespeichert oder übertragen werden müssen. Wenn diese Daten auf einem kleinen, batteriebetriebenen Gerät wie einer Drohne oder einem Roboter erfasst werden und zur Verarbeitung an einen leistungsstarken Computer in der Cloud gesendet werden müssen, besteht die Herausforderung darin, die Dateigröße zu schrumpfen, ohne die kritischen Details zu verlieren, die später für den Wiederaufbau der 3D-Form benötigt werden.

Jahrelang haben Ingenieure versucht, dies zu lösen, indem sie das perfekte Gleichgewicht zwischen Dateigröße und Bildqualität fanden. Sie entwickelten fortschrittliche Computerprogramme, die oft als „gelernte Codecs“ bezeichnet werden und künstliche Intelligenz nutzen, um Bilder effizienter als traditionelle Methoden vorherzusagen und zu komprimieren. Der Standardansatz bestand darin, nach dem Algorithmus zu suchen, der die kleinste Datei für das klarste Bild liefert, unter der Annahme, dass es auch in der realen Welt gut funktionieren wird, wenn es in einer Computersimulation funktioniert. Diese Annahme scheitert jedoch oft, wenn die Daten von einem winzigen, energiebeschränkten Gerät an einen entfernten Server gesendet werden müssen. Die reale Welt führt physische Grenzen ein: Das Gerät verfügt möglicherweise nicht über genügend Speicher, um ein komplexes Programm auszuführen, die Software ist möglicherweise nicht mit der Hardware des Geräts kompatibel oder die Zeit, die für die Komprimierung des Bildes benötigt wird, ist für einen Live-Videostream zu lang. Eine Methode, die auf einer Grafik perfekt aussieht, kann unbrauchbar werden, wenn sie tatsächlich nicht auf dem Gerät laufen kann, das die Daten senden muss.

Ein Team von Forschern am Harbin Institute of Technology und der Dalian University of Technology setzte sich zum Ziel, diese Diskrepanz zu beheben. Anstatt nur nach den besten Kompressionszahlen zu suchen, entwarfen sie eine neue Art und Weise, welches Kompressionswerkzeug zu wählen ist. Sie behandelten die Fähigkeit, die Software auf einem spezifischen Gerät tatsächlich auszuführen, als eine primäre Anforderung, die genauso wichtig ist wie die Qualität des Bildes. Ihr Ziel war es, ein vollständiges System zu bauen, bei dem eine Kamera auf einem Edge-Gerät eine 3D-Szene erfasst, sie komprimiert, sie über ein Netzwerk sendet und sie auf einem Cloud-Server wieder in eine farbige 3D-Punktwolke rekonstruiert, während gleichzeitig die strengen Hardware-Limits eingehalten werden.

Die Forscher begannen damit, vier verschiedene Arten von KI-basierten Kompressionsmodellen an einem Standarddatensatz von Innenräumen zu testen. Sie maßen, wie klein die Dateien wurden und wie klar die Bilder blieben. Wie erwartet produzierten die komplexesten Modelle, die hochentwickelte mathematische Strukturen verwendeten, um Pixelwerte vorherzusagen, die kleinsten Dateien mit der höchsten Qualität. Eines dieser fortgeschrittenen Modelle, das eine Technik namens „Attention“ nutzte, um sich auf wichtige Details zu konzentrieren, erreichte eine sehr hohe Qualitätsbewertung bei einer sehr niedrigen Datenrate. Als die Forscher jedoch untersuchten, wie lange diese Modelle auf einem echten Gerät zur Ausführung benötigten, änderte sich das Bild. Das leistungsfähigste Modell war unglaublich langsam und benötigte viel Zeit, um jeden Frame zu verarbeiten, da es Werte in einer strengen, schrittweisen Sequenz berechnen musste, die die Hardware des Geräts nicht beschleunigen konnte.

Das Team wandte dann ihre neue Auswahlmethode an, die alle Modelle herausfiltert, die bestimmte reale Anforderungen nicht erfüllen können. Sie suchten nach Modellen, die innerhalb eines festgelegten Zeitlimits laufen konnten, in den Speicher des Geräts passten und mit den spezifischen Software-Tools des Geräts kompatibel waren. Sie fanden heraus, dass das schnellste und effizienteste Modell tatsächlich ein einfacheres war. Dieses Modell nutzte einen geradlinigen mathematischen Ansatz, den die Hardware des Geräts sehr schnell verarbeiten konnte. Während dieses einfachere Modell etwas größere Dateien und eine etwas geringere Bildqualität als das komplexe Modell lieferte, war es wesentlich schneller. Tatsächlich war das komplexe Modell mehr als sechzig Mal langsamer in der Vorbereitung für den Einsatz als das einfachere Modell. Die Forscher kamen zu dem Schluss, dass das „beste“ Modell für ein reales System nicht dasjenige mit der höchsten theoretischen Qualität ist, sondern dasjenige, das tatsächlich schnell genug laufen kann, um mit der Kamera Schritt zu halten.

Um dies zu beweisen, bauten die Forscher ein vollständiges funktionierendes System unter Verwendung eines kleinen, leistungsstarken Computerboards namens Jetson TX2, das als Edge-Gerät fungierte. Sie programmierten es so, dass es Farb- und Tiefenbilder erfasst, sie mit ihrem gewählten einfacheren Modell komprimiert, die Daten über ein lokales Netzwerk sendet und auf der Empfängerseite ein Cloud-Server die Daten dekodiert und sie wieder in eine 3D-Punktwolke umwandelt. Sie maßen jeden Schritt dieser Reise, vom Moment, in dem die Kamera das Bild aufnahm, bis zu dem Moment, in dem die 3D-Form auf dem Bildschirm erschien. Das System lieferte erfolgreich eine rekonstruierte 3D-Ansicht mit einer Rate von fast dreißig Bildern pro Sekunde und einer Gesamtlatenz von etwas über neunzig Millisekunden. Diese Geschwindigkeit ist für viele interaktive Anwendungen, wie etwa Fernpräsenz oder Echtzeit-Kartierung, ausreichend schnell.

Die Forscher verglichen ihr neues System auch mit etablierten, traditionellen Kompressionswerkzeugen, die bereits in der Hardware integriert sind. Diese älteren Werkzeuge, die Farbe und Tiefe separat behandeln, waren viel schneller und komprimierten Bilder in nur etwas mehr als zehn Millisekunden. Sie benötigten jedoch etwas mehr Daten, um eine ähnliche Qualität zu erreichen. Das neue KI-basierte System war zwar langsamer, gelang es jedoch, eine 3D-Rekonstruktion mit weniger Fehlern in den Tiefenmessungen zu erzeugen, was bedeutet, dass die 3D-Formen genauer waren. Dieser Kompromiss zeigte, dass die neue Methode eine praktikable Alternative sein kann, wenn die Priorität auf der Genauigkeit der 3D-Form statt auf der absolut schnellsten Verarbeitungsgeschwindigkeit liegt.

Ein wesentlicher Teil ihres Erfolgs war das Management der Software auf dem Gerät. Sie versuchten nicht, das gesamte komplexe KI-Programm auf dem spezialisierten Grafikprozessor des Geräts auszuführen. Stattdessen teilten sie die Arbeit auf. Die Hauptteile des Programms, die das Bild transformieren, wurden konvertiert, um effizient auf der Hardware des Geräts zu laufen, während der letzte Schritt des Verpackens der Daten in einen Stream von einer anderen, kompatiblen Softwareschicht gehandhabt wurde. Dieser hybride Ansatz ermöglichte es ihnen, die Geschwindigkeitsvorteile der Hardware zu nutzen, ohne an Teilen der Software hängenzubleiben, die die Hardware nicht bewältigen konnte. Sie fanden heraus, dass diese spezifische Art der Organisation der Software entscheidend war; der Versuch, das gesamte Programm in einer einzigen, nicht optimierten Weise auszuführen, wäre zu langsam gewesen.

Die Studie untersuchte auch, wie sich die Daten bei der Übertragung über das Netzwerk verhielt. Sie versendeten die komprimierten Bilder in kleinen Paketen, ähnlich wie bei Videostreaming-Diensten, und prüften, wie das System Verzögerungen oder Datenverluste handhabte. Sie fanden heraus, dass das System robust war und die Bilder korrekt zusammensetzen konnte, selbst wenn die Netzwerkbedingungen nicht perfekt waren. Die gesamte Zeit, die für ein Bild von der Kamera bis zur endgültigen 3D-Rekonstruktion in der Cloud benötigt wurde, betrug im Durchschnitt etwa einundneunzig Millisekunden. Dies beinhaltet die Zeit für die Aufnahme des Bildes, die Kompression, das Senden und den Wiederaufbau. Die Forscher merkten an, dass die größte Variation in dieser Zeit durch die Netzwerkübertragung selbst entstand, was zu erwarten war, aber das System blieb stabil und konsistent.

Letztendlich demonstrierten die Forscher, dass die Auswahl eines Kompressionswerkzeugs nicht nur ein mathematisches Problem ist, bei dem es darum geht, die kleinste Datei zu finden. Es ist ein Systemdesign-Problem, das die physischen Grenzen des Geräts, die Geschwindigkeit der Hardware und die Anforderungen der endgültigen Aufgabe berücksichtigen muss. Indem sie die Fähigkeit, die Software bereitzustellen, als Kernbestandteil der Entscheidung behandelten, konnten sie ein Modell auswählen, das Qualität, Geschwindigkeit und Ressourcennutzung effektiv ausbalanciert. Ihre Arbeit liefert einen klaren Bauplan für die Entwicklung dieser Edge-to-Cloud-Systeme und zeigt, dass die beste Lösung oft diejenige ist, die zur Maschine passt, und nicht nur diejenige, die einen theoretischen Wettbewerb gewinnt. Das Ergebnis ist ein praktisches, funktionierendes System, das in der Lage ist, 3D-Szenen in Echtzeit zu erfassen, zu komprimieren und zu rekonstruieren, wodurch die Lücke zwischen fortgeschrittener künstlicher Intelligenz und den physischen Beschränkungen der Geräte, die sie tragen, geschlossen wird.