Depth-guided Multi-view Exposure Bracketing for HDR Robot Vision

Roboter und Smartphones werden zunehmend mit Kameras ausgestattet, die die Welt dreidimensional sehen, indem sie Tiefensensoren nutzen, um zu verstehen, wie weit entfernte Objekte sind. Diese Maschinen müssen auch in Lichtverhältnissen klar sehen können, die ein menschliches Auge blenden würden, wie etwa das Blendlicht eines Autoscheinwerfers in einem dunklen Tunnel oder die helle Sonne, die sich auf einer nassen Straße spiegelt. Um solche Szenen einzufangen, verlassen sich Kameras normalerweise auf eine Technik namens Exposure Bracketing (Belichtungsreihen), bei der sie mehrere Bilder in schneller Folge mit jeweils unterschiedlichen Helligkeitseinstellungen aufnehmen und diese dann zu einem einzigen, hochwertigen Bild verschmelzen. Diese Methode hat jedoch einen entscheidenden Fehler: Wenn sich die Szene bewegt, führt die Zeit, die benötigt wird, um diese mehreren Bilder aufzunehmen, dazu, dass das endgültige Bild verschwommen oder verzerrt wirkt, ähnlich wie bei einem Foto eines rennenden Kindes, das mit einer langsamen Verschlusszeit aufgenommen wurde. Während einige fortschrittliche Kameras in der Lage sind, alle notwendigen Helligkeitsstufen in einem einzigen Augenblick zu erfassen, sind sie teuer und selten. Die Frage bleibt: Wie können gewöhnliche Maschinen, die mit Standardkameras und Tiefensensoren ausgestattet sind, den vollen Lichtbereich in einem einzigen, scharfen Moment sehen, ohne darauf zu warten, dass die Welt stillsteht?

Ein Team von Forschern der POSTECH in Südkorea hat einen neuen Ansatz entwickelt, der diese Frage beantwortet, indem es ändert, woher die verschiedenen Helligkeitsstufen kommen. Anstatt eine Kamera zu bitten, mehrere Bilder über die Zeit aufzunehmen, baten sie eine Gruppe von Kameras, jeweils ein Bild zum exakt gleichen Zeitpunkt aufzunehmen, aber jede Kamera mit einem drastisch unterschiedlichen Helligkeitsniveau eingestellt. Um dies umzusetzen, bauten sie eine maßgeschneiderte Roboterplattform, die sechs Standardkameras und einen Tiefensensor trägt, und sie testeten die Idee auch an einem iPhone 13 Pro, das drei Kameras und einen in die Rückseite integrierten Tiefensensor besitzt. Die Forscher erstellten eine massive neue Datensammlung, die über einhundert reale Szenen umfasst, die von ihrem Roboter aufgenommen wurden, einen kleineren Satz von Bildern aus dem iPhone sowie zwanzig simulierte Videosequenzen, die von einem Computerprogramm generiert wurden. Dieser Datensatz ermöglicht es ihnen zu testen, wie gut eine Maschine ein perfektes Bild rekonstruieren kann, wenn die Eingaben nicht nur unterschiedlich in der Zeit, sondern auch in der Belichtung und Perspektive sind.

Der Kern ihrer Lösung ist eine Methode, die sie „depth-guided multi-view exposure bracketing“ (tiefengesteuertes Multi-View-Exposure-Bracketing) nennen. Vereinfacht ausgedrückt nimmt das System die Bilder von allen Kameras und nutzt die Tiefeninformation – die Karte darüber, wie weit jeder Punkt in der Szene entfernt ist – um sie perfekt aufeinander abzustimmen. Da die Kameras die Szene aus leicht unterschiedlichen Winkeln betrachten, nutzt das System die Tiefenkarte, um die Bilder so zu verzerren (zu „warpen“), dass sie so ausgerichtet sind, als wären sie alle von demselben Ort aus aufgenommen worden. Diese geometrische Führung ist entscheidend, da sie es dem System ermöglicht, der Ausrichtung selbst dann zu vertrauen, wenn die Husiasunterschiede zwischen den Kameras extrem sind. Ohne diese Tiefenkarte müsste das System versuchen, die Ausrichtung der Bilder basierend auf visuellen Mustern zu erraten, eine Aufgabe, die kläglich scheitert, wenn eine Kamera ein helles Licht sieht und eine andere einen dunklen Schatten. Durch die Nutzung des Tiefensensors kann das System die dunkelsten, mittleren und hellsten Pixel der verschiedenen Kameras instantan zu einem Bild mit hohem Dynamikumfang (High Dynamic Range) zusammenführen.

Die Ergebnisse dieses Ansatzes sind signifikant. Bei Tests mit ihrem neuen Datensatz erzeugte die Methode klarere Bilder mit weniger Fehlern als bestehende Techniken, die versuchen, bewegte Bilder allein basierend auf visuellen Mustern abzugleichen. In Szenen mit extremer Beleuchtung, wie etwa einer hellen Lichtquelle vor einem dunklen Hintergrund, konnte die neue Methode Details erfolgreich aufzeigen, die andere Ansätze übersehen oder verzerrt hätten. Die Forscher fanden heraus, dass das Hinzufügen von mehr Kameras zum System die Qualität weiter verbesserte und es der Maschine ermöglichte, einen noch größeren Lichtbereich zu erfassen. Beispielsweise konnte ein Aufbau mit drei Kameras die meisten Situationen bewältigen, während die Erweiterung des Systems auf acht Kameras es ermöglichte, feine Details in den hellsten Teilen des Bildes aufzulösen, die ansonsten überstrahlt wären. Diese Verbesserung blieb bestehen, unabhängig davon, ob die Bilder von ihrem speziellen Robotergestell, dem iPhone oder der simulierten Umgebung stammten.

Über das Erstellen schönerer Bilder hinaus demonstrierten die Forscher, dass dieses klarere Sehen Robotern hilft, Aufgaben in der Praxis besser zu bewältigen. Sie testeten das System, indem sie es baten, Autos in einer Szene mit blendenden Scheinwerfern zu identifizieren. Standardmethoden, die Schwierigkeiten haben, die Bilder unter solch hartem Licht korrekt abzugleichen, scheiterten oft daran, die Form der Fahrzeuge zu erkennen, indem sie das Blendlicht fälschlicherweise als Teil des Autos interpretierten oder das Auto ganz übersahen. Im Gegensatz dazu bewahrte die neue Methode die strukturellen Details der Autos und ermöglichte es dem Erkennungssystem, sie präzise zu identifizieren. Dies deutet darauf hin, dass die Fähigkeit, Robotern das Sehen des vollen Lichtbereichs in einem einzigen Schnappschuss zu ermöglichen, sie in realen Umgebungen, in denen sich die Beleuchtung schnell und unvorhersehbar ändert, sicherer und zuverlässiger machen könnte. Die Arbeit zeigte auch, dass diese Technologie nicht auf teure, speziell gebaute Roboter beschränkt ist; sie kann effektiv auf Konsumgeräten wie Smartphones funktionieren, sofern diese über mehrere Kameras und einen Tiefensensor verfügen.

Die Forscher räumen ein, dass ihr aktuelles System voraussetzt, dass die Kameras und Tiefensensoren eine gemeinsame Sicht auf die Welt teilen, eine Einschränkung, die die Platzierung der Sensoren begrenzt. Mit Blick auf die Zukunft schlagen sie vor, dass der nächste Schritt darin bestehen sollte, über die Erstellung flacher, zweidimensionaler Bilder hinauszugehen und statlich vielmehr eine vollständige dreidimensionale Repräsentation der Szene aufzubauen, die High-Dynamic-Range-Details im Raum erfasst. Für den Moment jedoch beweist die Studie, dass Maschinen durch die Kombination von Standardkameras mit Tiefensensoren und einer neuen Art der Datenfusion ein Maß an Sichtbarkeit erreichen können, das zuvor spezialisierter, hochpreisiger Ausrüstung vorbehalten war. Dies öffnet die Tür für robustere und leistungsfähigere Robotersysteme, die in der Lage sind, zuverlässig in den komplexen und oft harten Lichtverhältnissen der realen Welt zu operieren.