Towards Robust Monocular Depth Estimation in Non-Lambertian Surfaces

Technisches Resümee: Auf dem Weg zu einer robusten monokularen Tiefenschätzung bei nicht-lambertschen Oberflächen

Problemstellung
Jüngste Fortschritte in der monokularen Tiefenschätzung (Monocular Depth Estimation, MDE) haben Modelle hervorgebracht, die beeindruckende Zero-Shot-Generalisierungsfähigkeiten in allgemeinen Szenen aufweisen. Diese Modelle scheitern jedoch häufig beim Auftreten von nicht-lambertschen Oberflächen, insbesondere bei transparenten oder spiegelnden (ToM - Transparent or Mirror) Regionen. Die einzigartigen Reflexionseigenschaften dieser Oberflächen führen dazu, dass Standardmodelle fehlerhafte Tiefenstrukturen basierend auf dem reflektierten Inhalt anstatt auf der Oberfläche selbst vorhersagen. Vorherige Versuche, dies zu adressieren, wie etwa Depth4ToM, verlassen sich auf externe Segmentierungsmasken, um RGB-Bilder vor der Verarbeitung durch ein vortrainiertes MDE-Modell mit zufälligen Farben zu in-painten. Diese Ansätze leiden unter zwei Hauptbeschränkungen: Sie sind stark von der Genauigkeit zusätzlicher Eingangsmasken abhängig, und die Verwendung von Zufallsfarben während des In-paintings mangelt es an Robustheit, was eine umfangreiche Hyperparameter-Optimierung erfordert. Darüber hinaus beeinflussen Lichtverhältnisse die Wiederherstellung der Tiefe bei nicht-lambertschen Oberflächen signifikant; übermäßige Beleuchtung kann Texturen überlagern, während unzureichende Beleuchtung Rauschen und Verzerrungen einführt, was insbesondere transparente Objekte und Spiegelreflexionen betrifft.

Methodik
Die Autoren schlagen ein Trainingsframework vor, das darauf ausgelegt ist, ein Basismodell (speziell Depth Anything V2) inkrementell dazu zu befähigen, die einzigartigen Merkmale nicht-lambertscher Oberflächen direkt zu erlernen, wodurch das Bedürfnis nach RGB-In-painting entfällt. Die Methode besteht aus drei Kernkomponenten:

1. Random Tone-mapping Augmentation (RTA):
   Um die Sensitivität der nicht-lambertschen Tiefenschätzung gegenüber Beleuchtung zu adressieren, setzen die Autoren während der Trainingsphase auf dem synthetischen Hypersim-Datensatz ein zufälliges Tone-mapping ein. Durch Anwendung der Transformation $I_{aug} = \alpha I_{ori}^{\gamma}$, wobei $\gamma$ ein Standard-Gamma-Korrekturfaktor ist und $\alpha$ ein Skalierungsfaktor, der aus zufälligen Perzentil-Intensitätswerten (zwischen dem 70. und 99. Perzentil) abgeleitet wird, wird das Modell einem breiten Spektrum an Beleuchtungsbedingungen ausgesetzt. Dies zielt darauf ab, die Zero-Shot-Generalisierungsfähigkeit des Modells unter variierenden Beleuchtungsverhältnissen zu verbessern.

2. Non-Lambertian Surface Regional Guidance (NSRG):
   Anstatt In-painting einzusetzen, führen die Autoren einen regionalen Leitmechanismus ein, der die Vorhersagen des MDE-Modells innerhalb des Gradientenbereichs einschränkt. Basierend auf der Annahme, dass die meisten ToM-Objekte kontinuierliche Ebenen sind, erzwingt die Methode Konsistenz zwischen dem vorhergesagten Tiefengradienten und dem Ground-Truth-Gradienten innerhalb der maskierten nicht-lambertschen Regionen.
   Die Verlustfunktion $\mathcal{L}_{ToM}$ nutzt einen robusten Schätzer, um die Gradienten der vorhergesagten Tiefe ($\nabla D$) und der Ground-Truth ($\nabla D^\star$) aufeinander abzustimmen. Sie berechnet Skalierungs- ($s$) und Shift-Koeffizienten ($t$), um die Gradienten zu normalisieren, und entfernt Ausreißer durch das Abschneiden der obersten 20 % der Residuen. Der finale Verlust minimiert die $L_1$-Distanz zwischen den normalisierten Gradienten und stellt sicher, dass die vorhergesagte Tiefenebene glatt bleibt und konsistent mit der Ground-Truth in ToM-Regionen ist.

3. Diverse Lighting Images Fusion (DLIF) (Optional):
   Für Szenarien, in denen mehrere Expositionsbilder derselben Szene verfügbar sind, schlagen die Autoren ein optionales Fusionsmodul vor. Dieses Modul nutzt einen vortrainierten Variational Autoencoder (VAE) aus Stable Diffusion, um mehrere Bilder mit unterschiedlichen Beleuchtungsbedingungen in latente Merkmale zu kodieren. Durch Mittelung dieser latenten Merkmale und deren Dekodierung generiert das System ein einzelnes fusioniertes RGB-Bild, das theoretisch über die optimalen Beleuchtungsbedingungen für die Tiefenschätzung verfügt, indem es die semantischen Priors des VAE nutzt.

Wesentliche Beiträge

• Random Tone-mapping Augmentation: Eine Datenerweiterungsstrategie, die den Trainingsdatensatz mit variierenden Beleuchtungsbedingungen anreichert und dadurch die Robustheit sowie die Zero-Shot-Generalisierung des MDE-Modells unter diversen Beleuchtungsszenarien signifikant verbessert.
• Non-Lambertian Surface Regional Guidance: Eine neuartige Trainingsbeschränkung, die im Gradientenbereich operiert. Sie leitet das Netzwerk direkt dazu an, korrekte Tiefenebenen für nicht-lambertsche Oberflächen unter Verwendung von Segmentierungsmasken zu schätzen, wodurch die Instabilität von RGB-In-painting-Methoden vermieden wird.
• Optionales Image Fusion Modul: Ein Mechanismus unter Verwendung von VAEs zur Fusion von Multi-Expositionsbildern, der bei Verfügbarkeit mehrerer Beleuchtungsbedingungen einen vorteilhaften Input für die Tiefenschätzung bereitstellt.

Experimentelle Ergebnisse
Die Methode wurde auf dem Booster-Datensatz und dem NYU Depth Dataset V2 (verfeinert durch Mirror3D) sowie auf dem Testset des TRICKY2024-Wettbewerbs evaluiert.

• Quantitative Leistung: Im Vergleich zum Depth Anything V2-Baseline-Modell erreichte die vorgeschlagene Methode Genauigkeitsverbesserungen von 33,39 % auf dem Booster-Datensatz und 5,21 % auf dem Mirror3D-Datensatz innerhalb der ToM-Regionen (gemessen an $\delta_{1.05}$).
• State-of-the-Art: Auf dem TRICKY2024 Wettbewerbs-Testset erreichte die Methode einen $\delta_{1.05}$-Wert von 90,75 innerhalb der ToM-Regionen und demonstrierte damit eine State-of-the-Art-Leistung.
• Ablationsstudien: Experimente bestätigten, dass sowohl die Random Tone-mapping Augmentation als auch die Non-Lambertian Surface Regional Guidance unabhängig voneinander zu Leistungssteigerungen beitragen, wobei die Kombination die besten Ergebnisse liefert. Das optionale Image Fusion Modul verbesserte die Ergebnisse zusätzlich, wenn Multi-Expositions-Inputs verwendet wurden.

Bedeutung und Limitationen
Die Autoren behaupten, dass die primäre Bedeutung ihrer Arbeit darin liegt, das Paradigma vom Post-Processing-In-painting hin zum direkten Erlernen nicht-lambertscher Charakteristika durch ein gut konzipiertes Trainingsframework zu verschieben. Durch die Fokussierung auf Gradientenkonsistenz und Beleuchtungsrobustheit vereinfacht die Methode die Pipeline und erhöht die Stabilität, ohne auf empirische Anpassungen für Zufallsfarben angewiesen zu sein.

Die Autoren räumen Einschränkungen ein und merken an, dass das Netzwerk in Fällen von extrem überbelichteten Bildern, in denen die Texturen nicht-lambertscher Oberflächen (wie Glas) vollständig verloren gehen, dennoch scheitern kann. Sie schlagen vor, dass zukünftige Arbeiten die Optimierung der Bildqualität und die Fusion semantischer Informationen integrieren könnten, um die qualitative und quantitative Leistung in solchen Extrembedingungen weiter zu verbessern.