Extending Foundational Monocular Depth Estimators to Fisheye Cameras with Calibration Tokens

Die Autoren stellen eine selbstüberwachte Methode vor, die mithilfe von Kalibrierungstokens die latenten Embeddings von monokularen Tiefenschätzern für Fisheye-Kameras anpasst, um diese ohne Nachtraining oder Feinabstimmung auf verzerrten Bildern effektiv einzusetzen.

Das Wesentliche

Stell dir vor, du hast einen extrem klugen, gut ausgebildeten Architekten (das ist der "Foundational Monocular Depth Estimator" oder FMDE). Dieser Architekt hat jahrelang nur mit normalen Fotos gearbeitet, die mit Standard-Kameras gemacht wurden. Er kennt sich perfekt aus: Er kann auf ein Bild schauen und sofort sagen, wie weit weg ein Tisch, eine Wand oder ein Auto ist.

Jetzt kommt ein neues Problem: Du willst, dass dieser Architekt auch mit Fisheye-Bildern (Fischauge) arbeitet. Das sind die extrem verzerrten, kugelförmigen Bilder, die oft von Überwachungskameras oder autonomen Autos verwendet werden, um einen riesigen Blickwinkel zu haben.

Das Problem? Wenn du dem Architekten ein Fisheye-Bild gibst, wird er verrückt. Die geraden Linien sind krumm, die Ecken sind weit weg, die Mitte ist nah. Er denkt: "Das ist doch gar kein normaler Raum!", und liefert falsche Entfernungen. Er ist verwirrt, weil sich die "Regeln" der Perspektive geändert haben.

Bisher gab es zwei Lösungen, die beide nicht ideal waren:

1. Das Bild glätten: Man versucht, das krumme Fisheye-Bild digital zu "entzerren", damit es wie ein normales Bild aussieht. Das ist wie wenn man einen geknickten Brief glattbügelt. Aber dabei gehen oft Teile des Briefes verloren, es entstehen Risse oder Verzerrungen, und der Architekt sieht immer noch etwas "Falsches".
2. Den Architekten neu ausbilden: Man nimmt den Architekten und lässt ihn von vorne beginnen nur mit Fisheye-Bildern lernen. Das ist teuer, dauert lange und man braucht Millionen von Fisheye-Bildern, die es kaum gibt. Außerdem vergisst er dabei vielleicht, wie man normale Bilder liest.

Die neue Lösung: Die "Kalibrierungs-Tokens"

Die Autoren dieses Papiers haben eine geniale, leichte Lösung gefunden. Sie nennen sie Kalibrierungs-Tokens (man kann sie sich wie kleine, intelligente Übersetzer-Notizen vorstellen).

Stell dir vor, statt den Architekten neu auszubilden oder das Bild zu zerren, hängst du ihm einfach einen kleinen Zettel an die Brille.

• Wie funktioniert das?
  Der Architekt (das KI-Modell) ist eigentlich ein Transformer-Netzwerk (eine moderne KI-Architektur). Diese Netzwerke arbeiten mit "Tokens" (kleinen Informationseinheiten). Die Forscher fügen dem Bild einfach ein paar dieser extra Tokens hinzu, bevor es in den Architektengehirn-Teil gelangt.
• Was machen diese Tokens?
  Diese Tokens sind wie ein Dolmetscher, der dem Architekten flüstert: "Hey, pass auf! Das Bild ist verzerrt, weil es durch ein Fischauge kam. Aber die tiefen Informationen sind noch da. Ignoriere die krummen Linien und konzentriere dich auf die Struktur, so wie du es bei normalen Bildern tust."
• Das Ergebnis:
  Der Architekt behält sein gesamtes Wissen über normale Räume bei. Er muss nicht neu lernen. Die Tokens "kalibrieren" nur seine Wahrnehmung für den Moment, in dem er ein Fisheye-Bild sieht. Sobald das Bild vorbei ist, nimmt man die Tokens wieder weg, und er ist wieder der normale, perfekte Architekt für Standard-Fotos.

Wie lernt man diese Tokens? (Der Trick)

Das Schönste an der Methode ist, dass man keine echten Fisheye-Bilder mit echten Entfernungs-Messungen (Ground Truth) braucht, um sie zu trainieren. Das wäre wie wenn man einem Dolmetscher nur Texte in einer Sprache geben würde, die er nicht kennt, und erwartet, dass er sie übersetzt.

Stattdessen machen sie folgendes:

1. Sie nehmen Millionen von normalen Bildern (die der Architekt schon kennt).
2. Sie fälschen künstlich eine Fisheye-Verzerrung hinein (sie machen das Bild krumm).
3. Der Architekt versucht, die Tiefe dieses krummen Bildes zu schätzen.
4. Dann nehmen sie das Ergebnis und entzerren es wieder zurück zum Originalbild.
5. Sie vergleichen: "Stimmt das Ergebnis mit dem Originalbild überein?"
6. Wenn nicht, passen sie die kleinen Tokens (die Notizen an der Brille) ein wenig an, bis der Architekt auch bei den gekünstelten krummen Bildern das richtige Ergebnis liefert.

Warum ist das so toll?

• Es ist sparsam: Man muss nicht den ganzen Architekten neu trainieren. Nur die winzigen Tokens werden angepasst. Das kostet kaum Rechenleistung und Speicherplatz.
• Es ist flexibel: Du brauchst nur eine Sorte von Tokens, um sowohl für Innenräume (wie Wohnzimmer) als auch für draußen (wie Straßen) zu funktionieren.
• Es ist verlustfrei: Da man das Bild nicht digital entzerren muss, gehen keine Pixelinformationen verloren. Das Bild bleibt in seiner ursprünglichen Qualität erhalten.

Zusammenfassend:
Statt einen neuen Architekten zu bauen oder das alte Haus (das Bild) umzubauen, geben wir dem alten Architekten einfach eine Brille mit speziellen Gläsern (die Tokens), damit er die verzerrte Welt des Fisheye-Objektivs klar und richtig sehen kann, ohne sein gesamtes Wissen über die normale Welt zu verlieren.

Technische Zusammenfassung

1. Problemstellung

Grundlegende monokulare Tiefenschätzer (Foundational Monocular Depth Estimators, FMDEs), wie MiDaS, DepthAnything oder UniDepth, werden auf riesigen Datensätzen mit Perspektivbildern (Standard-Kameras) trainiert. Diese Modelle zeigen hervorragende Generalisierungsfähigkeiten für 3D-Szenen.

Das Hauptproblem besteht darin, dass diese Modelle bei Fisheye-Bildern (Weitwinkelobjektive mit starker Verzerrung) versagen. Die Verzerrung führt zu einem Kovariatenverschiebungseffekt (Covariate Shift): Die Verteilung der latenten Einbettungen (Embeddings) von Fisheye-Bildern weicht stark von der der Perspektivbilder ab, auf denen das Modell trainiert wurde. Dies führt zu fehlerhaften, unscharfen und ungenauen Tiefenschätzungen.

Herkömmliche Lösungsansätze haben erhebliche Nachteile:

• Rekalibrierung/Entzerrung: Das Umwandeln von Fisheye-Bildern in perspektivische Ansichten vor der Inferenz führt zu Rechenzeitverzögerungen, räumlichen Artefakten (Streckung, Aliasing, Informationsverlust) und ist fehleranfällig, wenn die Kamerakalibrierung nicht perfekt ist.
• Neues Training/Finetuning: Das Training eines separaten Modells für Fisheye-Bilder erfordert große, spezifische Fisheye-Datensätze, die kaum verfügbar sind. Ein Finetuning bestehender FMDEs führt oft zu „Parameter-Drift", wodurch das Modell seine Generalisierungsfähigkeit für andere Szenen verliert und nicht mehr für Perspektivkameras geeignet ist.

2. Methodik: Calibration Tokens

Die Autoren schlagen eine leichte Anpassungsmethode vor, die den bestehenden FMDE ohne Neutrainieren des gesamten Modells für Fisheye-Bilder nutzbar macht.

Kernkonzept:
Statt die Bilder im Bildraum zu verzerren oder das gesamte Modell neu zu trainieren, werden Calibration Tokens eingeführt. Diese sind eine kleine Menge trainierbarer Vektoren, die als Eingabe in den Transformer-Architekturen der FMDEs hinzugefügt werden.

Technische Details:

• Architektur: Da viele FMDEs auf Vision-Transformern (ViT) basieren, nutzen die Autoren den Selbst- und Cross-Attention-Mechanismus.
• Eingabe: Für Fisheye-Bilder werden die Calibration Tokens an die Sequenz der Patch-Embeddings angehängt.
• Multi-Layer-Ansatz: Anstatt nur einen Satz von Tokens am Anfang des Netzwerks zu verwenden, werden Layer-wise Tokens eingeführt. Ein einzigartiger Satz von Tokens wird an jeder Encoder-Schicht hinzugefügt. Dies ermöglicht eine tiefgreifende Modulation der latenten Einbettungen durch das gesamte Netzwerk hindurch.
• Funktionsweise: Die Tokens lernen, die latenten Einbettungen von Fisheye-Bildern so zu modulieren, dass sie der Verteilung der Einbettungen von Perspektivbildern entsprechen. Der Decoder des FMDEs bleibt unverändert und kann somit die bereits gelernten Fähigkeiten zur Tiefenschätzung nutzen.
• Rückwärtskompatibilität: Für Perspektivbilder werden die Tokens einfach weggelassen, sodass das Originalmodell ohne Verluste weiterläuft.

Trainingsziel (Self-Supervised Learning):
Da große Fisheye-Datensätze fehlen, nutzen die Autoren vorhandene Perspektiv-Datensätze:

1. Synthese: Aus Perspektivbildern werden künstlich verzerrte Fisheye-Bilder generiert (unter Verwendung des Kannala & Brandt-Modells).
2. Zielsetzung: Das Modell schätzt die Tiefe für das synthetische Fisheye-Bild (mit Tokens).
3. Loss-Berechnung: Anstatt die Schätzung im verzerrten Raum zu bewerten, wird die geschätzte Tiefenkarte des Fisheye-Bildes rückverzerrt (undistorted) in den ursprünglichen Perspektiv-Raum transformiert.
4. Verlustfunktion: Der Verlust wird als Differenz zwischen dieser rückverzerrten Schätzung und der ursprünglichen, hochqualitativen Tiefenschätzung des FMDEs für das unverzerrte Perspektivbild berechnet (Self-Supervised Loss). Dies nutzt die starken Vorhersagen des FMDEs als „Ground Truth" und vermeidet Artefakte, die bei der Transformation von Ground-Truth-Daten in den Fisheye-Raum entstehen würden.
5. Loss-Typ: Es wird eine LogL1-Verlustfunktion verwendet, um die Stabilität zu erhöhen und Artefakte in Randbereichen zu minimieren.

3. Wichtige Beiträge

1. Erweiterung von FMDEs: Ein neuer Ansatz, um auf Perspektivbildern trainierte Modelle nahtlos auf Fisheye-Kameras zu übertragen.
2. Calibration Tokens: Eine leichte, trainierbare Mechanik, die die latenten Einbettungen anpasst, ohne die Bildpixel oder die Architektur des Hauptmodells zu verändern.
3. Selbstüberwachtes Training: Ein innovatives Trainingsverfahren, das große Perspektiv-Datensätze nutzt, indem synthetische Verzerrungen erzeugt und die Ausgabe wieder in den Referenzrahmen zurückprojiziert wird, um einen verlustfreien Loss zu berechnen.
4. Einheitliches Modell: Ein einziger Satz von Tokens funktioniert sowohl für Innen- als auch für Außenszenen und für verschiedene Fisheye-Verzerrungsmodelle, ohne separate Modelle pro Domäne zu benötigen.

4. Ergebnisse

Die Methode wurde auf mehreren FMDEs (MiDaS, DepthAnything, UniDepth) und Datensätzen (ScanNet++ für Innenräume, KITTI-360 für Außenbereiche) evaluiert.

• Quantitative Verbesserungen:
  • Auf dem ScanNet++-Datensatz (Innenräume) verbesserte sich der RMSE (Root Mean Squared Error) für MiDaS um 12 %, für DepthAnything um 17 % und für UniDepth um 13 % im Vergleich zum Baseline-Modell ohne Tokens.
  • Die Methode übertrifft den State-of-the-Art (DepthAnyCamera, FoVA-Depth) deutlich, insbesondere bei der Genauigkeit (RMSE und δ1).
  • Auf KITTI-360 (Außenbereiche, extreme Verzerrung >180°) zeigte sich eine robuste Leistung, wobei UniDepth mit Tokens den RMSE um 2 % verbesserte und die SOTA-Methoden übertraf.
• Vergleich mit Finetuning: Ein direktes Finetuning des gesamten Modells führte zu einem signifikanten Leistungsabfall (Drift), während die Calibration Tokens die ursprüngliche Leistung auf Perspektivbildern bewahrten und gleichzeitig die Fisheye-Leistung steigerten.
• Effizienz:
  • Der Overhead ist minimal: Die Tokens fügen weniger als 1 MB Speicher hinzu (ca. 0,05 % der Modellgröße) und erhöhen die Inferenzzeit um weniger als 1 ms.
  • Es werden keine Kameraintrinsiken zur Laufzeit benötigt.

5. Bedeutung und Ausblick

Diese Arbeit bietet eine effiziente und skalierbare Lösung für ein weit verbreitetes Problem in der Computer Vision: Die Nutzung von leistungsstarken, vortrainierten Fundamentmodellen in Umgebungen mit nicht-standardisierten Kameras (wie Fisheye-Linsen in autonomen Fahrzeugen oder Robotik).

• Praktische Relevanz: Sie eliminiert die Notwendigkeit, riesige, spezifische Fisheye-Datensätze zu sammeln und zu annotieren.
• Systemdesign: Sie ermöglicht es Systemen, verschiedene Kameratypen (Perspektiv und Fisheye) mit einem einzigen, gemeinsamen Tiefenschätz-Modell zu verarbeiten, was den operativen Aufwand in gemischten Kamerasystemen reduziert.
• Zukunft: Der Ansatz ist modular und kann leicht auf neue Transformer-basierte FMDEs übertragen werden, sobald diese verfügbar sind.

Zusammenfassend demonstriert das Paper, dass durch geschickte Modulation des latenten Raums mittels Calibration Tokens die Lücke zwischen idealisierten Trainingsdaten und verzerrten Realweltdaten effektiv geschlossen werden kann, ohne die Integrität der ursprünglichen Modelle zu beeinträchtigen.