💻 computer science

RayTun3R: Online Camera Adaptation in 3D Foundation Models

RayTun3R ist eine leichtgewichtige, parametereffiziente Methode zur Online-Adaption, die den Pinhole-Kamera-Bias in 3D-Foundation-Modellen korrigiert, indem sie residuelle Anpassungen an Positionskodierungen und Vorhersage-Gittern lernt, was eine präzise Tiefen- und Pose-Schätzung auf Fisheye-Bildern ermöglicht, ohne das vortrainierte Netzwerk zu modifizieren oder zusätzliche Laufzeitkosten zu verursachen.

Ursprüngliche Autoren: Daniil Sinitsyn, Nikita Araslanov, Daniel Cremers

Veröffentlicht 2026-07-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Daniil Sinitsyn, Nikita Araslanov, Daniel Cremers

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Die „Fischglas“- vs. die „Pinhole“-Kamera

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter, der sein ganzes Leben lang durch eine Standard-Kameralinse (eine „Pinhole“-Kamera) auf die Welt geschaut hat. Dieser Roboter ist ein Experte darin, den 3D-Raum, die Tiefe und die Bewegung von Objekten zu verstehen. Er weiß: Wenn man einen Pixel einen Zentimeter nach rechts bewegt, bewegt sich das Objekt in der realen Welt um einen ganz bestimmten Betrag.

Stellen Sie sich nun vor, Sie geben diesem Roboter eine Kamera mit einem Fisheye-Objektiv (Fischaugenobjektiv). Diese Linse ist wie der Blick durch ein Fischglas oder eine Weitwinkel-Überwachungskamera. Sie erfasst ein riesiges Sichtfeld (bis zu 200 Grad!), aber sie verzerrt das Bild. Gerade Linien wirken gekrümmt, und der Abstand zwischen den Pixeln ändert sich, je nachdem, wo man sich im Bild befindet (nahe der Mitte vs. nahe am Rand).

Das Ergebnis: Wenn Sie diesem „Standard“-Roboter ein Fisheye-Bild zeigen, wird er verwirrt. Er versucht, seine alten Regeln anzuwenden (wo 1 Pixel = 1 Einheit Raum entspricht), auf ein verzerrtes Bild. Das Ergebnis ist eine chaotische, fehlerhafte 3D-Karte, auf der Gebäude verbogen aussehen und Entfernungen nicht stimmen.

Die alten Lösungen (und warum sie umständlich sind)

Vor diesem Paper versuchten Menschen, dies auf zwei Arten zu lösen:

Die „Crop and Stitch“-Methode (Zuschneiden und Zusammenfügen): Man schnitt das große Fisheye-Bild in vier oder fünf kleine, normal aussehende Quadrate, fütterte den Roboter nacheinander mit diesen Bildern und versuchte dann, die Antworten wieder zusammenzukleben.
- Der Nachteil: Das ist langsam (der Roboter muss 5-mal härter arbeiten) und es wirft die Ränder des Bildes weg.
Die „Heavy Training“-Methode (Schweres Training): Man versuchte, den gesamten „Gehirn“-Prozess des Roboters neu zu trainieren, damit er Fisheye-Linsen versteht.
- Der Nachteil: Dies erfordert massive Mengen an Daten und Rechenleistung, und es ist schwer, dies schnell umzusetzen.

Die neue Lösung: RayTun3R

Die Autoren dieses Papers, RayTun3R, haben einen cleveren, leichtgewichtigen Trick erfunden. Anstatt das gesamte Gehirn des Roboters neu zu trainieren, erkannten sie, dass die Verwirrung des Roboters von einem spezifischen Teil seines „GPS-Systems“ (genannt Positional Encoding) kommt.

Stellen Sie sich das Gehirn des Roboters wie eine riesige Bibliothek vor. Das „Positional Encoding“ ist das Karteikartensystem, das dem Roboter sagt, wo sich jedes Buch (oder jeder Pixel) befindet.

Bei einer normalen Kamera sagen die Karteikarten: „Gehe 1 Schritt nach rechts, du bist 1 Meter entfernt.“
Bei einer Fisheye-Kamera sind die Karteikarten falsch, weil die „Schritte“ kleiner oder größer werden, je nachdem, wie weit man vom Zentrum entfernt ist.

RayTun3R ist wie ein kleiner, smarter Aufkleber, den man auf das Karteikartensystem klebt.

Es hält die Bibliothek eingefroren: Das massive Gehirn des Roboters (das „Foundation Model“) bleibt exakt gleich. Wir rühren die schwere Arbeit nicht an.
Es aktualisiert die Karte: Es ändert nur die winzigen Nachschlagetabellen, die dem Roboter sagen, wie er „Bildpixel“ in „reale Strahlen“ (Rays) übersetzt.
Es lernt schnell: Es betrachtet nur wenige Sekunden Video (ein kurzes zeitliches Segment) und begreift: „Ah, bei dieser speziellen Fisheye-Kamera sind die Ränder so verzerrt. Lass mich die Karte ein wenig anpassen.“

Wie es funktioniert (Die Metapher)

Stellen Sie sich vor, Sie tragen eine Brille, die die Welt gekrümmt erscheinen lässt (Fisheye). Sie haben einen Freund (das KI-Modell), der versucht, Ihnen den Raum zu beschreiben, basierend auf dem, was er durch Ihre Brille sieht.

Der alte Weg: Ihr Freund versucht, den Raum jedes Mal komplett neu auswendig zu lernen, wenn Sie eine neue Brille aufsetzen.
Der RayTun3R-Weg: Ihr Freund behält sein Wissen über den Raum perfekt bei. Er fragt Sie einfach nur: „Hey, wenn du in die Ecke des Raumes schaust, sieht es so aus, als wäre sie 2 Meter oder 5 Meter entfernt?“ Sie sagen ihm die Regel für Ihre spezifische Brille, und er passt seine Beschreibung sofort an.

Die Ergebnisse: Warum es großartig ist

Das Paper testete dies an vielen verschiedenen Datensätzen (Fahrszenen, Innenräume, Handheld-Videos) mit sehr weiten Winkeln. Hier ist das, was sie herausfanden:

Es ist unglaublich effizient: Der „Aufkleber“, den sie dem Modell hinzufügen, ist winzig. Er besitzt nur etwa 10.752 anpassbare Zahlen (Parameter).
- Vergleich: Eine populäre Methode namens LoRA (die bereits als effizient gilt) verwendet etwa 14-mal mehr anpassbare Zahlen, um ein schlechteres Ergebnis zu erzielen.
Es ist schnell: Da es nicht das ganze Gehirn neu trainiert, verlangsamt es den Roboter nicht. Es läuft mit der gleichen Geschwindigkeit wie das Originalmodell.
Es funktioniert besser: Es reduzierte die Fehler bei der Berechnung der Kamerarotation und -position um das 2- bis 12-fache im Vergleich zum unangepassten Modell. Es schlug die „Crop and Stitch“-Methode in der Genauigkeit, während es das volle Sichtfeld der Kamera nutzte.

Zusammenfassung

RayTun3R ist ein leichtgewichtiges Werkzeug, das leistungsstarke, vortrainierte 3D-KI-Modelle in die Lage versetzt, Fisheye-Kameras zu verstehen, ohne dass eine massive Trainingssession nötig ist. Es funktioniert, indem es die spezifische „Karte“ korrigiert, die die KI nutzt, um zu verstehen, wo sich Pixel befinden, anstatt zu versuchen, der KI eine völlig neue Sprache beizubringen. Es ist schnell, kostengünstig in der Berechnung und lässt die KI die Welt klar durch ein Fischglas-Objektiv sehen.

Technisches Resümee: RayTun3R

Problemstellung

Neuere 3D-Foundation-Modelle (z. B. DUSt3R, MASt3R, VGGT, $\pi^3$ , Depth Anything 3) zeichnen sich durch exzellente Feed-Forward-Tiefe- und Pose-Schätzung auf Standard-Pinhole-Bildern aus. Ihre Leistung verschlechtert sich jedoch erheblich, wenn sie auf Fischaugen- oder Weitwinkel-Inputs angewendet werden. Die Autoren identifizieren, dass dieses Versagen auf einen Pinhole-Bias (Pinhole-Verzerrung) zurückzuführen ist, der in den Positionskodierungen dieser vortrainierten Modelle inhärent ist.

Während standardmäßige Methoden des parametereffizienten Fine-Tunings (PEFT) wie LoRA oder Adapter-Layer generische Merkmals-Transformationen modifizieren, versagen sie bei dem spezifischen geometrischen Missverhältnis: Pinhole- und Fischaugenkameras ordnen denselben Bildgitter-Positionen unterschiedliche Strahlengeometrien zu. Bestehende Umgehungslösungen, wie das Aufteilen von Fischaugenbildern in mehrere virtuelle Pinhole-Crops (z. B. Center-PH, Multi-PH), führen zu einem erhöhten Rechenaufwand und erfordern eine komplexe Fusionsvorhersage, ohne die Fischaugen-Geometrie direkt zu modellieren.

Methodik: RayTun3R

RayTun3R ist ein leichtgewichtiger, Online-Kamera-Adaptationsansatz, der darauf ausgelegt ist, den Pinhole-Bias in eingefrorenen 3D-Foundation-Modellen zu korrigieren, ohne das Backbone neu zu trainieren. Die Kernhypothese ist, dass die Anpassung der Komponenten, die Token-Positionen mit Kamerastrahlen verknüpfen, effektiver ist als die Anpassung generischer Merkmale.

Schlüsselkomponenten

Frozen Backbone: Das vortrainierte 3D-Modell (Gewichte $\theta$ ) bleibt vollständig fixiert.
Leichtgewichtiger Adapter: Nur spezifische Komponenten, die an Token-Position und Kamerageometrie gebunden sind, werden aktualisiert. Die Gesamtzahl der trainierbaren Parameter ist minimal (10.752 für DA3-Small).
- Positional Embedding Correction: Die Autoren parametrisieren Korrekturen für absolute Positions-Embeddings ( $P_A$ ) in Polarkoordinaten (Radius $\rho$ und Winkel $\theta$ ) relativ zum Hauptpunkt. Diese werden als lernbare radiale und Winkel-Lookup-Tabellen implementiert.
- Rotary Positional Encoding (RoPE) Correction: Für Modelle, die RoPE verwenden, wird eine lernbare radiale Korrektur auf die Rotationswinkel angewendet.
- Parameterfreie Korrekturen:
  - Prediction-Grid-Koordinaten: Ersetzt reguläre Gitterkoordinaten durch kamera-bewusste Koordinaten, die durch Entzerrung der Fischaugen-Gitterpositionen gewonnen wurden.
  - Patch-Tokenisierung: Patches außerhalb der gültigen Fischaugenlinse werden durch den mittleren gültigen Token ersetzt, und Patches werden lokal vor der Tokenisierung entzerrt, um Pinhole-Crops zu approximieren.

Trainingsstrategie

Der Adapter wird online auf einem kurzen zeitlichen Segment von Fischaugen-Frames unter Verwendung selbstüberwachter geometrischer Verluste trainiert, ohne dass Ground-Truth-Tiefe oder -Pose erforderlich ist:

Reprojektionsverlust ( $L_{reproj}$ ): Erzwingt Konsistenz zwischen vorhergesagten 3D-Punkten und Korrespondenzen eines fertigen Matchers (UFM).
Pose-Regularisierung ( $L_{pose}$ ): Verwendet eine feste relative Pose-Schätzung (aus MAGSAC++) als Pseudo-Label, um die frühe Optimierung zu stabilisieren.
Glattheits-Priors: Beinhaltet edge-aware Tiefenglattheit und L2/Total-Variation-Regularisierung, um sicherzustellen, dass die Positionskorrekturen klein und glatt im Verhältnis zur vortrainierten Tabelle bleiben.

Wichtigste Beiträge

Analyse des Pinhole-Bias: Die Autoren zeigen, dass die lokale Jacobi-Matrix der vortrainierten Positions-Embeddings der konstanten Geometrie einer Pinhole-Kamera folgt. Sie zeigen, dass die Jacobi-Matrix nach der Adaptation radiusabhängig wird und somit mit der Fischaugen-Geometrie übereinstimmt.
Leichtgewichtiger Adapter-Design: Einführung von RayTun3R, welches nur die Positionskomponenten (absolut und rotativ) anpasst, während das Backbone eingefroren bleibt. Dieser Ansatz verwendet $\sim14\times$ weniger trainierbare Parameter als LoRA und verursacht vernachlässigbare Inferenz-Overheads.
Empirische Validierung: Die Methode wird über diverse Fischaugen-Datensätze (FOV 110°–200°) und drei verschiedene eingefrorene Backbones (Depth Anything 3, VGGT, $\pi^3$ ) validiert.

Ergebnisse

Experimente auf fünf Datensätzen (ETH3D, KITTI-360, TUM-VI, ScanNet++, FIORD) zeigen, dass RayTun3R die Baselines konsistent übertrifft:

Pose-Genauigkeit: RayTun3R reduziert den Rotationsfehler um das 2- bis 12-fache im Vergleich zum unadaptierten Modell und übertrifft LoRA sowie Kalibrierungs-Token (CalTok) signifikant. Auf KITTI-360 erreicht es beispielsweise einen Rotationsfehler von 0,84° gegenüber 1,69° (Vanilla) und 1,37° (LoRA).
Tiefengenauigkeit: Während projektionsbasierte Methoden (Center-PH) durch das Nachahmen der Trainingsverteilung manchmal konkurrenzfähige Tiefen bei moderaten FOVs liefern, erreicht RayTun3R eine konkurrenzfähige Tiefengenauigkeit unter Ausnutzung des vollen Fischaugen-Sichtfelds.
Effizienz: Im Gegensatz zu Multi-PH, das einen $\sim300\%$ höheren Inferenzaufwand durch die Verarbeitung mehrerer Ansichten verursacht, behält RayTun3R die ursprüngliche Inferenzgeschwindigkeit ( $\sim100$ ms/Frame) mit null Overhead bei. Es verwendet nur 10,8K trainierbare Parameter im Vergleich zu 147,5K für LoRA.

Bedeutung und Ansprüche

Das Paper behauptet, dass das Scheitern von 3D-Foundation-Modellen bei Fischaugen-Bildern fundamental ein Missverhältnis in der Positionsrepräsentation ist und nicht ein Mangel an Merkmalskapazität. Durch die Isolierung und Korrektur der kamerabhängigen Abbildung zwischen Bild-Tokens und Sichtstrahlen ermöglicht RayTun3R diesen Modellen eine effiziente Generalisierung auf Weitwinkel-Inputs.

Die Autoren positionieren diese Arbeit als eine Lösung, die die Rechenkosten von Multi-View-Fusion und die architektonischen Änderungen, die für ein kamera-bewusstes Training erforderlich sind, vermeidet. Sie betonen, dass ihre Methode „parametereffizient“ und „laufzeiteffizient“ ist, was sie für Online-Adaptationsszenarien geeignet macht.

Vom Autor anerkannte Einschränkungen

Kameraspezifität: Die Korrektur ist kameraspezifisch; ein anderes Fischaugenmodell oder ein anderes Verzerrungsprofil erfordert eine Neuanpassung.
Verzerrungsannahmen: Die Methode setzt einen Hauptpunkt und primär radiale Verzerrung voraus und deckt keine starken tangentialen oder nicht-radialen Optiken ab.
Kalibrierungsabhängigkeit: Sie erfordert bekannte Kameraparameter (obwohl die vorhergesagte Kalibrierung als praktikabel gezeigt wurde).
Bewegungsanforderungen: Das selbstüberwachte Training erfordert ausreichende Verschiebungen zwischen den Frames; degenerative Bewegungen können die Constraints schwächen.
Geltungsbereich: Die aktuelle Arbeit konzentriert sich auf Fischaugenbilder; panoramische/äquirektanguläre Inputs bleiben für zukünftige Arbeiten offen.