🤖 AI

Vanishing Depth: Training Generalized Depth Adapters with Sinusoidal Depth Preprocessing for Pretrained RGB Encoders

Dieses Paper schlägt einen selbstüberwachten Ansatz vor, der vortrainierte RGB-Encoder durch einen sinusförmig tiefenkodierten Adapter erweitert, um ein generalisiertes, robustes metrisches Tiefenverständnis sowie eine überlegene Leistung bei verschiedenen RGB-D-Downstream-Aufgaben ohne die Notwendigkeit eines Fine-Tunings zu erreichen.

Ursprüngliche Autoren: Paul Koch, Jörg Krüger

Veröffentlicht 2026-06-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Paul Koch, Jörg Krüger

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten ein sehr intelligentes, hochtrainiertes Roboterauge (einen „vorentrainierten RGB-Encoder“), das exzellent darin ist, Objekte, Farben und Formen in einem 2D-Foto zu erkennen. Es weiß, wie ein „Stuhl“ aussieht, aber es hat keine Ahnung, wie weit dieser Stuhl entfernt ist. Es sieht eine flache Welt.

Damit ein Roboter tatsächlich Dinge tun kann – wie etwa einen Becher aufheben oder durch einen Raum navigieren – muss er Tiefe verstehen (wie weit Dinge im 3D-Raum entfernt sind). Normalerweise muss man dafür das gesamte Gehirn eines Roboters von Grund auf neu trainieren, was langsam und teuer ist und oft die klugen Dinge ruiniert, die es bereits über Formen und Farben gelernt hat.

Dieses Paper stellt eine clevere „Plug-in“-Lösung namens Vanishing Depth und Sinusoidal Depth Preprocessing vor. So funktioniert es, unter Verwendung einfacher Analogien:

1. Der „Depth Adapter“ (Der universelle Übersetzer)

Betrachten Sie das bestehende Gehirn des Roboters als einen Meisterkoch, der fantastische 2D-Bilder von Essen kochen kann. Die Autoren haben einen kleinen, abnehmbaren Adapter (einen „Depth Adapter“) gebaut, den man in die Küche des Chefs einstecken kann.

Was er tut: Er nimmt das 2D-Wissen des Chefs und mischt es mit neuen 3D- Tiefeninformationen.
Die Magie: Er zwingt den Chef nicht dazu, das Kochen zu vergessen. Stattdessen lehrt er den Chef, auch Entfernungen zu verstehen. Das ursprüngliche Gehirn bleibt genau so, wie es war (unverfälscht), aber nun kann es die Welt in 3D sehen.
Der Vorteil: Man muss nicht den ganzen Chef neu trainieren. Man steckt einfach den Adapter ein, und der Roboter ist bereit für neue Aufgaben wie Segmentierung (Objekte ausschneiden), Pose-Schätzung (die Position bestimmen) oder das Auffüllen fehlender Tiefendaten.

2. Das „Vanishing Depth“-Training (Das Blindfold-Spiel)

Wie bringt man diesem Adapter bei, Tiefe zu verstehen, ohne dass er einfach nur bestimmte Bilder auswendig lernt? Die Autoren haben ein Spiel namens „Vanishing Depth“ verwendet.

Stellen Sie sich vor, Sie bringen jemandem bei, eine Gebirgskette zu erkennen. Anstatt ihm ein perfektes Foto zu zeigen, machen Sie Folgendes:

Verbergen Sie Teile des Fotos: Sie decken 50 % des Berges mit einer Augenbinde (zufälligem Rauschen) ab.
Ändern Sie die Skalierung: Sie zoomen zufällig hinein und heraus, sodass der Berg riesig oder winzig erscheint.
Verschieben Sie die Position: Sie bewegen den Berg nach links oder rechts.
Das Ziel: Der Schüler (die KI) muss auf die sichtbaren Teile und die Form des Berges schauen, um zu erraten, wie die verborgenen Teile aussehen.

Durch das Durchspielen dieses Prozesses mit tausenden verschiedenen Tiefenkarten lernt die KI die wahre Struktur der Tiefe anstatt nur spezifische Bilder auswendig zu lernen. Sie lernt, mit fehlenden Daten, verrauschten Sensoren und unterschiedlichen Entfernungen umzugehen, was sie unglaublich robust macht.

3. „Sinusoidal Depth Preprocessing“ (Das Lineal mit unendlichen Markierungen)

Standardmäßige Wege, eine KI über Tiefe zu lehren, sind wie die Verwendung eines Lineals, das nur Markierungen für 1 Meter, 2 Meter und 3 Meter hat. Wenn man ihr etwas in 1,5 Metern Entfernung zeigt, wird sie verwirrt.

Die Autoren haben eine neue Art erfunden, Tiefe zu messen, die Sinusoidal Depth Preprocessing (SDP) genannt wird.

Die Analogie: Stellen Sie sich ein Lineal vor, das nicht nur gerade Linien hat, sondern ein glattes, wellenförmiges Muster (wie eine Sinuskurve), das sich immer wieder wiederholt.
Warum es besser ist: Dieses wellenförmige Muster ermöglicht es der KI, Tiefe als einen glatten, kontinuierlichen Fluss zu verstehen, anstatt als Sprünge zwischen festen Zahlen. Sie kann winzige Unterschiede (wie 1,001 Meter) und riesige Unterschiede (wie 500 Meter) mit der gleichen Leichtigkeit handhaben.
Das Ergebnis: Dies macht die KI viel präziser und stabiler, insbesondere wenn die Tiefendaten unordentlich oder spärlich sind (wie bei einem Laserscanner, der einige Punkte verpasst).

Was haben sie bewiesen?

Die Autoren haben diesen „Adapter“ bei einer Vielzahl von Aufgaben getestet, und er schnitt besser ab als fast alles andere, was derzeit verfügbar ist, ohne dass ein zusätzliches Training (Finetuning) für diese spezifischen Aufgaben erforderlich war.

Segmentierung: Wenn sie gefragt wurden, Objekte in einem Raum zu identifizieren und zu umreißen, erreichte ihr System einen Spitzenwert (56,05 mIoU auf dem SUN-RGBD-Datensatz) und schlug damit andere komplexe, multimodale Systeme.
Pose-Schätzung: Wenn sie gefragt wurden, genau zu bestimmen, wie ein Objekt im 3D-Raum rotiert ist, übertraf ihr System bisherige Methoden deutlich.
Robustheit: Selbst wenn die Tiefendaten verrauscht, fehlend oder mit seltsamen Verzerrungen behaftet waren, funktionierte ihr System weiterhin gut, während andere Systeme abstürzten oder falsche Antworten lieferten.

Das Fazit

Dieses Paper präsentiert ein „universelles Tiefen-Plug-in“. Es nimmt eine intelligente, 2D-bewusste KI und wertet sie sofort zu einer 3D-bewussten KI auf. Dies geschieht, indem die KI lernt, Tiefe durch ein „Lückenausfüll-Spiel“ (Vanishing Depth) zu verstehen und indem sie ein superpräzises, wellenförmiges Messwerkzeug (Sinusoidal Preprocessing) verwendet. Das Ergebnis ist ein Roboter-Visionssystem, das genau, robust und sofort bereit ist, neue Aufgaben zu übernehmen, ohne dass es neu trainiert werden muss.

Technisches Resümee: Vanishing Depth: Training Generalized Depth Adapters mit Sinusoidal Depth Preprocessing für vortrainierte RGB-Encoder

Problemstellung

Aktuelle State-of-the-Art (SOTA) Vision-Foundation-Modelle, insbesondere solche, die auf selbstüberwachtem Lernen (SSL) wie DINOv2 basieren, zeichnen sich dadurch aus, generalisierte Merkmale aus RGB-Bildern zu extrahieren. Ihnen fehlt jedoch ein inhärentes metrisches Tiefenverständnis, eine Fähigkeit, die für nachgelagerte Aufgaben, die absolute 3D-Positionsinformationen erfordern – wie Robotik, Pose-Schätzung und Tiefen-Vervollständigung (Depth Completion) – entscheidend ist. Bestehende Ansätze zur Integration von Tiefe stützen sich häufig auf:

Aufgabenspezifisches Fine-Tuning: Welches die während des Vortrainings gelernten generalisierten Merkmale korrumpieren kann.
Zufällige Initialisierung von Tiefen-Encodern: Was zu einem Mangel an Generalisierbarkeit über verschiedene Datensätze hinweg führt.
Multimodales Vortraining: Methoden wie OmniVec oder MultiMAE richten Modalitäten aus, scheitern aber oft daran, eine pixelweise metrische Tiefenpräzision zu erzwingen, da sie sich eher auf den allgemeinen Kontext für Klassifizierung oder Segmentierung konzentrieren.

Folglich besteht eine Lücke in der Literatur für einen generalisierten RGBD-Encoder, der metrische Tiefe in einen vortrainierten RGB-Latent-Raum integrieren kann, ohne ein aufgabenspezifisches Fine-Tuning zu erfordern, während er gleichzeitig robust gegenüber Variationen in der Tiefendichte, -verteilung und dem Rauschen bleibt.

Methodik

Die Autoren schlagen ein Framework vor, das aus zwei primären Komponenten besteht: einem Depth Adapter (DA) und Sinusoidal Depth Preprocessing (SDP), die über eine Vanishing Depth-Pipeline trainiert werden.

1. Depth Adapter (DA) Architektur

Basis: Die Methode erweitert bestehende vortrainierte RGB-Encoder (z. B. ViT-B basierend auf DINOv2), indem ein paralleler Tiefen-Encoder-Zweig hinzugefügt wird.
Fusion: Sie verwendet einen „Skip & Embed“ (S&E)-Mechanismus, um RGB- und Tiefensignale in spezifischen Zwischenschichten (z. B. Schichten 3, 6, 9, 12) zu fusionieren. Dies ermöglicht es dem Tiefen-Encoder, die generalisierten semantischen Merkmale des eingefrorenen RGB-Encoders zu nutzen.
Trainingsstrategie: Der vortrainierte RGB-Encoder ist eingefroren (frozen), um seine generalisierten Merkmale zu bewahren. Nur der Depth Adapter und die Decoder-Heads werden trainiert. Dies stellt sicher, dass das Modell die robusten RGB-Repräsentationen nicht „verlernt“.
Decoder: Ein leichtgewichtiger U-Net-Decoder mit vier Feature Pyramid Network (FPN) Heads führt eine Multiskalen-Dekodierung für die dichte metrische Tiefenprädiktion durch.

2. Sinusoidal Depth Preprocessing (SDP)

Motivation: Standardmäßige Tiefen-Normalisierung (z. B. Skalierung auf [0,1] oder Verwendung von Disparitätskarten) hat Schwierigkeiten mit variierenden Tiefenverteilungen, -dichten und -störungen.
Mechanismus: SDP kodiert kontinuierliche Tiefenwerte $d_j$ in einen Satz von Sinusfunktionen:
$SDP(d_j, 2i) = \sin(l/T^{2i/c}), \quad SDP(d_j, 2i+1) = \cos(l/T^{2i/c})$
wobei $l = 2\pi(d_j / \max(d))$ .
Normalisierung: Es unterstützt sowohl Global Max Depth (GSDP) als auch Local Max Depth (LSDP). Für LSDP wird der maximale Tiefenwert in einen Vektor kodiert und zum CLS-Token addiert, was es dem Modell ermöglicht, die metrische Tiefe dynamisch zu dekodieren.
Vorteil: Dieser Ansatz bietet eine stabile Merkmalsextraktion innerhalb des Bereichs von [-1, 1], unabhängig von der Eingabetiefenverteilung oder der absoluten Skala, im Gegensatz zu klassischen Positionskodierungen, die für die Token-Lokalisierung konzipiert sind.

3. Vanishing Depth Trainings-Pipeline
Um sicherzustellen, dass das Modell eine Tiefendichte- und Verteilungs-invariante Repräsentation lernt, nutzt die Trainings-Pipeline eine „Vanishing Depth“-Strategie, die von Inpainting inspiriert ist:

Datenaugmentation: Tiefenkarten werden mittels Perlin-Rauschen und zufälligem Resized Noise manipuliert, um variierende Prozentsätze (1–99 %) der Tiefenpixel zu entfernen.
Verteilungs-Invarianz: Zufällige Offsets, Skalare und Rescaling werden auf Tiefenproben angewendet, um zu verhindern, dass das Modell sich allein auf monokulare Tiefenkues aus dem RGB-Bild verlässt.
Loss-Funktion: Ein Multi-scale Balanced Scale-Invariant (SI) Loss wird verwendet. Er balanciert die Rekonstruktion vorhandener Tiefenpixel mit der Prädiktion fehlender (maskierter) Tiefenpixel, wodurch sichergestellt wird, dass das Modell sowohl bei dichten als auch bei spärlichen Eingaben gut performt.

Hauptbeiträge

Generalisierter Depth Adapter: Eine Methode, um vortrainierte RGB-Encoder so zu erweitern, dass sie metrische Tiefe ohne Fine-Tuning des Basis-Encoders handhaben können, was eine „Out-of-the-Box“-Adaption an verschiedene RGBD-Aufgaben ermöglicht.
Sinusoidal Depth Preprocessing (SDP): Eine neuartige Vorverarbeitungstechnik, die herkömmliche Normalisierung bei der Handhabung diverser Tiefenverteilungen, -dichten und -rauschpegel übertrifft.
Vanishing Depth Training: Eine selbstüberwachte Pipeline, die den Adapter darauf trainiert, robust gegenüber fehlenden Daten und Verteilungsverschiebungen zu sein, indem sie spärliche und verrauschte Tiefeneingaben während des Trainings simuliert.
Zero-Finetuning Adaptierbarkeit: Das resultierende Modell kann für nachgelagerte Aufgaben (Segmentierung, Pose-Schätzung, Tiefen-Vervollständigung) unter Verwendung nur des eingefrorenen Encoders und eines leichtgewichtigen Decoder-Heads eingesetzt werden, wodurch die Rechenkosten und das Risiko von Overfitting vermieden werden.

Experimentelle Ergebnisse

Die Autoren evaluierten ihren Ansatz über Segmentierung, Tiefen-Vervollständigung und 6D-Objekt-Pose-Schätzung auf Datensätzen wie SUN-RGBD, NYU-v2, KITTI, Void, YCBV und anderen.

Segmentierung: Die vorgeschlagene Methode erreichte 56,05 mIoU auf dem SUN-RGBD-Datensatz, übertraf damit SOTA-tiefenbewusste und multimodale Encoder (z. B. OmniSegmentor, DFormerV2) und verbesserte die RGB-Baseline (DINOv2) signifikant. Sie zeigte zudem die Wirksamkeit auf RGB-only Datensätzen, bei denen die Tiefe mittels monokularer Schätzung synthetisiert wurde.
Tiefen-Vervollständigung (Depth Completion): Bei Aufgaben der spärlichen Tiefen-Vervollständigung (KITTI, Void) zeigten die SDP-basierten Adapter eine überlegene Präzision im Vergleich zu normbasierten Tiefenkodierungen und anderen SOTA-Methoden, insbesondere beim Umgang mit spärlichen Eingaben.
Pose-Schätzung: In der 6D-Objekt-Pose-Schätzung (YCBV, HomeBrew, LM-O) verbesserten die Tiefen-Adapter die Leistung eingefrorener RGB-Encoder erheblich (DINOv2 + DA erreichte 84,1 AUC auf YCBV gegenüber 72,5 für DINOv2 allein). Die Methode übertraf multimodale Baselines wie Omnivore und MultiMAE, die oft an Leistung verloren, wenn Tiefe eingeführt wurde.
Robustheit: Ablationsstudien bestätigten, dass SDP resistenter gegen Rauschen und Spärlichkeit ist als die Standard-Normalisierung. Während normalisierungsbasierte Methoden mit zufälligem Rauschen und fehlender Tiefe zu kämpfen hatten, behielt SDP seine Stabilität bei.

Bedeutung und Ansprüche

Das Paper behauptet, dass diese Arbeit die Lücke zwischen generalisierten Foundation-Modellen und metrischem Tiefenverständnis schließt. Durch den Verzicht auf aufgabenspezifisches Fine-Tuning bietet die Methode eine modulare und effiziente Lösung für die Robotik und Multi-Agenten-Systeme, bei denen eine schnelle Anpassung an neue Umgebungen erforderlich ist.

Generalisierbarkeit: Der Ansatz ist nicht auf spezifische Datensätze beschränkt; er generalisiert über variierende Tiefendichten und -verteilungen hinweg.
Effizienz: Er ermöglicht die Wiederverwendung großer, vortrainierter RGB-Encoder, was die Notwendigkeit reduziert, massive multimodale Modelle von Grund auf neu zu trainieren.
Relevanz für die Robotik: Die Autoren heben das Potenzial für Vision-Language-Action (VLA) und Robotik-Policy-Learning hervor, bei denen vortrainierte Encoder vorteilhaft sind, aber oft ein Fine-Tuning erfordern, das zu Overfitting führt. Diese Methode bietet einen Weg, Tiefenbewusstsein zu integrieren, ohne die Generalisierungsfähigkeit des Basis-Encoders zu beeinträchtigen.

Die Autoren merken bescheiden an, dass sie zwar auf VLA- und Policy-Learning-Benchmarks verzichtet haben (aufgrund fehlender standardisierter Out-of-the-box Vergleichsrahmen), die Architektur jedoch darauf ausgelegt ist, diese Anwendungen in Zukunft zu unterstützen. Sie räumen zudem ein, dass für extreme Tiefenbereiche (z. B. >15 m) eine Rescaling oder Anpassung des maximalen Tiefenparameters notwendig ist, obwohl die Frequenzdichte von SDP in solchen Fällen gestreckt werden kann.