💻 computer science

One Scene, Two Depths: Probing Geometric Ambiguity in Monocular Foundation Models

Dieses Paper führt den MultiDepth-3k-Benchmark ein, um aufzuzeigen, wie monokulare Foundation-Modelle vielfältige geometrische Präferenzen in geschichteten Szenen aufweisen, wobei demonstriert wird, dass trainingsfreie spektrale Transformationen komplementäre 3D-Interpretationen erschließen können, und für einen ambiguitätsbewussten Ansatz bei der Tiefenüberwachung und -evaluierung plädiert wird.

Ursprüngliche Autoren: Xiaohao Xu, Feng Xue, Xiang Li, Haowei Li, Shusheng Yang, Tianyi Zhang, Matthew Johnson-Roberson, Xiaonan Huang

Veröffentlicht 2026-06-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Xiaohao Xu, Feng Xue, Xiang Li, Haowei Li, Shusheng Yang, Tianyi Zhang, Matthew Johnson-Roberson, Xiaonan Huang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Kernproblem: Die „Ein-Antwort-Falle“

Stellen Sie sich vor, Sie schauen durch ein Fenster an einem Regentag nach draußen. Sie sehen die Regentropfen auf dem Glas (nah bei Ihnen) und die Straßenlaternen in der Ferne (weit weg). Beides ist real. Beides ist sichtbar.

Stellen Sie sich nun vor, Sie fragen eine Roboter-Kamera, wie weit alles entfernt ist. Die meisten modernen KI-Kameras sind darauf trainiert, für jeden Pixel eine einzige Zahl anzugeben. Sie werden gezwungen, sich zu entscheiden: „Ist dieser Pixel das Glas oder ist es die Straßenlaterne?“

Das Paper argumentiert, dass dies ein Fehler in der Art und Weise ist, wie wir diese Roboter lehren. Indem wir sie zwingen, sich nur für eine Antwort zu entscheiden, verbergen wir die Wahrheit. Die „richtige“ Antwort besteht nicht aus nur einer Schicht; sie ist ein Stapel aus Schichten. Wenn die KI eine einzige wählt, findet sie nicht unbedingt die „Wahrheit“, sondern folgt nur einer Gewohnheit (oder einer „Konvention“), die sie aus ihren Trainingsdaten gelernt hat.

Das neue Werkzeug: Der „Layer-Preference“-Benchmark

Die Forscher haben einen neuen Test namens MD-3k (MultiDepth-3k) entwickelt.

Die Analogie: Betrachten Sie dies als einen „Geschmackstest“ für KI-Kameras. Anstatt zu fragen: „Hast du die richtige Entfernung erraten?“, fragen sie: „Welche Schicht hast du ausgewählt, um sie anzusehen?“
Wie es funktioniert: Sie nahmen 3.000 Fotos von transparenten Objekten (wie Glastüren oder Fenstern) und markierten zwei Punkte in jedem Foto. Sie fragten: „Ist Punkt A näher als Punkt B auf dem Glas?“ und „Ist Punkt A näher als Punkt B an der Wand hinter dem Glas?“
Die Entdeckung: Sie testeten viele berühmte KI-Tiefenmodelle. Sie fanden heraus, dass verschiedene Modelle unterschiedliche „Gewohnheiten“ haben. Einige schauen immer auf das Glas (Vordergrund), während andere immer durch das Glas hindurch auf die Wand (Hintergrund) schauen. Es gibt keine einzelne „richtige“ KI; alle haben eine Voreingenommenheit (Bias).

Der Zaubertrick: Laplacian Visual Prompting (LVP)

Dies ist der überraschendste Teil des Papers. Die Forscher fragten: Können wir die Meinung einer KI ändern, ohne sie neu zu trainieren?

Normalerweise muss man eine KI mit tausenden neuen Beispielen füttern und sie neu lehren (Retraining), um die Art und Weise zu ändern, wie sie denkt. Aber diese Forscher fanden eine Abkürzung. Sie nutzten eine Technik namens Laplacian Visual Prompting (LVP).

Die Analogie: Stellen Sie sich vor, die KI ist eine Person, die immer auf den Boden schaut, wenn man ihr ein Bild eines Raumes zeigt. Man kann sie nicht leicht umtrainieren. Aber wenn man ihr eine Brille aufsetzt, die den Boden verschwommen und die Decke super scharf aussehen lässt, fängt sie vielleicht plötzlich an, stattdessen an die Decke zu schauen.
Die Wissenschaft: LVP ist ein einfacher mathematischer Filter (wie eine spezielle Art von Fotofilter), der die „Kanten“ und „scharfen Details“ eines Bildes hervorhebt.
Das Ergebnis: Als sie dieses gefilterte Bild in die eingefrorene (untrainierte) KI einspeisten, änderte sich die „Gewohnheit“ der KI!
- Wenn die KI normalerweise auf das Glas geschaut hatte, ließ der Filter sie auf die Wand dahinter schauen.
- Wenn die KI normalerweise auf die Wand geschaut hatte, ließ der Filter sie auf das Glas schauen.

Sie haben nicht das Gehirn der KI geändert; sie haben nur die „Linse“ geändert, durch die die KI die Welt sieht.

Das große Fazit

Das Paper kommt zu dem Schluss, dass ein einzelnes KI-Modell tatsächlich in der Lage ist, mehrere gültige 3D-Interpretationen derselben Szene zu sehen, aber das Standard-Testing fragt es immer nur nach einer.

Standardmäßiger RGB-Input: Die KI gibt Ihnen ihre „Standard“-Vermutung (z. B. das Glas).
LVP-Input: Dieselbe KI gibt Ihnen eine „komplementäre“ Vermutung (z. B. die Wand hinter dem Glas).

Durch die Kombination dieser beiden Vermutungen zeigten die Forscher, dass die KI tatsächlich die Geometrie beider Schichten gleichzeitig erfüllen kann, etwas, was eine einzige Standard-Vermutung niemals leisten könnte.

Zusammenfassung in einem Satz

Dieses Paper zeigt, dass KI-Tiefenkameras verborgene „Gewohnheiten“ darüber haben, welche Schicht einer transparenten Szene sie betrachten, und dass wir diese Gewohnheiten durch einen einfachen Bildfilter sofort umkehren können, wodurch ersichtlich wird, dass eine einzige KI tatsächlich zwei verschiedene 3D-Wahrheiten gleichzeitig halten kann.

Problemstellung

Monokulare Tiefenschätzung-Foundation-Modelle (MDE) operieren typischerweise unter einem „Single-Depth“-Paradigma, bei dem ein einzelnes RGB-Bild einer einzelnen skalaren Tiefenwert pro Pixel zugeordnet wird. Diese Annahme gilt für opake Szenen, versagt jedoch in geschichteten 3D-Szenen (z. B. durchsichtiges Glas), in denen ein einzelner Kamerastrahlen mehrere geometrisch valide Oberflächen schneidet (eine vordere Glasscheibe und ein hinteres Objekt).

Die Arbeit argumentiert, dass das aktuelle überwachte Training diese mehrschichtige Geometrie zu einem einzigen „datensatzgestalteten skalaren Zielwert“ kollabieren lässt. Der resultierende Tiefenlabel ist nicht die intrinsische Wahrheit der Szene, sondern eine Konvention, die durch Annotationsentscheidungen, Sensoreinschränkungen (z. B. LiDAR vs. Ultraschall) und Trainingsdaten-Biases bestimmt wird. Infolgedessen lernen gefrorene Foundation-Modelle keine „schichtfreie“ Geometrie, sondern lernen eine Tiefen-Schicht-Präferenz – eine Tendenz, entweder die proximale (Vordergrund-) oder die distale (Hintergrund-) Schicht zu melden, wenn eine Mehrdeutigkeit besteht. Standardmäßige Evaluierungsmetriken, die eine Übereinstimmung mit einer einzigen Grundwahrheit belohnen, bestrafen alternative valide Interpretationen und verschleiern dadurch die wahren geometrischen Denkfähigkeiten des Modells.

Methodik

1. MultiDepth-3k (MD-3k) Benchmark
Um diese Präferenz zu messen, ohne eine dichte, sensornatrale metrische Grundwahrheit zu benötigen (die für transparente Schichten schwer zu erhalten ist), führen die Autoren MD-3k ein, einen spärlichen (sparse) ordinalen Benchmark.

Daten: 3.161 RGB-Bilder aus dem GDD-Datensatz, die transparente Objekte enthalten.
Annotation: Anstatt dichter Tiefenkarten wird jedes Bild mit einem spärlichen Paar von Punkten in einem mehrdeutigen Bereich annotiert. Entscheidend ist, dass die Annotation zwei ordinale Labels liefert: die relative Tiefenordnung für die transparente Vordergrundschicht und die sichtbare Hintergrundschicht.
Teilmengen: Der Datensatz ist in eine „Same“-Teilmenge (in der die Tiefenordnungen von Vorder- und Hintergrund übereinstimmen) und eine „Reverse“-Teilmenge (in der sie im Konflikt stehen) unterteilt. Die „Reverse“-Teilmenge ist der kritische Testfall, in dem ein Modell mit einem einzelnen Output nicht beide Schichten gleichzeitig erfüllen kann.

2. Laplacian Visual Prompting (LVP)
Die Autoren schlagen eine trainingsfreie Methode vor, um zu prüfen, ob die Tiefen-Schicht-Präferenz eines gefrorenen Modells durch die Änderung der Eingangsrepräsentation moduliert werden kann.

Mechanismus: LVP wendet einen diskreten Laplace-Kernel (eine hochfrequente Spektraltransformation) auf das Eingangs-RGB-Bild an. Die resultierenden Vorzeichen-Residuen werden normalisiert und in den Eingangsbereich des Modells (z. B. 0–255) zurückgemappt.
Hypothese: Durch die Betonung hochfrequenter Kanten fungiert LVP als Spektralsonde, die das gefrorene Modell dazu bewegen kann, eine andere valide Tiefenhypothese anzunehmen (z. B. den Wechsel von einer Vordergrund- zu einer Hintergrundpräferenz), ohne ein Retraining oder eine Modifikation der Gewichte durchzuführen.

3. Evaluierungsmetriken

Spatial Relationship Accuracy (SRA): Misst den Anteil der Punktpaare, bei denen die vorhergesagte Tiefenordnung mit der Grundwahrheit für eine bestimmte Schicht übereinstimmt (Vordergrund oder Hintergrund).
Depth-Layer Preference ( $\alpha$ ): Definiert als $SRA(2) - SRA(1)$. Ein positives $\alpha$ deutet auf eine Hintergrundpräferenz hin, ein negatives auf eine Vordergrundpräferenz.
Multi-Layer Spatial Relationship Accuracy (ML-SRA): Evaluiert ein Paar von Hypothesen (z. B. RGB-Output und LVP-Output). Es prüft, ob das Paar, wenn es optimal zwei Schichten zugeordnet wird, die ordinalen Constraints für beide Schichten gleichzeitig erfüllt.

Kernbeiträge

Charakterisierung der Tiefen-Schicht-Präferenz: Die Arbeit liefert die erste systematische Charakterisierung davon, wie diverse monokulare Tiefen-Foundation-Modelle (einschließlich Depth Anything v1/v2, DPT, Marigold etc.) unter Standard-RGB-Input eine distinkte, modellspezifische Tendenz zur Vordergrund- oder Hintergrundschicht zeigen.
MD-3k Benchmark: Einführung eines Real-World-Benchmarks, der die Messbarkeit der Tiefen-Schicht-Präferenz über spärliche ordinale Relationen ermöglicht und somit die Notwendigkeit einer unmöglichen dichten, metrischen Multi-Layer-Grundwahrheit umgeht.
Eingangsabhängige Modulation: Demonstration, dass Laplacian Visual Prompting (LVP) die ausgeprägte Tiefen-Schicht-Präferenz gefrorener Modelle signifikant verändern kann. Für bestimmte Modelle fungiert LVP als „Schalter“, der eine komplementäre geometrische Hypothese offenbart, wodurch ein Single-Output-Modell effektiv mehrere valide Interpretationen abdecken kann, wenn es mit unterschiedlichen Inputs abgefragt wird.

Ergebnisse

Diverse Biases: Unter Standard-RGB-Input zeigen Modelle starke, aber inkonsistente Biases. Beispielsweise neigen Indoor-optimierte Varianten von Depth Anything v2 dazu, den Vordergrund (Glas) zu bevorzugen, während Outdoor-optimierte Varianten und generative Modelle (wie Marigold) oft den Hintergrund bevorzugen.
LVP-Effektivität: LVP induziert signifikante Verschiebungen der Präferenz bei spezifischen Modellen (z. B. DPT, Depth Pro und DAv2-L), hat jedoch kaum Effekt auf andere (z. B. DAv1, einige generative Modelle).
- DAv2-L Fall: Das stärkste Beispiel ist DAv2-L. Unter RGB ist es vordergrund-biased ( $\alpha \approx -30,6$ ). Unter LVP verschiebt es sich zu hintergrund-biased ( $\alpha \approx +68,2$ ).
ML-SRA Performance:
- Eine „kollabierte“ Baseline (Duplizieren einer einzelnen Tiefenkarte) erreicht auf der „Reverse“-Teilmenge von MD-3k eine strikte Decke von 56,4 %, da sie nicht in der Lage ist, widersprüchliche ordinale Constraints zu erfüllen.
- Das RGB/LVP-Paar unter Verwendung von DAv2-L erreicht insgesamt 75,5 % ML-SRA und 52,2 % auf der „Reverse“-Teilmenge. Dies stellt einen signifikanten Gewinn gegenüber der Single-Hypothese-Decke dar und beweist, dass das gefrorene Modell komplementäre ordinale Relationen ausdrücken kann, wenn die Eingangsrepräsentation geändert wird.
Ablation: Der Effekt ist spezifisch für High-Frequency-Prompting; Low-Pass-Gaussian-Prompts scheitern daran, die Schichtpräferenz zu modulieren. Der Effekt ist nicht exklusiv für den Laplace-Operator, sondern generalisiert auf andere Hochfrequenz-Transformationen (Sobel, Fourier), wobei LVP als robuster Standard dient.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Standard-RGB-Inferenz nur einen einzigen Ausschnitt einer reicheren geometrischen Posterior erfasst. Indem die Autoren Mehrdeutigkeit nicht als Rauschen, sondern als messbare geometrische Struktur behandeln, demonstrieren sie:

Mehrdeutigkeit ist intrinsisch: Monokulare Tiefen-Foundation-Modelle kodieren mehrere valide geometrische Hypothesen, aber das Standardtraining und die Evaluierung zwingen sie dazu, diese in eine einzige, biased Konvention zu kollabieren.
Modulation ist möglich: Einfache, trainingsfreie spektrale Eingangs-Transformationen (LVP) können diese latenten, komplementären Hypothesen in gefrorenen Modellen freisetzen.
Evaluierung überdenken: Zukünftige Tiefensysteme sollten darauf evaluiert werden, in der Lage zu sein, mehrere valide 3D-Interpretationen darzustellen und zu bewahren, anstatt eine einzige skalare Ausgabe zu erzwingen.

Eingeständnisse zu Limitationen:

LVP ist modellabhängig und kein universeller Schicht-Extraktor; es versagt bei semi-transparenten Oberflächen, bei denen Frequenz-Cues miteinander verflochten sind.
Der Benchmark ist spärlich und auf Transparenz fokussiert; er bietet keine dichte metrische Validierung.
LVP verschlechtert oft die Standard-Einzel-Tiefen-Genauigkeit in nicht-mehrdeutigen Szenen, was darauf hindeutet, dass es ein diagnostisches/probierendes Werkzeug ist und keinen Ersatz für die Standard-Inferenz in klaren Szenen darstellt.

Die Autoren laden die Community ein, eine „ambiguitätsbewusste“ Sichtweise auf Tiefen-Supervision und -Evaluierung einzunehmen, bei der mehrere valide 3D-Interpretationen als geometrische Struktur behandelt werden, die gemessen und ausgedrückt werden kann.