A Calibration Audit of Confidence in Feed-Forward 3D Reconstruction

In der Welt des Computer Vision lernen Maschinen, die Welt in drei Dimensionen aus flachen Fotografien zu sehen. Sie nehmen eine Serie von zweidimensionalen Bildern und rekonstruieren in einem einzigen Durchgang eine 3D-Karte der Szene, indem sie Punkte im Raum platzieren, die Wände, Böden und Objekte repräsentieren. Damit diese Systeme im echten Leben nützlich sind, etwa um einen Roboter zu führen oder einem selbstfahrenden Auto zu helfen, benötigen sie mehr als nur eine Vermutung darüber, wo sich Dinge befinden; sie müssen wissen, wie sicher sie sich dieser Vermutung sind. Hier kommt ein „Konfidenzsignal“ ins Spiel. Jedes Mal, wenn das Modell einen Punkt im 3D-Raum vorhersagt, gibt es auch eine Zahl aus, die seine Konfidenz repräsentiert. Nachgeschaltete Systeme, also die Programme, die diese 3D-Daten tatsächlich nutzen, lesen diese Zahl als Zuverlässigkeitssignal. Wenn die Konfidenz hoch ist, vertraut das System dem Punkt und nutzt ihn; wenn sie niedrig ist, ignoriert es ihn oder geht vorsichtig mit ihm um. Jahrelang wurde dieses Konfidenzsignal als einfaches Ranking-Werkzeug behandelt: eine Methode, um Pixel von den zuverlässigsten zu den am wenigsten zuverlässigen zu sortieren. Doch eine entscheidende Frage blieb unbeantwortet: Sagt die Zahl selbst tatsächlich die Wahrheit darüber aus, wie groß der Fehler sein könnte?

Ein Team von Forschern der Technischen Universität München und anderer Institutionen beschloss, dieses Konfidenzsignal unter ein Mikroskop zu legen. Sie bauten kein neues Modell und versuchten nicht, ein altes besser zu machen. Stattdessen führten sie ein strenges Audit von sieben bestehenden, öffentlich veröffentlichten Modellen durch, die bereits in der wissenschaftlichen Gemeinschaft eingesetzt werden. Sie testeten diese Modelle auf dreizehn verschiedenen Datensätzen, die von Innenräumen und Stadtstraßen bis hin zu synthetischen Videospielen reichten und Milliarden einzelner Pixel umfassten. Ihr Ziel war es zu sehen, ob die von diesen Modellen erzeugten Konfidenzzahlen tatsächliche Messungen der Unsicherheit waren oder ob sie lediglich gut darin waren, Fehler zu sortieren, ohne die Wahrheit über deren Größe zu kennen.

Die Forscher fanden heraus, dass die Modelle exzellent im Ranking sind. Wenn ein Modell sagt, dass ein Pixel vertrauenswürdiger ist als ein anderer, ist es fast immer korrekt, dass der erste Pixel tatsächlich präziser ist. Doch als sie sich die tatsächliche Größe des Fehlers ansah, zeichnete sich ein anderes Bild ab. Die Modelle waren konsistent überkonfident. Sie behaupteten, viel sicherer zu sein, als sie es tatsächlich waren. Im Durchschnitt, über alle getesteten Modelle hinweg, war die vorhergesagte Unsicherheit um den Faktor 2,4 zu niedrig. Das bedeutet, wenn ein Modell einen Fehler von einem Zentimeter vorhersagte, war der tatsächliche Fehler oft näher bei 2,4 Zentimetern. Das Problem verschlimmerte sich, je konfidenter sich das Modell fühlte. Wenn das Modell sich sehr sicher war, war es in Wirklichkeit am ungenauesten und unterschätzte seinen Fehler in einigen Fällen um den Faktor bis zu 15.

Diese Überkonfidenz war kein Zeichen dafür, dass die Modelle schlecht trainiert wurden oder das Lernen zu früh abgebrochen hatten. Die Forscher bewiesen, dass selbst wenn sie ein veröffentlichtes Modell nehmen und es weiter auf seinen eigenen Daten trainieren würden, es schnell sein mathematisches Limit erreichen und dann auch auf neuen, ungesehenen Bildern überkonfident bleiben würde. Das Problem war nicht, dass die Modelle nicht genug gelernt hatten; es war, dass die Art und Weise, wie sie angewiesen wurden, Konfidenzzahlen zu erzeugen, sich grundlegend von der Art und Weise unterschied, wie diese Zahlen in der realen Welt verwendet werden. Während des Trainings lernten die Modelle, eine spezifische mathematische Verlustfunktion zu minimieren, die das Ranking von Fehlern optimierte, aber nicht garantierte, dass die Konfidenzzahlen mit der tatsächlichen physikalischen Größe der Fehler in einer neuen Umgebung übereinstimmten.

Um dies zu beheben, entwickelten die Forscher eine einfache Post-hoc-Korrektur. Sie entdeckten, dass sie durch Anwendung einer spezifischen mathematischen Anpassung – einem Potenzgesetz, das die Konfidenzzahlen basierend auf dem Modell und dem Datensatz skaliert – die vorhergesagte Unsicherheit viel näher an die Wahrheit bringen konnten. Diese Korrektur änderte das Ranking nicht; die Modelle sortierten die Pixel weiterhin korrekt. Aber sie korrigierte die Skalierung. Mit dieser Anpassung sank der durchschnittliche Fehler der Vorhersage von einer Abweichung um das 2,4-Fache auf eine Abweichung um nur noch das 1,35-Fache. Wenn die Forscher eine kleine Menge an gelabelten Daten aus dem spezifischen Datensatz, den sie verwendeten, zur Verfügung hatten, konnten sie diese Korrektur noch weiter verfeinern und den Fehler auf nur noch das 1,12-Fache der Vorhersage senken.

Trotz dieses Erfolgs stellten die Forscher eine harte Grenze fest, die eine einfache Zahl nicht beheben kann. Während die Korrektur im Durchschnitt gut funktionierte, konnte sie den Fehler nicht für jede einzelne Szene perfekt vorhersagen. Eine Korrektur, die für einen ganzen Datensatz funktioniert, versagt oft für einen spezifischen Raum oder eine spezifische Straße, da der Fehler in einer Szene von der einzigartigen Form und Struktur dieser Szene abhängt und nicht nur von einer globalen Verschiebung der Zahlen. Den Modellen fehlt ein tiefes Verständnis der spezifischen Geometrie der Szene, die sie betrachten, und keine noch so große Reskalierung kann dieses fehlende Wissen vollständig kompensieren.

Die Studie kommt zu dem Schluss, dass diese Feed-Forward-3D-Rekonstruktionsmodelle zwar leistungsstarke Werkzeuge sind, die exzellente Rankings der Zuverlässigkeit liefern, ihre rohen Konfidenzzahlen jedoch nicht als direkte Messungen des Fehlers betrachtet werden können. Sie sind zuverlässige Leitfäden zum Sortieren, aber nicht zum Messen. Die Forscher haben ihr Audit-Protokoll und die spezifischen Korrekturkonstanten für jedes der von ihnen getesteten Modelle und Datensätze veröffentlicht, damit andere Wissenschaftler und Ingenieure diese Korrekturen sofort anwenden können. Diese Arbeit bietet einen klaren Weg nach vorn: Nutzer können nun diese leistungsstarken, vortrainierten Modelle nehmen, eine einfache Korrektur auf ihre Konfidenzsignale anwenden und sie mit einem viel klareren Verständnis ihrer tatsächlichen Grenzen verwenden.