A Calibration Audit of Confidence in Feed-Forward 3D Reconstruction

In de wereld van computer vision leren machines om de wereld in drie dimensies te zien vanuit platte foto's. Ze nemen een reeks tweedimensionale beelden en reconstrueren in één enkele passage een 3D-kaart van de scène, waarbij punten in de ruimte worden geplaatst om muren, vloeren en objecten te representeren. Om deze systemen nuttig te maken in het echte leven, zoals bij het begeleiden van een robot of het helpen van een zelfrijdende auto, hebben ze meer nodig dan alleen een gok over waar dingen zich bevinden; ze moeten weten hoe zeker ze zijn van die gok. Hier komt een "betrouwbaarheidssignaal" (confidence signal) om de hoek kijken. Elke keer dat het model een punt in de 3D-ruimte voorspelt, geeft het ook een getal af dat de betrouwbaarheid vertegenwoordigt. Downstream-systemen, wat de programma's zijn die deze 3D-data daadwerkelijk gebruiken, lezen dit getal als een betrouwbaarheidssignaal. Als de betrouwbaarheid hoog is, vertrouwt het systeem het punt en gebruikt het dit; als de betrouwbaarheid laag is, negeert het systeem het of behandelt het dit met voorzichtigheid. Jarenlang is dit betrouwbaarheidssignaal behandeld als een eenvoudig rangschikkingstool: een manier om pixels te sorteren van meest betrouwbaar naar minst betrouwbaar. Maar een kritische vraag bleef onbeantwoord: zegt het getal zelf wel de waarheid over hoe groot de fout zou kunnen zijn?

Een team onderzoekers aan de Technische Universiteit München en andere instituten besloot dit betrouwbaarheidssignaal onder een microscoop te leggen. Ze bouwden geen nieuw model of probeerden een oud model beter te maken. In plaats daarvan voerden ze een rigoureuze audit uit op zeven bestaande, publiekelijk vrijgegeven modellen die al door de wetenschappelijke gemeenschap worden gebruikt. Ze testten deze modellen op dertien verschillende datasets, variërend van binnenruimtes en stadswegen tot synthetische videogames, die miljarden individuele pixels besloegen. Hun doel was om te zien of de betrouwbaarheidsgetallen die deze modellen produceerden nauwkeurige metingen van onzekerheid waren, of dat ze slechts goed waren in het sorteren van fouten zonder de waarheid over hun omvang te vertellen.

De onderzoekers ontdekten dat de modellen uitstekend zijn in het rangschikken. Als een model zegt dat één pixel betrouwbaarder is dan een andere, is het bijna altijd correct dat de eerste pixel inderdaad nauwkeuriger is. Echter, toen ze naar de werkelijke omvang van de fout keken, ontstond er een ander verhaal. De modellen waren consequent overmoedig. Ze beweerden veel zekerder te zijn dan ze in werkelijkheid waren. Gemiddeld, over alle geteste modellen heen, was de voorspelde onzekerheid te laag met een factor 2,4. Dit betekent dat als een model een fout van één centimeter voorspelde, de werkelijke fout vaak dichter bij 2,4 centimeter lag. Het probleem werd erger naarmate het model zich zekerder voelde. Wanneer het model heel zeker was, was het in werkelijkheid het meest foutief, waarbij het de fout met een factor tot wel 15 onderschatte in sommige gevallen.

Deze overmoed was geen teken dat de modellen slecht getraind waren of dat ze te vroeg met leren waren gestopt. De onderzoekers bewezen dat zelfs als ze een vrijgegeven model zouden nemen en het verder zouden trainen op zijn eigen data, het snel zijn wiskundige limiet zou bereiken en daarna overmoedig zou blijven op nieuwe, ongeziene afbeeldingen. Het probleem was niet dat de modellen niet genoeg hadden geleerd; het was dat de manier waarop ze werden onderwezen om betrouwbaarheidsgetallen te produceren fundamenteel anders was dan hoe die getallen in de echte wereld worden gebruikt. Tijdens de training leerden de modellen een specifieke wiskundige verliesfunctie (loss function) te minimaliseren, die de rangschikking van fouten optimaliseerde maar niet garandeerde dat de betrouwbaarheidsgetallen overeenkwamen met de werkelijke fysieke omvang van de fouten in een nieuwe omgeving.

Om dit op te lossen, ontwikkelden de onderzoekers een eenvoudige post-hoc correctie. Ze ontdekten dat door een specifieke wiskundige aanpassing toe te passen—een machtswet (power law) die de betrouwbaarheidsgetallen schaalt op basis van het model en de dataset—ze de voorspelde onzekerheid veel dichter bij de waarheid konden brengen. Deze correctie veranderde de rangschikking niet; de modellen sorteerden de pixels nog steeds correct. Maar het herstelde de schaal. Met deze aanpassing daalde de gemiddelde fout in de voorspelling van een afwijking van 2,4 keer naar een afwijking van slechts 1,35 keer. Als de onderzoekers een kleine hoeveelheid gelabelde data hadden van de specifieke dataset die ze gebruikten, konden ze deze correctie nog verder verfijnen, waardoor de fout terugging naar slechts 1,12 keer de voorspelling.

Ondanks dit succes ontdekten de onderzoekers een harde limiet waar een simpel getal niet tegenop kan. Hoewel de correctie goed werkte op gemiddeld niveau, kon het niet perfect de fout voor elke individuele scène voorspellen. Een correctie die werkt voor een hele dataset, faalt vaak voor een specifieke kamer of straat omdat de fout in een scène afhangt van de unieke vorm en structuur van die scène, en niet alleen van een globale verschuiving in getallen. De modellen missen een diep begrip van de specifieke geometrie van de scène waar ze naar kijken, en geen enkele herberekening van de schaal kan het gebrek aan die kennis volledig compenseren.

De studie concludeert dat hoewel deze feed-forward 3D-reconstructiemodellen krachtige instrumenten zijn die uitstekende rangschikkingen van betrouwbaarheid bieden, hun ruwe betrouwbaarheidsgetallen niet als directe metingen van fouten kunnen worden vertrouwd. Ze zijn betrouwbare gidsen voor het sorteren, maar niet voor het meten. De onderzoekers hebben hun auditprotocol en de specifieke correctieconstanten voor elk getest model en elke dataset vrijgegeven, zodat andere wetenschappers en ingenieurs deze oplossingen onmiddellijk kunnen toepassen. Dit werk biedt een duidelijk pad vooruit: gebruikers kunnen nu deze krachtige, vooraf getrainde modellen nemen, een eenvoudige correctie toepassen op hun betrouwbaarheidssignalen en ze gebruiken met een veel duidelijker begrip van hun werkelijke beperkingen.