A Calibration Audit of Confidence in Feed-Forward 3D Reconstruction

En el mundo de la visión artificial, las máquinas están aprendiendo a ver el mundo en tres dimensiones a partir de fotografías planas. Toman una serie de imágenes bidimensionales y, en una sola pasada, reconstruyen un mapa 3D de la escena, colocando puntos en el espacio para representar paredes, suelos y objetos. Para que estos sistemas sean útiles en la vida real, como guiar a un robot o ayudar a un coche autónomo, necesitan algo más que una simple suposición sobre dónde están las cosas; necesitan saber qué tan seguros están de esa suposición. Aquí es donde entra en juego una "señal de confianza". Cada vez que el modelo predice un punto en el espacio 3D, también emite un número que representa su confianza. Los sistemas descendentes (downstream), que son los programas que realmente utilizan estos datos 3D, leen este número como una señal de fiabilidad. Si la confianza es alta, el sistema confía en el punto y lo utiliza; si es baja, lo ignora o lo trata con cautela. Durante años, esta señal de confianza ha sido tratada como una simple herramienta de clasificación: una forma de ordenar los píxeles desde los más fiables hasta los menos fiables. Pero una pregunta crítica quedaba sin respuesta: ¿dice el número en sí la verdad sobre qué tan grande podría ser el error?

Un equipo de investigadores de la Universidad Técnica de Múnich y otras instituciones decidió poner esta señal de confianza bajo un microscopio. No construyeron un nuevo modelo ni intentaron enseñar a uno viejo a ser mejor. En su lugar, realizaron una auditoría rigurosa de siete modelos existentes, de acceso público, que ya están siendo utilizados por la comunidad científica. Probaron estos modelos en trece conjuntos de datos diferentes, que iban desde habitaciones interiores y calles de la ciudad hasta videojuegos sintéticos, cubriendo miles de millones de píxeles individuales. Su objetivo era ver si los números de confianza que producían estos modelos eran mediciones precisas de la incertidumbre, o si simplemente eran buenos clasificando errores sin decir la verdad sobre su tamaño.

Los investigadores descubrieron que los modelos son excelentes clasificando. Si un modelo dice que un píxel tiene más confianza que otro, casi siempre es correcto que el primer píxel es, de hecho, más preciso. Sin embargo, cuando analizaron el tamaño real del error, surgió una historia diferente. Los modelos eran consistentemente excesivamente confiados. Afirmaban estar mucho más seguros de lo que realmente estaban. En promedio, en todos los modelos probados, la incertidumbre predicha era demasiado baja por un factor de 2.4. Esto significa que si un modelo predecía un error de un centímetro, el error real solía estar más cerca de los 2.4 centímetros. El problema empeoraba cuanto más seguro se sentía el modelo. Cuando el modelo estaba muy seguro, era en realidad cuando más se equivocaba, subestimando su error por un factor de hasta 15 en algunos casos.

Esta excesiva confianza no era una señal de que los modelos estuvieran mal entrenados o de que hubieran dejado de aprender demasiado pronto. Los investigadores demostraron que incluso si tomaban un modelo publicado y continuaban entrenándolo con sus propios datos, este alcanzaría rápidamente su límite matemático y luego se mantendría excesivamente confiado ante nuevas imágenes no vistas. El problema no era que los modelos no hubieran aprendido lo suficiente; era que la forma en que se les enseñaba a producir números de confianza era fundamentalmente diferente de cómo se utilizan esos números en el mundo real. Durante el entrenamiento, los modelos aprendieron a minimizar una función de pérdida matemática específica, la cual optimizaba la clasificación de los errores pero no garantizaba que los números de confianza coincidieran con el tamaño físico real de los errores en un nuevo entorno.

Para solucionar esto, los investigadores desarrollaron una corrección post-hoc sencilla. Descubrieron que al aplicar un ajuste matemático específico —una ley de potencia que escala los números de confianza basándose en el modelo y el conjunto de datos— podían lograr que la incertidumbre predicha se acercara mucho más a la verdad. Esta corrección no cambiaba la clasificación; los modelos seguían ordenando los píxeles correctamente. Pero sí arreglaba la escala. Con este ajuste, el error promedio en la predicción cayó de estar desviado por 2.4 veces a estar desviado por solo 1.35 veces. Si los investigadores contaban con una pequeña cantidad de datos etiquetados del conjunto de datos específico que estaban utilizando, podían refinar aún más esta corrección, reduciendo el error a solo 1.12 veces la predicción.

A pesar de este éxito, los investigadores encontraron un límite difícil de superar para lo que un simple número puede arreglar. Aunque la corrección funcionaba bien en promedio, no podía predecir perfectamente el error para cada escena individual. Una corrección que funciona para todo un conjunto de datos a menudo falla para una habitación o calle específica, porque el error en una escena depende de la forma y estructura única de esa escena, no solo de un cambio global en los números. Los modelos carecen de una comprensión profunda de la geometría específica de la escena que están observando, y ninguna reescalación puede compensar totalmente ese conocimiento faltante.

El estudio concluye que, si bien estos modelos de reconstrucción 3D de alimentación directa (feed-forward) son herramientas poderosas que proporcionan excelentes clasificaciones de fiabilidad, sus números de confianza brutos no pueden confiarse como mediciones directas de error. Son guías fiables para clasificar, pero no para medir. Los investigadores han publicado su protocolo de auditoría y las constantes de corrección específicas para cada modelo y conjunto de datos que probaron, permitiendo que otros científicos e ingenieros apliquen estas soluciones de inmediato. Este trabajo proporciona un camino claro a seguir: los usuarios ahora pueden tomar estos potentes modelos preentrenados, aplicar una corrección simple a sus señales de confianza y utilizarlos con una comprensión mucho más clara de sus limitaciones reales.