A Calibration Audit of Confidence in Feed-Forward 3D Reconstruction

No mundo da visão computacional, as máquinas estão aprendendo a enxergar o mundo em três dimensões a partir de fotografias planas. Elas pegam uma série de imagens bidimensionais e, em uma única passagem, reconstroem um mapa 3D da cena, posicionando pontos no espaço para representar paredes, pisos e objetos. Para que esses sistemas sejam úteis na vida real, como guiar um robô ou ajudar um carro autônomo, eles precisam de mais do que apenas um palpite sobre onde as coisas estão; eles precisam saber o quão certos estão desse palpite. É aqui que entra um "sinal de confiança". Toda vez que o modelo prevê um ponto no espaço 3D, ele também emite um número representando sua confiança. Os sistemas downstream, que são os programas que realmente utilizam esses dados 3D, leem esse número como um sinal de confiabilidade. Se a confiança é alta, o sistema confia no ponto e o utiliza; se é baixa, o sistema o ignora ou o trata com cautela. Durante anos, esse sinal de confiança foi tratado como uma simples ferramenta de classificação: uma forma de ordenar pixels do mais confiável para o menos confiável. Mas uma questão crítica permanecia sem resposta: o número em si realmente diz a verdade sobre o quão grande o erro poderia ser?

Uma equipe de pesquisadores da Universidade Técnica de Munique e outras instituições decidiu colocar esse sinal de confiança sob um microscópio. Eles não construíram um novo modelo nem tentaram ensinar um antigo a ser melhor. Em vez disso, realizaram uma auditoria rigorosa de sete modelos existentes, lançados publicamente, que já estão sendo usados pela comunidade científica. Eles testaram esses modelos em treze conjuntos de dados diferentes, variando de salas internas e ruas de cidades a videogames sintéticos, cobrindo bilhões de pixels individuais. O objetivo era ver se os números de confiança produzidos por esses modelos eram medições precisas de incerteza ou se eram meramente bons em classificar erros sem dizer a verdade sobre o seu tamanho.

Os pesquisadores descobriram que os modelos são excelentes em classificar. Se um modelo diz que um pixel é mais confiante do que outro, é quase sempre correto que o primeiro pixel é, de fato, mais preciso. No entanto, quando olharam para o tamanho real do erro, uma história diferente surgiu. Os modelos eram consistentemente excessivamente confiantes. Eles alegavam estar muito mais certos do que realmente estavam. Em média, em todos os modelos testados, a incerteza prevista era baixa demais por um fator de 2,4. Isso significa que, se um modelo previa um erro de um centímetro, o erro real era frequentemente próximo de 2,4 centímetros. O problema piorava quanto mais confiante o modelo se sentia. Quando o modelo estava muito seguro, ele era, na verdade, o mais errado, subestimando seu erro por um fator de até 15 em alguns casos.

Essa excesso de confiança não era um sinal de que os modelos foram mal treinados ou que pararam de aprender cedo demais. Os pesquisadores provaram que, mesmo que pegassem um modelo lançado e continuassem o treinamento em seus próprios dados, ele atingiria rapidamente seu limite matemático e permaneceria excessivamente confiante em novas imagens não vistas. O problema não era que os modelos não tivessem aprendido o suficiente; era que a maneira como foram ensinados a produzir números de confiança era fundamentalmente diferente de como esses números são usados no mundo real. Durante o treinamento, os modelos aprenderam a minimizar uma função de perda matemática específica, que otimizava a classificação dos erros, mas não garantia que os números de confiança correspondessem ao tamanho físico real dos erros em um novo ambiente.

Para corrigir isso, os pesquisadores desenvolveram uma correção post-hoc simples. Eles descobriram que, ao aplicar um ajuste matemático específico — uma lei de potência que escala os números de confiança com base no modelo e no conjunto de dados — poderiam trazer a incerteza prevista muito mais próxima da verdade. Essa correção não mudou a classificação; os modelos ainda ordenavam os pixels corretamente. Mas ela corrigiu a escala. Com esse ajuste, o erro médio na previsão caiu de estar incorreto por 2,4 vezes para estar incorreto por apenas 1,35 vezes. Se os pesquisadores tivessem uma pequena quantidade de dados rotulados do conjunto de dados específico que estavam usando, poderiam refinar ainda mais essa correção, reduzindo o erro para apenas 1,12 vezes a previsão.

Apesar desse sucesso, os pesquisadores encontraram um limite rígido para o que um número simples pode corrigir. Embora a correção funcionasse bem na média, ela não conseguia prever perfeitamente o erro para cada cena individual. Uma correção que funciona para um conjunto de dados inteiro frequentemente falha para uma sala ou rua específica, porque o erro em uma cena depende da forma e estrutura únicas daquela cena, não apenas de um deslocamento global nos números. Os modelos carecem de uma compreensão profunda da geometria específica da cena que estão observando, e nenhuma reescala pode compensar totalmente esse conhecimento ausente.

O estudo conclui que, embora esses modelos de reconstrução 3D feed-forward sejam ferramentas poderosas que fornecem classificações excelentes de confiabilidade, seus números de confiança brutos não podem ser confiados como medições diretas de erro. Eles são guias confiáveis para ordenação, mas não para medição. Os pesquisadores disponibilizaram seu protocolo de auditoria e as constantes de correção específicas para cada modelo e conjunto de dados testados, permitindo que outros cientistas e engenheiros apliquem essas correções imediatamente. Este trabalho fornece um caminho claro a seguir: os usuários agora podem pegar esses modelos pré-treinados poderosos, aplicar uma correção simples aos seus sinais de confiança e utilizá-los com uma compreensão muito mais clara de suas limitações reais.