Extending Foundational Monocular Depth Estimators to Fisheye Cameras with Calibration Tokens

O artigo propõe um método auto-supervisionado que utiliza "Calibration Tokens" para alinhar as representações latentes de estimadores de profundidade monoculares fundamentais treinados em imagens de perspectiva com imagens de câmeras olho-de-peixe, permitindo sua adaptação sem necessidade de retreinamento ou ajuste fino.

O essencial

Imagine que você tem um super-herói da visão chamado "Estimador de Profundidade". Esse herói foi treinado desde criança olhando milhões de fotos tiradas com câmeras normais (como a do seu celular). Ele é incrível: consegue dizer exatamente quão longe está um objeto apenas olhando para uma foto plana. Ele sabe que uma cadeira está a 2 metros e uma montanha a quilômetros de distância.

O problema é que esse herói nunca viu uma foto tirada com uma lente de olho de peixe (aquelas lentes redondas e distorcidas usadas em câmeras de segurança ou em carros autônomos para ver tudo ao redor).

Quando você mostra uma foto de olho de peixe para ele, ele fica confuso. As linhas retas da sala parecem curvas, os cantos da imagem são esticados e ele começa a alucinar, dizendo que o chão está longe e o teto está perto. É como se ele estivesse tentando ler um mapa que foi dobrado e amassado de um jeito que ele nunca viu.

O Problema: A "Tradução" Dificultada

Normalmente, para consertar isso, os cientistas tentam duas coisas:

1. Desamassar a foto: Eles usam matemática para tentar "endireitar" a imagem de olho de peixe antes de mostrar ao herói. Mas isso é como tentar alisar um papel amassado com as mãos: você perde detalhes, cria rasgos e a imagem fica borrada.
2. Treinar um novo herói: Eles tentam ensinar um novo super-herói especificamente para fotos de olho de peixe. O problema? Não existem milhões de fotos de olho de peixe com medidas exatas para treinar. Seria como tentar ensinar alguém a pilotar um avião apenas com 10 horas de voo, enquanto o outro piloto tem 10.000 horas.

A Solução Mágica: Os "Tokens de Calibração"

Os autores deste artigo tiveram uma ideia brilhante e simples. Em vez de mudar o herói inteiro ou tentar consertar a foto, eles decidiram dar ao herói um par de óculos mágicos (ou um "tradutor instantâneo").

Eles chamam esses óculos de "Tokens de Calibração".

Pense neles como pequenos adesivos inteligentes que você cola na foto antes de ela entrar no cérebro do herói.

• Como funciona: Quando a foto de olho de peixe chega, esses adesivos dizem ao cérebro do herói: "Ei, calma! Essa imagem está curvada porque a lente é redonda. Não olhe para a forma das coisas, olhe para o que elas representam. Ajuste sua percepção para que isso pareça uma foto normal para você."
• O Truque: O herói não precisa mudar nada no que ele já sabe. Ele continua sendo o mesmo especialista em fotos normais. Os adesivos apenas "recalibram" a maneira como ele processa a informação, alinhando a imagem distorcida com o que ele já conhece.

Como eles ensinaram os adesivos?

Aqui está a parte mais inteligente. Eles não precisaram de fotos reais de olho de peixe para treinar esses adesivos. Eles usaram um truque de "simulação":

1. Pegaram milhões de fotos normais (que o herói já conhece bem).
2. Usaram um computador para "distorcer" essas fotos artificialmente, transformando-as em fotos de olho de peixe.
3. Pediram para o herói olhar para a foto distorcida (com os adesivos) e tentar adivinhar a profundidade.
4. Depois, eles "desfizeram" a distorção na resposta do herói e compararam com a foto original.
5. Se a resposta estivesse errada, eles ajustavam os adesivos.

Foi como treinar um tradutor usando apenas textos originais, criando versões distorcidas deles para ver se o tradutor conseguia entender o significado original mesmo com o texto bagunçado.

Por que isso é incrível?

1. Economia de tempo e dinheiro: Você não precisa recriar o herói do zero. Você só compra os "óculos" (os tokens) e pronto.
2. Versatilidade: O mesmo conjunto de óculos funciona tanto para fotos de dentro de casa quanto para fotos de carros na rua, e tanto para câmeras de 180 graus quanto para 360 graus.
3. Sem perda de qualidade: Como não precisamos "desamassar" a foto (fazer o recorte ou esticar a imagem), a informação original é preservada. O herói vê a imagem bruta, mas com a mente ajustada.
4. Compatibilidade: Se você tirar a foto normal, o herói funciona perfeitamente sem os óculos. Se tirar a foto de olho de peixe, você apenas "cola" os óculos e ele continua sendo o mesmo herói incrível.

Resumo da Ópera

Imagine que você tem um tradutor que só fala português. Você precisa que ele entenda japonês. Em vez de ensiná-lo japonês do zero (o que levaria anos), você cria um pequeno "dicionário de bolso" (os Tokens) que traduz as palavras japonesas para português instantaneamente enquanto ele lê.

Esse método permite que a inteligência artificial mais avançada de hoje, feita para câmeras normais, funcione perfeitamente em câmeras de olho de peixe, tornando carros autônomos, robôs e realidade virtual muito mais seguros e precisos, sem precisar de milhões de novos dados de treinamento.

Resumo técnico

1. O Problema

Os Estimadores Fundamentais de Profundidade Monocular (FMDEs) são modelos treinados em larga escala (com dezenas de milhões de imagens) para estimar profundidade a partir de imagens únicas. No entanto, esses modelos são treinados predominantemente com imagens de câmeras perspectivas (pinhole). Quando aplicados a imagens de câmeras olho de peixe (fisheye), que possuem distorções radiais significativas e geometria projetiva diferente, os FMDEs sofrem uma mudança de covariância (covariate shift). Isso resulta em estimativas de profundidade errôneas, borradas e imprecisas.

Soluções existentes enfrentam limitações:

• Recalibração/Retificação: Tentar "desdistorcer" a imagem para um formato perspectivo antes da inferência introduz artefatos espaciais (estiramento, perda de resolução, aliasing) e latência. Além disso, depende de parâmetros de calibração precisos, que são difíceis de obter e sensíveis a perturbações físicas.
• Treinamento de Modelos Específicos: Treinar um novo modelo do zero para câmeras olho de peixe exige grandes conjuntos de dados específicos, que são escassos (ordens de magnitude menores que os de câmeras perspectivas).
• Ajuste Fino (Fine-tuning): Adaptar um FMDE existente para olho de peixe pode levar ao "desvio de parâmetros" (parameter drift), onde o modelo perde sua capacidade de generalização para cenas 3D diversas ou para câmeras perspectivas.

2. Metodologia: Calibration Tokens

Os autores propõem uma abordagem leve e auto-supervisionada chamada Calibration Tokens (Tokens de Calibração). A ideia central é alinhar as distribuições dos embeddings latentes das imagens olho de peixe com as das imagens perspectivas, sem re-treinar o modelo base nem realizar transformações espaciais nas imagens.

Principais componentes da metodologia:

• Mecanismo de Adaptação: Aproveitando a arquitetura baseada em Transformers de muitos FMDEs modernos, o método insere um conjunto pequeno e treinável de tokens (vetores) na sequência de entrada do modelo.
• Modulação em Múltiplas Camadas: Diferente de adicionar tokens apenas no início, a proposta insere tokens únicos em cada camada do encoder do Transformer. Esses tokens atuam através do mecanismo de atenção para modular os embeddings das patches da imagem, recalibrando-os para a distribuição esperada pelo decoder treinado em imagens perspectivas.
• Objetivo Auto-supervisionado (Loss Function):
  • Não é necessário usar imagens reais de olho de peixe com ground truth.
  • O treinamento utiliza imagens perspectivas existentes.
  • Processo: Uma imagem perspectiva é sinteticamente distorcida para simular uma imagem olho de peixe (usando o modelo de Kannala & Brandt). O modelo com os tokens tenta estimar a profundidade dessa imagem distorcida.
  • Cálculo da Perda: A estimativa de profundidade da imagem distorcida é re-projetada de volta para o quadro de referência perspectivo original (usando a transformação inversa). A perda é calculada comparando essa re-projeção com a estimativa de profundidade original da imagem perspectiva (que serve como pseudo-ground truth).
  • Isso evita a perda de informação e artefatos que ocorreriam se a perda fosse calculada no espaço da imagem distorcida.
• Eficiência: Apenas os tokens são treinados; o backbone (encoder) e o decoder do FMDE permanecem congelados. Isso preserva a generalização original do modelo.

3. Principais Contribuições

1. Extensão de FMDEs: Um método para adaptar estimadores de profundidade treinados em perspectiva para câmeras olho de peixe sem re-treinamento completo.
2. Calibration Tokens: Introdução de tokens leves que modulam os embeddings latentes para corrigir a mudança de covariância causada pela distorção da lente.
3. Objetivo de Treinamento Inovador: Uma estratégia auto-supervisionada que sintetiza distorções na entrada, mas calcula a perda no espaço de referência perspectivo (original), garantindo sinais de supervisão de alta fidelidade.
4. Generalização e Compatibilidade: O mesmo conjunto de tokens funciona para ambientes internos e externos e mantém a compatibilidade com câmeras perspectivas (basta remover os tokens para inferência em imagens normais).

4. Resultados Experimentais

Os autores avaliaram a abordagem em três FMDEs diferentes (MiDaS, DepthAnything e UniDepth) em conjuntos de dados internos (ScanNet++) e externos (KITTI-360).

• Desempenho: A adição dos Calibration Tokens resultou em melhorias consistentes e significativas em relação aos modelos base e a métodos state-of-the-art existentes (como DepthAnyCamera e FoVA-Depth).
  • No conjunto ScanNet++ (Indoor), o UniDepth com tokens superou os baselines em 11-14% na métrica RMSE.
  • No conjunto KITTI-360 (Outdoor), o método demonstrou robustez em distorções extremas (>180° FOV), superando métodos que dependem de projeções equiretangulares.
• Eficiência Computacional: O método adiciona uma sobrecarga mínima (< 1% no tempo de inferência e < 0.05% no uso de memória), pois apenas os tokens (milhares de parâmetros) são treinados, em vez de todo o modelo (bilhões de parâmetros).
• Comparação com Fine-tuning: O ajuste fino (fine-tuning) do modelo completo resultou em uma queda drástica de desempenho, confirmando que os tokens preservam melhor a generalização do modelo original.
• Análise de Ablação: A estratégia de "Layer-wise Tokens" (tokens em cada camada) e o uso da perda LogL1 provaram ser superiores a usar um único token ou perda L1 padrão.

5. Significado e Impacto

Este trabalho é significativo porque oferece uma solução prática e escalável para um problema comum em visão computacional aplicada (veículos autônomos, robótica, XR), onde câmeras olho de peixe são essenciais para cobertura ampla, mas os modelos de IA são treinados em dados de câmeras padrão.

• Eliminação de Barreiras de Dados: Permite o uso de modelos fundacionais massivos em câmeras olho de peixe sem a necessidade de coletar e anotar grandes volumes de dados específicos para olho de peixe.
• Sistema Multi-câmera: Facilita a implementação de sistemas que misturam câmeras perspectivas e olho de peixe, permitindo que um único modelo de profundidade sirva a ambos os tipos de entrada, reduzindo a complexidade operacional.
• Integridade de Dados: Ao evitar a re-projeção de imagens para correção de distorção, o método preserva a informação original dos pixels, evitando artefatos visuais que degradam a precisão da estimativa de profundidade.

Em resumo, os Calibration Tokens representam um avanço na adaptação eficiente de modelos de visão fundacional para novos regimes de sensores, mantendo a alta qualidade e generalização dos modelos originais.