Resumo Técnico: X-Lens

Definição do Problema

Sistemas incorporados modernos, incluindo robôs autônomos e modelos de Visão-Linguagem-Ação (VLA), dependem cada vez mais de montagens de múltiplas câmeras que combinam câmeras pinhole de FOV estreito e câmeras fisheye de FOV amplo para alcançar uma cobertura espacial abrangente. No entanto, os modelos de fundação geométrica e de estimativa de profundidade 3D existentes enfrentam limitações significativas neste cenário de câmeras heterogêneas:

1. Descompasso de Modelo: A maioria dos métodos é construída sobre pressupostos centrados em pinhole ou modelos de câmera única, falhando em lidar com a geometria de projeção não uniforme e a distorção dependente da visão de montagens mistas.
2. Custo Computacional: Os modelos de fundação geométrica existentes são frequentemente computacionalamente exigentes, tornando a inferência em tempo real na borda (edge) difícil sob orçamentos estritos de latência e memória.
3. Escassez de Dados: Há uma falta de conjuntos de dados de grande escala e sincronizados contendo verdade fundamental métrica densa para configurações multi-visão heterogêneas (fisheye + pinhole).
4. Ineficiência: As abordagens atuais frequentemente dependem de costura de panorama (alterando a geometria nativa) ou alvos de reconstrução auxiliares (aumentando a complexidade de otimização) para lidar com entradas de FOV amplo.

Metodologia

X-Lens é um modelo compacto e feed-forward projetado para estimativa de profundidade métrica em tempo real a partir de um número variável de visões fisheye e pinhole calibradas. Ele evita a costura panorâmica e alvos de reconstrução auxiliares, focando diretamente na predição de profundidade densa e uma escala métrica global.

1. Formulação e Design

• Representação de Raio Genérico: Em vez de depender de uma matriz intrínseca pinhole $K$ específica, o X-Lens abstrai as câmeras usando um mapa de desprojeção genérico $G$. Este mapeia coordenadas de pixels para raios unitários retroprojetados em um espaço de raio compartilhado, acomodando tanto modelos pinhole quanto fisheye (distorção paramétrica) sem mudanças arquiteturais.
• Predição Fatorada: O modelo produz um trio:
  • $\hat{D}$: Campo de profundidade normalizado (invariante de escala).
  • $\hat{C}$: Mapa de confiança autocalibrado.
  • $\hat{m}$: Um escalar métrico global único.
  • A profundidade métrica final é reconstruída como $\hat{D}_m = \hat{m} \cdot \hat{D}$. Isso isola a escala absoluta em um caminho unidimensional, permitindo que as perdas geométricas operem em um espaço invariante de escala.

2. Transformer de Projeção Heterogênea

A arquitetura central é um backbone de Vision Transformer (ViT) com camadas locais (dentro da visão) e globais (entre visões) alternadas, potencializadas por dois componentes principais:

• Tokens de Calibração Aprendíveis: Para evitar que distorções específicas da lente corrompam os tokens visuais compartilhados, o modelo injeta tokens de calibração ($\Theta$) específicos de camada e de tipo de câmera na sequência. Esses tokens atendem localmente à sua visão específica para corrigir padrões de distorção, mas são descartados antes da próxima camada para evitar persistência, garantindo que não interfiram na fusão métrica global.
• Viés de Distorção Parametrizado pelo Jacobiano: Para unir a lacuna geométrica entre as visões, um termo de viés é injetado no mecanismo de atenção cruzada. Este viés é derivado do Jacobiano do mapa de desprojeção (direção do raio local e distorção de projeção). Ele modula os pesos de atenção para favorecer patches com geometria de raio 3D e estrutura de projeção local compatíveis, em vez de depender apenas da similaridade de aparência em coordenadas distorcidas.
• Atenção de Escala: Para garantir uma predição de escala métrica robusta, o modelo descarta os 25% de pixels de menor confiança (frequentemente próximos às bordas da fisheye) e realiza o agrupamento (pooling) ponderado pela confiança nas regiões confiáveis restantes antes de regredir a escala global $\hat{m}$.

3. Estratégia de Treinamento em Múltiplas Etapas

O X-Lens emprega um pipeline de treinamento progressivo de três estágios para isolar a adaptação específica da lente da otimização conjunta:

1. Estágio 1 (Pré-treinamento Pinhole): O modelo é treinado em dados multi-visão pinhole para aprender prioris geométricos robustos e consciência de escala. Os tokens de calibração e o viés de distorção são desativados.
2. Estágio 2 (Adaptação de Token Fisheye): O backbone é congelado, e apenas os tokens de calibração são atualizados usando dados fisheye. Isso adapta o modelo à distorção de FOV amplo sem sobrescrever os prioris de pinhole estabelecidos.
3. Estágio 3 (Treinamento Conjunto Heterogêneo): O viés de distorção Jacobiano é ativado, e o modelo é ajustado conjuntamente em dados mistos fisheye-pinhole (incluindo o novo conjunto de dados OmniScene) e dados puramente pinhole para reconciliar as interações entre visões.

4. O Conjunto de Dados OmniScene

Para enfrentar a escassez de dados, os autores introduzem o OmniScene, um conjunto de dados sintético de grande escala:

• Escala: ~266.000 quadros sincronizados de seis visões (1,7 milhão de imagens) através de 103 cenas internas e externas.
• Configuração: Uma montagem rígida de seis câmeras com quatro câmeras fisheye (180° de FOV) e duas câmeras pinhole.
• Qualidade: Fornece verdade fundamental métrica densa e livre de ruído (z-depth), máscaras de validade e intrínsecos/extrínsecos calibrados para cada quadro.

Principais Resultados

Experimentos extensos em conjuntos de dados do mundo real (KITTI360, ETH3D, ScanNet++) e sintéticos (OmniScene) demonstram a superioridade do X-Lens em precisão e eficiência:

• Desempenho Heterogêneo: No benchmark OmniScene-Full (6 visões: 4 fisheye + 2 pinhole), o X-Lens reduz o AbsRel em 25,4% comparado ao baseline mais forte (MapAnything), enquanto utiliza 88,9% menos parâmetros (0,04B vs. 1,23B).
• Inferência em Tempo Real: O X-Lens alcança 41 FPS em visões fisheye únicas e 22 FPS em entradas heterogêneas completas de 6 visões em uma GPU NVIDIA H100, superando significativamente modelos maiores em velocidade.
• Generalização: O modelo demonstra forte generalização zero-shot em ambientes não vistos e mantém um desempenho competitivo em configurações homogêneas de apenas pinhole ou apenas fisheye.
• Eficiência de Parâmetros: Ele alcança a profundidade métrica de estado da arte com apenas 0,04B de parâmetros, uma fração do tamanho de outros modelos de fundação geométrica (ex: VGGT, DepthAnything3).

Significância e Alegações

O artigo afirma que o X-Lens representa um passo significativo em direção à inteligência espacial em tempo real para sistemas incorporados. Suas principais contribuições são:

1. Suporte Heterogêneo Nativo: É o primeiro modelo compacto a suportar nativamente entradas brutas e mistas de fisheye e pinhole sem exigir costura de panorama ou volumes estéreos específicos de hardware.
2. Compromisso Eficiência-Precisão: Ao desacoplar a percepção de profundidade da reconstrução 3D completa (pose, intrínsecos, mapas de pontos) e focar em profundidade métrica e escala, o X-Lens alcança um equilíbrio de alta precisão e baixa latência adequado para implantação em borda (edge).
3. Recurso de Dados: O lançamento do OmniScene fornece um recurso crítico para treinar e avaliar a percepção de profundidade multi-visão heterogênea, abordando uma lacuna importante no campo.

Os autores posicionam o X-Lens não apenas como um estimador de profundidade, mas como um codificador visual consciente da geometria capaz de unir a modelagem de profundidade métrica e aplicações de downstream em tempo real, como planejamento robótico e interação. Eles reconhecem limitações quanto à dependência de calibração de verdade fundamental e potenciais lacunas sim-para-real com configurações de lentes extremas e não vistas, sugerindo trabalhos futuros em agregação temporal e maior diversidade de intrínsecos.