Resumo Técnico: RayTun3R

Declaração do Problema

Modelos de fundação 3D recentes (ex: DUSt3R, MASt3R, VGGT, $\pi^3$, Depth Anything 3) destacam-se na estimativa de profundidade e pose feed-forward em imagens pinhole padrão. No entanto, seu desempenho degrada significativamente quando aplicados a entradas fisheye ou de ângulo ultra-amplo. Os autores identificam que essa falha decorre de um viés de câmera pinhole inerente aos codificações posicionais desses modelos pré-treinados.

Embora os métodos padrão de ajuste fino eficiente em parâmetros (PEFT), como LoRA ou camadas de adaptador, modifiquem transformações de características genéricas, eles falham em abordar o descompasso geométrico específico: câmeras pinhole e fisheye atribuem geometrias de raio diferentes para as mesmas localizações na grade da imagem. As soluções de contorno existentes, como dividir imagens fisheye em múltiplas fatias virtuais pinhole (ex: Center-PH, Multi-PH), introduzem sobrecarga computacional e exigem fusão complexa de predições sem modelar diretamente a geometria fisheye.

Metodologia: RayTun3R

O RayTun3R é uma abordagem de adaptação de câmera leve e online, projetada para corrigir o viés de pinhole em modelos de fundação 3D congelados sem retreinar o backbone. A hipótese central é que adaptar os componentes que ligam as localizações dos tokens aos raios da câmera é mais eficaz do que adaptar características genéricas.

Componentes Principais

1. Backbone Congelado: O modelo 3D pré-treinado (pesos $\theta$) permanece completamente fixo.
2. Adaptador Leve: Apenas componentes específicos vinculados à posição do token e à geometria da câmera são atualizados. O número total de parâmetros treináveis é mínimo (10.752 para DA3-Small).
   • Correção de Codificação Posicional: Os autores parametrizam correções para codificações posicionais absolutas ($P_A$) em coordenadas polares (raio $\rho$ e ângulo $\theta$) em relação ao ponto principal. Estas são implementadas como tabelas de consulta (lookup tables) radial e angular treináveis.
   • Correção de Codificação Posicional Rotatória (RoPE): Para modelos que utilizam RoPE, uma correção radial treinável é aplicada aos ângulos rotatórios.
   • Correções Sem Parâmetros:
     • Coordenadas da Grade de Predição: Substitui coordenadas de grade regulares por coordenadas conscientes da câmera, obtidas através da desdistorção das localizações da grade fisheye.
     • Tokenização de Patches: Patches fora da lente fisheye válida são substituídos pelo token médio válido, e os patches são desdistorcidos localmente antes da tokenização para aproximar os cortes pinhole.

Estratégia de Treinamento

O adaptador é treinado online em um segmento temporal curto de quadros fisheye usando perdas geométricas auto-supervisionadas, sem a necessidade de profundidade ou pose de verdade fundamental (ground-truth):

• Perda de Reprojeção ($L_{reproj}$): Impõe consistência entre pontos 3D preditos e correspondências de um combinador (matcher) pronto para uso (UFM).
• Regularização de Pose ($L_{pose}$): Utiliza uma estimativa de pose relativa fixa (de MAGSAC++) como um rótulo pseudo para estabilizar a otimização inicial.
• Prios de Suavidade: Inclui suavidade de profundidade consciente de bordas e regularização L2/Total Variation para garantir que as correções posicionais permaneçam pequenas e suaves em relação à tabela pré-treinada.

Principais Contribuições

1. Análise do Viés Pinhole: Os autores demonstram que o Jacobiano local das codificações posicionais pré-treinadas segue a geometria constante de uma câmera pinhole. Eles mostram que, após a adaptação, este Jacobiano torna-se dependente do raio, alinhando-se com a geometria fisheye.
2. Design de Adaptador Leve: Introdução do RayTun3R, que adapta apenas componentes posicionais (absolutos e rotatórios) enquanto mantém o backbone congelado. Esta abordagem utiliza $\sim14\times$ menos parâmetros treináveis do que o LoRA e adiciona uma sobrecarga de inferência desprezível.
3. Validação Empírica: O método é validado em diversos conjuntos de dados fisheye (FOV 110°–200°) e três diferentes backbones congelados (Depth Anything 3, VGGT, $\pi^3$).

Resultados

Experimentos em cinco conjuntos de dados (ETH3D, KITTI-360, TUM-VI, ScanNet++, FIORD) mostram que o RayTun3R supera consistentemente os baselines:

• Precisão de Pose: O RayTun3R reduz o erro de rotação em 2–12$\times$ em comparação com o modelo não adaptado e supera significativamente o LoRA e os tokens de calibração (CalTok). Por exemplo, no KITTI-360, alcança um erro de rotação de 0,84° comparado a 1,69° (Vanilla) e 1,37° (LoRA).
• Precisão de Profundidade: Embora métodos baseados em projeção (Center-PH) às vezes apresentem profundidade competitiva em FOVs moderados ao mimetizar a distribuição de treinamento, o RayTun3R alcança uma precisão de profundidade competitiva enquanto utiliza todo o campo de visão fisheye.
• Eficiência: Ao contrário do Multi-PH, que incorre em um custo de inferência de 300% ao processar múltiplas visões, o RayTun3R mantém a velocidade de inferência original (100ms/quadro), com zero sobrecarga. Ele utiliza apenas 10,8K parâmetros treináveis em comparação aos 147,5K do LoRA.

Significância e Alegações

O artigo afirma que a falha dos modelos de fundação 3D em imagens fisheye é fundamentalmente um descompasso na representação posicional, e não uma falta de capacidade de características. Ao isolar e corrigir o mapeamento dependente da câmera entre os tokens da imagem e os raios de visão, o RayTun3R permite que esses modelos se generalizem para entradas de ângulo amplo de forma eficiente.

Os autores posicionam este trabalho como uma solução que evita os custos computacionais da fusão de múltiplas visões e as mudanças arquitetônicas necessárias para o treinamento consciente da câmera. Eles enfatizam que seu método é "eficiente em parâmetros" e "eficiente em tempo de execução", tornando-o adequado para cenários de adaptação online.

Limitações Reconhecidas pelos Autores

• Especificidade da Câmera: A correção é específica para a câmera; um modelo fisheye diferente ou perfil de distorção exige nova adaptação.
• Suposições de Distorção: O método assume um ponto principal e majoritariamente distorção radial, não cobrindo explicitamente distorções tangenciais fortes ou óticas não radiais.
• Dependência de Calibração: Requer parâmetros de câmera conhecidos (embora a calibração predita tenha se mostrado viável).
• Requisitos de Movimento: O treinamento auto-supervisionado requer deslocamento inter-quadro suficiente; movimentos degenerados podem enfraquecer as restrições.
• Escopo: O trabalho atual foca em imagens fisheye, deixando entradas panorâmicas/equiretangulares para trabalhos futuros.