Resumo Técnico: H-OmniStereo

Declaração do Problema

A correspondência estéreo em imagens equiretangulares topo-fundo oferece um framework custo-efetivo para percepção 3D de 360 graus, aproveitando linhas epipolares alinhadas verticalmente para utilizar arquiteturas avançadas de estéreo perspectiva. No entanto, o desempenho das adaptações existentes é severamente limitado por dois fatores principais:

1. Escassez de Dados: Há uma falta de conjuntos de dados estéreo omnidirecionais em grande escala, diversos e com calibração precisa. Os conjuntos de dados existentes (por exemplo, Deep360, 360SD-Net) são limitados em variedade de cenas, configurações de câmera e escala, levando a uma generalização zero-shot deficiente.
2. Degradação de Priors: Modelos fundamentais de profundidade monoculares padrão, treinados em imagens perspectivas, sofrem distorções esféricas quando aplicados a entradas equiretangulares. Além disso, modelos de profundidade equiretangulares recentes preveem a distância radial até o centro da esfera, resultando em valores de profundidade inconsistentes para o mesmo ponto 3D entre as vistas superior e inferior. Essa inconsistência torna seus recursos inadequados como priors para estabelecer correspondências estéreo confiáveis.

Metodologia

Os autores propõem o H-OmniStereo, um framework de correspondência estéreo omnidirecional zero-shot projetado para abordar essas limitações através de um conjunto de dados sintético em grande escala e um prior geométrico inovador.

1. Conjunto de Dados Sintético em Grande Escala

Para superar a escassez de dados, os autores construíram um conjunto de dados sintético de alta qualidade usando o NVIDIA Isaac Sim, compreendendo mais de 2,8 milhões de pares estéreo equiretangulares topo-fundo.

• Diversidade: O conjunto de dados abrange mais de 1.000 cenas e 800.000 ativos 3D diversos. Inclui tanto layouts fixos (de GRUtopia e HM3D) quanto layouts aleatorizados (configurações caóticas e realistas com iluminação variada, materiais e posicionamento de objetos).
• Configuração: As bases das câmeras são aleatorizadas (0,05m–0,5m), e as poses incluem rotação e inclinação aleatórias (±45°).
• Escala: Este conjunto de dados é aproximadamente 70 vezes maior que o maior conjunto de dados estéreo omnidirecional anterior e oferece diversidade significativamente maior.

2. Priors de Normais Alinhadas ao Rumo

Em vez de depender de priors de profundidade, o framework utiliza um estimador de normais monoculares operando em um sistema de coordenadas alinhado ao rumo.

• Sistema de Coordenadas: Diferentemente da estimação de normais padrão que usa um sistema de coordenadas de câmera fixo, esta abordagem define normais em um sistema variável de longitude que gira com a longitude do pixel.
• Benefícios: Este design garante que padrões locais idênticos correspondam ao mesmo vetor normal, independentemente da rotação do rumo. Melhora a eficiência do treinamento, fornece priors robustos a distorções e acomoda naturalmente discrepâncias de Campo de Visão (FoV) entre treinamento e teste e corte aleatório durante o treinamento.
• Treinamento: O estimador de normais é treinado em 8,4 milhões de imagens, combinando os dados estéreo sintéticos com imagens monoculares adicionais de conjuntos de dados existentes (Structured3D, TartanAir V2, SpatialGen).

3. Arquitetura da Rede

O pipeline H-OmniStereo segue uma abordagem de otimização iterativa:

• Extração de Recursos: Um backbone ViT extrai recursos multi-escala, que são fundidos com embeddings de raios conscientes da esfera via atenção cruzada. O estimador de normais alinhado ao rumo fornece priors geométricos, que são integrados aos recursos da imagem através de um Adaptador de Ajuste Lateral (Side-Tuning Adapter).
• Correspondência Iterativa: Um volume de custo híbrido 4D é construído e filtrado usando Filtragem de Custo Híbrida Atentiva. A disparidade é refinada iterativamente usando blocos ConvGRU.
• Estimação de Incerteza: Um módulo ConvGRU auxiliar executa em paralelo ao refinamento da disparidade, quantificando explicitamente a confiabilidade das previsões para filtrar pontos-chave não confiáveis.

Contribuições Principais

1. Construção de Conjunto de Dados: A criação de um conjunto de dados sintético massivo e diverso (2,8M de pares) que supera significativamente os benchmarks existentes em escala e variedade, servindo como base para generalização zero-shot.
2. Estimador de Normais Alinhado ao Rumo: A proposta de um método inovador de estimação de normais em um sistema de coordenadas alinhado ao rumo. Esta abordagem elimina o ônus de distinguir normais espacialmente variáveis para padrões idênticos, aprimorando a robustez a discrepâncias de FoV e distorções esféricas.
3. Generalização Zero-Shot: A demonstração de que um único modelo treinado nestes dados sintéticos e utilizando estes priors específicos pode alcançar alta precisão em conjuntos de dados fora do domínio e configurações de câmeras consumer do mundo real sem ajuste fino.

Resultados Experimentais

Extensos experimentos validam a superioridade do framework sobre métodos existentes (por exemplo, 360SD-Net, MODE, 360-IGEV-Stereo, DFI-OmniStereo):

• Correspondência Estéreo: Em conjuntos de dados fora do domínio (3D60, 3D60 Warp, MVS GI), o H-OmniStereo alcança Erro Absoluto Médio (MAE) significativamente menor e porcentagens de outliers (BP-1, D1) mais altas em comparação com as linhas de base. Por exemplo, no conjunto de dados 3D60, reduziu o MAE de ~0,679 (360SD-Net) para 0,103.
• Generalização: O modelo generaliza com sucesso para configurações de câmeras consumer 360° do mundo real, reconstruindo detalhes mais finos e layouts espaciais mais precisos do que as linhas de base.
• Estudos de Ablação:
  • Substituir o prior de normais alinhado ao rumo por modelos de profundidade perspectiva (DepthAnythingV2) ou modelos de profundidade equiretangular (DA2) resultou em desempenho degradado, confirmando a necessidade de priors geométricos consistentes.
  • Aumentar a escala dos dados de treinamento de 522K para 2,8M de pares melhorou consistentemente a precisão.
  • A representação alinhada ao rumo mostrou robustez superior a discrepâncias de FoV entre treinamento e teste em comparação com normais de coordenadas de câmera padrão.
• Aplicação: Integrado em um pipeline de odometria visual, o método alcançou Erro de Tradução Relativa (RTE) e Erro de Rotação Relativa (RRE) menores em comparação com uma linha de base estéreo pinhole de última geração (FoundationStereo), atribuído à utilização de informações completas de 360° e filtragem de incerteza.

Significância

O artigo posiciona o H-OmniStereo como um passo significativo para superar as limitações de dados e priors que historicamente impediram a correspondência estéreo omnidirecional. Ao desacoplar a dependência de priors de profundidade distorcidos e, em vez disso, utilizar priors de normais robustos e consistentes dentro de um framework alinhado ao rumo, os autores demonstram que percepção 3D de alta qualidade pode ser alcançada de maneira zero-shot. O trabalho estabelece que, com diversidade suficiente de dados sintéticos e priors geometricamente consistentes, os modelos podem generalizar efetivamente para cenários reais não vistos, fechando a lacuna entre treinamento sintético e percepção omnidirecional de nível consumer.