Spherical-to-ERP Epipolar Rectification for Single-Axis Disparity in 360 Stereo

Resumo Técnico: Retificação Epipolar de Esférico para ERP para Disparidade de Eixo Único em Estéreo 360°

Declaração do Problema
Câmeras omnidirecionais (esféricas/fisheye) oferecem percepção de todo o entorno, essencial para robótica e navegação autônoma, mas suas propriedades geométricas violam os pressupostos fundamentais da estimativa clássica de disparidade estéreo. No estéreo retilíneo, a disparidade é uma quantidade unidimensional alinhada a um único eixo epipolar. Em contraste, pares estéreo esféricos brutos exibem trajetórias epipolares curvas (arcos de círculo máximo) na esfera de visualização. Consequentemente, correspondências no plano da imagem manifestam-se como deslocamentos bidimensionais (componentes tanto horizontais quanto verticais), mesmo sob calibração ideal. A aplicação ingênua de heurísticas de disparidade planar ou magnitudes de fluxo óptico padrão a esses inputs leva a erros sistemáticos e desempenho instável, particularmente em regiões de baixa textura. Embora abordagens recentes de aprendizado profundo para profundidade omnidirecional utilizem a Projeção Equirretangular (ERP) como um domínio geométrico estável, permanece uma lacuna na compreensão se pipelines baseados em fluxo óptico padrão, não modificados, podem extrair efetivamente a disparidade de eixo único de entradas esféricas após tal retificação.

Metodologia
A abordagem proposta adota um pipeline modular que externaliza a complexidade geométrica através do pré-processamento, em vez de incorporá-la dentro de uma rede monolítica. A metodologia consiste em três estágios primários:

1. Retificação Esférico-para-ERP: As imagens fisheye estéreo brutas são projetadas no domínio da Projeção Equiretangular (ERP). Este mapeamento transforma coordenadas esféricas (longitude e latitude) em uma grade 2D. Crucialmente, esta projeção retifica as curvas epipolares de círculos máximos curvas em linhas de varredura (scanlines) retas alinhadas com os eixos da imagem. Dependendo da configuração do rig estéreo:

   • Rigs Esquerda–Direita: As linhas epipolares tornam-se horizontais, resultando em disparidades puramente horizontais ($\Delta u$).
   • Rigs Cima–Baixo: As linhas epipolares tornam-se verticais, resultando em disparidades puramente verticais ($\Delta v$).
     Este passo restaura a estrutura de disparidade unidimensional necessária para algoritmos baseados em correspondência.

2. Estimativa de Fluxo Óptico Denso: Uma vez que as imagens estão no domínio ERP, uma rede de fluxo óptico denso padrão, especificamente a RAFT [13], é aplicada ao par estéreo retificado. A RAFT estima um campo de fluxo de dois canais representando o deslocamento 2D entre as imagens esquerda e direita.

3. Seleção de Canal Alinhado à Epipolar (EACS): Baseando-se no trabalho anterior dos autores [16], o pipeline aplica EACS ao campo de fluxo. Como a retificação ERP garante que a disparidade real exista apenas ao longo do eixo alinhado à linha de base (baseline), o método descarta o componente de fluxo ortogonal.

   • Para rigs esquerda–direita, apenas o canal de fluxo horizontal é retido.
   • Para rigs cima–baixo, apenas o canal de fluxo vertical é retido.
     Esta projeção converte o fluxo óptico diretamente em um mapa de disparidade de eixo único sem retreinar a rede ou projetar uma arquitetura esférica especializada.

Principais Contribuições
O artigo apresenta quatro contribuições específicas:

1. Retificação Consciente da Geometria: Demonstra que projetar pares fisheye para ERP gera scanlines alinhadas epipolarmente, convertendo efetivamente deslocamentos esféricos inerentemente 2D em disparidades de eixo único.
2. Extração Direta de Disparidade: Estabelece que, no domínio ERP, a disparidade pode ser obtida simplesmente selecionando o componente de fluxo alinhado à linha de base e descartando o ortogonal, permitindo pós-processamento leve sem retreino de rede.
3. Pipeline de Teoria-para-Prática: O trabalho formaliza o mapeamento fisheye-para-ERP e as restrições de orientação, fornecendo uma receita prática para a extração de disparidade de eixo único a partir de entradas esféricas, validada em dados esféricos sintéticos.
4. Modularidade e Implementabilidade: A abordagem funciona como um estágio de pré-processamento "drop-in" para estimadores de correspondência existentes (incluindo RAFT), facilitando a integração em stacks de robótica onde latência e interpretabilidade são críticas.

Resultados Experimentais
O pipeline foi avaliado em um conjunto de dados estéreo omnidirecional sintético gerado na TU Chemnitz, consistindo em vistas RGB fisheye com disparidade de verdade fundamental (ground-truth) densa. Todos os métodos foram testados nos mesmos inputs retificados por ERP a uma resolução de 1600×1600 sem ajuste fino (fine-tuning).

• Acurácia: O pipeline proposto ERP + RAFT + EACS alcançou um Erro Médio Absoluto (MAE) de 0,3007 e um Erro Médio Quadrático (RMSE) de 0,9470. A taxa de outliers D1-all foi de 0,40%, com taxas desprezíveis para erros maiores que 3 pixels (0,30%) e 5 pixels (0,05%).
• Comparação: O método superou redes de estéreo derivadas de RAFT estabelecidas (CREStereo, RAFT-Stereo, LEAStereo) em termos de acurácia nestes dados esféricos retificados por ERP. Por exemplo, o CREStereo apresentou um MAE mais alto (0,3581) e uma taxa de outliers D1-all superior (0,98%).
• Eficiência: O pipeline alcançou um throughput de 10 quadros por segundo (FPS) em uma GPU NVIDIA TU102, superando significativamente os métodos comparados (que variaram de 2,0 a 5,0 FPS).
• Análise Qualitativa: Resultados visuais indicaram que o método produz mapas de disparidade suaves e estruturalmente consistentes que preservam estruturas finas. Os erros concentraram-se principalmente em descontinuidades de profundidade e regiões indefinidas (ex: o céu), consistente com as baixas taxas de outliers.

Significância e Alegações
O artigo alega que a retificação geométrica explícita via ERP permite que algoritmos de correspondência maduros e padrão operem corretamente em entradas estéreo esféricas sem a necessidade de redes esféricas customizadas. A significância é dupla:

1. Ponte Prática: Fornece um caminho principista para que profissionais reutilizem estimadores de fluxo óptico de alto desempenho para imagens 360°, evitando a complexidade de treinar redes estéreo esféricas especializadas.
2. Eficiência e Estabilidade: Ao restaurar a natureza unidimensional da disparidade, a abordagem melhora a estabilidade numérica e a eficiência computacional. Ela colapsa a busca de correspondência para um único eixo, elimina a necessidade de volumes de custo 4-D intensivos em memória e permite a implantação em tempo real em hardware comum.

Os autores concluem que, embora o papel geométrico do ERP seja bem documentado, este trabalho valida que a representação retificada é suficiente para a extração de disparidade de eixo único usando pipelines de fluxo não modificados, oferecendo uma solução direta e eficiente para a estimativa de profundidade omnidirecional.