Resumo Técnico: Estimação Robusta da Matriz Fundamental a partir de Desfoque de Movimento em Imagem Única

Declaração do Problema

O artigo aborda uma tarefa nova e desafiadora em visão computacional: estimar a matriz fundamental (que codifica o movimento relativo da câmera em 3D) a partir de uma única imagem com desfoque de movimento.

Na visão computacional padrão, a matriz fundamental é derivada de correspondências entre duas visões distintas. No entanto, em um único quadro com desfoque de movimento, as "duas visões" são efetivamente o início e o fim da janela de exposição da câmera. O principal desafio é a ambiguidade da direção temporal: um rastro de desfoque de movimento representa um caminho entre dois pontos, mas a imagem isolada não consegue distinguir qual ponto é o início e qual é o fim. Consequentemente, uma correspondência $(p, p')$ é ambígua com $(p', p)$. Essa ambiguidade torna os métodos clássicos de estimativa, como o algoritmo de 8 pontos ou o Método Padrão de Ouro, inaplicáveis, pois dependem de uma ordenação temporal conhecida. Além disso, trabalhos existentes sobre desfoque de movimento focam principalmente na remoção de desfoque ou na estimativa de fluxo óptico, tratando frequentemente o desfoque como um incômodo em vez de uma fonte de restrições geométricas.

Metodologia

O framework proposto opera em duas etapas: Estimação do Rastro de Desfoque e Estimação da Matriz Fundamental.

1. Estimação do Rastro de Desfoque

A primeira etapa envolve uma rede neural (baseada em uma arquitetura U-Net) que prevê vetores de rastro por pixel e sua incerteza associada.

• Geração de Dados: Imagens com desfoque de movimento sintéticas são geradas pela média de quadros intermediários interpolados entre dois quadros nítidos usando fluxo óptico ground-truth (dos conjuntos de dados Monkaa e Driving). Um conjunto de dados semi-realista é criado a partir do conjunto de dados GoPro, e um conjunto de dados do mundo real é derivado do RBI com pseudo-ground truth.
• Representação do Rastro: Para resolver a ambiguidade direcional onde um vetor $(u, v)$ é indistinguível de $(-u, -v)$, os autores empregam uma representação de duplo ângulo. O ângulo do vetor $\phi$ é mapeado para $2\phi$, convertendo os dois casos equivalentes em um vetor único $(u', v')$.
• Incerteza e Verificação Cruzada: A rede produz um mapa de variância $\sigma$ juntamente com o vetor de rastro. Para distinguir padrões de rastro confiáveis de não confiáveis (causados por oclusões ou objetos saindo do quadro), um mapa de verificação cruzada ($m_{cr}$) é gerado usando consistência de fluxo direto e reverso entre os quadros inicial e final.
• Função de Perda: Uma função de perda personalizada é projetada para supervisionar os vetores de duplo ângulo em pixels confiáveis (usando verossimilhança negativa gaussiana) enquanto penaliza a variância (incerteza) em pixels não confiáveis identificados pelo mapa de verificação cruzada. Isso incentiva a rede a atribuir alta incerteza a regiões ambíguas ou ocluídas.

2. Estimação Robusta da Matriz Fundamental

A segunda etapa estima a matriz fundamental $F$ a partir das extremidades de rastro previstas.

• Tratamento da Ambiguidade: Como a direção temporal é desconhecida, um par de extremidades de rastro $(\bar{p} - \bar{s}, \bar{p} + \bar{s})$ deve satisfazer a restrição epipolar $x^T F y = 0$ para a ordem original ou para a ordem transposta. Os autores formulam isso como um problema de otimização com restrições onde o objetivo é minimizar o erro para ou $F$ ou $F^T$:
  $$F^* = \arg \min_F \| \min(|M_{vec}(F)|, |M_{vec}(F^T)|) \|^2$$
  sujeito a $\det(F)=0$ e $\|F\|=1$.
• Amostragem Robusta: Para lidar com outliers e movimentos locais, o método utiliza RANSAC Preemptivo. Crucialmente, o processo de amostragem é guiado pelas estimativas de incerteza da primeira etapa; apenas vetores de rastro com baixa incerteza (alta confiabilidade) são considerados.
• Métrica de Erro Simétrica: O erro de Sampson padrão não pode ser usado diretamente devido à ambiguidade de direção. Os autores introduzem um erro de Sampson simetrizado ($SErrMin$), que considera o erro mínimo entre a hipótese $F$ e sua transposta $F^T$. Essa métrica permite a definição robusta do conjunto de consenso sem conhecer a direção temporal real.

Contribuições Principais

1. Formulação Nova de Tarefa: O artigo introduz a tarefa de estimar a matriz fundamental a partir de uma única imagem com desfoque de movimento, abordando o desafio único da ambiguidade da direção temporal por rastro.
2. Framework de Estimação Robusta: Um pipeline de duas etapas é proposto que combina aprendizado profundo para extração de rastros com um solver geométrico que leva explicitamente em conta a ambiguidade da direção do tempo (permitindo $F$ ou $F^T$).
3. Aprendizado Consciente de Incerteza: Os autores propõem uma função de perda que aprende a prever incerteza, permitindo que o sistema diminua o peso de previsões de rastro não confiáveis (por exemplo, de oclusões) durante a fase de estimativa robusta.
4. Representação e Anotação: O uso da representação de duplo ângulo mostra-se vantajoso para aprender caminhos de rastro, e um procedimento usando mapas de verificação cruzada é apresentado para gerar anotações precisas para treinamento.

Resultados Experimentais

O método foi avaliado em conjuntos de dados sintéticos (Monkaa, Driving), semi-reais (GoPro) e do mundo real (RBI).

• Estimação de Rastro: A representação de duplo ângulo proposta combinada com o mapa de verificação cruzada produziu o menor Erro de Ponto Final (EPE-S) em todos os conjuntos de dados. As estimativas de incerteza mostraram-se bem correlacionadas com erros reais, filtrando efetivamente previsões não confiáveis.
• Estimação da Matriz Fundamental: Usando o erro de Sampson simetrizado e RANSAC guiado por incerteza, o método estimou com sucesso matrizes fundamentais que se alinharam com correspondências ground-truth. O melhor desempenho foi observado ao selecionar os 35% a 45% superiores dos vetores de rastro com base na incerteza.
• Aplicação a Montante: A matriz fundamental estimada e os caminhos de rastro foram aplicados com sucesso à segmentação de movimento local, separando efetivamente objetos movendo-se independentemente do movimento global da cena (por exemplo, um carro movendo-se de forma diferente do fundo) em imagens desfocadas.
• Limitações: O método tem dificuldades em cenas com múltiplos movimentos locais independentes (cenas dinâmicas) ou com tradução de câmera próxima de zero, onde o sinal de movimento global é fraco ou degenerado.

Significado e Alegações

Os autores afirmam que seu trabalho demonstra a viabilidade de extrair restrições de movimento de câmera em 3D a partir de um único quadro, uma tarefa anteriormente considerada mal-posta devido à ambiguidade temporal. Ao aproveitar as restrições geométricas inerentes ao desfoque de movimento, o método fornece uma maneira de realizar tarefas de odometria visual e estrutura a partir do movimento com latência reduzida (entrada de quadro único), o que é crítico para aplicações como direção autônoma e voo de drones. O artigo enfatiza que, embora o resultado seja ambíguo até uma transposição (refletindo a direção desconhecida do tempo), isso é suficiente para definir a geometria epipolar e permitir tarefas a montante, como segmentação de movimento. O trabalho preenche a lacuna entre tratar o desfoque de movimento como um incômodo a ser removido e utilizá-lo como uma rica fonte de informação geométrica.