Rolling Shutter Relative Pose Estimation Made Practical

Resumo Técnico: Estimativa de Pose Relativa com Obturador Rolante Tornada Prática

Definição do Problema
Câmeras de obturador rolante (rolling shutter - RS) são onipresentes em dispositivos de consumo, mas a estimativa robusta de pose relativa para esses sensores permanecia impraticável. Métodos padrão de geometria multi-visão assumem um modelo de obturador global (global shutter - GS), onde a matriz essencial é constante. Em câmeras RS, a leitura linha a linha invalida essa suposição, tornando a matriz essencial dependente da linha. Embora Dai et al. [17] tenham derivado um solver minimal para pose relativa RS, ele requer um mínimo de 20 correspondências de pontos (PCs). Devido à dependência exponencial das contagens de iteração do RANSAC em relação ao tamanho da amostra ($\eta^{-k}$), um tamanho de amostra de 20 torna a estimativa robusta proibitivamente cara (exigindo milhões de iterações com 50% de proporção de inliers). Métodos existentes ou ignoram os efeitos de RS (introduzindo viés sistemático) ou são excessivamente pesados computacionalmente para uso prático.

Metodologia
O artigo introduz as Correspondências Afins (ACs) ao problema de geometria de duas visões RS para reduzir o tamanho de amostra necessário. Uma AC aumenta uma correspondência de ponto com uma transformação afim local $2 \times 2$, fornecendo três equações por correspondência (uma epipolar e duas afins) em vez de apenas uma.

1. Restrições Afins Corrigidas por RS:
   Os autores derivam novas restrições que consideram o acoplamento entre perturbações de pontos e a matriz essencial dependente da linha. Diferente da formulação GS, deslocar um ponto em uma imagem RS altera sua linha de leitura, alterando a matriz essencial. A derivação inclui termos de correção envolvendo as derivadas parciais da matriz essencial em relação às coordenadas de linha ($\partial \tilde{E} / \partial \tau_k$). Cada AC gera três equações: a restrição epipolar padrão mais duas novas restrições afins modificadas por esses termos de correção de RS.

2. Linearização e Projeção no Espaço Nulo:
   O problema de duas visões RS envolve 17 incógnitas: 5 para pose relativa ($R, t$) e 12 para as velocidades angulares e translacionais por câmera ($\omega_k, v_k$). Os autores observam que os parâmetros de movimento RS são fisicamente pequenos (tipicamente $\|\omega\| < 0,15$ rad). Eles linearizam as restrições em torno da solução GS ($\theta = 0$), tratando os parâmetros de RS como variáveis lineares.
   Com 7 ACs, o sistema fornece 21 equações lineares para os 12 parâmetros de RS. O solver elimina essas 12 incógnitas via projeção no espaço nulo. Ao projetar o vetor de resíduo no espaço nulo à esquerda do Jacobiano, o sistema reduz-se a 9 equações polinomiais envolvendo apenas os 5 parâmetros de pose.

3. Solver Algébrico:
   Os parâmetros de pose são parametrizados usando rotação de Cayley e um vetor de translação escalonado. O sistema resultante é reduzido a 10 equações polinomiais de grau 4. O grau algébrico do sistema é 20. Os autores resolvem isso usando matrizes de ação (geometria algébrica computacional), extraindo todas as 20 soluções em aproximadamente 1,2 ms. Os parâmetros de RS são então recuperados via mínimos quadrados.

4. Integração RANSAC:
   O solver é integrado em um pipeline RANSAC (SupeRANSAC). A redução do tamanho de amostra minimal de 20 PCs para 7 ACs reduz drasticamente o número esperado de iterações do RANSAC (por exemplo, de $>10^6$ para $\sim600$ com 50% de inliers). Um passo de refinamento não-minimal usando Levenberg-Marquardt otimiza todos os 17 parâmetros conjuntamente, utilizando tanto resíduos epipolares quanto afins.

Principais Contribuições

• Novas Restrições: Derivação de restrições afins corrigidas por RS que capturam o acoplamento entre perturbações de pontos e matrizes essenciais dependentes da linha, um acoplamento ausente em formulações GS.
• Solver Minimal de 7-AC: Desenvolvimento de um solver algébrico linearizado que estima pose e movimento de RS a partir de apenas 7 ACs. Isso reduz o tamanho de amostra do RANSAC de 20 para 7, tornando a estimativa robusta computacionalmente viável.
• Estimativa de Velocidade Translacional: Demonstração de que o método proposto fornece estimativas precisas de velocidade translacional, que são mal condicionadas em métodos baseados apenas em pontos devido ao acoplamento $v$-$t$.
• Generalização: Validação de que o solver se generaliza para configurações de obturador global sem degradação de desempenho, recuperando corretamente parâmetros de RS próximos de zero.

Resultos Experimentais

• Dados Sintéticos: O solver alcança precisão de pose competitiva com o solver de 44-PC (que utiliza significativamente mais dados) enquanto usa 6$\times$ menos correspondências. Crucialmente, alcança $\sim3\times$ menos erro na estimativa de velocidade translacional em comparação com baselines baseados em pontos.
• Benchmark TUM-RS: Em dados reais de RS, o método alcança a melhor precisão de pose entre todos os métodos testados (incluindo baselines GS e solvers RS-20PC/44PC). Por exemplo, com características AffNet, atinge um AUC@5$^\circ$ de 0,502, superando o solver de 5 pontos GS (0,428) e o solver de 44-PC RS (0,267). Também fornece as estimativas de parâmetros de RS mais precisas.
• EuRoC MAV (Obturador Global): Quando testado em dados de obturador global, o solver performa comparavelmente aos solvers GS padrão e estima corretamente parâmetros de RS próximos de zero, confirmando que não introduz artefatos na ausência de distorção de RS.
• Tempo de Execução: Embora o solver algébrico leve $\sim1,2$ ms (mais lento que solvers GS de microssegundos), a redução drástica nas iterações do RANSAC resulta em um tempo de execução total do pipeline (3,7s–7,5s) que é prático e significativamente mais rápido que os solvers de 20/44-PC RS (12s–46s).

Significância
O artigo afirma tornar a estimativa de pose relativa ciente de RS prática pela primeira vez. Ao alavancar correspondências afins, ele preenche a lacuna entre os requisitos teóricos da geometria de RS e as restrições computacionais da estimativa robusta. O método permite reconstrução e estimativa de movimento precisas em dispositivos de consumo com obturadores rolantes, abordando uma limitação de longa data onde solvers de RS eram ou muito lentos (devido a grandes tamanhos de amostra) ou muito imprecisos (devido a ignorar efeitos de RS). Além disso, fornece unicamente estimativas confiáveis de velocidade translacional, um parâmetro anteriormente difícil de recuperar apenas de correspondências de pontos.