기술 요약: 단일 이미지 모션 블러로부터의 강건한 기본 행렬 추정

문제 정의

본 논문은 단일 모션 블러 이미지로부터 기본 행렬(상대적 3D 카메라 운동을 인코딩) 을 추정하는 새로운且어려운 컴퓨터 비전 작업을 다룹니다.

기존 컴퓨터 비전에서는 기본 행렬이 두 개의 서로 다른 뷰 간의 대응 관계로부터 유도됩니다. 그러나 단일 모션 블러 프레임에서 "두 개의 뷰"는 실질적으로 카메라 노출 시간의 시작과 끝입니다. 주요 과제는 시간적 방향 모호성입니다: 모션 블러 흔적은 두 점 사이의 경로를 나타내지만, 이미지 자체는 어느 점이 시작이고 어느 점이 끝인지 구분할 수 없습니다. 결과적으로, 대응 관계 $(p, p')$는 $(p', p)$와 모호하게 됩니다. 이러한 모호성으로 인해 시간적 순서가 알려진 것에 의존하는 8 점 알고리즘이나 골드 스탠다드 방법과 같은 기존 추정 방법들은 적용할 수 없습니다. furthermore, 모션 블러에 대한 기존 연구는 주로 이미지 디블러링이나 광학 흐름 추정에 초점을 맞추며, 블러를 기하학적 제약의 원천이 아닌 방해 요인으로 취급하는 경우가 많습니다.

방법론

제안된 프레임워크는 흔적 경로 추정과 기본 행렬 추정의 두 단계로 운영됩니다.

1. 흔적 경로 추정

첫 번째 단계는 U-Net 아키텍처 기반의 신경망을 사용하여 픽셀별 흔적 벡터와 해당 불확실성을 예측합니다.

• 데이터 생성: 모나카 (Monkaa) 와 드라이빙 (Driving) 데이터셋의 실제 광학 흐름을 사용하여 두 개의 선명한 프레임 사이에 보간된 중간 프레임을 평균화함으로써 합성 모션 블러 이미지를 생성합니다. 고프로 (GoPro) 데이터셋에서 반실제 데이터를 생성하고, RBI 에서 의사-실제 지상 truth 를 도출하여 실제 세계 데이터를 파생합니다.
• 흔적 표현: 방향 모호성, 즉 벡터 $(u, v)$가 $(-u, -v)$와 구별되지 않는 문제를 해결하기 위해, 저자들은 이중 각도 표현을 사용합니다. 벡터 각도 $\phi$를 $2\phi$로 매핑하여 두 가지 동등한 경우를 고유한 벡터 $(u', v')$로 변환합니다.
• 불확실성 및 교차 확인: 네트워크는 흔적 벡터와 함께 분산 맵 $\sigma$를 출력합니다. 가려짐이나 프레임 밖으로 이동하는 객체로 인해 발생하는 신뢰할 수 없는 흔적 패턴과 신뢰할 수 있는 패턴을 구분하기 위해, 시작 프레임과 끝 프레임 간의 전후 방향 흐름 일관성을 사용하여 교차 확인 맵($m_{cr}$) 을 생성합니다.
• 손실 함수: 신뢰할 수 있는 픽셀에 대한 이중 각도 벡터를 가우시안 음수 로그 가능도를 사용하여 감독하고, 교차 확인 맵으로 식별된 신뢰할 수 없는 픽셀에 대한 분산 (불확실성) 을 패널티하는 맞춤형 손실 함수를 설계합니다. 이는 네트워크가 모호하거나 가려진 영역에 높은 불확실성을 할당하도록 장려합니다.

2. 강건한 기본 행렬 추정

두 번째 단계는 예측된 흔적 끝점으로부터 기본 행렬 $F$를 추정합니다.

• 모호성 처리: 시간적 방향이 알려지지 않았으므로, 흔적 끝점 쌍 $(\bar{p} - \bar{s}, \bar{p} + \bar{s})$는 원래 순서이거나 전치된 순서이거나 둘 중 하나에 대해 $x^T F y = 0$인 에피폴라 제약을 만족해야 합니다. 저자들은 이를 $F$ 또는 $F^T$에 대한 오차를 최소화하는 것을 목표로 하는 제약 최적화 문제로 공식화합니다:
  $$F^* = \arg \min_F \| \min(|M_{vec}(F)|, |M_{vec}(F^T)|) \|^2$$
  여기서 $\det(F)=0$이고 $\|F\|=1$입니다.
• 강건한 샘플링: 이상치와 국소 운동을 처리하기 위해 선제적 RANSAC을 사용합니다. 중요한 점은 샘플링 과정이 첫 번째 단계의 불확실성 추정치에 의해 안내된다는 것입니다; 낮은 불확실성 (높은 신뢰도) 을 가진 흔적 벡터만 고려됩니다.
• 대칭 오차 지표: 방향 모호성으로 인해 표준 샘프슨 오차를 직접 사용할 수 없습니다. 저자들은 가설 $F$와 그 전치 $F^T$ 사이의 최소 오차를 취하는 대칭화된 샘프슨 오차($SErrMin$) 를 도입합니다. 이 지표는 실제 시간적 방향을 알지 못하더라도 강건한 합의 집합 정의를 가능하게 합니다.

주요 기여

1. 새로운 작업 정의: 본 논문은 단일 모션 블러 이미지로부터 기본 행렬을 추정하는 작업을 도입하며, 흔적별 시간적 방향 모호성이라는 고유한 과제를 다룹니다.
2. 강건한 추정 프레임워크: 딥러닝을 통한 흔적 추출과 시간 방향의 모호성 ( $F$ 또는 $F^T$ 허용) 을 명시적으로 고려하는 기하학적 솔버를 결합한 2 단계 파이프라인을 제안합니다.
3. 불확실성 인식 학습: 저자들은 불확실성을 예측하도록 학습하는 손실 함수를 제안하여, 강건한 추정 단계 동안 가려짐과 같은 신뢰할 수 없는 흔적 예측의 가중치를 낮출 수 있도록 합니다.
4. 표현 및 주석: 이중 각도 표현의 사용이 흔적 경로 학습에 유리함이 입증되었으며, 교차 확인 맵을 사용한 절차가 훈련을 위한 정밀한 주석 생성에 제시되었습니다.

실험 결과

본 방법은 합성 (Monkaa, Driving), 반실제 (GoPro), 실제 세계 (RBI) 데이터셋에서 평가되었습니다.

• 흔적 추정: 제안된 이중 각도 표현과 교차 확인 맵의 조합은 모든 데이터셋에서 가장 낮은 끝점 오차 (EPE-S) 를 달성했습니다. 불확실성 추정치는 실제 오차와 잘 상관관계를 보이며, 신뢰할 수 없는 예측을 효과적으로 필터링했습니다.
• 기본 행렬 추정: 대칭화된 샘프슨 오차와 불확실성 유도 RANSAC 을 사용하여, 실제 지상 truth 대응 관계와 일치하는 기본 행렬을 성공적으로 추정했습니다. 불확실성에 기반하여 상위 35%~45% 의 흔적 벡터를 선택했을 때 가장 좋은 성능이 관찰되었습니다.
• 하류 응용: 추정된 기본 행렬과 흔적 경로는 국소 운동 분할에 성공적으로 적용되어, 블러 이미지에서 배경과 다른 방식으로 이동하는 자동차와 같이 독립적으로 움직이는 객체를 전역 장면 운동으로부터 효과적으로 분리했습니다.
• 한계: 이 방법은 여러 개의 독립적인 국소 운동이 있는 장면 (동적 장면) 이나 전역 운동 신호가 약하거나 퇴화하는 거의 0 인 카메라 이동이 있는 장면에서는 어려움을 겪습니다.

중요성과 주장

저자들은 시간적 모호성으로 인해 이전에 잘 정의되지 않은 작업으로 간주되었던 단일 프레임으로부터 3D 카메라 운동 제약을 추출하는 것의 실현 가능성을 입증했다고 주장합니다. 모션 블러에 내재된 기하학적 제약을 활용함으로써, 이 방법은 자율 주행과 드론 비행과 같은 응용 분야에서 필수적인 낮은 지연 시간 (단일 프레임 입력) 으로 시각적 오도메트리 및 구조 복원 작업을 수행할 수 있는 방법을 제공합니다. 본 논문은 결과물이 시간의 알 수 없는 방향을 반영하는 전치에 대해 모호하지만, 이는 에피폴라 기하학을 정의하고 운동 분할과 같은 하류 작업을 가능하게 하는 데 충분하다고 강조합니다. 이 연구는 모션 블러를 제거해야 할 방해 요인으로 취급하는 것과 기하학적 정보의 풍부한 원천으로 활용하는 것 사이의 간극을 메웁니다.