💻 computer science

PoseFM: Relative Camera Pose Estimation Through Flow Matching

PoseFM은 단안 시각 주행 거리 측정(Monocular VO)을 생성적 흐름 매칭(Flow Matching) 프레임워크로 재구성하여, 불확실성 추정이 가능하고 열악한 환경에서도 강건한 카메라 포즈 예측을 수행하는 새로운 방법론을 제안합니다.

원저자: Dominik Kuczkowski, Laura Ruotsalainen

게시일 2026-04-27

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dominik Kuczkowski, Laura Ruotsalainen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 기존 방식의 문제점: "단답형 시험을 보는 학생" 📝

기존의 인공지능 방식은 마치 **'단답형 시험'**을 치르는 학생과 같았습니다. 카메라로 찍은 사진 두 장을 보고, "얼마만큼 움직였니?"라고 물으면 인공지능은 딱 하나의 숫자(예: "앞으로 5cm")만 대답합니다.

하지만 세상은 복잡합니다. 안개가 끼거나, 밤이 되거나, 갑자기 물체가 지나가면 사진이 흐릿해지죠. 이때 인공지능은 자기가 틀릴 수도 있다는 사실을 모른 채, 아주 자신 있게 틀린 답을 말해버립니다. "무조건 5cm야!"라고요. 만약 이 답을 믿고 로봇이 움직였다가는 벽에 쾅 부딪힐 수도 있겠죠.

2. PoseFM의 혁신: "확률로 대답하는 예술가" 🎨

이 논문에서 제안한 PoseFM은 단답형 학생이 아니라, '확률적인 분포'를 그리는 예술가와 같습니다.

질문을 받았을 때 "5cm야!"라고 딱 잘라 말하는 대신, 이렇게 대답하는 거죠.

"음... 아마 4.8cm에서 5.2cm 사이일 것 같아. 하지만 사진이 좀 흐릿하니까 7cm일 가능성도 아주 조금은 있어."

이것이 바로 논문에서 말하는 **'생성형 모델(Generative Model)'**과 **'플로우 매칭(Flow Matching)'**의 핵심입니다. 단순히 정답 하나를 맞히는 게 아니라, 정답이 있을 법한 '범위(분포)'를 통째로 그려내는 것입니다.

3. 어떻게 작동하나요? (비유: 안개 속의 조각상) 🌫️➡️🗿

논문에서 사용하는 '플로우 매칭' 기술은 마치 안개 속에서 조각상을 찾아내는 과정과 비슷합니다.

처음에는 안개뿐입니다 (Noise): 처음에는 아무 정보도 없는 무작위 상태(노이즈)에서 시작합니다.
조각의 방향을 잡습니다 (Vector Field): 인공지능은 사진(시각적 정보)을 보고, "이 안개를 어떻게 밀어내야 진짜 움직임(조각상)이 나타날까?"를 계산합니다.
안개를 걷어냅니다 (ODE Solver): 수학적인 계산(ODE solver)을 통해 안개를 한 방향으로 계속 밀어내다 보면, 마침내 선명한 '카메라의 움직임'이라는 조각상이 나타납니다.

4. 이 기술이 왜 대단한가요? (두 가지 장점) ✨

"모르면 모른다고 말할 수 있어요" (불확실성 측정):
만약 인공지능이 여러 번 시도했는데 결과가 제각각이라면(예: 어떤 때는 5cm, 어떤 때는 10cm), 인공지능은 스스로 **"지금 상황이 너무 불확실해서 내 답을 믿기 어려워!"**라고 신호를 보낼 수 있습니다. 이는 자율주행차의 안전에 엄청나게 중요합니다.
"어려운 상황에서도 끈질깁니다" (강력한 성능):
실험 결과, 이 방식은 기존의 방식들보다 훨씬 복잡하고 어려운 환경(어두운 곳, 움직이는 물체가 많은 곳 등)에서도 아주 정확하게 움직임을 맞혀냈습니다.

요약하자면! 💡

PoseFM은 로봇에게 **"확신이 없을 때는 정답 하나만 고집하지 말고, 정답이 있을 법한 범위를 그려보며 신중하게 판단하라"**고 가르치는 새로운 인공지능 학습법입니다. 덕분에 로봇은 훨씬 더 똑똑하고 안전하게 세상을 돌아다닐 수 있게 됩니다.

[논문 요약] PoseFM: Flow Matching을 이용한 상대적 카메라 포즈 추정

1. 문제 정의 (Problem Statement)

단안 시각 주행 거리 측정(Monocular Visual Odometry, VO)은 자율 주행 및 증강 현실(AR)의 핵심 기술입니다. 기존의 딥러닝 기반 VO 방식은 주로 결정론적 회귀(Deterministic Regression) 모델을 사용하여 카메라의 움직임을 하나의 점(point estimate)으로 예측합니다. 그러나 이러한 방식은 다음과 같은 한계가 있습니다:

불확실성 인지 부족: 조명 변화, 모션 블러, 질감이 없는 표면 등 시각적 모호성이 발생하는 환경에서 모델이 자신의 예측이 얼마나 불확실한지 알 수 없습니다.
모호성 해결 실패: 기하학적 모호성(Perceptual Aliasing)으로 인해 여러 가지 가능한 움직임이 존재할 수 있음에도 불구하고, 단일 값만을 출력함으로써 오류를 유발합니다.

2. 제안 방법론 (Methodology: PoseFM)

본 논문은 VO 문제를 **생성적 작업(Generative Task)**으로 재정의하며, 이를 위해 최근 생성 모델 분야에서 주목받는 Flow Matching (FM) 프레임워크를 최초로 도입했습니다.

생성적 정식화 (Generative Formulation):
- 카메라의 움직임(회전 $R$ 및 평행 이동 $t$ )을 단일 값이 아닌 확률 분포로 모델링합니다.
- 초기 분포 $p_0$ (평행 이동은 정규 분포, 회전은 $SO(3)$ 상의 균등 분포)에서 샘플을 뽑은 후, 학습된 벡터 필드(Vector Field)를 통해 타겟 분포 $p_1$ (실제 카메라 포즈 분포)로 변환합니다.
Flow Matching (FM) 활용:
- 확산 모델(Diffusion Models)보다 효율적인 **연속 시간 상미분 방정식(Continuous-time ODE)**을 사용하여 노이즈로부터 실제 포즈를 생성합니다.
- 조건부 Flow Matching (Conditional FM): 광학 흐름(Optical Flow) 정보를 가이드(Guidance)로 사용하여, 시각적 입력 조건에 맞는 벡터 필드를 학습합니다.
파이프라인 구조:
1. Front-end: PWCNet 또는 WAFT와 같은 광학 흐름 추정기를 사용하여 프레임 간의 밀집한 움직임 정보를 추출합니다.
2. Back-end (PoseFM): ResNet 인코더와 FM 전용 임베딩 레이어(시간 $\tau$ 및 중간 상태 $X_\tau$ 포함)를 갖춘 네트워크가 벡터 필드를 예측합니다.
3. Inference: 학습된 벡터 필드를 ODE Solver(Midpoint method 등)를 통해 적분하여 최종 카메라 포즈를 도출합니다.

3. 주요 기여 (Key Contributions)

최초의 FM 기반 VO 프레임워크: 단안 VO를 Flow Matching을 이용한 생성적 문제로 공식화한 최초의 연구입니다.
내재적 불확실성 추정 (Inherent Uncertainty Estimation): 별도의 불확실성 예측 모듈 없이도, 여러 번의 샘플링을 통해 얻은 결과값들의 분산(Variance)을 계산함으로써 포즈의 신뢰도를 자연스럽게 측정할 수 있습니다.
강력한 성능: 결정론적 회귀 방식의 기존 모델들과 비교하여 경쟁력 있는 정확도를 보여주었습니다.

4. 실험 결과 (Results)

다양한 벤치마크 데이터셋을 통해 성능을 검증했습니다.

TartanAir (실외/복잡 환경):
- 프레임 간(Frame-to-frame) 방식 중 가장 우수한 성능을 보였습니다.
- 특히 PoseFM+PWC 모델은 기존의 TartanVO 대비 평균 ATE(Absolute Trajectory Error)를 약 8% 개선했습니다.
- 다중 프레임 최적화 방식(DPVO, MambaVO 등)보다는 오차가 크지만, 단일 프레임 쌍만 사용하는 방식 중에서는 매우 경쟁력 있는 수치를 기록했습니다.
KITTI (도로 주행):
- 다양한 움직임 패턴에서도 강건한 성능을 보였으며, 일부 시퀀스에서는 최고 성능을 기록했습니다.
TUM-RGBD (실내 환경):
- 실내 환경으로의 일반화 능력을 입증했습니다. 기존의 우수한 프레임 간 방식인 CUVO와 유사한 수준의 성능을 달성했습니다.

5. 의의 및 결론 (Significance & Conclusion)

PoseFM은 VO 분야에 생성적 모델링이라는 새로운 패러다임을 제시했습니다. 단순히 "움직임이 얼마인가?"를 맞추는 것을 넘어, **"움직임의 분포가 어떠하며, 이 예측을 얼마나 믿을 수 있는가?"**를 수학적으로 정교하게 다룰 수 있게 되었습니다. 이는 안전이 중요한 자율 주행 시스템에서 예측의 불확실성을 관리하는 데 매우 중요한 기술적 토대를 제공합니다.

향후 과제: 저자들은 향후 다중 프레임 최적화로의 확장, 더 강력한 네트워크 구조 도입, 그리고 광학 흐름에 의존하지 않는 직접적인 '이미지-투-포즈(Image-to-Pose)' 파이프라인 구축을 목표로 하고 있습니다.