🤖 machine learning

FILT3R: Latent State Adaptive Kalman Filter for Streaming 3D Reconstruction

이 논문은 스트리밍 3D 재구성의 장기적 안정성을 향상시키기 위해 학습 없이 적용 가능한 칼만 필터 기반의 FILT3R 을 제안하며, 이는 토큰 공간의 확률적 상태 추정을 통해 기존 오버라이트 및 게이트 정책들을 일반화하고 관측 데이터와 메모리 유지 사이의 적응적 균형을 달성합니다.

원저자: Seonghyun Jin, Jong Chul Ye

게시일 2026-03-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Seonghyun Jin, Jong Chul Ye

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

FILT3R: 3D 재구성을 위한 '현명한 필터' 이야기

이 논문은 **스트리밍 3D 재구성 (Streaming 3D Reconstruction)**이라는 기술을 더 안정적으로 만드는 새로운 방법인 FILT3R을 소개합니다.

쉽게 말해, "카메라로 영상을 찍으며 실시간으로 3D 장면을 만들어낼 때, 시간이 갈수록 왜곡되거나 망가지는 문제를 해결한 방법"입니다.

1. 문제: "기억력 감퇴"와 "망각"의 딜레마

상상해 보세요. 당신이 눈을 감고 친구의 얼굴을 기억하고 있다고 칩시다.

과거의 방식 (CUT3R): 친구가 말을 할 때마다, 무조건 그 순간의 말만 기억하고 과거의 기억은 완전히 지워버립니다. (예: "어제 뭐 했어?" → "모르겠다, 지금 내가 한 말만 기억해.")
- 결과: 친구가 조금만 움직여도 기억이 뚝 끊기고, 장면을 재구성할 때 엉망이 됩니다.
다른 방식 (TTT3R): 과거 기억과 새로운 말을 섞어서 기억하려 하지만, 무작위적인 규칙으로 섞습니다. (예: "아까 그 말도 기억나고, 지금 말도 기억나는데... 어? 뭐가 더 중요하지?" 하고 헷갈려 합니다.)
- 결과: 시간이 지나면 기억이 섞여서 왜곡이 생기고, 장면을 다시 돌아봤을 때 모양이 달라집니다.

이 두 가지 방식 모두 **오래된 영상 (Long-horizon)**을 다룰 때, 작은 오차가 쌓여 장면을 완전히 망가뜨리는 (Drift) 문제가 있었습니다.

2. 해결책: FILT3R (현명한 필터)

저자들은 이 문제를 해결하기 위해 **칼만 필터 (Kalman Filter)**라는 수학적 개념을 차용했습니다. 이를 일상적인 비유로 설명해 드리겠습니다.

🧠 비유: "현명한 도서관 사서"

FILT3R 은 도서관의 현명한 사서와 같습니다.

기존의 사서들:
- CUT3R: 새로운 책이 들어오면, 기존 장서를 모두 버리고 새 책만 꽂습니다. (과거 지식이 사라짐)
- TTT3R: 새 책이 들어오면, "어? 이 책이 좀 이상하네?"라고 생각하며 무작위로 섞습니다. (불안정함)
FILT3R 사서의 방식:
- 사서는 **"이 정보가 얼마나 신뢰할 만한가?"**와 **"장면이 얼마나 변했는가?"**를 실시간으로 계산합니다.
- 상황 A (장면이 안정적일 때):
  - 친구가 가만히 앉아 있을 때, 사서는 "아, 이 친구는 변하지 않았구나. 내 과거 기억이 더 정확할 거야."라고 생각합니다.
  - 그래서 새로운 정보 (현재 프레임) 를 거의 반영하지 않고, 쌓아둔 **과거의 확실한 기억 (Latent State)**을 유지합니다.
  - 효과: 시간이 지나도 기억이 흐트러지지 않습니다. (오차 축적 방지)
- 상황 B (장면이 급변할 때):
  - 친구가 갑자기 뛰어다니거나 배경이 바뀔 때, 사서는 "오! 상황이 크게 변했네! 과거 기억은 이제 쓸모없고, 지금 보이는 게 진실이야!"라고 판단합니다.
  - 그래서 새로운 정보를 과감하게 받아들여 기억을 업데이트합니다.
  - 효과: 빠른 변화에도 즉각적으로 적응합니다.

3. 핵심 기술: "불확실성"을 계산하다

이 사서가 어떻게 그렇게 현명할까요? 바로 **'불확실성 (Uncertainty)'**을 계산하기 때문입니다.

과거의 기억 (State): "내가 지금까지 본 장면을 믿을 수 있을까?"
새로운 정보 (Measurement): "지금 카메라가 찍은 게 정확할까?"
변화 (Process Noise): "방금 전과 지금이 얼마나 달라졌을까?"

FILT3R 은 이 세 가지를 수학적으로 저울질합니다.

안정적인 상황: "변화가 거의 없네? 그럼 내 과거 기억을 더 믿자." → 기억을 오래 유지.
급변하는 상황: "와, 상황이 많이 변했네! 과거 기억은 버리고 지금 것을 믿자." → 빠르게 업데이트.

이런 과정을 통해 FILT3R 은 학습 데이터의 한계를 넘어선 긴 시간 (Long-horizon) 동안에도 3D 장면을 왜곡 없이, 마치 처음부터 완벽하게 본 것처럼 재구성할 수 있습니다.

4. 왜 중요한가요? (결론)

학습 불필요 (Training-Free): 이 방법은 AI 모델을 다시 가르칠 필요가 없습니다. 기존 모델 위에 '현명한 사서 (FILT3R)'만 얹으면 됩니다.
메모리 효율: 긴 영상을 처리해도 컴퓨터 메모리가 터지지 않고 일정하게 유지됩니다.
실제 효과: 긴 영상을 찍었을 때, 기존 방법들은 1 분만 지나도 3D 모델이 뒤틀리거나 사라졌지만, FILT3R 은 10 분, 20 분을 찍어도 똑같은 모양을 유지합니다.

요약

FILT3R은 "과거를 잊지 않고, 새로운 변화에도 빠르게 적응하는 현명한 3D 기억 필터"입니다. 마치 경험이 풍부한 사서가 도서관의 책을 정리하듯, AI 가 장면을 볼 때 언제 믿고, 언제 업데이트할지를 스스로 판단하게 만들어, 아주 긴 영상에서도 완벽한 3D 재구성을 가능하게 합니다.

FILT3R: 스트리밍 3D 재구성을 위한 잠재 상태 적응형 칼만 필터

1. 문제 정의 (Problem)

스트리밍 3D 재구성은 제한된 메모리와 낮은 지연 시간으로 이미지 스트림에서 기하학적 구조와 카메라 운동을 예측하는 것을 목표로 합니다. 최근의 순환 (Recurrent) 아키텍처는 영구적인 잠재 토큰 (Latent Tokens) 을 유지하며 새로운 프레임을 처리하지만, 훈련 구간 (Training Horizon) 을 초과하는 긴 시퀀스에서 다음과 같은 심각한 실패 모드를 보입니다:

누적 드리프트 (Accumulated Drift): 작은 업데이트 편향이 시간이 지남에 따라 누적되어 전체 궤적과 기하학이 왜곡됩니다.
과도한 망각 (Catastrophic Forgetting): 새로운 프레임을 무조건 덮어쓰는 방식 (Uniform Overwrite) 은 이전의 유용한 정보를 잃게 만듭니다.
불안정한 상태 업데이트: 기존 방법들은 수동으로 설계된 규칙 (예: 고정 게이트, 휴리스틱) 을 사용하여 과거 증거와 새로운 관측치 사이의 균형을 맞추려 하지만, 시퀀스 길이가 길어질수록 불안정해집니다.

2. 방법론 (Methodology)

저자들은 스트리밍 재구성을 토큰 공간 (Token Space) 의 확률적 상태 추정 (Stochastic State Estimation) 문제로 재해석하고, 이를 해결하기 위해 FILT3R을 제안합니다. 이는 학습이 필요 없는 (Training-free) 플러그인 레이어로, 칼만 필터링 (Kalman Filtering) 원리를 적용합니다.

핵심 아이디어:
- 상태 (State, $s_t$ ): 현재 프레임까지 축적된 장면에 대한 믿음 (Belief).
- 측정 (Measurement, $\tilde{s}_t$ ): 디코더가 현재 프레임과 이전 상태를 기반으로 생성한 노이즈가 포함된 후보 상태.
- 업데이트 규칙: $s_t = s_{t-1} + k_t \odot (\tilde{s}_t - s_{t-1})$ 형태로, 칼만 게인 ( $k_t$ ) 에 따라 과거 상태와 새로운 관측치를 가중치 있게 융합합니다.
적응형 칼만 필터링 (Adaptive Kalman Filtering, AKF) 전략:
1. 측정 노이즈 (Measurement Noise, $r$ ): 고정된 스칼라 값으로 설정합니다. 디코더는 프리트레인 (Frozen) 된 모델이므로 예측의 신뢰도는 시나리오에 따라 크게 변하지 않는다고 가정합니다. 이는 휴리스틱 게이트가 겪는 불안정성을 방지하는 '앵커' 역할을 합니다.
2. 과정 노이즈 (Process Noise, $q_t$ ): 적응형으로 추정합니다. 연속된 후보 상태 간의 시간적 드리프트 (Temporal Drift) 를 EMA(Exponential Moving Average) 로 정규화하여 계산합니다.
  - 안정적인 장면: 드리프트가 작으면 $q_t$ 가 감소 $\rightarrow$ 칼만 게인 ( $k_t$ ) 이 감소 $\rightarrow$ 과거 정보 유지 (메모리 확장).
  - 장면 변화/급격한 운동: 드리프트가 크면 $q_t$ 가 증가 $\rightarrow$ 칼만 게인 ( $k_t$ ) 이 증가 $\rightarrow$ 새로운 정보에 빠르게 적응.
3. 불확실성 전파: 토큰별 분산 ( $p_t$ ) 을 재귀적으로 업데이트하여, 안정적인 구간에서는 분산이 줄어들며 게인이 자연스럽게 감소하도록 합니다.

3. 주요 기여 (Key Contributions)

새로운 패러다임: 스트리밍 3D 재구성을 잠재 토큰 공간의 확률적 상태 추정 문제로 재정의하고, 이를 위한 적응형 잠재 필터링 레이어 FILT3R을 도입했습니다.
학습 불필요 및 해석 가능성: 모델 재학습 없이 기존 순환 아키텍처에 플러그인할 수 있으며, 칼만 게인을 통해 업데이트의 신뢰도를 명확하게 해석할 수 있습니다.
기존 방법론의 일반화: 균일한 덮어쓰기 (CUT3R) 나 휴리스틱 게이트 (TTT3R) 를 특수한 경우로 포함하며, 불확실성을 고려하여 게인을 동적으로 조절합니다.
장기적 안정성 확보: 분산 전파를 통해 안정적인 구간에서는 게인을 줄이고, 장면 변화 시에만 게인을 높여 장기 시퀀스에서의 드리프트를 효과적으로 억제합니다.

4. 실험 결과 (Results)

저자들은 다양한 데이터셋 (TUM-RGBD, Bonn, KITTI, 7-Scenes, NRGBD) 에서 FILT3R 을 CUT3R(Uniform Overwrite), TTT3R(Heuristic Gating), Point3R 등 기존 방법과 비교했습니다.

장기 3D 재구성 (Long-horizon 3D Reconstruction):
- 7-Scenes 및 NRGBD 데이터셋에서 시퀀스 길이가 길어질수록 (300~1000 프레임) 정확도 (Accuracy) 와 완성도 (Completeness) 가 기존 방법보다 현저히 높았습니다.
- 특히 1000 프레임 이상에서는 Point3R 이 메모리 부족 (OOM) 으로 실패한 반면, FILT3R 은 일관된 기하학을 유지했습니다.
카메라 포즈 추정 (Camera Pose Estimation):
- TUM-RGBD 데이터셋에서 Origin-aligned ATE(전체 궤적 정렬 없이 첫 프레임 기준 오차) 가 CUT3R(0.493) 과 TTT3R(0.214) 에 비해 FILT3R(0.107) 에서 크게 감소하여 누적 드리프트가 효과적으로 해결되었음을 입증했습니다.
비디오 깊이 추정 (Video Depth Estimation):
- Bonn 데이터셋에서 시퀀스 길이가 증가함에 따라 Abs Rel 오차가 감소하고 $\delta<1.25$ 정확도가 향상되었습니다.
단기 성능 유지:
- 훈련 구간 내의 짧은 시퀀스에서도 기존 방법들과同等하거나 더 나은 성능을 보여주어, 장기 안정성을 위해 단기 정확도를 희생하지 않음을 확인했습니다.
효율성:
- 추가 메모리 오버헤드는 거의 없으며 (토큰 분산 벡터 및 EMA 스칼라만 추가), CUT3R 과 유사한 상수 메모리 (Constant Memory) 를 유지합니다.

5. 의의 및 결론 (Significance)

FILT3R 은 스트리밍 3D 재구성의 핵심 과제인 **장기 드리프트 (Long-horizon Drift)**와 과도한 망각 (Catastrophic Forgetting) 문제를 칼만 필터링의 수학적 엄밀함으로 해결했습니다.

불확실성 인식 (Uncertainty-aware): 단순히 현재 프레임의 변화량만 보는 것이 아니라, 축적된 증거에 따른 신뢰도 (분산) 를 고려하여 업데이트 강도를 조절합니다.
적응성: 안정적인 환경에서는 보수적으로 동작하여 메모리 범위를 확장하고, 급격한 장면 변화 시에는 공격적으로 적응하여 새로운 정보를 통합합니다.
실용성: 추가 학습 없이 기존 모델에 적용 가능하여, 실시간 스트리밍 애플리케이션 및 장시간 영상 처리에 매우 유용한 솔루션을 제공합니다.

결론적으로, FILT3R 은 제한된 메모리 하에서도 장시간의 영상 스트림에 대해 안정적이고 정확한 3D 재구성을 가능하게 하는 새로운 표준을 제시합니다.