💻 computer science

Forget, Anticipate and Adapt: Test Time Training for Long Videos

이 논문은 고정된 3프레임 윈도우와 적응형 서프라이즈 기반 메커니즘을 활용하여 레이블 없이 실시간 모델 적응을 가능하게 함으로써 긴 비디오에 대해 계산 효율적인 테스트 단계 훈련(Test Time Training) 방식인 프레임 포게팅 네트워크(FFN)를 소개하며, 이는 한 시간 길이의 비디오로 구성된 새로운 데이터셋을 통해 검증되었다.

원저자: Rajat Modi, Sebastian Noel, Xin Liang, Yogesh Singh Rawat

게시일 2026-06-26

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Rajat Modi, Sebastian Noel, Xin Liang, Yogesh Singh Rawat

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 긴 영화, 예를 들어 도시를 걷는 3시간짜리 투어 영상을 보고 있다고 상상해 보세요. 이제 당신에게는 이 영화의 모든 프레임을 실시간으로 이해하려고 노력하는 똑똑한 카메라 비서가 있다고 상상해 봅시다.

보통 컴퓨터 모델은 시험을 위해 열심히 공부하고 답을 암기하지만, 실제 시험이 시작되면 머릿속이 하얘지는 학생과 같습니다. 그들은 시험이 시작된 후에는 새로운 것을 배울 수 없습니다. **테스트 타임 트레이닝(Test Time Training, TTT)**은 모델이 정답을 알려주는 선생님 없이도, 시험을 치르는 동안 자신의 "두뇌"를 계속 학습하고 조정할 수 있게 해주는 새로운 아이디어입니다.

하지만 이렇게 긴 영상을 처리하는 것은 컴퓨터에게 악몽과 같습니다. 여기 이 논문이 해결하고자 하는 문제를 쉬운 비유로 설명해 드리겠습니다.

문제점: "무거운 배낭"

모델을 배낭을 메고 걷는 등산객이라고 상상해 보세요. 현재의 순간을 이해하기 위해 등산객은 자신이 걸었던 지난 몇 단계의 발걸음(슬라이딩 윈도우 방식의 프레임들)을 돌아봅니다.

기존 방식: 등산객이 한 걸음을 내디딜 때마다, 배낭 속의 모든 물건을 다 꺼내서 하나하나 다시 정리한 다음 다시 배낭에 집어넣습니다. 만약 영상이 3시간 길이라면, 등산객은 매 걸음마다 수천 개의 아이템을 다시 정리해야 합니다. 이는 너무 느리고 에너지 소모가 너무 큽니다.
낭비: 또한 등산객은 아무것도 변하지 않는 지루하고 텅 빈 복도를 지나갈 때조차 배낭을 계속해서 다시 정리합니다.

해결책: "프레임 망각 네트워크" (Frame Forgetting Network, FFN)

저자들은 스마트하고 효율적인 등산객처럼 행동하는 FFN이라는 새로운 시스템을 만들었습니다. 매번 배낭 전체를 다시 정리하는 대신, 이들은 세 가지 영리한 기술인 **망각(Forget), 예측(Anticipate), 적응(Adapt)**을 사용합니다.

1. 망각 (기억의 복구)

등산객이 앞으로 나아갈 때, 오래된 아이템 하나가 배낭에서 빠져나가고 새로운 아이템 하나가 들어옵니다.

기존 방식: 모든 것을 다시 계산합니다.
FFN 방식: 모델은 단순히 방금 배낭에서 빠져나간 아이템에 대해 했던 조정을 "망각"합니다. 즉, 그 부분의 기억을 학습을 시작하기 전의 상태로 복구합니다. 오직 방금 들어온 아이템과 방금 빠져나간 아이템에만 집중합니다.
비유: 매일 아침 일기장 전체를 다시 읽는 대신, 어제의 기록을 지우고 오늘의 기록을 쓰는 것과 같습니다. 책 전체를 다시 읽을 필요가 없습니다.

2. 예측 (수정구슬)

모델은 본격적인 "학습"(가중치 업데이트)을 하기 전에, 다음 프레임이 어떻게 보일지 예측합니다.

확인: 모델의 예측과 실제 다음 프레임을 비교합니다.
놀람 지수:
- 만약 모델이 올바르게 예측했다면(예: 카메라가 벽을 따라 천천히 움직이는 경우), "놀람" 수치가 낮습니다. 모델은 "이미 알고 있는 내용이니 더 배울 필요가 없다"라고 판단하고 그냥 넘어갑니다.
- 만약 모델이 완전히 틀렸다면(예: 장면이 갑자기 햇살 가득한 공원에서 어두운 동굴로 바뀌는 경우), "놀람" 수치가 높습니다. 모델은 "와, 새로운 일이 일어났다! 지금 당장 내 두뇌를 업데이트해야 해!"라고 판단합니다.
비유: 길을 걷고 있다고 상상해 보세요. 익숙한 강아지를 본다면 멈춰서 공부하지 않을 것입니다. 하지만 용을 본다면, 멈춰 서서 주의를 기울일 것입니다. FFN은 오직 "용"을 보았을 때만 학습을 위해 멈춥니다.

3. 적응 (업데이트)

"놀람" 수치가 높을 때만 모델은 실제로 에너지를 써서 두뇌를 업데이트합니다. 이를 통해 엄청난 양의 컴퓨팅 전력을 아낄 수 있습니다.

새로운 데이터셋: "EpicTours"

이 논문은 기존의 테스트들이 마치 마라톤 선수를 5분짜리 트랙에서 테스트하는 것과 같다고 지적합니다. 저자들은 최대 3시간 동안 사람들이 도시를 걷는 영상을 담은 EpicTours라는 새로운 데이터셋을 만들었습니다. 이는 그들의 방식이 짧은 클립이 아닌, 긴 실제 영상에서도 실제로 작동한다는 것을 증명합니다.

결과

속도: 기존 방식은 모든 프레임을 처리하는 데 오랜 시간이 걸렸습니다. FFN은 꼭 필요할 때만 무거운 작업을 수행하기 때문에 훨씬 빠릅니다.
정확도: 많은 프레임을 건너뛰면서도, FFF는 오히려 기존의 느린 방식보다 영상 이해(사물 식별이나 깊이 추정 등) 능력이 더 뛰어납니다.
안정성: 다른 방식들은 영상이 길어질수록 혼란에 빠지고 실수를 저지르지만(마치 50분 뒤에 길을 잃는 등산객처럼), FFN은 3시간이 지난 후에도 예리함을 유지합니다.

요약

이 논문은 컴퓨터가 긴 영상을 보는 더 똑똑한 방법을 소개합니다. 매 초마다 이야기 전체를 미친 듯이 다시 배우는 대신, 컴퓨터는 필요 없는 오래된 부분을 망각하고, 다음에 올 것을 예측하며, 정말 놀라운 일이 일어날 때만 적응합니다. 이를 통해 지치거나 혼란스러워하지 않고도 몇 시간 길이의 영상을 효율적으로 시청할 수 있습니다.

기술 요약: Forget, Anticipate and Adapt: 긴 비디오를 위한 테스트 타임 트레이닝 (Test Time Training for Long Videos)

1. 문제 정의 (Problem Statement)

테스트 타임 트레이닝(TTT)은 정답 레이블 없이 자기 지도 학습(SSL)을 사용하여 추론 중에 모델의 가중치를 업데이트할 수 있게 합니다. 유망한 기술이지만, 긴 비디오에 TTT를 적용할 때는 두 가지 결정적인 계산 병목 현상이 발생합니다:

선형적 계산 성장 (Linear Computational Growth): 기존 방식은 $k$ 개의 과거 프레임을 포함하는 슬라이딩 윈도우에 의존합니다. 윈도우가 이동함에 따라 모델은 매 타임스텝마다 $k$ 개의 프레임을 모두 다시 평가해야 하며, 이는 중복된 계산을 초래하여 몇 시간 동안 지속되는 비디오(예: 2시간 비디오 처리에 최대 8시간 소요)의 경우 감당하기 어려운 수준이 됩니다.
불필요한 적응 (Unnecessary Adaptation): 현재의 접근 방식은 연속된 프레임이 시각적으로 동일하거나 매우 유사한 경우에도 TTT 업데이트를 수행하여, 새로운 정보가 없는 프레임에 계산 자원을 낭비합니다.

본 논문은 밀집한 컴퓨터 비전 작업(예: 세그멘테이션)을 수행할 때, 다시간(multi-hour) 비디오 스트림에 대해 로컬 및 온디바이스(on-device) 환경에서 효율적으로 TTT를 수행하는 과제를 해결합니다.

2. 방법론: 프레임 망각 네트워크 (Frame Forgetting Network, FFN)

저자들은 "국소성(locality)의 원리"에 기반하여 작동하는 **프레임 망각 네트워크 (FFN)**를 제안합니다. 프레임 $t$ 는 $t+5000$ 시점의 프레임과 무관한 경우가 많습니다. FFN은 전체 슬라이딩 윈도우를 처리하는 대신, "Forget, Anticipate, Adapt" 절차를 사용하여 매 타임스텝마다 단 세 개의 프레임(나가는 프레임, 현재 프레임, 다음 프레임)만을 대상으로 작동합니다.

핵심 구성 요소

A. 메모리 복원 메커니즘 (Memory Restoration Mechanism, MRM) - "Forget" 단계
모델이 슬라이딩 윈도우에서 빠져나가는 프레임( $x_{t-k}$ )의 적응 가중치를 계속 유지하는 것을 방지하기 위해, MRM은 이러한 적응을 능동적으로 "망각"합니다.

메커니즘: 모델은 적응 전의 나가는 프레임 특징( $f_{t-k-1}(x_{t-k})$ )을 캐싱합니다.
시간적 조건화 (Temporal Conditioning): 위치 인코딩(positional encoding)을 포함한 3계층 MLP 형태의 시간 모듈이 타임스텝 $t-k$ 를 백본(backbone)에 주입합니다.
복원: 모델은 현재 가중치를 사용하여 나가는 프레임의 적응 전 특징을 예측하도록 훈련됩니다. 이는 현재의 예측값과 캐싱된 적당 전 특징 사이의 L2 손실을 최소화함으로써 달성되며, 결과적으로 특정 프레임에 대해 백본의 상태를 적응 전 베이스라인으로 복구합니다.

B. 적응형 윈도우 알고리즘 (Adaptive Window Algorithm, AWA) - "Anticipate" 및 "Adapt" 단계
AWA는 현재 프레임에 대한 적응이 필요한지 여부를 동적으로 결정하여 중복된 프레임에 대한 계산을 피합니다.

예측 (Anticipation): 모델은 현재 프레임( $x_t$ )을 바탕으로 다음 프레임( $x'_{t+1}$ )을 예측하는 "예측 헤드(Anticipative Head)"를 사용합니다.
놀라움 지표 (Surprise Metric, $S_t$ ): 들어오는 프레임의 "새로운 정보"를 정량화하기 위한 지표를 정의합니다. 이는 다음 두 가지를 결합합니다:
1. 시각적 차이 (Visual Difference, $v_{visual}$ ): 예측된 다음 프레임과 실제 다음 프레임 사이의 픽셀 단위 차이.
2. 잠재 유사도 (Latent Similarity, $A$ ): 현재 프레임의 잠재 특징과 메모리 버퍼에 있는 가장 최근에 적응된 프레임 사이의 코사인 유사도.
- $S_t = [\log(1 + v_{visual})] \times [1 - A]$
동적 임계값 설정 (Dynamic Thresholding): 시스템은 과거의 놀라움 값들을 유지하는 러닝 버퍼를 관리합니다. 적응 임계값 $\tau_t$ 는 과거 놀라움 값들의 평균에 표준 편차를 더한 값( $\mu_t + \sigma_t$ )으로 동적으로 계산됩니다.
결정: 만약 $S_t \geq \tau_t$ 라면, 모델은 TTT(가중치 업데이트)를 수행합니다. 그렇지 않으면 가중치 업데이트 없이 단순 순전파(inference)만 수행합니다.

3. 주요 기여 (Key Contributions)

프레임 망각 네트워크 (FFN): 세 개의 프레임만을 사용하여 작동하고 슬라이딩 윈도우를 처리하기 위한 메모리 복원 메커니즘을 활용함으로써, TTT의 복잡도를 타임스텝당 $O(k)$ 에서 $O(1)$ 로 줄이는 새로운 아키텍처입니다.
적응형 윈도우 (Adaptive Windowing): 수학적으로 정의된 "놀라움(surprise)" 지표와 동적 임계값 알고리즘을 통해 정적이거나 중복된 프레임에서의 불필요한 TTT 업데이트를 제거합니다.
EpicTours 데이터셋: 최대 3시간 길이의 도시 투어 걷기 영상과 밀집된 의미론적 및 인스턴스 주석을 포함하는 새로운 벤치마크 데이터셋입니다. 이는 COCO-Videos, DAVIS와 같이 일반적으로 5분 미만으로 제한된 기존 데이터셋의 한계를 해결합니다.
경험적 검증: 짧은 영상 및 다시간 영상 모두에서 밀집 세그멘테이션, 비디오 깊이 추정, 액션 분류 작업에 대한 FFN의 효과를 입증했습니다.

4. 실험 결과 (Experimental Results)

저자들은 COCO-Videos, KITTI-STEP, UCF101, Something-Something v2 및 새로운 EpicTours 데이터셋을 포함한 11개의 데이터셋에서 FFN을 평가했습니다.

세그멘테이션 성능: COCO-Videos에서 FFN은 인스턴스 세그멘테이션에서 45.1 AP, 파놉틱 세그멘테이션에서 29.6 AP를 달성하여, "Online TTT-MAE (슬라이딩 윈도우)" 베이스라인(37.6 AP)과 "Offline TTT-MAE Oracle" (33.6 AP)을 능가했습니다.
계산 효율성: FFN은 처리 시간을 (A100 GPU 기준) 프레임당 0.7초로 단축하였으며, 이는 표준 슬라이딩 윈도우 TTT가 요구하는 프레임당 4.1초에 비해 크게 개선된 수치입니다.
깊이 추정 (Depth Estimation): FFN은 비디오 깊이 추정에 잘 일반화되었으며, 6개 데이터셋(KITTI 및 ScanNet 포함)에서 TTT 베이스라인보다 낮은 오차율(AbsRel)을 기록하며 최첨단(SOTA) 결과를 달着했습니다.
장기 비디오 안정성: 다시간 영상인 EpicTours 데이터셋에서 FFN은 시간이 지나도 안정적인 성능을 유지한 반면, TTT-Online 베이스라인은 50분 이후 성능이 크게 저하되었습니다. FFN은 베이스라인 대비 시맨틱 세그멘테이션에서 6.5%, 인스턴스 세그멘테이션에서 **5.3%**의 이득을 보였습니다.
액션 분류: FFN은 UCF101(95.0%) 및 Something-Something v2(74.1%)에서 Top-1 정확도를 향상시켜, 시간적 방향성을 포착하는 능력을 입증했습니다.

5. 의의 및 주장 (Significance and Claims)

본 논문은 FFN이 선형적인 계산 비용 때문에 이전에는 불가능하다고 여겨졌던 영역인, 수 시간 길이의 비디오에 대한 TTT를 계산적으로 실행 가능하게 만든다고 주장합니다.

로컬 적응 (Local Adaptation): 온라인 증류(online distillation)에서 흔히 쓰이는 원격 "교사(teacher)" 모델에 대한 의존성을 제거함으로써, FFFN은 재난 구호나 자율 주행과 같이 서버 연결이 제한된 상황에서 필수적인 완전한 온디바이스 적응을 가능하게 합니다.
효율성: "Forget, Anticipate, Adapt" 패러다임은 모델이 전체 시간적 버퍼를 다시 평가할 필요 없이, 정보의 참신함에 기반한 선택적 처리가 높은 성능을 내기에 충분하다는 것을 증명합니다.
자원 제약적 배포: 이 방법은 지속적인 학습과 관련된 계산 부하 및 에너지 소비를 획기적으로 줄임으로써, 드론이나 모바일 기기와 같은 엣지 디바이스에 비디오 이해 시스템을 배포하는 것을 용이하게 합니다.

저자들은 TTT가 역전파(backpropagation)로 인해 여전히 느리긴 하지만, FFN이 실질적인 장기 비디오 적응을 향한 중요한 진전임을 결론지으며, 유사한 원리를 이용한 수 시간 단위의 비디오 생성 연구에 대한 미래의 탐구를 기대한다고 밝혔습니다.