기술 요약: 재구성을 통한 기억 (Remembering by Reconstructing)

문제 정의

본 논문은 연속 학습(Continual Learning, CL)의 특정 과제인 도메인 점진적 학습(Domain Incremental Learning, DIL) 문제를 다룹니다. DIL은 테스트 시점에 도메인 정체성에 대한 접근 권한 없이, 진화하고 비정상적인(non-stationary) 데이터 도메인의 시퀀스에 적응해야 하는 상황을 의미합니다. 표준적인 DIL 접근 방식들은 치명적 망각(이전 도메인을 학습할 때 새로운 도음을 배움으로써 발생하는 성능 저하)을 방지하는 데 주력하지만, 본 연구는 실제 스트리밍 시나리오(예: 비디오)에서 데이터는 시간적으로 매우 높은 상관관계를 가지며 도메인 변화가 점진적으로 일어난다는 점에 주목합니다.

저자들은 망각을 반드시 엄격하게 피해야 한다는 기존의 관점에 이의를 제기합니다. 대신, 스트리밍 데이터의 경우 모델이 현재 도메인에 집중하여 특화되는 것(이로 인해 다른 도메인에 대한 일시적 망각 유발)이 유익할 수 있다고 주장합니다. 단, 이는 이전 도메인이 다시 나타났을 때 모델이 신속하게 회복("기억")할 수 있다는 전제하에 가능합니다. 핵심 문제는 명시적인 도메인 레이블 없이도 적절한 도메인별 지식을 동적으로 선택하기 위해 스트리밍 비디오 상에서 **테스트 시간 훈련(Test-Time Training, TTT)**을 어떻게 활용할 것인가 하는 것입니다.

방법론

제안된 방법론인 **"재구성을 통한 기억(Remembering by Reconstructing)"**은 이중 헤드 구조와 저차원 적응(Low-Rank Adaptation, LoRA), 그리고 테스트 시간 훈련(TTT)을 결합하여 사용합니다.

1. 모델 아키텍처

모델은 공유된 백본 인코더 $E$와 두 개의 병렬 디코더로 구성됩니다:

• 주 작업 헤드 ($M$): 다운스트림 작업(예: 행동 인식 또는 시맨틱 세그멘테이션)을 수행합니다.
• 자기 지도 MAE 헤드 ($D$): 마스킹된 입력 패치를 재구성하도록 훈련된 마스크드 오토인코더(Masked Autoencoder, MAE) 브랜치입니다. 이 브랜치는 도메인 적응을 위한 프로브(probe) 역할을 합니다.

2. 훈련 단계 (오프라인)

• 초기화: 모델은 사전 훈련된 MAE 체크포인트로 초기화됩니다. 인코더 $E$와 MAE 디코더 $D$는 초기 작업 $T_0$에 대해 주 작업 헤드 $M$과 함께 미세 조정(fine-tuning)됩니다.
• 도메인별 LoRA: 이후의 각 도메인 $T_i$에 대해, 기본 파라미터 $\theta_0$는 고정됩니다. 모델의 모든 선형 레이어에 대해 새로운 학습 가능한 LoRA 어댑터($\Delta_i$)가 초기화됩니다.
• 특화(Specialization): 이 LoRA들은 주 작업과 MAE 재구성 작업을 결합한 손실 함수를 사용하여 새로운 도메인 데이터에 대해서만 독점적으로 훈련됩니다. 이 과정은 LoRA가 특정 도메인에 특화됨에 따라 자연스럽게 다른 도메인에 대한 망각을 유도하며, 이는 주 헤드와 MAE 헤드 모두에 영향을 미칩니다.

3. 추론 단계 (온라인 테스트 시간 훈련)

테스트 시, 모델은 연속적인 데이터 스트림을 마주합니다. 목표는 어떤 LoRA(또는 LoRA들의 조합)가 현재 입력과 가장 잘 일치하는지 결정하는 것입니다.

• 가중치 결합: 단일 LoRA를 선택하거나 단순히 병합하는 대신, 모델은 훈련된 모든 $N$개의 LoRA에 대한 가중 합을 유지합니다:
  $$\theta_{TT} = \theta_0 + \sum_{k=1}^{N} c_k \Delta_k$$
  여기서 $c = \{c_1, ..., c_N\}$은 학습 가능한 가중치 계수입니다.
• 재구성에 의한 적응: 계수 $c$는 들어오는 데이터 스트림을 사용하여 온라인으로 최적화됩니다. 최적화 목적 함수는 현재 입력(또는 최근 프레임의 작은 배치)에 대한 MAE 재구성 손실입니다:
  $$c = \arg \min_c \mathcal{L}_{\text{MAE}}(F_{\text{MAE}}(x_{\text{mask}}), x)$$
  MAE 헤드 또한 훈련 단계에서 망각을 겪었기 때문에, 현재 도메인에 대한 재구성 손실을 최소화하는 것은 모델이 망각을 "역전"하도록 강제하며, 결과적으로 가중치를 현재 도메인에 특화된 LoRA 쪽으로 유도합니다.
• Softmax 선택: 최적화된 계수는 주 작업 헤드에 적용되기 전 소프트맥스(온도 $\tau$ 포함)를 통과하여 가장 관련성이 높은 LoRA를 확신 있게 선택하도록 합니다.
• 효율성: 전체 모델이 아닌 작은 계수 집합 $c$만이 업데이트됩니다. 업데이트는 최근 프레임의 슬라이딩 윈도우 버퍼를 사용하여 주기적으로(예: 매 $n$ 프레임마다) 수행되므로, 스트리밍에 효율적인 접근 방식입니다.

주요 기여

1. 망각에 대한 패러다임 전환: 본 논문은 망각을 완전히 방지하려고 노력하기보다, TTT를 통해 잃어버린 지식을 동적으로 회복하는 메커니즘으로서 망각을 수용하는 것을 제안합니다.
2. DIL을 위한 이중 헤드 TTT: MAE 재구성 손실을 현재 도메인을 식별하고 그에 따라 LoRA 가중치를 조정하는 프록시로 사용하는, DIL 설정에서의 새로운 TTT 적용 사례를 도입했습니다.
3. 스트리밍 적응: 본 방법론은 연속적인 프레임이 상관관계를 갖는 비디오 스트림에 특화되어 있어, 모든 프레임을 업데이트하는 데 처리하지 않고도 점진적인 도메인 변화에 빠르게 적응할 수 있습니다.
4. 새로운 벤치마크: 저자들은 점진적인 도메인 전이와 보이지 않는 중간 환경을 특징으로 하는 에고센트릭(egocentric) 비디오 스트림 데이터셋인 Domains-Campus를 새롭게 도입하여, 기존 문헌의 부족한 벤치마크 문제를 해결했습니다.

실험 결과

방법론은 두 가지 작업에 대해 평가되었습니다:

• 비디오 행동 인식: 다양한 카메라 시점과 위치를 포함하는 도메인 점진적 설정을 가진 NTU RGB+D120 데이터셋을 사용했습니다.
• 시맨틱 세그멘테이션: 새로운 Domains-Campus 데이터셋과 Places365를 사전 훈련에 사용했습니다.

주요 결과:

• 성능: 제안된 방법은 Replay, DRIFT, LoRA merging을 포함한 모든 베이스라인 중 가장 높은 평균 정확도(또는 Dice 점수)를 달이트했습니다.
• 망각: 단순 미세 조정(naive fine-tuning)에 비해 현저히 낮은 망각($F$)을 보였으며, 최첨단 연속 학습 방법들과 경쟁력 있는 성능을 입증했습니다.
• 결합 훈련(Joint Training) 능가: Domains-Campus 데이터셋에서 본 방법은 모든 태스크를 동시에 훈련하는 "결합 미세 조정" 베이스라인보다 우수한 성능을 보였습니다. 저자들은 이를 개별 LoRA의 "전문가"적 특성 덕분이라고 설명하며, 개별 LoRA가 특정 도메인에서는 단일 일반 모델보다 뛰어날 수 있음을 시사합니다.
• 절제 연구(Ablation Studies): 방법론은 하이퍼파라미터 변화에 견고함을 증명했습니다. 작은 배치 크기와 업데이트 주기(예: 매 16 프레임마다 업데이트)에서도 효과적으로 작동했으며, 놀랍게도 윈도우 크기가 1인 경우(현재 프레임 하나만으로 업데이트)에도 작동했습니다.

의의 및 주장

본 논문은 자신의 접근 방식이 실세계 응용을 위한 연속 학습에 대해 더 현실적인 관점을 제공한다고 주장합니다. 데이터가 연속적인 스트림으로 도착한다는 점을 인정하고, 일시적인 망각이 현재에 집중하는 데 유익할 수 있음을 인지함으로써, 본 방법론은 시간적 연속성과 국소성을 활용하여 비디오 기반 애플리케이션에서 빠른 적응을 달성합니다.

저자들은 이 방법이 스트리밍 데이터에 매우 효과적이지만, TTT 단계로 인해 추론 중에 계산 오버헤드를 발생시킨다는 점을 강조합니다. 향서의 연구는 주기적인 업데이트를 수행하는 대신, LoRA의 수를 줄이거나(병합 또는 가지치기를 통해) 업데이트가 필요한 시점을 결정하는 더 효율적인 트리거를 개발하는 데 집중할 수 있다고 제안합니다.

결론적으로, 이 연구는 도메인별 파라미터 효율적 튜닝(LoRA)과 온라인 자기 지도 적응(TTT)을 결합하는 것이 비디오 기반 애플리케이션의 진화하고 비정상적인 데이터 스트림을 처리하는 강력한 프레임워크를 제공함을 보여줍니다.