기술 요약: 망각 없는 오디오-비주얼 연속적 테스트 타임 적응을 위한 AVReCAP

1. 문제 정의

본 논문은 엄격한 소스 프리(source-free) 조건 하에서의 오디오-비주얼 연속적 테스트 타임 적응(AV-CTTA) 문제를 다룹니다. 자율 주행 차량, 로봇 등 실제 배포 환경에서 오디오-비주얼 모델은 오디오 모달리티, 비주얼 모달리티, 또는 두 가지 모두에서 분포 변화(distributional shifts)가 발생하는 진화하는 미라벨 타겟 도메인에 직면하게 됩니다.

식별된 핵심 과제는 다음과 같습니다:

• 파괴적 망각(Catastrophic Forgetting): 기존의 테스트 타임 적응(TTA) 방법들은 여러 도메인에 걸쳐 연속적으로 적용될 때 심각한 성능 저하를 겪습니다. 모델의 정확도는 연속적인 파라미터 업데이트가 이전에 학습된 지식을 덮어씀으로써 종종 원래의 소스 모델보다 현저히 낮아집니다.
• 오류 누적 및 모달리티 불균형(Error Accumulation & Modality Imbalance): 바이모달(bimodal) 설정에서는 변화가 오디오와 비주얼 스트림에 서로 다르게 영향을 미쳐 "모달리티 간 격차(modality gap)"를 생성합니다. 의사 라벨(pseudo-labels)에 기반한 연속적인 업데이트는 오류를 누적시켜, 교차 모달 융합(cross-modal fusion)의 불일치를 초래하고 점진적인 성능 저하를 일으킵니다.
• 소스 프리 제약 조건(Source-Free Constraints): 적응은 소스 훈련 데이터나 명시적인 태스크 경계에 대한 접근 없이 수행되어야 하며, 프라이버시 및 실시간 제약 조건을 준수해야 합니다.

2. 방법론: AVReCAP

저자들은 특정 모델 파라미터의 전이 가능성(transferability)을 활용하여 망각을 완화하는 프레임워크인 AVReCAP(Audio-Visual Retrieval-based Continual Adaptation with Parameters)을 제안합니다.

2.1 핵심 통찰: 융합 레이어의 전이 가능성

경험적 분석(섹션 4.1)을 통해, 저자들은 단일 타겟 도메인에 대해 오직 어텐션 융합 레이어(구체적으로 결합 인코더의 Query, Key, Value 프로젝션 행렬 $W_Q, W_K, W_V$)만을 적응시킬 때, 동일한 손상 카테고리 내의 다른 미지의 도메인 및 심지어 서로 다른 카테고리 간에도 잘 일반화되는 파라미터를 얻을 수 있음을 관찰했습니다. 이는 해당 파라미터들이 특정 도메인에 과적합되는 것이 아니라 도메인 불변적인 상관관계를 포착함을 시사합니다.

2.2 선택적 파라미터 검색(Selective Parameter Retrieval)

모델의 파라미터를 지속적으로 덮어쓰는 대신, AVReCAP은 적응된 융합 파라미터와 그에 대응하는 입력 통계량을 저장하는 **공유 버퍼(shared buffer)**를 사용합니다.

• 입력 통계량: 각 유입되는 배치에 대해, 오디오와 비주얼 입력 모두에 대한 모달리티별 평균($\mu$)과 대각 공분산($\Sigma$)을 계산하여 가우시안 분포로 모델링합니다.
• 검색 메커니즘: 각 타임스텝 $t$에서, 현재 입력 통계량과 저장된 모든 버퍼 요소 간의 쿨백-라이블러(KL) 발산(divergence)을 계산합니다.
  • 만약 거리 $g^*(t, n) < \tau$(임계값)를 만족하는 버퍼 요소 $n$이 발견되면, 해당 파라미터($W_Q, W_K, W_V$)를 **검색(retrieved)**하여 모델에 삽입합니다.
  • 그 후 모델은 현재 배치를 사용하여 검색된 파라미터에 대해 단일 적응 단계를 수행합니다.
  • 검색된 요소의 통계량과 파라미터는 전환을 부드럽게 하기 위해 지수 이동 평균(EMA)을 통해 업데이트됩니다.

2.3 버퍼 확장 및 메모리 관리

적절한 매칭을 찾지 못할 경우($모든 n에 대해$g^*(t, n) \ge \tau$), 현재 적응된 파라미터와 통계량이 새로운 요소로서 버퍼에 추가됩니다.

• 병합(Merging): 무제한적인 메모리 증가를 방지하기 위해 버퍼는 고정된 크기 예산 $\eta$를 가집 most. 버퍼가 가득 차면, 통계적으로 가장 유사한(가장 낮은 KL 발산을 가진) 두 요소를 식별하여 통계량과 파라미터를 평균 내어 병합합니다. 이는 지식을 통합하고 고정된 메모리 풋프린트를 유지합니다.

2.4 손실 함수

적응은 READ [51] 방식을 따르며, 다음의 조합을 사용하여 융합 레이어 가중치($W_Q, W_K, W_V$)만을 최적화합니다:

1. 신뢰도 기반 손실($\mathcal{L}_{conf}$): 높은 신뢰도의 예측을 장려합니다.
2. 음의 엔트로피 손실($\mathcal{L}_{ne}$): 예측 엔트로피를 최소화합니다.
   인코더(오디오 및 비주얼)는 전체 과정 동안 동결(frozen)된 상태를 유지합니다.

3. 주요 기여

1. 포괄적 연구: 본 논문은 단일 모달 및 도전적인 바이모달 손상 하에서의 소스 프리 오디오-비주얼 CTTA에 대한 첫 번째 광범위한 연구를 제공합니다.
2. 전이 가능성 발견: 어텐션 융합 레이어가 강력한 인트라(intra-) 및 크로스(cross-) 태스크 전이성을 보임을 입증하여, 연속적인 덮어쓰기 대신 과거 타임스텝으로부터 파라미터를 선택적으로 검색할 수 있음을 보여줍니다.
3. AVReCAP 프레임워크: 공유 버퍼와 선택적 검색 메커니즘을 사용하는 새로운 방법으로, 파괴적 망각을 현저히 완화합니다. 어려운 VGGSound-2C 벤치마크(15개 바이모달 손상)에서 AVReCAP은 소스 모델 대비 성능 저하를 **2.9%**로 줄인 반면, 베이스라인인 READ 방식은 **27.9%**의 저하를 보였습니다.
4. 최첨단 성능(SOTA): AVReCAP은 여러 데이터셋(Kinetics50, VGGSound)과 손상 유형에 대해 기존 TTA(TENT, EATA, SAR) 및 AV-TTA(READ, SuMi, PTA, BriMPR*) 베이스라인을 능가합니다.

4. 실험 결과

실험은 Kinetics50 및 VGSSound 데이터셋의 심각도 레벨 5 손상에 대해 수행되었습니다.

• 단일 모달 손상: AVReCAP은 베이스라인들에 비해 우수한 평균 정확도를 달s합니다. 예를 들어, 오디오 손상이 있는 VGSSound-C에서 차순위 방법인 PTA보다 4.95%의 상대적 향상을 보였습니다.
• 바이모달 손상: 가장 도전적인 설정(Kinetics50-2C 및 VGSSound-2C)에서 대부분의 베이스라인은 소스 수준의 성능을 유지하는 데 실패합니다. AVReCAP은 Kinetics50-2C에서 READ보다 1.25% 향상된 성능을, VGSSound-2C에서는 소스 모델 대비 6.28%의 상당한 향상을 달성했습니다.
• 망각 완화: 그림 7은 AVReCAP이 15회의 연속적인 도메인 변화 후에도 정확도를 소스 모델에 가깝게 유지하며 파괴적 망각을 최소화하는 반면, 다른 방법들은 크게 저하됨을 보여줍니다.
• 강건성: 이 방법은 다양한 태스크 순서(역순, 랜덤 셔플) 및 작은 배치 크기($B=8$까지)에서도 안정성을 유지합니다.

5. 의의 및 주장

본 논문은 AVReCAP이 끊임없이 변화하는 환경에서 오디오-비주얼 모델의 실시간 배포를 위한 중요한 진전임을 주장합니다. "연속적인 덮어쓰기"에서 "일반화 가능한 융합 파라미터의 선택적 검색"으로 패러다임을 전환함으로써, 이 방법은 새로운 도메인에 대한 적응과 소스 지식의 보존 사이의 균ax을 효과적으로 맞춥니다.

저자들은 이 접근 방식이 프라이버시 제약(소스 데이터 접근 없음)과 메모리 효율성(병합을 통한 고정 버퍼 크기)을 준수하여 에지 배포에 적합하다는 점을 강조합니다. 저자들은 버퍼가 커짐에 따라 발생하는 검색을 위한 선형 탐색 오버헤드($O(N)$)와 모델이 특정 레이트 퓨전(late-fusion) 구조(모달리티별 인코더 + 결합 인코더)를 따른다는 가정 등의 한계를 인정합니다. 그러나 이 연구는 강건한 오디오-비주얼 연속 적응을 위한 새로운 SOTA 기준을 세웠습니다.