CAE-AV: Improving Audio-Visual Learning via Cross-modal Interactive Enrichment

기술 요약: CAE-AV

문제 정의

오디오-비주얼 학습(Audio-Visual Learning, AVL)은 가시적인 콘텐츠와 음향 소스를 공동으로 모델링하는 것을 목표로 합니다. 그러나 오픈 월드 비디오 시나리오에서의 핵심적인 과제는 **오디오-비주얼 불일치(audio-visual misalignment)**입니다. 이러한 불일치는 화면 밖의 음향 소스, 배경 소음, 카메라 컷(예: 오디오는 계속되는데 먼 곳의 뷰로 전환되는 경우), 그리고 포스트 프로덕션 사운드트랙(예: 바이올린 영상에 피아노 오디오가 나오는 경우)으로부터 발생합니다.

동결된 사전 학습된 백본(frozen pre-trained backbones)을 사용하는 기존의 매개변수 효율적 방법들은 엄격한 프레임 단위 정렬을 가정하는 경우가 많습니다. 불일치가 발생할 때, 이러한 방법들은 다음과 같은 문제를 일으킵니다:

1. 일치하지 않는 프레임 간의 교차 모달 융합을 강제함으로써 무관한 영역이나 순간을 증폭시킵니다.
2. 추론 과정에 노이즈를 도입하여 학습을 불안정하게 만들고 표현 품질을 저하시킵니다.
3. 강력한 공간적 집중(정렬된 상태)이 필요한 시나리오와 시간적 집합(불일치된 상태)이 필요한 시나리오를 구분하지 못합니다.

방법론

저자들은 동결된 사전 학습된 백본(비주얼을 위한 Swin Transformer 및 오디오를 위한 HTS-AT)을 기반으로 구축된 CAE-AV(Caption-aligned and highly Agreement-guided Enhancement) 프레임워크를 제안합니다. CAE-AV는 무거운 백본 파라미터를 언프리징(unfreezing)하지 않고도 불일치를 완화하기 위해 두 가지 상호 보완적인 모듈을 도입합니다.

1. 교차 모달 합의 기반 시공간 강화 (CASTE)

CASTE는 백본의 각 레이어 내에서 작동하며, 프레임 수준의 합의(agreement)를 바탕으로 공간적 관계와 시간적 관계의 균형을 동적으로 조절합니다.

• 합의 게이트(Agreement Gate): 비주얼 및 오디오 토큰에 대한 프레임 수준 프로토타입을 계산하고 이를 공유된 시맨틱 공간으로 투영합니다. 이후 코사인 유사도 점수($g$)를 계산하여 합의 정도를 측정합니다.
• 바이어스 메커니즘(Bias Mechanism): 융합 벡터는 단일 모달 증거, 교차 모달 불일치, 그리고 공존하는 특징들을 집계합니다. MLP는 공간적 강화와 시간적 강화 중 무엇을 선호할지에 대한 결정(preference)을 생성합니다. 결정적으로, 합의 점수 $g$가 이 결정을 편향(bias)시킵니다. 합의도가 높은 프레임은 공간적 모델링을 선호하는 반면, 합의도가 낮은 프레임(불일치 상황)은 증거를 시간 축에 따라 집합시키기 위해 시간적 모델링을 선호합니다.
• 강화 모듈(Enrichment Modules):
  • 공간적 강화(Spatial Enrichment): MobileViT에서 영감을 받은 분리 가능한 어텐션(separable attention)을 사용하여 이차 복잡도(quadratic costs)를 피하면서 프레임 내 토큰을 재보정합니다.
  • 시간적 강화(Temporal Enrichment): 시간 축을 따라 depthwise 1D 컨볼루션을 적용하여 역동성을 부드럽게 하고 국소적 이웃 정보를 포착합니다.
• 선택적 주입(Selective Injection): Top-K 살리언시 마스크(saliency mask)를 통해 가장 변별력 있는 토큰만을 강화 대상으로 선택하여, 균일한 노이즈 주입을 방지합니다. 출력값은 합의 게이트에 의해 가중치가 부여된 볼록 조합(convex combination)을 통해 결합됩니다.

2. 캡션 정렬 살리언시 가이드 강화 (CASE)

CASE는 고수준의 시맨틱 사전 지식(semantic priors)을 활용하여 백본 프로세싱 이후의 정렬을 가이드합니다.

• 캡션 생성: 동결된 멀티모달 대규모 언어 모델(MLLM)이 원시 비주얼 프레임과 오디오 파형에 대한 텍스트 캡션을 생성합니다. 생성된 캡션은 동결된 CLIP 텍스트 인코더에 의해 인코딩됩니다.
• 시맨틱 앵커링(Semantic Anchoring): 캡션 특징들은 백본의 채널 차원에 맞게 투영됩니다.
• 가이드된 정교화(Guided Refinement): 이 모듈은 교차 어텐션을 사용하여 캡션의 시맨틱을 비주얼 및 오디오 특징에 주입합니다. 또한 강화된 특징과 캡션 특징 사이의 합의도를 계산하여 주입 강도를 결정합니다.
• 시간적 통합(Temporal Consolidation): Depthwise separable temporal convolution을 통해 특징을 부드럽게 만들어, 폐쇄(occlusion)나 뷰포인트 변화 상황에서도 소리가 나는 영역에 안정적으로 집중할 수 있도록 합니다.

3. 학습 목적 함수 (Training Objectives)

토큰 선택을 유도하고 정렬을 강화하기 위해 CAE-AV는 경량화된 손실 함수를 사용합니다:

• Caption-to-Modality InfoNCE: 비주얼/오디오 특징을 대응하는 캡션과 정렬시키는 대조 학습 손실로, 쉬운 부정 사례(easy negatives)를 방지하기 위해 비디오 내부의 부정 사례는 제외합니다.
• Visual-Audio 일관성(Consistency): 동일한 프레임 내의 모달리티별 표현 간의 코사인 거리를 최소화합니다.
• 엔트로피 정규화(Entropy Regularization): 확산된 토큰 선택을 피하기 위해 더 날카로운 Top-K 선택 확률을 갖도록 유도합니다.

주요 기여

1. 새로운 프레임워크: 합의 기반의 시공간 균형(CASTE)과 캡션 정렬 시맨틱 주입(CASE)이라는 두 가지 상호 보완적인 경로를 통해 오디오-비주얼 불일치 문제를 해결하는 CAE-AV를 도입했습니다.
2. 동적 적응: 추정된 교차 모달 합의에 따라 공간적 집중과 시간적 집중 사이를 동적으로 전환하는 CASTE 모듈의 능력을 통해, 정렬된 시나리오와 불일치된 시나리오를 모두 효과적으로 처리합니다.
3. 시맨틱 가이드: 잠재적 특징 상호작용에만 의존하는 대신, MLLM 생성 캡션을 명시적이고 해석 가능한 시맨틱 앵커로 활용하여 교차 모달 어텐션 드리프트(attention drift)를 교정합니다.
4. 매개변수 효율성: 무거운 사전 학습된 백본을 동결한 상태에서 경량 어댑터와 강화 모듈만을 추가하여 최첨단(SOTA) 성능을 달 achieves 합니다.

실험 결과

CAE-AV는 동결된 Swin-V2-L 및 HTS-AT 백본을 사용하여 네 가지 다운스트림 태스크에서 평가되었습니다:

• 오디오-비주얼 이벤트 로컬라이제이션 (AVE): AVE 테스트 세트에서 **82.6%**의 정확도를 달성하여, 동일한 백본 구성을 가진 현재의 SOTA 동결 백본 방식(AVMoE)과 대등한 성능을 보였습니다.
• 오디오-비주얼 비디오 파싱 (AVVP): LLP 데이터셋에서 오디오 타입에서 1.7%, 이벤트 레벨 지표에서 0.6% 더 높은 성능을 기록하며 AVMoE를 앞질렀습니다.
• 오디오-비주얼 질의응답 (AVQA): MUSIC-AVQA에서 평균 **76.7%**의 정확도를 달성하여, AVMoE(75.7%) 및 기타 SOTA 방법들을 능가했습니다.
• 오디오-비주얼 세그멘테이션 (AVS): AVSBench에서 CAE-AV는 AVMoE 대비 Jaccard 지수(MJ)를 S4 설정에서 +0.8, MS3 설정에서 +0.6 개선했습니다.

**어블레이션 연구(Ablation Studies)**를 통해 CASTE가 불일치 시나리오에서 시간적 추론과 로컬라이제이션을 크게 향상시키며, CASE가 시맨틱 집중과 정렬을 강화함을 확인했습니다. 두 모듈을 결합했을 때 모든 태스크에서 최상의 결과를 얻었습니다.

**정성적 분석(Qualitative Analysis)**은 CAE-AV가 다음과 같은 복잡한 시나리오를 성공적으로 처리함을 보여주었습니다:

• 카메라 각도가 변하는 상황에서의 객체 세그멘테이션 (예: 잔디 깎기).
• 여러 음원 간의 구별 (예: 피아노 vs 바이올린).
• 음원 소리가 일시적으로 가려지거나 화면 밖으로 벗어났을 때의 세그멘테이션 일관성 유지.

의의

본 논문은 CAE-AV가 오픈 월드 비디오의 고질적인 문제인 오디오-비주얼 불일치에 대한 강력한 솔루션을 제공한다고 주장합니다. 무거운 백본을 적응(adaptation) 과정에서 분리하고, 불일치를 감지하고 처리하는 명시적인 메커방식(합의 게이트 및 시맨틱 캡션)을 도입함으로써, 이 프레임워크는 놀라운 매개변수 효율성과 함께 최첨단 성능을 달성합니다. 저자들은 이 접근 방식이 대규모 사전 학습 모델을 언프리징하는 계산 비용 없이 학습과 추론을 안정화하며, 이를 통해 다중 태스크 오디오-비주얼 애플리케이션을 위한 실용적인 솔루션을 제공한다고 강조합니다.