기술 요약: TB-AVA

문제 정의

음성 - 시각 이해는 이질적인 모달리티 (음성과 시각) 를 정렬하는 데 의존합니다. 그러나 현재 시스템은 주로 **시간적 공발생 (temporal co-occurrence)**을 주요 정렬 단서로 활용하여, 동시에 활성화되는 음성 및 시각 특징을 결합합니다. 이러한 귀납적 편향은 소리 나는 사건과 보이는 개체가 프레임 단위로 정렬되지 않는 실제 시나리오에서 실패합니다 (예: 화면 밖의 고양이가 소음을 내는 동안 침묵하는 개가 보이는 경우). 약한 비디오 수준 감독 하에서, 시간적 중첩에만 의존하는 모델은 구조적으로 잘못된 쌍을 결합하도록 편향되며, 이 한계는 모델 크기나 학습 데이터를 늘리는 것만으로는 해결할 수 없습니다. 기존 접근 방식들은 텍스트를 특정 3 차원 백본/작업에 묶거나, 정렬을 검증할 외부 참조 신호 없이 암시적 교차 모달 융합에 의존합니다.

방법론

저자들은 **TB-AVA(Text-Bridged Audio-Visual Adapter)**를 제안합니다. 이는 동결된 (frozen) 음성 및 시각 인코더에서 작동하도록 설계된 매개변수 효율적 미세 조정 (PEFT) 프레임워크입니다. 핵심 혁신은 모달리티 간 상호작용을 중재하기 위해 텍스트를 의미적 앵커로 사용하여, 정렬을 백본 학습과 분리하는 데 있습니다.

아키텍처 개요

1. 동결된 인코더: 본 프레임워크는 사전 학습된 동결 인코더를 활용합니다:
   • 시각: SigLIP2 (텍스트 정렬 시각 표현으로 선택됨).
   • 음성: BEATs.
   • 텍스트: SigLIP2 텍스트 인코더 (시각 인코더와 공유 임베딩 공간).
2. 가벼운 어댑터: TB-AVA 는 동결된 인코더의 처음 12 개 레이어 사이에 학습 가능한 어댑터 블록을 삽입합니다.
3. 텍스트 조건부 처리:
   • 클래스 수준 설명 (예: "개가 짖는 소리") 이 프롬프트로 사용됩니다.
   • **학습 가능한 소프트 프롬프트 (K 개 토큰)**가 고정된 클래스 텍스트 임베딩 앞에 추가됩니다. 학습 가능한 것은 이 소프트 프롬프트뿐이며, 텍스트 인코더는 동결된 상태로 유지됩니다.
   • 이를 통해 모달리티별 텍스트 임베딩 ($T_v$는 시각용, $T_a$는 음성용) 이 생성됩니다.

핵심 메커니즘: 게이트형 의미 변조 (Gated Semantic Modulation, GSM)

TB-AVA 의 핵심은 교차 모달 컨텍스트가 백본 특징에 주입되는 방식을 제어하는 게이트형 의미 변조 (GSM) 블록입니다.

• 2 단계 검색:
  1. 텍스트 인식 컨텍스트: 시각 병목 특징이 텍스트 임베딩에 주의를 기울여 텍스트 인식 시각 표현 ($c^v_t$) 을 생성합니다.
  2. 교차 모달 검색: 이 텍스트 인식 표현이 음성 특징을 쿼리하여 시간적 공발생이 아닌 텍스트와 의미적으로 정렬된 음성 컨텍스트 ($c_a$) 를 검색합니다.
• 게이팅 논리:
  • GSM 은 텍스트 임베딩을 기반으로 채널별 계수 ($w \in (0,1)$) 를 생성하는 가벼운 게이팅 네트워크를 사용합니다.
  • 최종 업데이트된 특징 ($z'$) 은 원래 특징과 게이트된 교차 모달 컨텍스트의 잔차 합입니다:
    $$z' = z + w_a \odot c_{audio} + w_t \odot c_{text}$$
  • 선택적 주입: 텍스트가 특정 채널이 의미적으로 관련 있다고 나타내면 게이트는 컨텍스트를 증폭합니다. 텍스트가 컨텍스트를 관련 없다고 판단할 경우 (예: 의미적 일치 없이 음향적 유사성만 있는 경우), 게이트는 이를 억제합니다 (0 에 접근).
  • 이 메커니즘은 정렬 과정을 명시적이고 검사 가능하게 만들어, 신뢰할 수 없는 교차 모달 상관관계의 노이즈에 유용한 신호가 '침수'되는 것을 방지합니다.

주요 기여

1. 의미적 앵커로서의 텍스트: 본 논문은 텍스트를 작업별 보조 신호가 아닌, 음성 - 시각 모호성을 해결하는 백본 무관 및 작업 무관 원시 (primitive) 로 재정의합니다. 이는 시간적 공발생과 독립적으로 정렬을 검증하는 세 번째 신호 역할을 합니다.
2. TB-AVA 프레임워크: 백본을 수정하지 않고 동결된 음성 및 시각 스트림 간 텍스트 매개 상호작용을 가능하게 하는 매개변수 효율적 어댑터입니다.
3. 게이트형 의미 변조 (GSM): 텍스트 조건부 채널별 게이팅을 수행하는 새로운 모듈입니다. 텍스트가 의미적 신뢰성을 확인할 때만 교차 모달 컨텍스트를 선택적으로 주입하여, 텍스트 가이드를 제어 가능한 아키텍처 구성 요소로 변환합니다.
4. 최고 수준의 성능: 본 프레임워크는 높은 매개변수 효율성을 유지하면서 여러 벤치마크에서 새로운 최고 수준 (State-of-the-Art) 결과를 달성했습니다.

실험 결과

본 프레임워크는 AVE(음성 - 시각 사건 국소화), AVVP(음성 - 시각 비디오 파싱), AVS(음성 - 시각 분할) 의 세 가지 벤치마크에서 평가되었습니다.

• AVE(사건 국소화):
  • TB-AVA 는 **16.7%**의 학습 가능 매개변수로 **85.0%**의 정확도를 달성했습니다.
  • 이는 이전 최고의 PEFT 방법 (MoLT, 83.5%) 보다 1.5 퍼센트 포인트를 상회합니다.
  • 정성적 분석에 따르면, TB-AVA 는 음성 및 시각 스트림이 분리되는 곳에서 사건 경계를 올바르게 식별합니다 (예: 저수준 음향 유사성이 지속되더라도 시각 장면이 변경되면 "튀김" 예측을 중단). 반면 공발생 기반 모델들은 실패합니다.
• AVVP(비디오 파싱):
  • TB-AVA 는 10 개 지표 중 6 개에서 가장 높은 F1 점수를 기록했으며, 특히 모달리티 할당이 필요한 지표 (시각, 음성 - 시각, 유형 카테고리) 에서 두드러졌습니다.
  • 약한 비디오 수준 감독에 민감한 지표에서 개선이 가장 두드러졌으며, 이는 모달리티 소스를 모호하게 하는 데 텍스트 앵커의 역할을 확인시켜 줍니다.
• AVS(분할):
  • 단일 소스 (S4) 분할에서 TB-AVA 는 81.2 mIoU에 도달하여 AVMoE(81.1), MoLT(80.8), Mettle(80.7) 을 능가했습니다.
  • 다중 소스 (MS3) 분할에서는 53.4 mIoU 를 기록하여 AVMoE 와 비슷하지만 MoLT 보다 약간 낮았으며, 이는 여러 동시 소스가 있는 밀집 예측 설정에서 고정 어휘 텍스트 입력의 알려진 한계를 부각시킵니다.
• 일반화:
  • TB-AVA 는 다양한 이질적인 백본 쌍 (예: CLIP+CLIP, Swin+HTS-AT) 에서 일관된 향상 (+3.7~+8.1 pp) 을 보였으며, 이는 개선이 특정 인코더 선택이 아닌 텍스트 브리지 메커니즘에서 비롯되었음을 시사합니다.
  • 백본 분석은 ~77%(백본 전용) 에서 85% 로의 성능 도약이 인코더 자체가 아닌 어댑터 메커니즘에 기인함을 확인시켜 주었습니다.

중요성 및 주장

본 논문은 약한 감독 하의 음성 - 시각 학습에서 시간적 공발생은 근본적으로 제한된 귀납적 편향이라고 주장합니다. 명시적이고 제어 가능한 의미적 앵커로서 텍스트를 도입함으로써 TB-AVA 는 대규모 백본의 전체 미세 조정 없이도 소리 나는 사건을 보이는 개체에 결합하는 모호성을 해결합니다.

저자들은 GSM이 텍스트를 암시적 조건부 신호에서 검사 가능하고 채널 정렬된 계수로 변환한다고 강조합니다. 게이트는 명시적 감독 없이도 언어 기반 및 공발생 기반 역할로 자발적으로 전문화되어, 특징 공간을 선명하게 하는 의미적 정규화제로 효과적으로 작용합니다. 이 연구는 텍스트가 단순한 시간적 정렬을 넘어 교차 모달 그라운딩을 위한 구조적 원시가 될 수 있음을 시사하며, 음성 - 시각 이해를 위한 확장 가능하고 효율적인 경로를 제시합니다.