기술 요약: EgoAVU: 에고센트릭 오디오-비주얼 이해 (EgoAVU: Egocentric Audio-Visual Understanding)

문제 정의

에고센트릭(egocentric) 비디오를 이해하는 것은 체화된 지능(embodied intelligence)과 혼합 현실을 위해 매우 중요하지만, 역동적인 카메라 움직임, 제한된 시야, 빈번한 자기 가림(self-occlusion) 현상으로 인해 독특한 과제를 안겨줍니다. 최근의 멀티모달 거대 언어 모델(MLLM)은 시각 및 청각 입력을 모두 처리할 수 있지만, 에고센트릭 환경에서 오디오-비주얼 신호를 공동으로 이해하는 능력은 여전히 미개척 영역으로 남아 있습니다.

주요 병목 현상은 일관된 공동 모달리티 정보를 가진 고품질의 대규모 데이터가 부족하다는 점입니다. 기존의 에고센트릭 데이터셋(예: Ego4D, MultiHop-EgoQA)은 인간의 내레이션에 크게 의존하며, 이는 주로 인간-객체 상호작용에 편향되어 있어 더 넓은 환경적 맥락과 다양한 청각 신호를 결여하고 있습니다. 또한, 기존 벤치마크는 시각적 단서에 주로 집중하여 통합된 오디오-비주얼 추론을 평가하는 데 실패하고 있습니다. 오디오와 비디오를 모두 다룰 수 있는 MLLM(예: Qwen2.5-Omni, Video-LLaVA2)조차도 주로 외재적(exocentric) 데이터로 학습되었기 때문에, 에고센트릭의 역동성에 일반화하는 능력이 크게 떨어지며, 종종 시각 신호에 편향되고 오디오 단서를 소홀히 하는 결과를 초래합니다.

방법론: EgoAVU 파이프라인

이러한 한계를 해결하기 위해, 저자들은 공공 에고센트릭 데이터셋(특히 Ego4D)으로부터 다양하고 고품질인 오디오-비주얼-언어 데이터를 생성하도록 설계된 완전 자동화된 확장형 데이터 엔진인 EgoAVU를 소개합니다. 이 파이프라인은 네 가지 핵심 구성 요소로 이루어져 있습니다:

1. 에고센트릭 내레이션 강화 (Egocentric Narration Enhancement):
   단일 MLLM이 오디오와 비디오를 동시에 처리하도록 하는 방식(저자들이 모달리티 편향과 환각을 유발한다고 발견한 방식) 대신, EgoAVU는 특화된 오픈 소스 MLLM을 사용하는 모듈형 접근 방식을 채택합니다.

   • 시각 (Visual): 이미지 캡셔너(예: Qwen2.5-VL)가 중심 프레임을 처리하여 상세한 공간 설명을 생성합니다.
   • 시간/동작 (Temporal/Action): 비디오 캡셔너(예: 오디오가 없는 Qwen2.5-Omni)가 일관된 비디오 수준의 내레이션을 생성합니다.
   • 오디오 (Audio): 동일한 모델이 오디오 캡셔너(비디오 없이)로서 기능하여, 전경 소음(예: 충격음)과 배경 소음(예: 바람 소리)을 모두 포착하는 상세한 청각 내레이션을 생성합니다.
   • 이러한 단일 모달 출력은 원래의 인간 내레이션을 풍부하게 하기 위해 시간적으로 정렬됩니다.

2. 다양성을 위한 비디오 필터링 (Video Filtering for Diversity):
   데이터셋이 풍부한 오디오-비주얼 역동성을 포착하도록 보장하기 위해, 시스템은 토큰화된 강화 내레이션에 대해 **이동 평균 유형-토큰 비율(MATTR)**을 계산합니다. 반복적이거나 정적인 설명을 나타내는 낮은 MATTR 점수를 가진 비디오는 필터링되어, 객체, 동작 및 소리에 대한 어휘적 다양성이 높은 클립만 유지됩니다.

3. 멀티모달 컨텍스트 그래프(MCG)를 통한 오디오-비주얼 내레이션 생성:
   독립적인 단일 모달 내레이션을 하나의 일관된 공동 설명으로 융합하기 위해, EgoAVU는 **멀티모달 컨텍스트 그래프(MCG)**를 구축합니다. LLM(LLaMA-70B)은 강화된 내레이션을 파싱하여 구조화된 관계를 추출합니다:

   • 상호작용 객체 (Interacted Objects): 사용자가 물리적으로 조작하는 객체.
   • 배경 객체 (Background Objects): 보이지만 상호작용하지 않는 아이템.
   • 전경 소리 (Foreground Sounds): 특정 행동이나 가시적인 소스와 연관된 소리.
   • 배경 소리 (Background Sounds): 시각적 근거가 없는 소리.
     그 후 LLM은 MCG와 강화된 내레이션을 사용하여 행동, 객체 및 소리를 명시적으로 연결하는 통일되고 조밀한 오디오-비주얼 내레이션을 생성합니다.

4. QA 생성 (QA Generation):
   통합된 내레이션을 사용하여 시스템은 다섯 가지 카테고리를 아우르는 질문-답변 쌍을 합성합니다:

   • 개방형 (Open-Ended): 소스-사운드 연관성(SSA), 오디오-비주얼 세그먼트 내레이션(AVSN), 오디오-비주얼 밀집 내레이션(AVDN).
   • 폐쇄형 (Closed-Ended): 시간적 추론(TR), 오디오-비주얼 환각(AVH).

주요 기여

• EgoAVU-Instruct: 9,000개의 에고센트릭 비디오에서 파생된 3백만 개의 오디오-비주얼-언어 샘플로 구성된 대규모 학습 데이터셋.
• EgoAVU-Bench: 다양한 작업과 시나리오(요리, 건설 등)를 다루며 평균 비디오 재생 시간이 4분인 900개의 서로 다른 비디오에 걸친 3,000개의 QA 쌍을 포함하는 수동 검증된 평가 벤치마크.
• 자동화된 데이터 엔진: 폐쇄형 API에 의존하지 않고 오픈 소스 모델을 활용하여 공동 오디오-비주얼 데이터를 생성하는 확장 가능한 파이프라인으로 재현성을 보장함.
• 태스크 분류 체계 (Taxonomy of Tasks): 그라운딩(grounding), 시간적 추론, 환각을 구분하여 에고센트릭 오디오-비주얼 이해를 평가하기 위한 구조화된 프레임워크.

결과

저자들은 기존 MLLM과 자신들이 미세 조정한 모델을 EgoAVU-Bench에서 평가했습니다:

• 베이스라인의 한계: 기존 MLLM(Qwen2.5-Omni, VideoLLaMA2, MiniCPM-o 포함)은 상당한 한계를 보였습니다. 이들은 시각 신호에 강하게 편향되어, 오디오 단서를 무시하거나 소리의 시각적 근원을 올바르게 연결하는 데 실패하는 경우가 많았습니다.
  • 소스-사운드 연관성 (SSA): 베이스라인 모델들은 LLM-as-a-judge 평가에서 1.6/5 미만의 점수를 기록했습니다.
  • 시간적 추론 (TR): 가장 우수한 베이스라인 모델도 53.2%의 정확도만을 달성했습니다.
  • 환각 (AVH): 모델들은 빈번하게 소리의 근원을 환각했으며, 정확도는 43% 미만이었습니다.
• 성능 향상: EgoAVU-Instruct를 통해 MLLM(특히 Qwen2.5-Omni 7B)을 미세 조정한 결과 상당한 개선이 나타났습니다:
  • 개방형 작업에서 최대 113.3%의 상대적 성능 향상.
  • 폐쇄형 작업에서 최대 44.5%의 상대적 성능 향상.
  • 동작, 객체 및 소리에 대한 환각률의 유의미한 감소.
• 일반화 가능성: 성능 향상은 EgoTempo(최대 23.1% 정확도 향상) 및 EgoIllusion(최대 7.2% 향상)과 같은 다른 에고센트릭 벤치마크로 전이되었으며, VideoMME 및 AVQA와 같은 외재적 벤치마크에서도 경쟁력 있는 성능을 유지했습니다.

의의 및 주장

본 논문은 에고센트릭 오디오-비주얼 이해를 위한 최초의 대규모 자동화 프레임워크를 제공함으로써 체화된 지능의 중요한 격차를 해소한다고 주장합니다. 이 연구는 다음을 입증합니다:

1. 현재의 MLLM은 시각적으로 편향되어 있다: 특정 학습 없이는 역동적인 1인칭 맥락에서 오디오 단서를 통합하는 데 어려움을 겪습니다.
2. 모듈형 데이터 생성은 효과적이다: 컨텍스트 그래프를 통해 결합하기 전에 전문화된 모델을 사용하여 단일 모달 특징을 추출하는 것이 직접적인 멀티모달 프롬프팅보다 더 높은 품질의 공동 데이터를 생성합니다.
3. 자기 학습 잠재력: 본 연구는 MLLM의 단일 모달 능력을 활용하는 것이 그들의 공동 모달 능력을 효과적으로 향상시킬 수 있음을 강조하며, 이는 미래의 자기 개선 시스템을 위한 경로를 제시합니다.

저자들은 필터링되었음에도 불구하고 학습 데이터에 오픈 소스 MLLM 출력에서 발생하는 고유한 노이즈가 포함되어 있음을 인정하지만, 이는 기초가 되는 단일 모달 모델이 개선됨에 따라 줄어들 것이라고 긍정적으로 전망합니다. 이 분야의 추가 연구를 촉진하기 위해 코드, 데이터 및 벤치마크가 커뮤니티에 공개되었습니다.