기술 요약: CASTELLA – 캡션 및 시간적 경계가 포함된 긴 오디오 데이터셋

1. 문제 정의

오디오 모먼트 리트리벌(Audio Moment Retrieval, AMR)은 주어진 텍스트 쿼리에 대응하는 특정 구간("모먼트")을 긴 오디오 녹음 내에서 찾아내는 작업입니다. 사운드 이벤트 검출(Sound Event Detection, SED)이 짧은 클립(일반적으로 약 10초)과 거친 입도의 클래스에 집중하는 반면, AMR은 긴 형태의 오디오(수 분 길이)와 복잡하고 자유로운 형식의 텍스트 쿼리를 다룹니다.

브로드캐스트 콘텐츠 브라우징이나 감시 영상 분석과 같은 응용 분야에서의 잠재적 유용성에도 불구하고, 이 분야는 실제 데이터를 사용한 견고하고 대규모인 벤치마크가 부족한 실정입니다. [6]의 초기 AMR 연구를 포함한 이전 연구들은 합성 데이터셋(배경 소음에 소리를 겹쳐서 생성)에 크게 의존하였으며, 수동으로 주석을 달린 샘플이 100개 미만인 상태에서 모델을 평가했습니다. 이러한 합성 데이터에 대한 의존과 소규모 평가 방식은 신뢰할 수 없는 성능 지표와 실제 환경에서 모델이 어떻게 작동하는지에 대한 불분명한 이해를 초래했습니다. 기존의 오디오 데이터셋들은 시간적 경계가 부족하거나, 자유 형식의 캡션이 없거나, 혹은 "긴 오디오"로 간주하기에는 너무 짧은 오디오 클립들로 구성되어 있습니다.

2. 방법론 및 데이터셋 구축 (CASTELLA)

이러한 격차를 해소하기 위해, 저자들은 대규모 인간 주석 데이터셋인 CASTELLA(CAptionS and TEmporaL boundaries for Long Audio)를 소개합니다.

데이터셋 특성

• 규모: CASTELLA는 1,862개의 오디오 녹음(훈련용 1,009개, 검증용 213개, 테스트용 640개)을 포함하며, 총 120시간 이상의 오디오로 구성됩니다. 이는 이전의 수동 주석 AMR 데이터셋(UnAV-100 서브셋)보다 약 24배 더 큰 규모입니다.
• 콘텐츠: 오디오는 YouTube(구체적으로 AudioCaps 분할의 하위 집합)에서 가져왔으며, 길이는 1분에서 5분 사이입니다.
• 주석(Annotations): 각 녹음에는 다음이 포함됩니다:
  • 전역 캡션(Global Captions): 전체 오디오 녹음에 대한 요약.
  • 지역 캡션(Local Captions): 두드나 있는 오디오 모먼트에 대한 자유 형식의 설명.
  • 시간적 경계(Temporal Boundaries): 각 로컬 모먼트의 시작 및 종료 타임스탬프.
• 통계: 이 데이터셋은 3,881개의 로컬 캡션과 11,308개의 타임스탬프를 포함합니다. 평균적인 오디오는 2.1개의 로컬 모먼트를 포함하며, 평균 모먼트 지속 시간은 짧으며 긴 꼬리 분포(long-tail distribution)를 따르는 경향이 있습니다.

주석 절차

데이터셋은 엄격한 다단계 프로세스를 갖춘 크라우드소싱 서비스를 통해 구축되었습니다:

1. 선택: 주석 작성자는 최대 5개의 두드러진 로컬 모먼트를 식별하였으며, 녹음 전체에 걸쳐 나타나는 비로컬 이벤트는 제외하였습니다.
2. 캡셔닝: 주석 작성자는 시각 정보에 의존하지 않고(단, 모먼트를 식별하기 위해 초기에는 영상을 시청함) 모먼트를 상세하게 설명했습니다. 전역 캡션은 로컬 캡션들을 요약하여 생성되었습니다.
3. 번역: 초기 주석은 일본어로 작성되었으며, 숙련된 번역가들에 의해 영어로 번역되었습니다. 적절한 경우 LLM을 기반으로 한 기계 번역을 활용하였습니다.
4. 경계 할당: 시간적 경계는 1초 해상도로 표시되었습니다. 주석 작성자는 설명된 모먼트를 포착할 수 있도록, 비관련 콘텐츠와 약간 겹치더라도 해당 범위를 포함하도록 지시받았습니다.
5. 품질 관리: 두 번째 주석 작성자가 결과를 검토했습니다. 결정적으로, 저자들은 오디오만으로 검증할 수 없는 캡션을 제거하고 경계 오류를 수정하기 위해 오디오만 듣는(영상 없이) 최종 수동 검토를 수행하여, 데이터셋이 오디오 전용 검색 능력을 반영하도록 보장했습니다.

3. 실험 설정 및 베이스라인

저자들은 오디오-텍스트 모델(MS-CLAP)과 탐지 트랜스포머(DETR)를 결합한 AM-DETR 아키텍처를 사용하여 AMR의 베이스라인을 구축했습니다.

• 훈련 전략:
  • 합성 데이터인 Clotho-Moment 데이터셋만으로 훈련.
  • 실제 데이터인 CASTELLA 데이터셋만으로 훈련.
  • Clotho-Moment로 **사전 훈련(Pre-training)**한 후 CASTELLA로 미세 조정(Fine-tuning).
• 테스트된 모델: 본 연구는 CASTELLA 벤치마크에서 QD-DETR, Moment-DETR, 그리고 UVCOM(고급 아키텍처)을 평가했습니다.
• 지표: 성능은 IoU 임계값 0.5와 0.7에서의 Recall@1 (R1) 및 평균 정밀도(mAP)를 사용하여 측정되었습니다.

4. 주요 결과

실험은 세 가지 주요 통찰을 도출했습니다:

1. 하이브리드 훈련의 효과: 가장 중요한 발견은 합성 데이터(Clotho-Moment)로 사전 훈련을 하고 CASTELLA로 미세 조정한 모델이 어느 한 데이터셋만으로 훈련된 모델보다 성능이 현저히 높았다는 점입니다.
   • Recall@1@0.7 측면에서, 하이브리드 접근 방식은 16.2를 달ach한 반면, 합성 데이터 전용 모델은 5.8, 실제 데이터 전용 모델은 9.7를 기록했습니다. 이는 합성 데이터 전용 베이스라인보다 10.4포인트 향상된 수치입니다.
2. 아키텍처 트렌드: AMR에서 관찰된 서로 다른 DETR 기반 아키텍처 간의 성능 트렌드는 비디오 모먼트 리트리벌(VMR)에서 관찰된 것과 유사했습니다. 구체적으로, UVCOM이 최고의 성능(20.3 R1@0.7)을 달성했으며, Moment-DETR이 가장 낮은 성능을 보였습니다.
3. 짧은 모먼트의 과제: 실제 모먼트가 10초보다 짧을 경우 성능이 크게 떨어집니다. 이는 VMR에서 나타나는 어려움과 일치하지만, CASTELLA 데이터셋이 짧은 지속 시간의 이벤트를 빈번하게 보여준다는 점에서 AMR에서 더욱 두드러지게 나타납니다.

5. 의의 및 주장

본 논문은 CASTELLA를 신뢰할 수 있는 AMR 평가 및 개발을 위한 필수적인 단계로 규정합니다.

• 벤치마크 신뢰성: 대규모의 실제 데이터를 제공함으로써, CASTELLA는 100개 미만의 샘플과 합성 데이터에 기반했던 이전 평가의 불신을 해결합니다.
• 훈련 전략 검증: 결과는 합성 데이터가 사전 훈련에 유용하지만, 실제 AMR 응용 분야에서 높은 성능을 달 achieve 하기 위해서는 실제 데이터로의 미세 조정이 매우 중요하다는 것을 입증합니다.
• 미래 연구를 위한 토대: 저자들은 CASTELLA가 베이스라인 구축을 가능하게 하며, 이벤트의 동시 국지화(localization) 및 캡셔닝, 그리고 긴 오디오 컬렉션 전반에 걸친 검색 연구를 지원한다고 밝힙니다.

저자들은 AMR 연구를 합성 데이터의 한계에서 벗어나 실제 적용 가능한 영역으로 이동시키기 위해 CASTELLA를 공개적으로 제공한다고 결론지었습니다.