🤖 AI

Auto-AEG: Scalable Data Construction for Open-Vocabulary Audio Event Grounding

이 논문은 프로그램 방식으로 합성된 클립과 멀티 모델 의사 레이블(pseudo-labels) 및 강화 학습을 결합하여 대규모 오디오-언어 모델의 시간적 국소화 능력을 크게 향상시킴으로써, 오픈 보캐블러리 오디오 이벤트 그라운딩(Open-Vocabulary Audio Event Grounding)에서의 데이터 부족 병목 현상을 해결하는 확장 가능한 파이프라인인 Auto-AEG를 소개한다.

원저자: Zihan Zhang, Xize Cheng, Wenhao Yan, Tong Zhang, Dongjie Fu, Boyun Zhang, Yongbo He, Tao Jin

게시일 2026-07-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zihan Zhang, Xize Cheng, Wenhao Yan, Tong Zhang, Dongjie Fu, Boyun Zhang, Yongbo He, Tao Jin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑한 로봇에게 세상의 소리를 듣는 법을 가르치고 있다고 상상해 보세요. 당신은 이미 이 로봇에게 훌륭한 이야기꾼이 되는 법을 가르쳤습니다. 폭풍우 녹음 파일을 들려주면, 로봇은 "그것은 거센 비와 천둥소리처럼 들립니다"라고 말할 수 있습니다. 하지만 까다로운 부분이 하나 있습니다. 이 로봇은 어떤 일이 정확히 언제 일어났는지 알아내는 데는 젬병입니다. 로봇은 "비 소리가 들립니다"라고 말할 수는 있지만, 비가 2시 3분에 시작되었는지 2시 15분에 시작되었는지는 말하지 못합니다. 반면에, 전통적인 방식의 소리 탐지기들은 엄격한 사서와 같습니다. 그들은 소리가 시작되고 끝나는 정확한 초 단위까지 짚어낼 수 있지만, 미리 승인된 아주 적은 목록의 단어들만 인식할 수 있습니다. 만약 당신이 "삐걱거리는 문"에 대해 묻는다면, 그 소리가 바로 옆에 있음에도 불구하고 그들은 "그 단어를 모릅니다"라고 답할 것입니다.

이 논문은 그 복잡한 중간 지대를 다룹니다. 즉, 로봇이 소리가 무엇인지 이해할 뿐만 아니라, 그 소리가 발생하는 정확한 순간을 손가락으로 가리킬 수 있도록 가르치는 것입니다. 설령 그 소리가 로봇이 이전에 들어본 적 없는 소리일지라도 말이죠. 가장 큰 문제는 이 기술을 가르치는 것이 매우 어렵다는 점인데, 왜냐하면 인간이 수 시간 분량의 오디오를 직접 듣고 소리가 시작되고 끝나는 매 초를 일일이 표시하도록 고용하는 데는 엄청난 시간이 걸리기 때문입니다. 이는 마치 피아노 건반을 한 번도 만져보지도 못한 채, 백만 시간의 영상을 보는 것만으로 피아노를 배우도록 시도하는 것과 같습니다. 연구자들은 수많은 인간 선생님 없이도 로봇을 가르칠 방법을 찾고자 했습니다.

여기에 Auto-AEG라는 새로운 방법이 등장합니다. 이것은 영리하고 자동화된 튜터 역할을 합니다. 연구자들은 인간이 모든 소리에 라벨을 붙이기를 기다리는 대신, 스스로 연습 재료를 만들어내는 파이프라인을 구축했습니다. 먼저, 그들은 컴퓨터 프로그램이 DJ처럼 소리들을 섞고 조합하여 수천 개의 가짜 오디오 클립을 만듭니다. 이 클립들은 컴퓨터가 직접 배치한 것이기에 모든 소리가 언제 시작하고 끝나는지 정확히 알고 있습니다. 이를 통해 로봇은 '콜드 스타트(cold start)', 즉 타이밍의 기초를 배울 수 있는 결점 없는 완벽한 토대를 갖게 됩니다.

하지만 로봇은 실제 세상에서도 배워야 합니다. 실제 세상의 소리는 지저집적이고 서로 겹치기도 합니다. 여기서 마법이 일어납니다. 연구자들은 로봇이 타이밍 라벨이 다소 불분명한 실제 세계의 오디오(인터넷의 녹음 파일 등)로 연습하게 했습니다. 단순히 선생님처럼 로봇을 교정하는 대신, 그들은 **강화 학습(Reinforcement Learning)**이라는 기법을 사용했습니다. 이것은 비디오 게임과 같습니다. 로봇이 타이밍을 추측하면, 그 추측이 충분히 근접했을 때 "보상 포인트"를 받습니다. 만약 터무니없이 틀린 추측을 하면 포인트는 주어지지 않습니다. 시간이 흐르면서 로ков은 보상 포인트를 향해 나아가는 법을 배우며, 데이터가 완벽하지 않더라도 정밀해지는 법을 터득합니다.

논문은 이 2단계 접근 방식이 놀라운 효과를 낸다는 것을 보여줍니다. 연구진은 훈련된 로봇들을 테스트하기 위해 AEGBench라는 새롭고 어려운 테스트 세트를 직접 만들었습니다(이 테스트는 겹치는 소리나 매우 긴 소음 같은 까다로운 상황까지 포함하여 공정한 테스트가 되도록 설계되었습니다). 결과는 인상적이었습니다. 로봇들은 소리의 타이밍을 짚어내는 능력이 크게 향arly 개선되었습니다. 더 큰 모델의 경우 이전보다 무려 **73.9%**나 더 좋아졌습니다. 로봇들은 단순히 잘 맞히는 것을 넘어, 정밀해지는 법을 배웠습니다.

결정적으로, 저자들은 단순히 로봇에게 더 많은 실제 세계의 오디오를 보여주는 것만으로는 충분하지 않다는 것을 발견했습니다. 만약 표준적인 방식으로 실제 오디오를 통한 일반적인 수업을 계속했다면, 로봇은 별로 나아지지 않았을 것입니다. 로봇을 변화시킨 것은 바로 이 "보상 게임"(강화 학습)이었습니다. 이는 로봇에게 소리의 시간을 이해하게 하는 핵심은 단순히 더 많은 데이터를 갖는 것이 아니라, 그것으로부터 배우는 더 똑똑한 방법이 있다는 것을 시사합니다. 또한 그들은 이 방법이 작은 규모의 로봇부터 300억 개의 파라미터를 가진 거대 모델에 이르기까지 다양한 크기의 로봇에 적용 가능하다는 것을 증명했으며, 이 방식이 소리를 찾는 것뿐만 아니라 소리를 전반적으로 이해하는 능력도 유지하도록 돕는다는 것을 입증했습니다.

요약하자면, 이 논문은 우리가 더 나은 오디오 로봇을 만들기 위해 우주의 모든 소리에 인간이 라벨을 붙일 때까지 기다릴 필요가 없다는 것을 시사합니다. 완벽한 합성 연습과 실제 데이터를 활용한 "보상 기반" 학습 게임을 결합함으로써, 우리는 로봇이 훨씬 더 날카로운 타이밍으로 세상을 듣도록 가르칠 수 있으며, 이는 로봇이 복잡한 실제 소리 환경을 훨씬 더 효과적으로 이해할 수 있는 문을 열어줍니다.

기술 요약: Auto-AEG: 개방형 어휘 오디오 이벤트 그라운딩을 위한 확장 가능한 데이터 구축

문제 정의

대규모 오디오-언어 모델(LALM)은 오디오 이해 및 추론 분야에서 놀라운 능력을 입증하며 음향 및 언어 도메인을 연결해 왔습니다. 그러나 이러한 모델들은 소리 이벤트를 시간상으로 정밀하게 국지화(localize)하는 데 어려움을 겪으며, 종종 모호하거나 환각된(hallucinated) 시간 경계를 생성합니다. 반대로, 전통적인 사운드 이벤트 탐지(SED) 시스템은 프레임 수준의 정밀도를 달로 하지만, 자연어 질의의 풍부함을 수용할 수 없는 폐쇄형 라벨 어휘에 국한되어 있습니다.

이러한 격차는 **개방형 어휘 오디오 이벤트 그라운딩(AEG)**이라는 과제를 정의합니다. 오디오 클립과 대상 사운드 이벤트를 설명하는 자연어 질의가 주어졌을 때, 모델은 해당 이벤트가 발생하는 모든 온셋(onset)/오프셋(offset) 구간을 예측해야 하며, 이는 다중 발생 및 개방형 어휘를 지원해야 합니다. 이 분야의 발전은 근본적으로 데이터 부족에 의해 병목 현상을 겪고 있습니다. 기존 데이터셋은 규모가 작고 라벨의 다양성이 부족하며, 임의의 이벤트에 대해 미세한 시간적 경계를 수동으로 주석(annotation)하는 것은 비용이 매우 많이 듭니다.

방법론: Auto-AEG 파이프라인

아키텍처의 변경 없이 데이터 부족 문제를 해결하기 위해, 저자들은 자동 데이터 구축 및 모델 미세 조정을 통해 개방형 어휘 온셋/오프셋 감독(supervision)을 구축하는 확장 가능한 무주석(annotation-free) 파이프라인인 Auto-AEG를 소개합니다. 이 파이프라인은 각각 특정 학습 목표에 맞춤화된 두 가지 별도의 단계로 작동합니다.

1단계: SFT 콜드 스타트를 위한 프로그래매틱 합성(Programmatic Synthesis)

목표: 지도 미세 조정(SFT)을 위한 안정적인 콜드 스타트를 확립하기 위해 정확한 정답(Ground-Truth, GT) 구간을 제공합니다.
과정: 시스템은 사전 스크리닝된 오디오 풀(WavCaps에서 유도됨)에서 세그먼트를 조합하여 10,000개의 훈련 클립을 프로그래밍 방식으로 합성합니다.
- 타겟 라벨을 선택하고, 1~5개의 중복되지 않는 발생 지점을 배치합니다.
- 디스트랙터(distractor) 이벤트와 가우시안 배경 소음을 제어된 신호 대 잡음비(SNR)로 추가합니다.
- 구성 방식이 스크립트화되어 있으므로, 정답 구간은 정확하며 노이즈가 없습니다.
훈련: 모델은 이러한 합성 클립을 사용하여 "모두 나열하기(List-All)" 질의 형식을 통해 훈련되며, 이를 통해 모델이 JSON 배열 형태의 구간을 출력하도록 유도합니다. 이 단계는 실제 세계의 가변성에 노출되기 전, 응답 형식과 기본적인 음향 인식을 심어줍니다.

2단계: GRPO를 위한 멀티 모델 주석(Multi-Model Annotation)

목표: 자동 주석의 내재적인 노이즈를 허용하면서, 강화 학습을 통해 실제 세계의 오디오를 활용하여 시간적 국지화를 정교화합니다.
과정: FreeSound의 실제 세계 클립(10–30초)은 다음과 같은 멀티 모델 협업 파이프라인을 통해 주석이 달립니다:
- 라벨 식별: Gemini가 10초 단위 청크를 처리하여 들리는 이벤트를 식별하고, 라벨들을 의미론적으로 직교하는 인벤토리로 풀링합니다.
- 이벤트 유형 분류: 라벨을 연속적(예: 비) 또는 이산적(예: 노크 소리)으로 분류하여 구간 병합 로직을 결정합니다.
- 시간적 국지화: PE A-Frame이 프레임별 오디오-텍스트 유사도 임계값을 설정하여 라벨을 국지화하며, 연속적인 이벤트에 대해서만 인접한 구간을 병합합니다.
- 글로벌 클리닝: CLAP 임베딩과 LLM을 사용하여 근사 동의어를 클러스터링하고 라벨을 표준화하여 어휘 파편화를 방지합니다.
훈련: 2,000개의 실제 세계 클립(5,244개의 질의 생성)은 **그룹 상대 정책 최적화(GRPO)**에 사용됩니다.
- 보상 함수: 다음을 결합한 복합 보상( $r$ $r$ )을 사용합니다:
  - $r_{iou}$ : F1-IoU@0.5 (누락된 탐지와 환각 모두에 페널티 부여).
  - $r_{fmt}$ : 형식 준수 여부 (추론 과정의 존재 및 유효한 JSON).
  - $r_{nem}$ : 비어 있지 않음 보상 (과도한 거부에 페널티 부여).
  - $r_{prec}$ : 정밀도 페널티 (스푸리어스한 짧은 구간 억제).
- L2 정규화 항은 정책이 SFT 초기화 상태에서 너무 멀어지는 것을 방지합니다.

주요 기여

Auto-AEG 파이프라인: 개방형 어휘 온셋/오프셋 감독을 자동으로 구축하는 확장 가능한 2단계 프레임워크입니다. 이는 SFT 콜드 스타트를 위한 정확한 GT 합성 데이터와 GRPO를 통해 최적화된 노이즈 섞인 실제 세계의 의사 라벨(pseudo-labels)을 독특하게 결합합니다.
AEGBench: 네 가지 다양한 소스(AudioSet, FSD50K, BBC, YouTube)로부터 구축된 독립적이고 품질이 필터링된 평가 벤치마크입니다. 이는 진단적 분석을 가능하게 하기 위해 6가지 하드 케이스 카테고리(다중 음향 중첩, 점진적 온셋/오프셋, 반복 발생, 낮은 대비, 의미적 모호성, 긴 지속 시간)에 걸친 난이도 계층화를 특징으로 합니다.
2단계 미세 조정 프레임십: 인스트럭션 튜닝된 콜드 스타트와 구간 인식 GRPO를 결합하는 방법론입니다. 저자들은 이 접근 방식이 아키텍처 수정 없이도 불완전한 의사 라벨을 유의미한 시간적 그라운딩 이득으로 전환함을 보여줍니다.

실험 결과

저자들은 Qwen3-Omni-30B 및 Qwen2.5-Omni-7B 모델을 사용하여 AEGBench(3,427개 항목, 9,790개 질의)와 표준 DESED SED 벤치마크에서 파이프라인을 평가했습니다.

AEGBench 성능:
- Qwen3-Omni-30B: SFT+GRPO 이후 평균 IoU(mIoU) 0.480을 달성하였으며, 이는 제로샷 베이스라인(0.276) 대비 +73.9%의 상대적 이득이며, SFT 단독 대비 +29.4%의 이득입니다. 또한 모든 지표에서 가장 강력한 외부 제로샷 베이스라인인 Gemini-3-Pro(0.323)를 능가했습니다.
- Qwen2.5-Omni-7B: 미묘한 결과를 보여주었습니다. 전체 mIoU는 약간 감소(0.424 $\to$ 0.399)했으나, 이벤트 F1 점수는 크게 증가(0.416 $\to$ 0.474)했고, 온셋 정밀도(onset precision)는 상당히 상승(0.411 $\to$ 0.594)했습니다. 이는 정밀도 중심의 보상이 작은 모델에서 과잉 예측을 성공적으로 억제하여, 재현율(recall)을 희생하는 대신 더 날카로운 경계 추정을 얻었음을 시사합니다.
- 하드 케이스 분석: 모델들은 점진적 온셋/오프셋 및 낮은 대비 카테고리에서 상당한 개선을 보였으나, 인코더 윈도우 제한으로 인해 긴 지속 시간 이벤트는 여전히 어려운 과제로 남았습니다.
DESED (SED 작업) 성능:
- Auto-AEG 데이터로 훈련하면 표준 폐쇄형 SED 작업(DESED) 성능이 향상됩니다.
- Qwen3-Omni-30B: PSDS1이 0.153(제로샷)에서 0.170(SFT+GRPO)으로 증가했습니다.
- Qwen2.5-Omni-7B: PSDS1이 0.120에서 0.136으로 증가했습니다.
- 절제 연구(Ablation studies)를 통해 이러한 이득이 단순한 실제 오디오 노출이 아닌 GRPO 목적 함수에서 기인함을 확인했습니다. 동일한 실제 데이터에 대한 지속적인 SFT는 개선을 가져오지 못했습니다.

의의 및 주장

본 논문은 LALM의 추론 능력과 정밀한 시간적 국지화 사이의 간극이 아키텍처 변경 없이 데이터 측면에서 메워질 수 있다고 주장합니다. 핵심 발견은 **강화 학습(GRPO)**이 자동으로 구축된 불완전한 의사 라벨을 효과적인 훈련 신호로 변환하는 결정적인 메커니즘이라는 점입니다.

저자들은 다음과 같이 단언합니다:

데이터 구축의 충분성: 자동 구축된 데이터는 적절한 구간 인식 보상 설계와 결 결합될 때, LALM의 시간적 국지화 능력을 확장하는 효과적인 경로가 됩니다.
GRPO가 핵심: 개선은 데이터의 양이 아니라 RL 목적 함수에 의해 주도됩니다. 노이로 섞인 의사 라벨에 대한 지도 학습(지속적 SFT)은 성능 향상에 실패한 반면, GRPO는 성공했습니다.
확장성: Auto-AEG 파이프라인은 고품질의 시간적 주석을 수동으로 작성하는 데 드는 막대한 비용 문제를 해결하며, LALM의 시간적 능력을 발전시키기 위한 확장 가능한 무주석 기반을 제공합니다.

이 연구는 자동 구축된 데이터와 강화 학습을 개방형 어휘 오디오 이벤트 그라운딩을 위해 결합한 첫 번째 사례로서, 고품질 라벨 데이터가 부족한 시간적 작업에 대한 LALM 훈련의 새로운 패러다임을 제시합니다.