⚡ electrical engineering

Audio Flamingo Next: Next-Generation Open Audio-Language Models for Speech, Sound, and Music

이 논문은 30 분 길이의 오디오를 처리하고 시간 기반 추론을 가능하게 하는 새로운 추론 패러다임 'Temporal Audio Chain-of-Thought'를 도입하며, 100 만 시간 이상의 대규모 데이터를 활용해 기존 오픈 모델들을 압도하는 성능을 보이는 차세대 오디오 - 언어 모델 'Audio Flamingo Next'를 제안합니다.

원저자: Sreyan Ghosh, Arushi Goel, Kaousheik Jayakumar, Lasha Koroshinadze, Nishit Anand, Zhifeng Kong, Siddharth Gururani, Sang-gil Lee, Jaehyeon Kim, Aya Aljafari, Chao-Han Huck Yang, Sungwon Kim, Ramani Du

게시일 2026-04-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Sreyan Ghosh, Arushi Goel, Kaousheik Jayakumar, Lasha Koroshinadze, Nishit Anand, Zhifeng Kong, Siddharth Gururani, Sang-gil Lee, Jaehyeon Kim, Aya Aljafari, Chao-Han Huck Yang, Sungwon Kim, Ramani Duraiswami, Dinesh Manocha, Mohammad Shoeybi, Bryan Catanzaro, Ming-Yu Liu, Wei Ping

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎧 오디오 플라밍고 넥스트 (AF-Next): 소리를 듣고, 생각하며, 대화하는 AI 의 새 시대

이 논문은 NVIDIA와 메릴랜드 대학교 연구진이 발표한 **'오디오 플라밍고 넥스트 (Audio Flamingo Next, AF-Next)'**라는 새로운 인공지능 모델을 소개합니다.

쉽게 말해, 이 모델은 소리를 듣고, 그 소리가 무슨 뜻인지 추리하며, 사람처럼 대화할 수 있는 초지능 AI입니다. 이전 버전보다 훨씬 똑똑해졌고, 특히 긴 대화나 복잡한 소리를 이해하는 능력이 비약적으로 발전했습니다.

이 복잡한 기술을 일상적인 언어와 비유로 설명해 드릴게요.

1. 이 모델은 누구인가요? (기본 개념)

과거의 오디오 AI 들은 마치 **"소리를 녹음기처럼만 듣는 사람"**이었습니다. "이 소리는 개 짖는 소리야", "이건 영어로 '안녕'이야"라고만 구분할 수 있었죠.

하지만 AF-Next는 **"소리를 듣고 그 배경을 상상하며 논리적으로 생각하는 탐정"**과 같습니다.

예시: "이 소리는 비가 오는 소리인데, 창문 소리가 섞여 있고 뒤에는 누군가 우산을 치는 소리가 들리네. 아마 누군가 비를 피해서 우산을 펼친 모양이야."
이 모델은 단순히 소리를 분류하는 것을 넘어, 소리의 맥락 (Context) 을 이해하고 추론할 수 있습니다.

2. 무엇이 달라졌나요? (핵심 혁신 4 가지)

① 더 넓은耳朵 (귀) 와 더 강한 두뇌

이전 모델보다 훨씬 더 다양한 소리 (음악, 환경음, 대화) 를 정확하게 이해합니다. 마치 수천 개의 귀를 가진 전문가가 동시에 여러 소리를 들어도 헷갈리지 않는 것과 같습니다.

② 30 분짜리 긴 영화도 한 번에 이해

기존 AI 는 긴 소리를 들으면 앞부분을 잊어버리거나 혼란스러워했습니다. 하지만 AF-Next 는 최대 30 분에 달하는 긴 오디오 (예: 긴 회의 녹음, 팟캐스트, 영화) 를 처음부터 끝까지 한 번에 기억하고 이해할 수 있습니다.

비유: 30 분짜리 영화를 보고 "중간에 누가 왜 화를 냈지?"라고 물어보면, 전체 스토리를 기억하며 정확한 답을 줄 수 있습니다.

③ '시간 기반 사고 (Temporal Chain-of-Thought)'라는 새로운 능력

이게 가장 중요한 혁신입니다. AI 가 소리를 들을 때, "왜 그렇게 생각했는지" 그 이유를 시간과 연결하여 설명합니다.

비유: detective 가 사건을 해결할 때, "00 시 10 분에 문이 열리고, 00 시 15 분에 발소리가 들렸으니 범인은 이때 들어왔을 거야"라고 시간 순서대로 증거를 나열하며 추리하는 것과 같습니다.
이를 통해 AI 가 헛소리를 (할루시네이션) 하는 것을 줄이고, 긴 소리 속에서도 정확한 정보를 찾아냅니다.

④ 인터넷 규모의 거대한 데이터 학습

이 모델은 학문적인 시험지 (데이터셋) 만으로 공부한 것이 아니라, **인터넷에 떠도는 방대한 양의 실제 소리 (100 만 시간 분량)**를 학습했습니다.

비유: 교실 안에서만 공부한 학생이 아니라, 실제 세상 곳곳을 돌아다니며 다양한 상황을 경험한 학생처럼, 실제 생활에서 발생하는 복잡한 소리 (잡음, 여러 사람이 동시에 말하는 상황 등) 에도 강합니다.

3. 이 모델은 어떻게 만들어졌나요? (학습 과정)

연구진은 이 모델을 가르칠 때 4 단계 커리큘럼을 사용했습니다.

기초 다지기: 소리와 글자를 연결하는 법을 배웁니다.
기술 확장: 다양한 소리 (음악, 대화) 를 이해하고, 짧은 질문을 답하는 법을 배웁니다.
긴 호흡 훈련: 긴 오디오를 듣고 요약하거나 질문을 답하는 '장기 기억' 훈련을 합니다.
추리력 향상 (CoT): "시간을 기준으로 생각하기" 훈련을 통해 복잡한 문제를 논리적으로 풀게 합니다.

4. 실제로 얼마나 잘하나요? (성능)

이 모델은 20 개 이상의 다양한 테스트에서 기존 최고의 오픈 소스 모델들을 압도했습니다.

음악: 어떤 악기인지, 가사가 무엇인지 정확히 파악합니다.
대화: 여러 사람이 동시에 말해도 누가 언제 무엇을 말했는지 구분합니다.
번역: 영어뿐만 아니라 다양한 언어의 소리를 듣고 번역합니다.
긴 영상: 긴 회의록을 듣고 핵심 내용을 요약하거나, 특정 시간대의 소리를 찾아냅니다.

특히 긴 오디오 이해 능력에서는 구글의 'Gemini' 같은 폐쇄형 (비공개) 거대 모델들과도 경쟁하거나, 경우에 따라 더 좋은 성적을 내기도 했습니다.

5. 왜 이것이 중요한가요?

이 연구의 가장 큰 의의는 **"모든 것을 공개했다"**는 점입니다.

코드, 데이터, 모델을 모두 공개하여 누구나 이 기술을 연구하고 발전시킬 수 있게 했습니다.
앞으로 이 기술을 바탕으로 실시간 통역 서비스, 의료 진단 보조, 교육용 튜터, 장애인 보조 도구 등 다양한 분야에서 혁신이 일어날 수 있습니다.

요약

오디오 플라밍고 넥스트는 소리를 단순히 '듣는' 것을 넘어, 소리를 '이해'하고 '추리'하며 '대화'하는 차세대 AI 입니다. 마치 소리에 대한 지식이 무한하고, 긴 이야기를 기억하며, 논리적으로 설명할 수 있는 슈퍼 탐정이 우리 곁에 온 셈입니다.

이제 AI 는 소리를 통해 세상을 더 깊이 이해하게 되었습니다! 🎵🗣️🧠

1. 문제 정의 (Problem)

기존의 오픈 소스 대규모 오디오 - 언어 모델 (LALMs) 은 다음과 같은 한계를 겪고 있었습니다:

벤치마크 중심의 편향: 대부분의 모델이 소규모 학술 벤치마크에 맞춰 훈련되어, 실제 세계의 길고 복잡하며 노이즈가 많은 오디오 데이터에 대한 일반화 능력이 부족했습니다.
데이터 부족: 인터넷 규모의 대규모 오디오 데이터와 고품질 라벨링을 결합한 투명한 (fully open) 학습 자료가 부족했습니다.
긴 오디오 처리의 어려움: 긴 오디오 (예: 30 분 이상) 에서 시간적으로 분산된 정보를 통합하고 추론하는 능력, 특히 '할루시네이션'을 줄이고 증거를 시간적 맥락에 정확히 연결하는 능력이 미흡했습니다.
추론의 비효율성: 기존 CoT(Chain-of-Thought) 모델들이 오디오 QA 에 적용될 때 과도하게 긴 추론 과정을 생성하거나, 긴 오디오에서 핵심 증거를 시간적으로 특정하지 못하는 문제가 있었습니다.

2. 방법론 (Methodology)

2.1 아키텍처 (Architecture)

AF-Next 는 Audio Flamingo 3 의 아키텍처를 기반으로 다음과 같은 구성 요소를 가집니다:

AF-Whisper 오디오 인코더: Whisper 기반의 인코더를 다국어 및 다화자 (multi-talker) ASR 데이터로 추가 사전 학습하여 강화했습니다.
오디오 어댑터: 오디오 임베딩을 LLM 의 텍스트 공간으로 매핑하는 2 층 MLP 레이어입니다.
LLM 백본: Qwen-2.5-7B 를 기반으로 하며, 컨텍스트 길이를 32k 에서 128k 토큰으로 확장했습니다.
RoTE (Rotary Time Embeddings): 기존 RoPE 를 대체하여, 토큰의 인덱스 대신 절대적인 타임스탬프 ( $\tau_i$ ) 를 회전 각도로 사용하여 시간적 정렬을 강화했습니다. 이는 긴 오디오 추론의 핵심입니다.
스트리밍 TTS: 음성 - 음성 상호작용을 지원하는 스트리밍 텍스트 - 음성 변환 모듈을 포함합니다.

2.2 데이터 큐레이션 (Data Curation)

학술적 벤치마크를 넘어 약 108 만 개 (약 100 만 시간) 의 대규모 데이터를 수집 및 생성했습니다. 주요 데이터 유형은 다음과 같습니다:

긴 오디오 캡셔닝: 5 분에서 30 분까지의 긴 비디오에서 추출한 오디오에 대한 상세 캡션 및 QA 데이터.
다화자 이해: 화자 구분, 중첩된 음성 인식, 대화 구조 추론을 위한 데이터.
실제 세계 오디오: 인터넷에서 수집한 다양한 환경의 오디오를 10~30 초 단위로 샘플링하여 기존 스킬 (AudioSkills-XL) 을 확장.
Temporal Audio Chain-of-Thought (AF-Think-Time): 긴 오디오에서 중간 추론 단계를 구체적인 타임스탬프에 연결하도록 학습시키는 새로운 데이터셋. 이는 할루시네이션을 줄이고 증거 기반 추론을 가능하게 합니다.
안전 및 지시 따르기: 안전성 (Safety) 과 복잡한 지시 수행 능력을 강화하기 위한 데이터.

2.3 학습 커리큘럼 (Training Curriculum)

4 단계 커리큘럼 학습 전략을 적용했습니다:

Pre-training: 오디오 어댑터 및 인코더를 고정하거나 미세 조정하며, 인식 (인식, 캡셔닝, ASR) 중심의 짧은 오디오 데이터로 학습.
Mid-training: 전체 모델 미세 조정. 짧은 오디오 스킬 데이터와 새로운 긴 오디오 데이터를 혼합하여 학습. 컨텍스트 길이를 128k 로 확장.
Post-training: GRPO 기반의 강화 학습을 통해 다중 턴 대화, 안전성, 지시 따르기 능력 강화.
CoT-training: AF-Think-Time 데이터셋을 사용하여 타임스탬프 기반의 추론 능력을 강화 (SFT 및 GRPO 적용).

2.4 긴 컨텍스트 학습 파이프라인

시퀀스 패킹 (Sequence Packing): 이질적인 길이의 오디오 시퀀스를 효율적으로 처리하기 위한 3 단계 패킹 전략.
하이브리드 시퀀스 병렬성 (Hybrid Sequence Parallelism): Ulysses Attention (노드 내) 과 Ring Attention (노드 간) 을 결합하여 128k 토큰의 긴 컨텍스트를 128 개의 H100 GPU 에서 효율적으로 학습.

3. 주요 기여 (Key Contributions)

AF-Next 모델 출시: 20 개 이상의 벤치마크에서 SOTA 성능을 기록한 최초의 완전 오픈 (Fully Open) LALM. 모델 가중치, 학습 데이터, 코드, 방법론을 모두 공개합니다.
확장 가능한 학습 레시피: 인터넷 규모의 데이터 큐레이션, 타겟 능력 확장, 그리고 긴 오디오를 위한 시간 기반 추론 (Temporal Grounding) 기술을 포함한 새로운 학습 파이프라인 제시.
세 가지 모델 변형 오픈소스:
- AF-Next-Instruct: 일반 질문 답변 및 대화용.
- AF-Next-Think: 고급 추론 (CoT) 용.
- AF-Next-Captioner: 상세한 오디오 캡션 생성 용.
Temporal Audio Chain-of-Thought: 긴 오디오에서 중간 추론 단계를 타임스탬프에 명시적으로 연결하는 새로운 추론 패러다임 도입.

4. 실험 결과 (Results)

AF-Next 는 20 개 이상의 벤치마크에서 기존 오픈 모델들을 압도적으로 능가하며, 폐쇄형 (Closed) 모델이나 더 큰 모델들과도 경쟁하거나 이를 능가하는 성능을 보였습니다.

오디오 이해 및 추론 (MMAU, MMAR 등):
- MMAU 평균 정확도: AF-Next-Captioner 가 75.76 (AF3: 72.42, Gemini-2.5-Pro: 57.4).
- MMAR: AF-Next-Captioner 가 63.0 (AF3: 58.5).
- MMSU: AF-Next-Captioner 가 63.3 (Gemini-2.5-Flash: 66.1).
긴 오디오 이해 (LongAudioBench):
- AF-Next-Instruct 가 73.9 (AF3: 68.6, Gemini-2.5-Pro: 60.4) 로 압도적인 성능.
- 음성 포함 변형 (+Speech) 에서 81.2 점 기록.
자동 음성 인식 (ASR):
- LibriSpeech test-clean 에서 WER 1.54 (AF3: 1.57, Phi-4-mm: 1.67) 로 LALM 중 최상위 성능.
- Common Voice 15, GigaSpeech 등 다양한 벤치마크에서 SOTA 또는 경쟁력 있는 성능 달성.
음악 이해:
- NSynth, Medley-Solos-DB, SongCaps 등 음악 관련 벤치마크에서 기존 오픈 모델 (Pengi, Music Flamingo 등) 을 크게 상회.
다국어 및 번역:
- CoVoST2 에서 아랍어 (Arabic) 번역 성능이 Phi-4-mm 대비 약 12 포인트 향상되는 등 저자원 언어에서도 강력한 성능.

5. 의의 및 결론 (Significance)

오픈 오디오 모델의 새로운 기준 설정: AF-Next 는 학술적 벤치마크를 넘어 실제 세계의 복잡하고 긴 오디오 데이터에 강건하게 작동하는 최초의 완전 오픈 LALM 으로, 오디오 이해 및 추론 분야에서 새로운 기준을 제시합니다.
시간적 정합성 (Temporal Grounding) 의 중요성 입증: 'Temporal Audio Chain-of-Thought'를 통해 긴 오디오에서 증거를 시간적으로 연결하는 것이 추론의 정확성과 해석 가능성을 높이는 핵심 요소임을 증명했습니다.
향후 연구 촉진: 학습 코드, 데이터, 모델 가중치를 공개함으로써 오픈 오디오 - 언어 모델링 연구의 투명성과 재현성을 크게 향상시켰습니다.

한계점: 인터넷 규모의 데이터 특성상 저자원 언어나 희귀한 사운드 이벤트의 편향이 존재하며, 매우 긴 컨텍스트에서 시간적으로 멀리 떨어진 정보를 통합하는 능력은 여전히 개선의 여지가 있습니다. 또한, 다화자 ASR, 화자 분리 등 일부 기능에 대한 포괄적인 평가 프로토콜은 향후 과제로 남았습니다.