ALARM: Audio-Language Alignment for Reasoning Models

이 논문은 추론 언어 모델 (RLM) 의 체인 오브 씽킹 (Chain-of-Thought) 특성을 고려한 '자기 재표현 (self-rephrasing)' 기법과 다중 오디오 인코더 융합을 통해, 600 만 개의 멀티태스크 데이터로 학습된 40 억 파라미터 규모의 오디오 - 언어 정렬 모델 (ALM) 을 제안하며, 이는 오픈소스 모델 중 MMAU-speech 및 MMSU 벤치마크에서 최상위 성능을 기록했다고 요약할 수 있습니다.

핵심

1. 문제: "글로 생각한 AI 가 소리를 못 들은 척하는 상황"

비유: "책을 읽은 후, 귀를 막고 소리를 들어보라고 하는 아이"

기존의 오디오 AI 는 보통 이렇게 훈련됩니다.

1. 사람이 소리를 녹음하고, 그 소리에 대한 설명 (텍스트) 을 적어줍니다. (예: "남자가 '안녕'이라고 말합니다.")
2. AI 는 이 설명글을 읽고 답변을 연습합니다.
3. 실제 훈련 때는 이 설명글을 지우고 실제 소리만 들려줍니다.

문제점:
최근의 AI 는 '생각의 과정 (Chain-of-Thought)'을 거치며 매우 똑똑해졌습니다. 하지만 이 '생각' 과정이 글로 된 설명에 맞춰져 있다면, 실제 소리를 들을 때 AI 는 혼란을 겪습니다.

• 상황: AI 가 "이 소리는 글로 적힌 대본에서 나온 거야"라고 생각하면, 실제 소리를 들을 때 "글을 읽는 것처럼" 답변을 하게 됩니다.
• 결과: AI 가 소리를 들은 것처럼 자연스럽게 말하지 못하고, 어색하게 "제공된 설명에 따르면..." 같은 말을 하게 됩니다. 마치 책을 읽은 후 귀를 막고 소리를 들어보라고 했을 때, "내가 글을 읽었잖아?"라고 항의하는 아이와 같습니다.

2. 해결책 1: "소리를 들은 척하는 연습" (Self-Rephrasing)

비유: "연기 연습을 시키는 감독"

저자들은 이 문제를 해결하기 위해 **'자기 재연기 (Self-rephrasing)'**라는 기술을 썼습니다.

1. AI 가 먼저 글 (설명) 을 보고 답변을 만듭니다. (이때는 AI 가 글로 생각한 상태)
2. 중요한 단계: AI 가 만든 이 답변을 다시 AI 가 스스로 "소리를 듣고 한 말"처럼 고쳐줍니다.
   • 고치기 전: "제공된 메타데이터에 따르면..." (글로 읽은 느낌)
   • 고친 후: "이 소리를 들어보니..." (소리를 들은 느낌)
3. 이렇게 자연스럽게 고쳐진 답변을 정답으로 삼아 AI 를 훈련시킵니다.

이제 AI 는 실제 소리를 들을 때, "아, 내가 글을 읽은 게 아니라 소리를 들었구나"라고 자연스럽게 생각하며 답변할 수 있게 됩니다.

3. 해결책 2: "한 귀가 아닌, 여러 개의 귀" (Multi-Encoder)

비유: "음악 감상을 위한 오케스트라 vs 한 명만의 독주"

기존 AI 들은 소리를 분석할 때 주로 **한 가지 도구 (ASR, 음성 인식)**만 사용했습니다. 이는 사람 목소리를 알아내는 데는 좋지만, 배경음악이나 환경음 (비, 바람, 기계 소리) 을 이해하는 데는 부족합니다.

비유:

• 기존 방식: 한 명의 전문 번역가 (목소리만 잘 알아듣는 사람) 가 모든 소리를 해석하려 합니다. 노래나 비 소리를 들으면 "이건 말이 아니야"라고 헷갈립니다.
• ALARM 의 방식: 오케스트라를 구성합니다.
  • 목소리 전문가: 사람 말소리를 분석합니다.
  • 음악 전문가: 멜로디와 악기를 분석합니다.
  • 환경음 전문가: 비, 바람, 소음 등을 분석합니다.

이 세 전문가가 각자 소리를 분석한 뒤, **한 명의 지휘자 (퓨전 모듈)**가 이 정보를 하나로 합쳐 AI 에게 전달합니다. 덕분에 AI 는 목소리뿐만 아니라 배경음악이나 소음까지 완벽하게 이해할 수 있게 됩니다.

4. 결과: "작은 몸집에 큰 실력"

비유: "고양이 크기의 사자"

이 모델 (ALARM-E) 은 40 억 개의 파라미터 (두뇌 크기) 만 가진 작은 AI입니다. 보통 이런 큰 성능을 내려면 수조 개의 데이터와 엄청난 비용이 들지만, ALARM 은 기존의 똑똑한 언어 모델 (LLM) 을 건드리지 않고 (동결) 오직 '귀'와 '연기'만 훈련시켰습니다.

• 성적: 거대한 AI 들과 경쟁해서 3 위 안에 들었습니다.
• 장점:
  1. 글 실력 유지: 소리를 배우는 동안 원래 가지고 있던 글쓰기 실력이 떨어지지 않았습니다. (기존 모델들은 소리를 배우면 글 실력이 망가지는 경우가 많았습니다.)
  2. 비용 절감: 거대한 AI 를 다 훈련시키는 것보다 훨씬 저렴하고 빠릅니다.
  3. 자연스러움: 소리를 들은 것처럼 자연스럽게 생각하며 답변합니다.

요약

이 논문은 **"AI 가 소리를 들을 때, 마치 글을 읽은 것처럼 어색하게 행동하지 않게 만드는 방법"**을 제시했습니다.

1. 연기 훈련: AI 가 스스로 "소리를 들은 척"하는 자연스러운 답변을 만들게 합니다.
2. 전문가 팀: 목소리, 음악, 환경음 등 다양한 소리를 분석하는 여러 도구를 합칩니다.
3. 효율성: 거대한 뇌를 새로 만드는 대신, 기존 뇌에 '귀'만 달아주어 비용은 줄이고 실력은 높였습니다.

결국 ALARM 은 **"작은 몸집으로 거대한 AI 들을 이기는, 소리를 듣고 논리적으로 생각하는 똑똑한 AI"**라고 할 수 있습니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

대규모 언어 모델 (LLM) 에 오디오 이해 능력을 결합한 대규모 오디오 언어 모델 (ALM) 이 발전하고 있지만, 기존 접근 방식에는 다음과 같은 한계가 존재합니다.

• 추론 모델 (RLM) 과의 비호환성: 최신 LLM 은 체인 오브 씽킹 (Chain-of-Thought, CoT) 기능을 내장하고 있습니다. 기존 '자기 생성 (Self-generation)' 방식은 텍스트 기반의 오디오 설명 (전사본 등) 을 바탕으로 LLM 이 답변을 생성하게 한 후, 이를 오디오 입력으로 대체하여 학습합니다. 그러나 추론 모델은 생성된 답변의 사고 과정 (Reasoning trace) 에서 입력이 텍스트임을 드러내어, 추론 시 자연스럽지 않은 응답을 생성하는 문제가 발생합니다.
• ASR(자동 음성 인식) 의존성의 한계: 기존 모델들은 오디오 처리를 위해 ASR 과 VAD(음성 활동 감지) 에 의존합니다. 이는 배경 소음, 비음성 오디오 (음악, 환경음) 에서 오류를 유발하거나, 관련 없는 음성 신호에 의해 오작동하여 모델의 일반 오디오 이해 능력을 저하시킵니다.
• 카타스트로픽 포기 (Catastrophic Forgetting): 오디오 데이터로 LLM 을 미세 조정 (Fine-tuning) 하면 오디오 이해 능력은 향상되지만, 기존 텍스트 추론 능력이 손상되는 문제가 발생합니다.

2. 제안된 방법론 (Methodology)

저자들은 ALARM이라는 새로운 프레임워크를 제안하며, 다음과 같은 핵심 기술들을 도입했습니다.

가. 자기 재구성 (Self-rephrasing) 기법

• 문제 해결: 추론 모델 (RLM) 이 텍스트 기반 사고 과정을 그대로 노출하는 것을 방지하기 위해, RLM 이 생성한 초기 답변을 오디오 기반의 자연스러운 표현으로 재구성하는 2 단계 프로세스를 도입했습니다.
  1. 1 단계: 텍스트 메타데이터와 프롬프트를 기반으로 RLM 이 초기 답변 ($R_0$) 을 생성.
  2. 2 단계: 동일한 고정된 RLM 을 사용하여 $R_0$를 "듣는" 스타일의 답변 ($R_{text}$) 으로 재구성 (예: "메타데이터에 따르면" 대신 "오디오를 듣고 판단하기에"로 변경).
• 효과: 출력 분포의 불일치 (Distribution shift) 를 방지하면서도, 모델이 오디오를 텍스트가 아닌 별도의 모달리티로 인식하도록 유도합니다.

나. 다중 오디오 인코더 및 융합 (Multi-encoder Fusion)

• ASR 제거: Whisper 와 같은 단일 ASR 기반 인코더 의존을 제거하고, 다양한 도메인에 특화된 4 가지 인코더를 활용합니다.
  • Whisper: 음성 (Speech)
  • W2V-BERT-2.0: 풍부한 청각적 단서 (Large-scale pretraining)
  • MuQ: 음악 (Music)
  • SSLAM: 일반 오디오/환경음 (Sound)
• 융합 전략: 여러 인코더의 정보를 효율적으로 결합하기 위해 세 가지 아키텍처를 제안합니다.
  1. ALARM-CA: 크로스 어텐션 (Cross-attention) 을 순차적으로 쌓아 정보를 융합.
  2. ALARM-P: Whisper 를 주 입력으로 하고, 다른 인코더의 특징을 Perceiver 를 통해 고정된 길이의 접두사 (Prefix) 로 압축하여 입력.
  3. ALARM-E (Ensemble): ALARM-CA 와 Whisper 임베딩을 시간 축으로 연결하여 50Hz 토큰 레이트로 작동하는 앙상블 방식. 추론 시에만 적용되며, 다양한 특징을 보완적으로 활용합니다.

다. 데이터 구축 (Dataset Construction)

• ALARM 코퍼스: 19,000 시간의 오디오 (음성, 음악, 일반 소리) 와 250 만 개의 고유 프롬프트로 구성된 600 만 건의 멀티태스크 코퍼스를 구축했습니다.
• 품질 관리: 메타데이터와 프롬프트의 정합성을 검증하여 할루시네이션 (Hallucination) 을 줄이고, ASR 전사본 없이도 학습이 가능하도록 설계했습니다.

3. 주요 기여 (Key Contributions)

1. 추론 모델용 자기 생성 확장: 기존 자기 생성 방식이 추론 모델 (RLM) 에 적용되지 않던 문제를 해결하기 위해 '자기 재구성 (Self-rephrasing)' 기법을 개발했습니다.
2. 대규모 고품질 멀티태스크 코퍼스: 19K 시간, 2.5M 고유 프롬프트 규모의 데이터셋을 구축하여, 이전 공개 데이터셋 (DeSTA-AQA5M) 보다 다양성과 정합성을 높였습니다.
3. ASR 독립적 다중 인코더 아키텍처: ASR 에 의존하지 않고, 음성/음악/환경음에 특화된 다중 인코더를 융합하여 강건한 오디오 이해 능력을 구현했습니다.
4. 효율적인 성능: 4B(40 억) 파라미터 모델임에도 불구하고, 더 큰 모델들을 능가하는 성능을 달성하면서도 LLM 의 텍스트 능력을 유지했습니다.

4. 실험 결과 (Results)

• MMSU (Speech Benchmark):
  • ALARM-E는 4B 모델 중 가장 높은 성능을 보였으며, 전체 점수에서 3 위를 기록했습니다.
  • 특히 추론 (Reasoning) 부분에서 GPT-4o Audio 및 다른 대형 모델들을 능가했습니다.
  • 텍스트 LLM 을 고정 (Freeze) 했음에도 불구하고, 텍스트 능력 (MMLU-Pro 등) 을 전혀 잃지 않았습니다. (미세 조정된 모델들은 텍스트 성능이 급격히 하락함)
• MMAU (General Audio Benchmark):
  • 음성 (Speech) 분야에서 오픈소스 모델 중 최고 성능을 기록했으며, 모든 모델 (상용 포함) 중 상위 3 위를 차지했습니다.
  • 이전 오픈소스 리더 (DeSTA-2.5-Audio) 보다 음성 테스트에서 5.7% 높은 점수를 기록했습니다.
  • 음악과 소리 분야에서도 강력한 성능을 유지하며, 단일 인코더 모델들보다 융합 모델이 전반적인 성능이 우수함을 입증했습니다.
• 효율성: 4B 모델이 2.4T 토큰으로 학습된 7B 모델 (MiMo) 보다 적은 데이터와 비용으로 우수한 성능을 냈습니다.

5. 의의 및 결론 (Significance)

이 논문은 오디오 언어 모델 분야에서 다음과 같은 중요한 통찰을 제공합니다:

• 추론 모델과의 정렬: CoT 추론 능력을 가진 LLM 을 오디오 이해에 성공적으로 통합하는 방법을 제시했습니다.
• 비용 효율성: 거대한 LLM 을 미세 조정할 필요 없이, 고정된 LLM 과 효율적인 어댑터/인코더 융합만으로도 최상급 성능을 달성할 수 있음을 증명했습니다.
• 다중 모달리티 이해: ASR 에만 의존하지 않고, 다양한 오디오 인코더를 융합함으로써 음성뿐만 아니라 음악과 환경음까지 포괄하는 진정한 '오디오 이해' 모델의 가능성을 열었습니다.

결론적으로, ALARM은 추론 능력을 갖춘 대규모 언어 모델에 오디오 모달리티를 통합하는 새로운 표준을 제시하며, 적은 비용으로 고성능을 달성할 수 있는 효율적인 아키텍처를 증명했습니다.