SAM: A Mamba-2 State-Space Audio-Language Model

본 논문은 오디오 인코더와 Mamba-2 백본을 통합하여 7B 파라미터 규모의 트랜스포머 기반 모델을 능가하는 성능을 보여주며, 오디오-언어 모델에 대한 SSM 의 설계 원칙과 분석을 제시하는 SAM 을 제안합니다.

핵심

🎧 "SAM": 소리를 듣고 이해하는 새로운 AI 의 등장

이 논문은 **'SAM'**이라는 이름의 새로운 인공지능 모델을 소개합니다. SAM 은 소리를 듣고, 그 소리가 무엇을 의미하는지 설명하거나 질문에 답할 수 있는 '소리와 언어를 이해하는 AI'입니다.

기존의 거대하고 무거운 AI 들과 달리, SAM 은 훨씬 적은 자원으로 더 똑똑한 성능을 보여줍니다. 이를 쉽게 이해할 수 있도록 비유와 일상적인 언어로 설명해 드릴게요.

---

1. SAM 이란 무엇인가요? (기존 AI vs SAM)

기존 AI (트랜스포머):
기존의 유명한 AI 들은 마치 거대한 도서관 사서와 같습니다. 새로운 책 (소리) 이 들어오면, 사서는 도서관에 있는 모든 책 (이전 데이터) 을 한 번씩 훑어보며 비교합니다. 이 방식은 정확하지만, 책이 너무 많으면 (소리가 길어지면) 시간이 너무 오래 걸리고 에너지를 많이 씁니다.

새로운 AI (SAM - Mamba-2):
SAM 은 유능한 메모리 전문 비서입니다. 이 비서는 모든 책을 한 번씩 훑어보지 않고, 들어오는 정보를 한 번에 정리해서 핵심만 기억합니다.

• 장점: 책이 아무리 많아도 (소리가 길어도) 처리 속도가 일정하게 빠릅니다.
• 결과: SAM 은 27 억 개의 파라미터 (뇌세포 수) 만으로도, 70 억 개의 뇌세포를 가진 거대 AI 들과 맞먹거나 더 좋은 성과를 냅니다. 마치 작은 차에 F1 레이서 엔진을 달아서 거대 트럭보다 빠르게 달리는 것과 같습니다.

2. SAM 이 어떻게 소리를 이해하나요? (3 가지 핵심 비유)

연구팀은 SAM 을 더 똑똑하게 만들기 위해 세 가지 중요한 실험을 했습니다.

① 귀와 뇌를 함께 훈련시키세요 (Joint Finetuning)

• 비유: 소리를 듣는 '귀 (오디오 인코더)'와 그 소리를 이해하는 '뇌 (LLM)'가 따로 놀면 문제가 생깁니다. 귀가 들은 소리를 뇌가 알아듣기 쉽게 번역해야 하죠.
• SAM 의 발견: SAM 은 귀와 뇌를 함께 훈련시켜야 가장 잘 작동합니다. 특히 뇌가 작을수록 (SAM-130M 등), 귀가 들은 소리를 뇌가 소화할 수 있도록 핵심만 추려서 (압축해서) 전달해야 합니다.
• 교훈: 뇌가 작으면 귀가 너무 많은 정보를 주면 혼란이 옵니다. 귀는 뇌의 능력에 맞춰 정보를 정리해서 전달해야 합니다.

② 긴 설명보다 '핵심 요약'이 낫습니다 (Compact Tokens)

• 비유: 소리를 텍스트로 바꾸는 과정입니다.
  • 기존 생각: "소리가 길어지면 SAM 이 처리 속도가 빠르니까, 소리를 최대한 길고 자세히 (압축 없이) 전달하면 좋겠지?"
  • SAM 의 실제: 아니었습니다. 소리를 짧고 굵게 (압축해서) 전달하는 것이 더 좋았습니다.
• 이유: 비서 (SAM) 가 긴 메모를 받아서 하나하나 읽는 것보다, 핵심 키워드만 적힌 짧은 메모를 받아서 바로 실행하는 것이 더 효율적입니다. 정보가 너무 길면 비서가 집중력을 잃고 중요한 내용을 놓칩니다.

③ "왜?"라고 물어보는 훈련이 필요합니다 (Reasoning Supervision)

• 비유: 단순히 "이 소리는 뭐야?"라고 묻는 것 (기술 설명) 과 "이 소리가 들리는 이유는 무엇일까?"라고 묻는 것 (이유 추론) 은 다릅니다.
• SAM 의 발견: SAM 에게 **복잡한 질문 (예: "이 소리가 들리는 이유는 무엇인가?")**을 많이 풀어보게 훈련시키니, 추론 능력이 폭발적으로 늘어났습니다.
• 결과: 단순히 소리를 설명하는 능력은 기존 AI 와 비슷했지만, 소리의 원인과 맥락을 추론하는 능력은 기존 거대 AI 들을 압도했습니다. (정답률 22.8% → 56.8% 로 급상승!)

3. 요약: 왜 이 연구가 중요한가요?

1. 효율성: 거대한 컴퓨터 없이도, 작은 모델로 뛰어난 소음 이해 능력을 구현했습니다. (작은 차, 큰 엔진)
2. 설계 원칙: "더 많은 정보"가 항상 좋은 것은 아니며, 모델의 크기에 맞는 적절한 정보 압축이 중요하다는 것을 증명했습니다.
3. 추론 능력: 단순히 소리를 나열하는 것을 넘어, 소리의 이유를 파악하고 논리적으로 답하는 능력을 훈련 데이터의 종류 (질문 방식) 로 크게 향상시킬 수 있음을 보였습니다.

결론

이 논문은 "AI 가 소리를 이해하는 방식"을 완전히 새롭게 설계했습니다. 거대한 자원을 쏟아붓는 대신, 모델의 특성에 맞춰 정보를 정리하고, 논리적 추론을 훈련시키는 것이 더 똑똑한 AI 를 만드는 지름길임을 보여줍니다.

앞으로 스마트폰이나 작은 기기에서도 이 SAM 같은 AI 가 돌아와서, 우리가 듣는 소리의 의미를 실시간으로 이해하고 도와줄 날이 머지않았습니다! 🚀🎵

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 현재의 한계: 최근 오디오 언어 모델 (ALM) 은 Transformer 기반의 언어 모델과 오디오 인코더를 결합하여 다양한 오디오 이해 작업에서 뛰어난 성과를 보이고 있습니다. 그러나 Transformer 의 핵심인 어텐션 (Attention) 메커니즘은 시퀀스 길이에 따라 계산 복잡도가 **2 차 (quadratic)**로 증가하는 단점이 있어, 긴 오디오 시퀀스 처리 시 메모리 및 계산 비용이 급증합니다.
• 대안의 필요성: 언어 모델링 분야에서 Transformer 의 효율적인 대안으로 **상태 공간 모델 (State Space Models, SSM)**인 Mamba 가 등장했습니다. Mamba 는 시퀀스 길이에 대해 **선형 (linear)**으로 확장되는 효율성을 가지지만, 오디오 언어 모델링 분야에서의 적용과 최적화 방안은 아직 충분히 연구되지 않았습니다.
• 연구 목표: Mamba-2 를 백본 (backbone) 으로 활용하여, 더 적은 파라미터로도 기존 대형 Transformer 기반 모델에 필적하거나 능가하는 오디오 언어 모델 (SAM) 을 개발하고, SSM 이 오디오 토큰과 어떻게 상호작용하는지에 대한 체계적인 분석을 수행하는 것입니다.

2. 방법론 (Methodology)

2.1. 모델 아키텍처 (SAM)

• 구조: 멀티모달 LLM 아키텍처를 따르며, 오디오 인코더 (EAT-base), 텍스트 인코더, 커넥터 (MLP), 그리고 Mamba-2 LLM으로 구성됩니다.
• 데이터 흐름: 멜 스펙트로그램은 오디오 인코더를 거쳐 오디오 토큰 ($H_a$) 이 생성되고, 커넥터를 통해 임베딩 ($E_a$) 으로 변환됩니다. 이는 텍스트 프롬프트 및 캡션 임베딩과 연결되어 Mamba-2 에 입력됩니다.
• 학습: 자동 회귀 (Auto-regressive) 방식의 다음 토큰 교차 엔트로피 손실 함수를 사용하여 학습합니다.

2.2. 핵심 구성 요소

• 백본 (Backbone): Pile 데이터셋으로 사전 학습된 Mamba-2 (130M, 780M, 2.7B) 를 사용합니다. Mamba-2 는 Mamba-1 대비 병렬 선택적 스캔 (parallel selective scan) 기반의 하드웨어 효율적인 커널과 행렬 곱셈 형태의 재구성으로 2~8 배 빠른 학습 속도를 제공합니다.
• 오디오 인코더: AudioSet 에서 미세 조정된 EAT-base를 사용합니다. 이는 오디오 분류 성능이 우수하고, 기존 ssLALM 모델의 인코더와 성능이 유사하며, 토큰 길이에 대한 분석이 용이하기 때문입니다.
• 멀티모달 커넥터 (Connector): 오디오 토큰의 순서와 구조를 SSM 에 효과적으로 전달하기 위해 세 가지 방식을 비교했습니다.
  • (a) Concatenation: 시간 - 주파수 축을 따라 토큰을 재배열 후 연결.
  • (b) Time Major: 시간 축을 우선시하여 SSM 의 상태 업데이트 시 시간 연속성을 보존.
  • (c) Frequency Major: 주파수 축을 우선시하여 스펙트럼 국소성을 보존.
  • 주의: SSM 은 토큰 순서에 민감하므로, 시간/주파수 구간 경계를 표시하기 위해 구분자 토큰 ("&&") 을 삽입하여 구조적 단서를 보존합니다.

2.3. 학습 전략

• 데이터: OpenAQA 데이터셋 (190 만 개의 닫힌 질문, 370 만 개의 열린 질문) 을 사용하며, LTU 의 4 단계 커리큘럼 학습 전략을 따릅니다.
• 파라미터 효율성: Mamba-2 블록의 입력/출력 프로젝션 레이어에 LoRA (Low-Rank Adaptation) 를 적용하여 효율적인 미세 조정을 수행합니다.
• 학습 가속화: EAT 인코더의 자기 어텐션 레이어에 FlashAttention-2 를 적용합니다.

3. 주요 기여 및 발견 (Key Contributions & Findings)

본 논문은 SSM 기반 오디오 언어 모델에 대한 첫 번째 체계적인 표현 수준 (representation-level) 분석을 제공하며, 다음과 같은 핵심 통찰을 도출했습니다.

1. 공동 오디오 인코더 미세 조정 (Joint Finetuning) 의 필수성:

   • 오디오 인코더를 고정 (freeze) 하는 대신, SSM 과 함께 **공동으로 미세 조정 (joint finetuning)**하는 것이 성능 향상에 필수적입니다.
   • 발견: 더 작은 SSM 일수록 오디오 토큰 표현의 랭크 (rank) 가 낮아지고 토큰 간 유사도가 높아지는 현상이 관찰되었습니다. 이는 SSM 이 제한된 상태 용량 (state capacity) 내에서 오디오 정보를 통합하기 위해 인코더가 적응 (adaptation) 하기 때문입니다. 크기 불일치 (size-mismatch) 된 인코더를 사용하면 성능이 저하됩니다.

2. 압축된 정보 풍부한 토큰의 우위:

   • SSM 은 시퀀스 길이에 대해 선형으로 확장되지만, 단순히 긴 압축되지 않은 오디오 토큰 시퀀스를 제공하는 것보다 컴팩트하고 정보 밀도가 높은 토큰 표현이 더 큰 이점을 줍니다.
   • 긴 시퀀스는 SSM 의 상태 업데이트에 더 큰 부하를 주어 정보 손실을 초래할 수 있습니다.

3. 지시 추종 (Instruction-following) 의 중요성:

   • 이진 질문 (BQ) 및 객관식 질문 (MCQ) 형태의 구조화된 지시 데이터를 통해 **추론 능력 (Reasoning Ability)**이 극적으로 향상됩니다.
   • OpenReasonAQA 데이터셋을 추가 학습한 결과, MMAU-Sound 벤치마크에서 정확도가 22.8 에서 56.8 로 34.0 포인트 상승하여, Transformer 기반 Gemma3n-4B 베이스라인을 능가했습니다.

4. 실험 결과 (Results)

• 성능: 제안된 SAM-2.7B 모델은 AudioSet에서 21.1 mAP, AudioCaps에서 17.6 SPICE 점수를 기록했습니다. 이는 파라미터 수가 훨씬 많은 (약 7B) 기존 Transformer 기반 모델 (LTU-7B, GAMA-7B 등) 과 맞먹거나 능가하는 성능입니다.
• 규모 확장성: 130M, 780M, 2.7B 모델 모두에서 일관된 성능 향상을 보였으며, LoRA 랭크를 높일수록 (8 → 256) 성능이 개선되었습니다.
• 학습 효율성: Mamba-2 기반 SAM-2.7B 는 Mamba-1 기반 모델보다 약 20% 더 빠른 학습 시간을 기록했습니다.
• 추론 능력: 구조화된 질문 데이터 (OpenReasonAQA) 를 학습한 SAM+OR-2.7B 는 MMAU 벤치마크의 'Sound' 카테고리에서 61.86 점 (mini) 을 기록하며 기존 SSM 기반 모델 및 Transformer 기반 모델들을 압도했습니다.

5. 의의 및 결론 (Significance)

• 새로운 패러다임: 이 연구는 Mamba-2 가 오디오 언어 모델링을 위한 강력하고 확장 가능한 백본이 될 수 있음을 입증했습니다.
• 설계 원칙 제시: SSM 기반 ALM 의 성공적인 설계를 위해 (1) 오디오 인코더의 공동 미세 조정, (2) 컴팩트한 토큰 표현의 활용, (3) 구조화된 추론 데이터의 학습이 필수적이라는 실용적인 설계 원칙을 제시했습니다.
• 미래 전망: 추후 음성 이해 (Speech Understanding) 를 위한 전용 인코더 통합 및 하이브리드 SSM-Transformer 아키텍처 탐구를 통해 오디오 추론 능력을 더욱 고도화할 계획입니다.

이 논문은 Transformer 의 계산 병목 현상을 해결하면서도, 오디오 데이터의 특성에 맞춰 최적화된 SSM 기반 모델의 설계 방향성을 제시한다는 점에서 의의가 큽니다.