💬 NLP

A Simple Method to Enhance Pre-trained Language Models with Speech Tokens for Classification

이 논문은 오디오 토큰 시퀀스의 길이가 텍스트보다 훨씬 길어 통합이 어렵다는 문제를 해결하기 위해, 멀티모달 Bag-of-Words 표현에 Lasso 기반 특징 선택을 적용하여 가장 중요한 오디오 토큰만 선별하고 사전 학습된 언어 모델을 적응시킨 후 하위 태스크를 파인튜닝하는 간단한 방법을 제안하여 다양한 분류 작업에서 성능을 향상시켰음을 보여줍니다.

원저자: Nicolas Calbucura, Jose Guillen, Valentin Barriere

게시일 2026-04-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nicolas Calbucura, Jose Guillen, Valentin Barriere

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"텍스트만 읽는 똑똑한 AI 에게 '목소리'라는 새로운 감각을 쉽게 불어넣는 방법"**에 대한 이야기입니다.

기존의 거대 언어 모델 (LLM) 은 텍스트만 보고 글을 이해하는 데는 천재지만, 사람의 목소리 톤, 감정, 억양 같은 '소리' 정보를 처리하는 데는 서툴렀습니다. 이 논문은 그 문제를 해결하기 위해 매우 간단하면서도 효과적인 방법을 제안합니다.

이 방법을 이해하기 쉽게 세 가지 비유로 설명해 드릴게요.

1. 문제: "너무 많은 소음과 정보의 홍수"

사람이 말하는 한 문장 (텍스트) 은 보통 10~20 단어로 이루어져 있지만, 그 소리를 디지털로 녹음하면 수천 개의 데이터 조각 (토큰) 이 나옵니다.

비유: 마치 한 편의 영화를 설명하는 글자 (텍스트) 는 10 줄인데, 그 영화의 원본 데이터 (오디오) 는 10,000 장의 사진으로 이루어져 있는 상황입니다.
문제점: AI 가 이 10,000 장의 사진을 한 번에 다 보려고 하면, 중요한 글자 (텍스트) 가 묻혀버리고 AI 는 혼란스러워하며 성능이 떨어집니다.

2. 해결책: "필터링을 통한 '핵심'만 골라내기"

저자들은 이 거대한 소리 데이터를 모두 AI 에게 주지 않고, 가장 중요한 소리 조각들만 골라내는 필터를 만들었습니다.

방법: "이 과제를 해결하는 데 정말 필요한 소리 조각은 무엇일까?"를 수학적으로 계산 (라쏘 기반 특징 선택) 해서, 10,000 장의 사진 중 가장 중요한 100 장만 뽑아냅니다.
비유: 수천 개의 재료가 들어간 스프를 끓일 때, 맛을 결정하는 핵심 향신료 3~4 가지만 골라내서 넣는 것과 같습니다. 나머지 잡다한 재료는 버려도 됩니다. 이렇게 하면 AI 가 처리해야 할 양이 1% 미만으로 줄어듭니다.

3. 적용: "새로운 언어를 가르치고 시험보기"

골라낸 핵심 소리 조각들을 AI 에게 가르칩니다.

사전 학습 (Pre-training): AI 가 이 새로운 '소리 단어'들을 텍스트와 함께 자연스럽게 읽을 수 있도록 연습시킵니다. (기존 AI 의 지식은 건드리지 않고 소리 단어만 새로 배웁니다.)
실전 훈련 (Fine-tuning): 이제 AI 는 텍스트와 함께 '목소리의 뉘앙스'를 보고 문제를 풉니다.

이 방법이 얼마나 잘 먹혔을까요?

저자들은 이 방법을 두 가지 어려운 시험에 적용해 보았습니다.

논리적 오류 찾기 (Fallacy Detection):
- 사람의 말투나 감정적인 목소리가 논리적 오류 (예: 감정 호소, 인신공격 등) 를 판단하는 데 도움이 될까요? 예전에는 "소리는 오히려 방해가 된다"고 생각했습니다.
- 결과: 하지만 이 방법을 쓰니 텍스트만 본 AI 보다 훨씬 더 정확하게 오류를 찾아냈습니다. 목소리의 떨림이나 톤이 "이 사람은 화가 났구나" 혹은 "이건 감정적으로 호소하는구나"라는 힌트를 준 것입니다.
감정 분석 (Sentiment/Emotion):
- "좋다"라는 말도 화난 목소리로 하면 "싫다"는 뜻이 될 수 있습니다.
- 결과: 텍스트만으로는 헷갈렸던 상황에서도, 목소리 톤을 함께 분석하니 감정을 훨씬 잘 알아맞혔습니다.

결론: "작은 변화, 큰 효과"

이 논문의 핵심 메시지는 **"복잡한 AI 를 새로 만드는 게 아니라, 기존 AI 에게 '필요한 소리'만 골라서 주면 성능이 비약적으로 좋아진다"**는 것입니다.

창의적인 비유: 기존 AI 가 눈만 가진 명탐정이었다면, 이 방법은 그 탐정에게 귀를 달아주고, 소음은 차단하는 이어폰을 끼워준 것과 같습니다. 그래서 명탐정은 소음에 방해받지 않고, 목소리에서 중요한 단서 (감정, 의도) 만을 포착하여 사건을 더 잘 해결하게 됩니다.

이 연구는 AI 가 인간의 언어와 목소리를 더 자연스럽게 이해하는 미래를 위한 아주 실용적이고 간단한 첫걸음이라고 할 수 있습니다.

이 논문은 텍스트 기반 사전 훈련된 대규모 언어 모델 (LLM) 에 음성 정보를 효율적으로 통합하여 분류 성능을 향상시키는 간단하면서도 효과적인 방법을 제안합니다. 특히, 오디오와 텍스트의 길이가 크게 불균형하다는 기존 멀티모달 융합의 문제를 해결하고, 오디오가 유용하지 않다고 여겨졌던 작업에서도 성능 향상을 이끌어낸다는 점이 핵심입니다.

다음은 논문의 상세한 기술적 요약입니다.

1. 문제 정의 (Problem)

오디오와 텍스트의 길이 불균형: 오디오 신호는 텍스트에 비해 샘플링 주파수가 훨씬 높아 (예: 20ms 단위 vs 단어 단위) 오디오 토큰의 길이가 텍스트 토큰보다 훨씬 깁니다. 이로 인해 오디오 정보가 텍스트 정보를 압도하거나, 주의 메커니즘 (Attention) 의 희소성을 유발하여 모델 성능을 저하시킬 수 있습니다.
기존 방법의 한계: 기존 멀티모달 모델 (SpeechVerse, Qwen2-Audio 등) 은 복잡한 사전 학습 단계와 대규모 데이터셋을 필요로 하며, 소규모 데이터셋의 특정 태스크에 직접 적용할 경우 성능이 떨어지는 경우가 많습니다. 또한, 오디오 임베딩을 단순히 추가하는 방식은 계산 비용이 크고 효율성이 낮습니다.
오디오의 유용성 부재에 대한 오해: 이전 연구들 (Mancini et al., 2025 등) 은 논쟁적 오류 (Fallacy) 탐지 및 분류 작업에서 텍스트가 오디오보다 압도적으로 우세하며, 멀티모달 융합이 오히려 해가 될 수 있다고 주장했습니다.

2. 제안 방법론 (Methodology)

저자들은 오디오 토큰을 LLM 에 통합하기 위해 3 단계 프로세스를 제안합니다.

2.1. 음성 토큰화 (Speech Tokenization)

SpeechTokenizer 사용: 연속적인 오디오 신호를 이산적인 토큰으로 변환하는 'SpeechTokenizer'를 사용합니다.
의미론적 vs 비의미론적 분리: 이 모델은 8 개의 레이어로 구성되어 있으며, 첫 번째 레이어는 의미론적 내용 (Semantic) 을, 나머지 7 개 레이어는 비의미론적/부수언어적 내용 (Paralinguistic, 예: 억양, 감정) 을 캡처합니다.
전략: 텍스트가 이미 의미론적 정보를 담고 있으므로, 의미론적 토큰을 제외하고 비의미론적 정보 (마지막 7 개 레이어) 만을 선택하여 LLM 에 추가함으로써 모달리티 간의 중복을 줄입니다.

2.2. 토큰 선택 (Token Selection) - 핵심 혁신

Bag-of-Words (BoW) 표현: 오디오와 텍스트를 모두 BoW 형태로 표현합니다.
Lasso 기반 특징 선택: $\ell_1$ 정규화를 적용한 로지스틱 회귀 모델을 훈련시켜, 특정 분류 태스크에 가장 중요한 오디오 토큰들만 선별합니다.
효과: 초기 어휘 크기 (약 8,196 개) 의 1% 미만으로 토큰 수를 대폭 줄여, 오디오와 텍스트의 길이 불균형 문제를 해결하고 모델이 중요한 오디오 단서 (Cues) 에 집중하도록 합니다.

2.3. 사전 학습 및 미세 조정 (Pre-training & Fine-tuning)

Step 2 (임베딩 적응): 선택된 오디오 토큰을 LLM 어휘에 추가하고, 자기지도 학습 (Self-supervised) 목적 (Causal Language Modeling, Cross-Entropy Loss) 으로 오디오 토큰의 임베딩을 학습시킵니다. 이때 LLM 의 기존 가중치는 동결 (Frozen) 시킵니다.
Step 3 (다운스트림 태스크 미세 조정): 학습된 오디오 임베딩을 가진 모델을 다운스트림 분류 태스크 (오류 탐지, 감정 분류 등) 에 대해 LoRA (Low-Rank Adaptation) 와 분류 헤드를 사용하여 미세 조정합니다.

3. 주요 기여 (Key Contributions)

간단하고 효율적인 통합 방법: 복잡한 멀티모달 사전 학습 없이, 기존 텍스트 LLM 에 오디오 토큰을 효율적으로 통합하는 경량화된 방법을 제시합니다.
불균형 문제 해결: Lasso 기반의 특징 선택을 통해 오디오 토큰의 길이를 텍스트 수준으로 줄여, 오디오가 모델을 압도하는 문제를 해결했습니다.
우회적 발견 (Counter-intuitive Finding): 오디오 토큰을 무작위로 선택하더라도 단일 모드 (텍스트만) 모델보다 성능이 향상됨을 발견했습니다. 이는 오디오 토큰 자체에 항상 보완적인 정보가 내재되어 있음을 시사합니다.
성능 증명: 오디오가 불리하다고 여겨졌던 '논쟁적 오류 탐지 (AFD)' 및 '분류 (AFC)' 태스크에서 기존 SOTA 모델보다 우수한 결과를 달성했습니다.

4. 실험 결과 (Results)

실험은 MM-USED-Fallacy (정치적 논쟁 데이터) 와 CMU-MOSEI (감정 및 태도 데이터) 에서 수행되었습니다.

감정 분석 및 감정 분류 (CMU-MOSEI):
- Sentiment (SENT): 단일 모드 (75.8) 대비 제안 방법 (79.2) 으로 성능 향상.
- Emotion (EMO): 단일 모드 (71.3) 대비 제안 방법 (74.2) 으로 성능 향상.
- Qwen2-Audio-7B 와 같은 대형 멀티모달 모델보다 더 좋은 성능을 보였습니다.
논쟁적 오류 분류 (AFC) 및 탐지 (AFD):
- AFC: 단일 모드 (52.3) 에서 멀티모달 (54.8) 로 향상되었으며, 앙상블 (Bagging) 을 적용 시 59.2로 기존 SOTA (48.6) 를 10 포인트 이상 상회했습니다.
- AFD: 클래스 불균형이 심한 어려운 태스크에서도 단일 모드 (0.297) 대비 멀티모달 (0.317) 로 성능이 개선되었습니다.
분석 결과:
- 의미론적 토큰을 제외한 비의미론적 (Acoustic) 토큰만 사용한 것이 의미론적 토큰을 포함한 경우보다 더 좋은 성능을 보였습니다. (LLM 이 텍스트로 의미 처리를 잘하기 때문)
- Lasso 기반 선택이 없으면 성능이 급격히 떨어지고 분산이 커지는 것을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

데이터 효율성: 대규모 멀티모달 데이터셋과 복잡한 학습 과정 없이도, 소규모 데이터셋에서 텍스트 LLM 의 성능을 오디오 정보로 쉽게 향상시킬 수 있음을 입증했습니다.
해석 가능성: 모델이 텍스트로만 판단하기 어려운 경우 (예: 중립적인 텍스트지만 화자의 목소리 톤이 감정적이거나, 특정 오류 유형을 나타내는 목소리 특징 등) 에 오디오 토큰이 결정적인 역할을 함을 분석을 통해 확인했습니다.
한계 및 향후 과제: 현재는 분류 태스크에 국한되어 있으며, 텍스트 생성 태스크로의 확장, 임베딩의 일반화 능력 평가, 그리고 더 많은 스피치 토큰을 포함하는 최적의 정규화 강도 탐색 등이 향후 연구 과제로 제시되었습니다.

결론적으로, 이 논문은 "오디오 토큰의 양을 줄이고 질을 높이는 (선택)" 전략을 통해 기존 LLM 을 멀티모달 모델로 전환하는 간단하지만 강력한 패러다임을 제시했습니다.