💬 NLP

Adapting Text LLMs to Speech via Multimodal Depth Up-Scaling

이 논문은 기존 텍스트 LLM 의 언어 능력을 유지하면서 음성 데이터로 continual pretraining 을 수행할 때, 새로운 레이어를 삽입하여 학습하는 '멀티모달 딥스 업스케일링' 기법이 전체 파인튜닝이나 LoRA 보다 우수한 음성 인식 성능을 달성하고 텍스트 성능 저하를 획기적으로 줄인다는 것을 제안하고 실험적으로 입증합니다.

원저자: Kazuki Yano, Jun Suzuki, Shinji Watanabe

게시일 2026-04-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kazuki Yano, Jun Suzuki, Shinji Watanabe

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"이미 말 잘하는 AI(텍스트 모델) 에게 말을 배우게 할 때, 기존 지능을 잃지 않는 방법"**을 소개합니다.

기존의 방식은 마치 유능한 번역가를 갑자기 노래 연습에 시켜서, 노래는 잘하게 되었지만 원래 번역 실력이 망가져 버리는 상황과 비슷했습니다. 이 논문은 그 문제를 해결하는 아주 똑똑한 방법을 제안합니다.

핵심 아이디어를 쉽게 비유해서 설명해 드릴게요.

1. 문제: "말 잘하는 AI"가 말을 배우면 왜 망가질까?

기존에 책만 읽던 **유능한 번역가 (텍스트 LLM)**가 있다고 상상해 보세요. 이 사람에게 갑자기 "이제부터 노래 가사도 번역해 줘"라고 하면, 그는 열심히 노래를 배우려고 합니다.

하지만 문제는 기존의 번역 실력이 사라진다는 것입니다.

기존 방식 (Full Fine-tuning): 번역가에게 노래를 가르치기 위해 전체 두뇌를 다시 훈련시킵니다. 노래는 잘하게 되지만, 원래 잘하던 번역 실력은 엉망이 됩니다.
기존 방식 (LoRA): 번역가의 두뇌에 작은 보조 장치를 달아서 노래만 배우게 합니다. 하지만 이 보조 장치가 너무 작아서 노래를 잘 배우지 못하거나, 여전히 번역 실력이 조금씩 떨어집니다.

2. 해결책: "새로운 층 (Depth Up-scaling)"을 끼워 넣다

이 논문이 제안한 방법은 "새로운 층 (Layer)"을 끼워 넣는 것입니다.

비유: 유능한 번역가의 두뇌 (기존 모델) 는 절대 건드리지 않고 그대로 둡니다. 대신, 그 두뇌 사이에 새로운 '음악 전공생' 층을 끼워 넣습니다.
작동 원리:
1. 입력: 목소리 데이터는 이 '새로운 음악 전공생 층'을 먼저 통과합니다.
2. 학습: 오직 이 새로 끼워 넣은 층만 노래 (음성) 를 배우도록 훈련시킵니다.
3. 출력: 훈련된 정보가 원래 번역가의 두뇌로 전달되어, 번역가는 원래의 실력을 유지한 채 노래도 이해하게 됩니다.

3. 가장 멋진 점: "필요할 때만 꺼내 쓰는" 마법

이 방법의 가장 큰 장점은 인생 (추론 단계) 에서 선택이 가능하다는 점입니다.

상황 A (노래를 번역해야 할 때): 새로 끼워 넣은 '음악 전공생 층'을 활용합니다. 그러면 노래도 잘 번역하고, 원래 번역 실력도 유지됩니다.
상황 B (단순히 책 내용을 요약해야 할 때): 새로 끼워 넣은 층을 **아예 제거 (Drop)**하고 원래 번역가만 사용합니다.
- 결과: 원래의 번역 실력이 100% 완벽하게 복구됩니다. 마치 그 층이 처음부터 없었던 것처럼요!

4. 더 똑똑한 층: "E-Branchformer"

논문에서는 단순히 일반적인 층을 끼우는 것보다, 음성 처리에 특화된 'E-Branchformer'라는 특수한 층을 끼워 넣는 것이 더 좋았다고 합니다.

비유: 일반적인 층이 "노래를 들으며 글자를 읽는" 방식이라면, E-Branchformer 는 **"소리의 파동과 리듬을 동시에 분석하는 전문 음악가"**입니다.
효과: 이 특수한 층을 끼우니, 작은 모델에서도 노래 (음성 인식) 실력이 기존 방식보다 훨씬 좋아졌고, 번역 실력 손실은 75% 이상 줄였습니다.

5. 요약: 이 연구가 왜 중요한가요?

이 연구는 "한 번에 두 마리 토끼를 다 잡는" 방법을 찾았습니다.

기존 지능 보존: AI 가 원래 잘하던 일 (텍스트 번역, 요약, 대화) 을 전혀 망치지 않습니다.
새로운 능력 추가: 음성 (말) 을 이해하고 처리하는 능력도 완벽하게 추가합니다.
유연성: 필요할 때만 음성 기능을 켜고, 필요 없으면 끄고 원래 상태로 돌아갈 수 있습니다.

한 줄 요약:

"이미 유능한 번역가에게 '새로운 부서 (음성 처리)'만 따로 만들어서 일을 시키니, 새로운 업무도 잘해내면서 원래 일도 전혀 망치지 않게 된 것입니다. 필요할 때 그 부서만 꺼내면 되니까, AI 는 언제든 원래 모습으로 돌아갈 수 있습니다."

이 기술은 앞으로 AI 가 말과 글을 동시에 자연스럽게 이해하는 '만능 비서'가 되는 데 큰 디딤돌이 될 것입니다.

1. 문제 정의 (Problem)

기존의 사전 학습된 대규모 언어 모델 (Text LLM) 을 음성 데이터로 계속 학습 (Continual Pre-training, CPT) 시켜 음성 언어 모델 (Speech LM) 로 변환하는 접근법은 유망하지만, 다음과 같은 치명적인 단점이 존재합니다.

기존 텍스트 능력의 퇴화 (Catastrophic Forgetting): 음성 데이터로만 학습하면 모델이 원래 가지고 있던 텍스트 이해 및 생성 능력이 심각하게 저하됩니다.
기존 해결책의 한계:
- 텍스트 데이터 재생 (Replay): 음성 학습 중 텍스트 데이터를 함께 섞어 학습하는 방식은 추가적인 텍스트 데이터 확보와 학습 비용 증가가 필요하며, 많은 오픈 가중치 LLM 은 학습 데이터를 공개하지 않아 실현이 어렵습니다.
- LoRA (Low-Rank Adaptation): 파라미터 효율적 미세 조정 방법이지만, 새로운 모달리티 (음성) 를 학습하기에 충분한 용량 (Capacity) 을 제공하지 못해 성능이 제한적일 수 있습니다.

2. 제안 방법: 멀티모달 딥니스 업스케일링 (Methodology)

저자들은 "멀티모달 딥니스 업스케일링 (Multimodal Depth Up-Scaling)" 이라는 새로운 전략을 제안합니다. 이는 기존 LLM 의 가중치를 변경하지 않고, 새로운 레이어를 삽입하여 모델의 깊이 (Depth) 를 확장하는 방식입니다.

핵심 구조:
- 동결된 원본 레이어: 사전 학습된 텍스트 LLM 의 모든 기존 Transformer 레이어는 동결 (Frozen) 상태로 유지됩니다.
- 학습 가능한 삽입 레이어: 새로운 Transformer 레이어 (또는 E-Branchformer) 를 기존 레이어 사이에 삽입하고, 오직 이 새로운 레이어만 음성 데이터로 학습합니다.
- 어휘 확장: 음성 토큰을 처리하기 위해 토크나이저 어휘를 확장하고, 임베딩 레이어를 조정합니다.
레이어 배치 전략 (Placement Strategies):
삽입된 레이어의 위치가 성능에 미치는 영향을 분석하여 다음 5 가지 전략을 비교했습니다.
- INTERLEAVED: 원본 레이어 전체에 고르게 분산 배치.
- BOTTOM, MIDDLE, TOP: 네트워크의 하단, 중간, 상단에 집중 배치.
- SANDWICH: 하단과 상단에 배치.
레이어 아키텍처 (Architecture):
- 기존 Transformer 레이어 대신 E-Branchformer를 삽입 레이어로 사용했습니다. E-Branchformer 는 전역 의존성을 잡는 MHSA 와 국소 패턴을 잡는 컨볼루션 (CSGU) 을 병렬로 처리하여 음성 인식에 더 적합하도록 설계되었습니다.
초기화 전략 (Function Preserving Initialization):
- 학습 시작 시 삽입된 레이어가 원본 모델의 출력에 영향을 주지 않도록 (Identity Function), 출력 프로젝션 행렬을 0 으로 초기화하거나 특수한 구조 (E-Branchformer 의 경우 $W_{Merge} = [I; 0]$ ) 를 적용하여 학습 시작 시 모델이 원본과 동일하게 동작하도록 보장했습니다.
추론 시 레이어 제거 (Layer Dropping):
- 학습된 추가 레이어는 추론 시 제거할 수 있습니다. 텍스트 작업만 수행할 때는 추가 레이어를 제거하여 원래의 사전 학습된 LLM 을 100% 그대로 복원할 수 있으며, 이는 텍스트 성능 저하를 이론적으로 0 으로 만듭니다.

3. 주요 기여 (Key Contributions)

새로운 적응 프레임워크 제안: 텍스트 LLM 을 음성 모달리티로 적응시키면서 원본 능력을 보존하는 '멀티모달 딥니스 업스케일링'을 처음 제안했습니다.
E-Branchformer 적용: 음성 인식에 특화된 아키텍처를 삽입 레이어로 사용하여 성능을 극대화했습니다.
동적 모델 전환 가능성: 추론 시 추가 레이어를 제거함으로써, 하나의 모델이 필요에 따라 '고성능 음성 인식기'와 '원본 텍스트 LLM'으로 즉시 전환될 수 있음을 증명했습니다.

4. 실험 결과 (Results)

SmolLM2-360M과 SmolLM2-1.7B 모델을 사용하여 48,000 시간 분량의 영어 음성 데이터 (OWSM v3.2) 로 실험했습니다.

음성 인식 성능 (ASR):
- INTERLEAVED 배치 전략을 사용할 때, 전체 미세 조정 (Full Fine-tuning) 과 유사한 WER (Word Error Rate) 를 달성했습니다.
- 특히 1.7B 모델의 경우, E-Branchformer를 사용한 딥니스 업스케일링은 전체 미세 조정보다 더 좋은 성능을 보이거나 동등한 수준을 기록했습니다.
- LoRA 는 특히 작은 모델 (360M) 에서 성능이 크게 떨어졌습니다.
텍스트 능력 보존 (Text Preservation):
- 전체 미세 조정과 LoRA는 텍스트 작업 정확도가 크게 하락했습니다 (1.7B 기준 약 -32% ~ -35% 감소).
- 딥니스 업스케일링은 텍스트 성능 저하를 75% 이상 줄였습니다.
- 가장 중요한 발견: 추가 레이어를 추론 시 제거하면, **텍스트 성능 저하가 0%**가 되어 원본 모델과 완전히 동일한 성능을 회복했습니다.
제로샷 지시 추종 (Zero-shot Instruction Following):
- 텍스트 데이터 재생 없이 ASR 데이터만으로 학습했음에도, 딥니스 업스케일링 모델은 번역, 단순화, 요약 등 텍스트 지시를 음성 입력을 기반으로 수행하는 능력을 유지했습니다.
- 반면, 전체 미세 조정 모델은 이러한 능력을 완전히 상실하고 반복되는 토큰을 생성하는 등 실패했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 텍스트 LLM 을 음성 모달리티로 확장할 때 발생하는 '기억 상실 (Forgetting)' 문제를 해결하는 획기적인 방법을 제시했습니다.

효율성: 학습 가능한 파라미터를 전체 미세 조정 대비 60% 이상 줄이면서도 더 나은 성능을 달성했습니다.
유연성: 하나의 모델 파일로 음성 작업과 텍스트 작업을 모두 처리할 수 있으며, 필요에 따라 레이어를 켜고 끄는 방식으로 리소스를 최적화할 수 있습니다.
실용성: 텍스트 데이터 재생 없이도 원본 LLM 의 언어 능력을 완벽하게 보존할 수 있어, 데이터 접근이 제한된 환경에서도 고품질 음성 LLM 구축이 가능해졌습니다.

결론적으로, 멀티모달 딥니스 업스케일링은 텍스트 LLM 을 음성 영역으로 적응시키는 데 있어 성능과 원본 능력 보존 사이의 트레이드오프를 극복하는 이상적인 솔루션으로 평가됩니다.