Measuring the Redundancy of Decoder Layers in SpeechLLMs

본 논문은 스피치 LLM 의 디코더 레이어가 사전 학습된 LLM 의 중복성을 계승하며, 다양한 모델 규모와 언어 번역 작업에서도 특정 레이어들이 불필요함을 규명하여 단일 프루닝된 백본으로 다중 태스크를 수행할 수 있음을 보여줍니다.

핵심

1. 문제: 거대한 도서관의 '과잉' 직원들

지금 말하는 인공지능 (SpeechLLM) 은 크게 세 부분으로 이루어져 있습니다.

1. 귀 (음성 인코더): 소리를 듣고 텍스트로 변환하는 역할.
2. 다리 (프로젝터): 소리와 언어를 연결해주는 역할.
3. 두뇌 (LLM 디코더): 언어를 이해하고 답을 만드는 거대한 모델.

이 중 '두뇌' 부분이 전체 인력의 90% 이상을 차지합니다. 마치 100 명짜리 팀이 있는데, 90 명 이상이 '문서 정리'만 하고 있고 실제 '문제 해결'에 필요한 사람은 10 명뿐인 것과 같습니다. 연구진은 **"이 90% 중 실제로 필요한 사람은 정말 90% 인가?"**라고 의문을 품었습니다.

2. 실험: 불필요한 층을 잘라내다 (가지치기)

연구진은 이 거대한 두뇌를 **층 (Layer)**이라는 층층이 쌓인 구조로 보았습니다. 그리고 **"어떤 층을 없애도 똑똑한 답을 낼 수 있을까?"**를 확인하기 위해 가지치기 (Pruning) 실험을 했습니다.

• 비유: 32 층짜리 빌딩 (LLM) 이 있다고 칩시다. 연구진은 1 층부터 32 층까지 층을 하나씩 지워가며, 건물이 무너지지 않고 여전히 잘 작동하는지 확인했습니다.
• 발견 1 (유전된 습관): 흥미롭게도, 이 '불필요한 층'의 위치는 텍스트만 읽는 모델이나 소리를 듣는 모델이나 거의 똑같았습니다.
  • 비유: "소리를 듣는 사람"과 "글을 읽는 사람"이 가진 두뇌 구조가 본질적으로 비슷하다는 뜻입니다. 소리를 듣기 위해 새로 두뇌를 키울 필요가 없었고, 원래 글 읽기용 두뇌에 이미 '여분'이 많았던 것입니다.
• 발견 2 (크기가 클수록 여분이 많다): 모델이 클수록 (예: 80 억 개 파라미터) 더 많은 층을 잘라낼 수 있었습니다. 큰 모델일수록 "여분의 두뇌"가 훨씬 많았죠.
  • 결과: 80 억 개 모델의 경우, 약 40% 의 층을 잘라내도 (즉, 60% 만 남겨도) 원래 성능과 거의 차이가 없었습니다.

3. 핵심 기술: 잘라낸 후 '아픈 부위' 치료하기 (Healing)

단순히 층을 잘라내면 인공지능이 멍청해집니다. 마치 다리를 잘라낸 후 바로 뛰게 하면 넘어지는 것과 같죠. 그래서 연구진은 '치료 (Healing)' 과정을 도입했습니다.

• 비유: 층을 잘라내자마자, 잘린 부분의 연결고리를 **LoRA(작은 보조 장치)**라는 '접착제'로 다시 붙여주었습니다.
• 중요한 점: 단순히 두뇌 (디코더) 만 치료하는 것보다, 소리와 두뇌를 연결하는 다리 (프로젝터) 까지 함께 치료해야 가장 잘 작동했습니다.
  • 비유: 다리를 잘라낸 후, 다리 자체만 고치는 게 아니라 '다리 - 두뇌' 연결부까지 함께 다듬어줘야 다시 정상적으로 걸을 수 있었던 것입니다.

4. 확장: 번역도 가능할까?

이제 이 발견이 **말을 다른 언어로 번역 (Speech Translation)**하는 일에도 통할지 확인했습니다.

• 결과: 놀랍게도 **음성 인식 (ASR)**과 번역 (AST) 모두에서 똑같은 층들이 불필요한 것으로 판명났습니다.
• 의미: 하나의 '가지치기 된' 모델을 만들어두면, 음성 인식과 번역 두 가지 일을 모두 할 수 있다는 뜻입니다. 별도의 모델을 따로 만들 필요가 없는 것입니다.

5. 결론: 더 가볍고 빠른 인공지능의 탄생

이 연구는 우리에게 다음과 같은 희망을 줍니다.

1. 효율성: 거대한 인공지능의 약 40~60% 의 두뇌를 잘라내도 성능이 거의 떨어지지 않습니다.
2. 속도와 비용: 층을 줄이면 계산 속도가 빨라지고, 메모리 사용량이 줄어듭니다. (실제 실험에서 35% 더 빨라지고 메모리도 30% 이상 줄었습니다.)
3. 범용성: 소리를 듣고, 번역하고, 질문을 답하는 등 다양한 작업을 하나의 가벼운 모델로 처리할 수 있게 됩니다.

한 줄 요약:

"우리가 쓰던 거대한 말하기 AI 는 사실 과도한 여분의 두뇌를 가지고 있었습니다. 연구진은 이 불필요한 층들을 잘라내고 연결부만 다듬어, 더 가볍고 빠르면서도 똑똑한 AI를 만들어냈습니다. 이제 우리는 무거운 AI 를 들고 다니지 않아도 됩니다!"

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 음성 대형 언어 모델 (SpeechLLM) 은 일반적으로 음성 인코더, 프로젝터 (Projector), 그리고 사전 훈련된 LLM 디코더로 구성됩니다. 최근 아키텍처 (예: SLAM) 에서 디코더는 전체 파라미터의 90% 이상을 차지하며, 이는 전체 모델 비용의 대부분을 차지합니다.
• 핵심 질문: 음성 작업 (자동 음성 인식 - ASR, 자동 음성 번역 - AST) 을 수행하는 데 실제로 디코더의 전체 용량이 필요한가? 즉, 얼마나 많은 디코더 계층이 불필요한 중복 (Redundancy) 을 가지고 있는가?
• 기존 연구의 한계: 기존 연구에서는 LLM 자체나 음성 인코더의 중복성을 분석했으나, SpeechLLM 의 디코더 부분에서 발생하는 중복성을 체계적으로 분석한 연구는 부족했습니다.

2. 방법론 (Methodology)

저자들은 디코더 계층의 중복성을 정량화하기 위해 다음과 같은 접근법을 사용했습니다.

2.1. 실험 설정

• 프레임워크: SLAM (SpeechLLM with a frozen LLM decoder) 아키텍처 사용.
• 모델: Qwen2.5 와 Llama (3.1/3.2) 계열의 2 가지 LLM 패밀리를 대상으로 1B~8B 크기의 3 가지 스케일 (1-1.5B, 3-4B, 7-8B) 을 실험.
• 작업: 자동 음성 인식 (ASR) 및 자동 음성 번역 (AST, En↔De, Fr↔En).
• 데이터: LibriSpeech, Loquacious (ASR), CoVoST2 (AST).

2.2. 중복성 측정 지표 (Redundancy Proxy)

• 각도 거리 (Angular Distance): 인접하지 않은 두 계층의 은닉 상태 (Hidden States) 간의 각도 거리를 계산하여 계층 간 유사성을 측정합니다.
  • $d(h_\ell, h_{\ell+n})$: 계층 $\ell$과 $\ell+n$ 사이의 은닉 상태 거리.
  • 거리가 작을수록 해당 계층 블록을 제거해도 정보 손실이 적음을 의미합니다.
• 최적 가지치기 경로 (Optimal Pruning Path): 주어진 블록 크기 $n$에 대해 각도 거리가 최소가 되는 시작 계층 $\ell^*$을 찾아 해당 블록을 제거합니다.

2.3. 가지치기 후 치유 (Post-pruning Healing)

단순히 계층을 제거하면 성능이 급격히 떨어지므로, 다음 두 가지 치유 전략을 비교했습니다.

1. 디코더만 치유: 제거된 블록 이후의 수신 계층 (MLP) 에 LoRA (Low-Rank Adaptation) 어댑터를 부착하여 잔차 보정을 학습.
2. 프로젝터만 치유: 음성 표현과 디코더 정렬을 담당하는 프로젝터만 미세 조정 (Unfreeze).
3. 공동 치유 (Joint Healing): 디코더와 프로젝터를 모두 미세 조정.

3. 주요 기여 및 발견 (Key Contributions & Findings)

3.1. 디코더 중복성의 기원 (Origin of Redundancy)

• 사전 훈련된 LLM 에서 유래: 텍스트 입력과 음성 입력 모두에서 동일한 계층 블록들이 낮은 각도 거리 (높은 유사성) 를 보였습니다.
• 결론: SpeechLLM 의 디코더 중복성은 모델이 음성 데이터로 파인튜닝되기 전, 사전 훈련된 LLM 자체의 구조에서 대부분 유래합니다. 따라서 음성 모델을 훈련시키기 전에 텍스트만으로도 제거 가능한 계층을 식별할 수 있습니다.
• LoRA 의 영향: LoRA 를 적용하면 계층 간 유사성이 더욱 강화되지만, 가지치기 내성 (Pruning Tolerance) 은 오히려 감소했습니다.

3.2. ASR 에 필요한 계층 수 (Quantifying Redundancy on ASR)

• 모델 규모에 따른 차이:
  • 7-8B 모델: 전체 디코더 계층의 약 60% (약 40% 제거) 만으로도 허용 가능한 성능 저하 범위 내에서 우수한 ASR 성능을 유지했습니다 (최대 43.8% 제거).
  • 3-4B 모델: 약 65% 의 계층 유지 필요 (약 35% 제거).
  • 1-1.5B 모델: 약 86.5% 의 계층 유지 필요 (약 13.5% 제거).
• 통찰: 모델이 클수록 불필요한 과잉 용량 (Excess Capacity) 이 더 많으며, 더 많은 계층을 제거할 수 있습니다.

3.3. 치유 메커니즘의 중요성

• 공동 치유 (Joint Healing) 가 필수: 디코더만 치유하거나 프로젝터만 치유하는 것보다 디코더와 프로젝터를 동시에 미세 조정할 때 가지치기 후 성능 회복이 가장 뛰어났습니다.
• 이유: 가지치기는 디코더의 동역학을 변화시키므로, 이를 보상하기 위해 프로젝터의 정렬 (Alignment) 을 다시 학습해야 합니다.

3.4. 작업 일반화 (Generalisation to Speech Translation)

• 작업 간 일관성: ASR 에서 최적화된 가지치기 경로 (어떤 계층을 제거할지) 는 음성 번역 (AST) 작업에서도 거의 동일하게 적용되었습니다.
• 의미: 서로 다른 작업 (ASR vs AST), 다른 언어, 다른 음성 인코더를 사용하더라도 중복되는 계층 구조는 동일합니다. 이는 단일 가지치기된 디코더 백본이 여러 작업을 동시에 수행할 수 있음을 시사합니다.

4. 실험 결과 요약 (Experimental Results)

• 성능: 7-8B 모델에서 약 44% 의 계층을 제거하고 공동 치유를 적용했을 때, LibriSpeech 테스트 세트에서 WER (Word Error Rate) 는 2.01% 에서 2.36% 로 소폭 증가했으나, 허용 가능한 범위 (상대적 저하 25% 이내) 내에 머물렀습니다.
• 효율성: Llama3.1-8B 모델에서 40% 계층 제거 시, 실행 시간 (Wall-clock) 은 약 35% 단축되었고, 피크 GPU 메모리 사용량은 15.72GB 에서 10.37GB 로 감소했습니다.
• 범용성: 텍스트 기반 최적 경로와 음성 기반 최적 경도가 거의 일치하여, 텍스트 데이터만으로도 가지치기 전략을 수립할 수 있음이 입증되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 효율적인 SpeechLLM 배포: 현재 SpeechLLM 은 디코더가 과도하게 무겁습니다. 본 연구는 전체 디코더의 약 30~40% 를 제거하면서도 성능을 유지할 수 있음을 증명하여, 더 작고 빠른 음성 AI 모델 배포를 가능하게 합니다.
• 단일 백본의 다중 작업 지원: ASR 과 AST 모두에서 동일한 계층 블록이 중복됨을 발견함으로써, 하나의 가지치기된 디코더 백본으로 여러 음성 작업을 수행하는 "Multi-task SpeechLLM" 아키텍처의 실현 가능성을 제시했습니다.
• 과학적 통찰: 음성 처리 작업이 LLM 의 전체 용량을 필요로 하지 않으며, 그 중복성이 모달리티 (텍스트/음성) 와 무관하게 존재한다는 것을 규명했습니다.

이 연구는 SpeechLLM 의 비효율적인 자원 사용을 해결하고, 실제 환경에 적용 가능한 경량화된 음성 모델 개발의 길을 열어준다는 점에서 중요한 의의를 가집니다.