💬 NLP

Closing the Speech-Text Gap with Limited Audio for Effective Domain Adaptation in LLM-Based ASR

이 논문은 LLM 기반 음성 인식 시스템에서 소량의 음성 데이터만으로도 텍스트-음성 간 모달리티 격차를 효과적으로 해소하여, 전체 음성 데이터로 미세 조정하는 것과 동등하거나 더 나은 성능을 달성할 수 있음을 보여줍니다.

원저자: Thibault Bañeras-Roux, Sergio Burdisso, Esaú Villatoro-Tello, Dairazalia Sánchez-Cortés, Shiran Liu, Severin Baroudi, Shashi Kumar, Hasindri Watawana, Manjunath K E, Kadri Hacioglu, Petr Motlicek, And

게시일 2026-04-09

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Thibault Bañeras-Roux, Sergio Burdisso, Esaú Villatoro-Tello, Dairazalia Sánchez-Cortés, Shiran Liu, Severin Baroudi, Shashi Kumar, Hasindri Watawana, Manjunath K E, Kadri Hacioglu, Petr Motlicek, Andreas Stolcke

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🍳 비유: "요리사 (LLM) 와 새로운 메뉴 (새로운 분야)"

상상해 보세요. 훌륭한 **요리사 (LLM)**가 있습니다. 이 요리사는 이미 **일반적인 요리 (기존 데이터)**를 아주 잘합니다. 하지만 이제 **새로운 레스토랑 (새로운 분야, 예: 은행이나 농장)**을 오픈하려고 합니다.

여기서 문제가 생깁니다.

**새로운 레시피 (텍스트 데이터)**는 책장에 가득 차 있습니다. (텍스트는 구하기 쉽습니다.)
하지만 **실제 요리 과정 (오디오 데이터)**을 녹화한 영상은 거의 없습니다. (녹음된 데이터는 구하기 비싸고 어렵습니다.)

❌ 기존의 문제점: "책만 보고 요리하기"

기존 방식은 요리사에게 **"새로운 메뉴 책 (텍스트) 만 보고 요리해"**라고 시켰습니다.

결과: 요리사는 책에 나온 이론은 완벽하게 외웠지만, 실제 손님이 주문하는 **목소리의 톤이나 배경 소음 (실제 오디오)**을 처리하는 법을 잊어버렸습니다.
비유: 책으로 '불고기' 만드는 법을 외웠지만, 실제로 고기를 구울 때는 불 조절을 못 해서 탄 고기만 나옵니다. 이를 **'모달리티 간극 (Modality Gap)'**이라고 합니다. (책과 실제 요리 사이의 괴리)

💡 이 연구의 해결책: "혼합된 훈련 (Mixed Batching)"

연구팀은 **"책도 보게 하되, 아주 조금만 실제 요리 영상 (오디오) 도 보여줘"**라는 새로운 전략을 제안했습니다.

이 전략은 세 가지 요소를 섞어서 요리사를 훈련시킵니다:

기존 레시피 (원본 데이터): 요리사가 원래 잘하던 요리를 잊지 않게 합니다.
실제 요리 영상 (새로운 오디오): 아주 조금만 (전체 데이터의 10% 미만, 약 4 시간 분량) 보여줍니다.
- 효과: 요리사가 실제 소리와 목소리에 다시 익숙해집니다.
고장 난 레시피 (인위적으로 망가진 텍스트): 책의 글자를 일부러 지우거나 섞어서 보여줍니다.
- 효과: 요리사가 "아, 실제 녹음은 가끔 소음이 섞여 있거나 글자가 깨질 수도 있구나"라고 예상하며 적응하게 합니다.

🏆 놀라운 결과

실험 결과, 새로운 오디오 데이터 전체를 다 쓸 필요도 없었습니다.

10% 의 오디오 + 90% 의 텍스트만 섞어서 훈련시켰을 때, 오디오 데이터 100% 를 다 쓴 기존 방식보다도 더 좋은 결과를 냈습니다!
마치 요리사가 책으로 이론을 완벽히 익히고, 실제 요리 영상 10 분만 봐도 새로운 메뉴를 완벽하게 해내는 것과 같습니다.

🛡️ 추가 이점: "기억력 보존"

기존 방식 (오디오만 많이 쓰는 것) 은 새로운 메뉴를 배우다가 옛날 요리를 잊어버리는 (Catastrophic Forgetting) 문제가 있었습니다. 하지만 이 새로운 '혼합 훈련' 방식은 새로운 메뉴도 잘 배우면서, 원래 잘하던 요리도 잊지 않게 해줍니다.

📝 한 줄 요약

"새로운 분야에 적응할 때, 비싼 오디오 데이터를 다 쓸 필요 없이, 풍부한 텍스트 데이터와 아주 적은 오디오 데이터를 섞어서 훈련시키면, AI 가 소음 속에서도 목소리를 잘 알아듣고 원래 실력도 잃지 않게 됩니다."

이 연구는 데이터가 부족한 곳 (의료, 금융, 특수 산업 등) 에서 AI 를 효율적으로 적용할 수 있는 길을 열어주었습니다.

논문 요약: 제한된 오디오를 활용한 LLM 기반 ASR 의 도메인 적응

1. 문제 정의 (Problem)

기존의 종단간 (End-to-End) ASR 시스템은 도메인 적응을 위해 음성 - 텍스트 쌍 (Paired Speech-Text) 데이터가 필수적이었습니다. 그러나 최근 LLM 기반 ASR 아키텍처 (음성 인코더와 대형 언어 모델을 연결하는 프로젝션 모듈 사용) 는 텍스트만 있는 데이터로도 적응이 가능하게 되었습니다.

하지만 텍스트 전용 적응 (Text-only Adaptation) 방식에는 치명적인 단점이 존재합니다.

모달리티 간극 (Modality Gap): LLM 이 청결한 텍스트로만 학습되면, 실제 음성 프로젝터 (Speech Projector) 를 통해 생성되는 '노이즈가 섞인' 표현 (Noisy Representations) 을 이해하지 못하게 됩니다.
이로 인해 음성 - 텍스트 간의 정렬 (Alignment) 이 약화되어 전사 품질이 저하됩니다.
의료, 금융 등 전문 도메인에서는 라벨링된 오디오 수집 비용이 매우 비싸지만, 도메인별 텍스트는 풍부하게 존재하는 경우가 많아 이 문제를 해결할 실용적인 방법이 필요합니다.

2. 방법론 (Methodology)

저자들은 텍스트 전용 적응의 한계를 극복하고 모달리티 간극을 줄이기 위해 혼합 배치 전략 (Mixed Batching, MB) 을 제안했습니다. 이 전략은 타겟 도메인의 텍스트 데이터와 제한된 양의 음성 - 텍스트 쌍 데이터를 함께 배치 (Batch) 에 포함시켜 학습하는 방식입니다.

학습 배치 구성 (Mixed Batch Strategy):
배치는 크게 소스 (Source) 영역과 타겟 (Target) 영역으로 나뉘며, 각 영역은 다음과 같은 세그먼트로 구성됩니다.

소스 데이터 (Source Data):
1. 쌍을 이룬 소스 음성 - 텍스트: 원본 오디오와 전사본 (기존 정렬 유지).
2. 프로젝터 유도 노이즈 토큰: 음성 프로젝션 결과를 LLM 임베딩 공간의 가장 가까운 토큰으로 매핑한 이산 시퀀스 (Discrete Sequence) 와 전사본.
3. 인위적으로 손상된 소스 전사본: nlpaug 등을 이용해 문자 수준으로 무작위 교란을 가한 텍스트와 원본 전사본 (오디오 없이 텍스트의 불규칙성 시뮬레이션).
타겟 데이터 (Target Data):
1. 쌍을 이룬 타겟 음성 - 텍스트: 실제 타겟 도메인 오디오와 전사본 (실제 음성 적응 유도).
2. 손상된 타겟 전사본: 위와 동일한 방식으로 교란된 타겟 텍스트와 전사본 (도메인별 언어 모델링 지원).

실험 설정:

아키텍처: WavLM-Large (음성 인코더) + Llama-3.2-3B-Instruct (LLM) + 학습 가능한 프로젝션 레이어.
적응 방식: 소스 도메인에서 베이스 모델을 학습한 후, 타겟 도메인 데이터로 LoRA (Low-Rank Adaptation) 만을 미세 조정 (Fine-tuning) 하여 파라미터 효율성을 높였습니다.
데이터 비율: 실험을 통해 타겟 텍스트 비율 ( $\tau_t$ ) 이 약 50% 일 때 최적의 성능을 보임을 확인하고, 이를 기준으로 실험을 진행했습니다.

3. 주요 기여 (Key Contributions)

배치 내 타겟 데이터 비율 분석: LLM 기반 ASR 에서 타겟 도메인 데이터의 양이 '타겟 도메인 특화'와 '소스 도메인 성능 유지' 사이의 트레이드오프를 만든다는 것을 규명했습니다.
하이브리드 적응 전략 제안: 텍스트 기반 적응 환경에 제한된 타겟 도메인 음성 - 텍스트 쌍을 혼합하는 혼합 배치 (Mixed Batching) 전략을 제안하여, 텍스트 전용 미세 조정 시 발생하는 모달리티 간극을 해결했습니다.
catastrophic forgetting (재앙적 망각) 완화: 기존 적응 방법에서 흔히 발생하는 소스 도메인 지식의 상실을 방지하면서 동시에 타겟 도메인 인식 성능을 향상시킴을 증명했습니다.

4. 실험 결과 (Results)

다양한 도메인 (은행, 보험, 농업, 악기 등) 에서 수행된 실험 결과는 다음과 같습니다.

제한된 오디오의 효과: 타겟 도메인 오디오 데이터의 단 10% 미만 (약 4 시간 미만) 만을 혼합 배치에 포함시켜도, 전체 오디오 데이터로 학습한 기존 ASR 미세 조정 (Standard ASR Fine-tuning) 과同等하거나 더 나은 단어 오류율 (WER) 을 달성했습니다.
- 예: 은행 도메인에서 10% 오디오만 사용 시 WER 4.55% 달성 (전체 오디오 사용 시 4.55% 와 유사).
모달리티 간극 해소: 텍스트 전용 적응 모델보다 혼합 배치 전략이 일관되게 우수한 성능을 보였습니다. 텍스트 적응은 도메인별 언어 능력을 향상시키고, 소량의 오디오는 음성 표현과 LLM 임베딩 공간의 정렬을 돕는 것으로 분석됩니다.
재앙적 망각 방지:
- 전통적 음성 - 텍스트 적응: 타겟 도메인 성능은 향상되었으나, 소스 도메인 (베이스 학습 데이터) 에서 성능이 크게 저하되는 재앙적 망각이 발생했습니다.
- 혼합 배치 (MB): 타겟 도메인 성능을 높이면서도 소스 도메인 성능 저하를 최소화하여 두 영역 모두에서 안정적인 성능을 유지했습니다.
최적 비율: 타겟 도메인에서 약 60% 정도의 쌍을 이룬 음성 - 텍스트 데이터가 포함될 때 성능이 정점에 달하는 경향을 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 데이터 효율성 (Data Efficiency) 측면에서 중요한 통찰을 제공합니다.

실용적 가치: 라벨링된 오디오 데이터가 귀중한 리소스인 실제 환경 (의료, 금융 등) 에서, 풍부한 텍스트 데이터와 소량의 오디오 데이터만으로도 고품질의 도메인 적응이 가능함을 증명했습니다.
기술적 기여: 텍스트 전용 학습으로 인한 모달리티 불일치 문제를 해결하는 동시에, 소스 도메인 지식을 보존하는 균형 잡힌 적응 전략을 제시했습니다.
결론: 소량의 타겟 도메인 오디오를 텍스트 데이터와 혼합하는 전략은 LLM 기반 ASR 의 도메인 적응을 위한 강력하고 효율적인 솔루션이며, 이는 저자원 (Low-resource) 환경에서의 ASR 배포에 큰 기여를 할 것으로 기대됩니다.