🤖 machine learning

Continual Learning for Monolingual End-to-End Automatic Speech Recognition

원저자: Steven Vander Eeckt, Hugo Van hamme

게시일 2026-01-22

📖 4 분 읽기☕ 가벼운 읽기

원저자: Steven Vander Eeckt, Hugo Van hamme

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 똑똑한 비서처럼, 네덜란드어를 완벽하게 이해하는 뛰어난 음성 인식 어시스턴트가 있다고 상상해 보세요. 당신은 이 비서에게 "주요" 네덜란드 방언을 완벽하게 훈련시켰고, 비서는 이 분야에서 최고입니다.

이제 당신은 이 비서에게 새로운 기술을 가르치려 합니다. 예를 들어 새로운 지역 방언이나 새로운 주제를 이해하는 법이죠. 당신은 비서를 앉혀두고 가르치기 시작합니다. 하지만 문제가 발생합니다. 새로운 기술을 배우자마자, 비서가 기존에 하던 일을 완벽하게 수행하는 법을 잊어버리기 시작하는 것입니다. 이것을 **파괴적 망각(Catastrophic Forgetting)**이라고 부릅니다. 마치 새로운 피아노 곡을 배웠는데, 그 과정에서 이미 마스터했던 곡의 근육 기억을 잊어버리는 것과 같습니다.

이 논문은 음성 인식 어시스턴트가 예전에 들었던 모든 녹음 파일을 모두 저장하지 않고도(그것은 엄청난 공간을 차지하니까요), 어떻게 하면 기존의 것을 잊지 않으면서 새로운 것을 배울 수 있는지 그 방법을 찾는 것에 관한 것입니다.

거대한 문제: "전부 아니면 전무"의 딜레마

연구진은 이 문제를 해결하기 위해 두 가지 주요 방법을 시도했습니다.

"강제 중단" 방식 (미세 조정/Fine-Tuning): 그냥 새로운 것을 가르칩니다.
- 결과: 어시스턴트는 새로운 것을 배우지만, 기존의 것을 잊어버립니다. 결국 전체적으로 실력이 떨어지게 됩니다.
"도서관" 방식 (결합 훈련/Joint Training): 모든 예전 녹음 파일과 새로운 녹음 파일을 거대한 도서관에 보관하고, 모든 데이터를 사용하여 처음부터 다시 가르칩니다.
- 결과: 이 방법은 완벽하게 작동합니다! 어시스턴트는 모든 것을 알게 됩니다. 하지만 현실에서는 불가능합니다. 예전의 테라바이트 단위 데이터를 영원히 보관할 수 없으며, 심지어 그 데이터를 계속 보유할 권한(개인정보 보호 문제)이 없을 수도 있기 때문입니다.

해결책: 지속 학습 (Continual Learning, "스마트한 공부" 방법들)

이 논문은 아주 적은 양의 예전 데이터만을 사용하여, 어시스턴트가 기존의 능력을 유지하면서 새로운 방언을 배울 수 있도록 돕는 다양한 "공부 기법"(지속 학습 방법)들을 테스트합니다.

연구진은 크게 두 가지 유형의 공부 기법을 테스트했습니다.

1. "정신 체육" 방식 (정규화 방법/Regularization Methods)

이 방법들은 어시스턴트의 뇌를 부드럽게 변화시키려고 노력합니다. 이들은 "새로운 것을 배워도 좋지만, 기존의 것에 중요한 뇌 부위는 건드리지 마라"라는 일종의 "가드레일"을 설치합니다.

비유: 좋아하는 노래의 스텝을 잊지 않으면서 새로운 춤 동작을 배우려는 것과 같습니다. 기존의 스텝을 망가뜨리지 않도록 조심하는 것이죠.
결과: 이 방법들은 대부분 실망스러웠습니다. "가드레일"이 너무 경직되어 있었습니다. 어시스턴트는 새로운 방언을 잘 배우지 못하고 정체되거나, 혹은 새로운 것을 배우긴 했지만 여전히 기존의 것을 잊어버렸습니다. 이는 무거운 배낭을 메고 외줄 타기를 하려는 것과 같습니다. 너무 힘들어서 새로운 것을 배울 만큼 빠르게 움직일 수가 없는 것이죠.

2. "플래시카드" 방식 (재현 방법/Rehearsal Methods)

이 방법들은 아주 작은 "기억 저장소"(작은 공책)를 사용합니다. 여기에는 예전 작업에서 추출한 단 몇 개의 문장(500개)이 들어있습니다. 어시스턴트가 새로운 것을 배울 때마다, 이 플래시카드들을 빠르게 복습합니다.

비유: 도서관 전체를 기억하려고 애쓰는 대신, 예전의 "베스트 히트곡"들만 엄선하여 작은 공책에 담아두는 것입니다. 새로운 노래를 배우기 전에, 기존의 히트곡들을 빠르게 흥얼거리며 기억을 되살리는 것과 같습니다.
결과: 이 방법이 훨씬 더 효과적이었습니다.

최고의 성과자: 지식 증류 (지식 증류/Knowledge Distillation, "멘토" 시스템)

모든 플래시카드 방식 중에서 하나가 압도적인 우승자로 떠올랐습니다. 그것은 바로 **지식 증류 (Knowledge Distillation, KD)**입니다.

작동 원리: 어시스턴트에게는 "과거의 나"(첫 번째 작업을 학습한 모델)와 "현재의 나"(새로운 작업을 학습 중인 모델)가 있다고 상상해 보세요. 현재의 내가 새로운 것을 배울 때, 과거의 내가 멘토 역할을 합니다. 현재의 나는 플래시카드를 바탕으로 과거의 내가 내놓은 답변을 보고, 새로운 자료를 배우는 동시에 과거의 나를 모방하려고 노력합니다.
마법 같은 결과: 연구진은 이 "멘토" 시스템과 아주 작은 공책(원래 데이터의 단 **0.6%**만 포함)을 사용했을 때, 어시스턴트가 "모든 것을 잊어버리는 것"과 "모든 것을 아는 것" 사이의 간극을 40% 이상 좁힐 수 있다는 것을 발견했습니다.
저장 용량의 승리: 보통 기억 저장소는 학습할 작업이 늘어날수록 커지기 마련입니다. 하지만 연구진은 이 공책의 크기를 매우 작게(데이터의 0.2%) 고정해도 놀라운 결과를 얻을 수 있음을 보여주었습니다. 이는 거대한 하드 드라이브가 필요 없으며, 작은 USB 스틱 하나면 충분하다는 것을 의미합니다.

결론

음성 인식 시스템이 새로운 방언이나 주제를 이해하도록 업데이트하고 싶다면:

그냥 새로운 데이터로 재학습시키지 마세요 (기존의 것을 잊어버릴 것입니다).
모든 예전 녹음 파일을 보관하려 하지 마세요 (비용이 너무 많이 들고 비현실적입니다).
예전 데이터의 아주 작은 샘플을 보관하는 "플래시카드" 방식을 사용하세요.
가장 좋은 방법은: 그 몇 안 되는 플래시카드를 바탕으로 과거의 모델 행동을 모방하며 배우는 "멘토" 기술(지식 증류)을 사용하는 것입니다.

이 접근 방식을 통해 음성 어시스턴트는 원래의 기술을 잃지 않으면서도, 아주 적은 양의 데이터 저장 공간만을 사용하여 시간이 흐름에 따라 점점 더 똑똑하고 다재다능해질 수 있습니다.

기술 요약: 단일 언어 종단간 자동 음성 인식(E2E ASR)을 위한 지속 학습(Continual Learning)

문제 정의

자동 음성 인식(ASR) 모델, 특히 종단간(End-to-End, E2E) 아키텍처는 새로운 도메인, 악센트 또는 방언에 적응할 때 파괴적 망각(Catastrophic Forgetting, CF) 문제를 겪습니다. 단일 언어 내에서도, 원래의 작업과 새로운 작업 사이의 데이터 분포 변화는 원래 작업에 대한 모델의 성능 저하를 야기합니다. 표준 미세 조정(Fine-tuning)은 이 문제를 더욱 악화시킵니다. 지속 학습(CL) 방법론이 이미지 분류 분야에서는 탐구되어 왔으나, E2E ASR에 대한 적용 연구는 아직 미흡한 상태입니다. 기존의 ASR 특화 CL 연구들은 주로 HMM 기반 음향 모델, 사전 학습된 wav2vec2 모델, 또는 후속 작업이 초기 작업보다 현저히 작은 특정 시나리오에 집중되어 있습니다. 이전 작업의 검증 세트에 접근하여 하이퍼파라미터를 최적화하지 않고도, 광범위한 CL 방법론을 단일 언어 E2E Hybrid CTC-Transformer 모델에 대해 평가할 필요가 있습니다.

방법론

모델 아키텍처 및 설정

본 연구는 Corpus Gesproken Nederlands (CGN) 데이터셋으로 학습된 Hybrid CTC/Transformer 모델([21] 참조)을 활용합니다. 모델은 다음과 같은 결합 손실 함수를 사용합니다:
$L(X, y; \theta) = c \cdot L_c(X, y; \theta) + (1-c) \cdot L_d(X, y; \theta)$
여기서 $L_c$ 는 CTC 손실, $L_d$ 는 디코더 교차 엔트로피 손실이며, $c=0.3$ 입니다. 어휘 사전은 Sentence Piece로 생성된 300개의 워드 피스(word pieces)로 구성됩니다.

실험 설정은 방언 및 지역에 따라 네 가지 순차적 작업(NL-main, VL-main, NL-rest, VL-rest)으로 구성됩니다. 목표는 모델 $\theta_T$ 가 이전 데이터셋 $D_1, \dots, D_{T-1}$ 에 직접 접근하지 않고도(리허설 기반 방법의 작은 메모리 버퍼 제외) 모든 작업에 대한 누적 손실을 최소화하도록 순차적으로 학습하는 것입니다.

평가된 지속 학습 방법론

본 논문은 두 그룹으로 분류된 11가지 CL 방법을 구현하고 비교합니다:

규제 기반 방법 (Regularization-based Methods): 이전 작업에 중요한 파라미터의 급격한 변화를 방지하기 위해 손실 함수에 페널티 항을 추가합니다.
- EWC (Elastic Weight Consolidation): Fisher 정보 행렬의 대각 성분을 사용하여 L2 규제에 가중치를 부여합니다.
- MAS (Memory-Aware Synapses): 파라미터 변화에 따른 출력 노름(norm)의 민감도를 기반으로 중요도 가중치를 계산합니다.
- CSQN & CSQN-BT: 저계수 헤시안 근사(low-rank Hessian approximations)를 통해 파라미터 간의 상호작용을 고려하여 EWC를 확장합니다.
- LWF (Learning Without Forgetting): 새로운 작업의 데이터를 사용하여 이전 모델(교사)과 새 모델(학생) 간의 지식 증류(knowledge distillation)를 수행합니다.
리허설 기반 방법 (Rehearsal-based Methods): 이전 작업의 대표 샘플을 담은 작은 메모리 버퍼를 활용합니다.
- ER (Experience Replay): 표준 미니 배치 혼합 방식이며, 가중치 손실을 사용하는 **ER ( $\lambda$ )**과 병합된 학습 세트를 사용하는 BER (Batch-level ER) 변형이 포함됩니다.
- A-GEM (Average-Gradient Episodic Memory): 그라디언트가 메모리 버퍼의 그라디언트와 부정적으로 간섭하지 않도록 그라디언트를 투영합니다.
- KD (Knowledge Distillation): 새로운 작업의 데이터 대신 메모리에서 추출된 샘플에 대해 LWF 스타일의 지식 증류 손실을 적용합니다.

하이퍼파라미터 결정

이전 작업의 검증 세트 없이도 규제 가중치 $\lambda$ 를 결정할 수 있는 새롭고 효율적인 방법을 제안합니다. 이 방법은 현재 작업의 검증 세트에서 토큰 에러율(TER) 개선도를 기준으로 $\lambda$ 를 반복적으로 조정하며, 미규제 미세 조정 성능과 초기 모델 성능 사이의 격차를 줄이는 것을 목표로 합니다.

메모리 구성

리허설 기반 방법의 경우, 유의미한 문장 길이를 보장하도록 필터링된 500개의 발화(utterance)를 각 작업의 학습 세트에서 샘플링합니다. 부가 실험에서는 메모리가 작업 수에 따라 증가하지 않는 상황을 시뮬레이션하기 위해 고정 메모리 크기(총 500개 발화)를 테스트합니다.

주요 결과

성능 지표

본 연구는 평균 단어 에러율(AWER), 역방향 전이(Backward Transfer, BWT), 순방향 전이(Forward Transfer, FWT), 그리고 **커버리지(Coverage, COV)**를 사용하여 방법을 평가합니다. COV는 미세 조정(Fine-Tuning, FT) 하한선과 지속 공동 학습(Continued Joint Training, CJT) 상한선 사이의 격차를 방법이 얼마나 잘 메우는지 측정합니다.

규제 기반 성능: EWC, MAS, CSQN과 같은 방법들은 일반적으로 표준 미세 조정(FT)보다 성능이 낮거나 비슷했습니다. 이들은 파괴적 망포(BWT)를 줄이는 데는 성공했으나, 새로운 작업을 효과적으로 학습하는 데는 실패했습니다(낮은 FWT). 이는 작업들이 너무 유사하여 어떤 파라미터를 업데이트해야 할지와 무엇을 보존해야 할지 사이의 충돌을 일으켰기 때문입니다. LWF는 가장 강력한 규제 기반 방법으로, FWT에서 FT를 크게 앞질렀으나 COV는 12.4%에 그쳤습니다.
리허설 기반 성능: 메모리를 활용하는 방법들이 규제 전용 방식보다 유의미하게 높은 성능을 보였습니다.
- **KD (Knowledge Distillation)**가 최고의 성능을 보였으며, 41.7%의 COV를 달성했습니다(고정 메모리 사용 시 38.3%). 이는 FT의 망각을 70% 이상 줄이는 동시에 새로운 작업도 FT만큼 잘 학습했습니다.
- **ER ( $\lambda$ )**과 A-GEM 또한 강한 성능(각각 COV 27.2% 및 22.0%)을 보였습니다.
- 표준 ER은 메모리 버퍼에 과적합되어 성능이 저조했습니다.

저장 효율성

리허설 방법은 모델과 메모리 버퍼를 모두 저장해야 합니다. 증가하는 메모리(작업당 500개 발화)를 사용할 경우 약 3.24개의 모델 분량에 해당합니다. 고정 메모리(총 500개 발화)를 사용할 경우, 작업 수와 무관하게 저장 용량은 1.72개 모델로 떨어집니다.
규제 방법은 일반적으로 더 저장 효율적입니다(모델과 잠재적인 중요도 가중치만 저장). 그러나 LWF만이 FT 베이스라인을 개선할 수 있었습니다.
**공동 학습(JT/CJT)**은 모든 과거 데이터를 저장해야 하므로 약 260개의 모델 분량이 필요하며, 이는 지속적인 적응을 위해 실용적이지 않습니다.

고정 메모리 실험

메모리 크기를 500개 발화(네 가지 작업 후 원본 데이터의 0.2%)로 고정했을 때도 KD, ER ( $\lambda$ ), A-GEM의 성능은 견고하게 유지되었으며, 증가하는 메모리 설정과 비교해 성능 저하가 미미했습니다. 이는 매우 작고 일정한 메모리 풋프린트로도 높은 효능을 유지할 수 있음을 보여줍니다.

의의 및 주장

본 논문은 지속 학습이 단일 언어 E2E ASR 모델을 새로운 방언 및 도메인으로 확장하는 데 있어 실행 가능한 솔루션이라고 주장합니다.

리허설의 우월성: 본 연구는 리허설 기반 방법이 현재 E2E ASR에서 가장 실용적이고 효과적인 접근 방식이라고 결론짓습니다. 특히, **지식 증류(KD)**는 작은 메모리 버퍼를 통해 미세 조정(FT)과 공동 학습(CJT) 사이의 성능 격차를 40% 이상 메우면서도, 원본 데이터의 단 0.6%(고정 메모리 시 0.2%)만을 요구합니다.
규제의 한계: 파라미터 중요도를 추정하는 규제 기반 방법(EWC, MAS 등)은 작업들이 매우 유사할 때, 새로운 작업을 위해 업데이트해야 하는 파라미터와 기존 작업을 위해 보존해야 하는 파라미터를 구분하지 못해 어려움을 겪습니다.
실용성: 제안된 하이퍼파라미터( $\lambda$ ) 결정 방식은 이전의 검증 세트 없이도 현실적인 배포를 가능하게 합니다. 또한, 고정된 작은 메모리로도 높은 성능을 유지할 수 있는 능력은 모든 과거 데이터를 저장하는 것이 불가능한 실제 환경에서의 배포 제약(저장 공간 및 개인정보 보호)을 해결해주며, 이러한 방법론들을 실질적으로 구현 가능하게 만듭니다.

요약하자면, 본 논문은 작고 고정된 메모리 버퍼를 사용하면 지속 학습(특히 KD)이 단일 언어 E2E ASR에서 파괴적 망각을 효과적으로 완화할 수 있음을 입증하였으며, 이는 처음부터 다시 학습하거나 방대한 역사적 데이터셋을 저장할 필요 없이 모델을 지속적으로 향상시킬 수 있는 경로를 제시합니다.