💬 NLP

Weight Averaging: A Simple Yet Effective Method to Overcome Catastrophic Forgetting in Automatic Speech Recognition

이 논문은 기존 작업과 새로운 작업 모두에서 높은 성능을 달수록으로써 엔드투엔드 자동 음성 인식에서의 치명적 망각을 극복하기 위해, 선택적으로 지식 증류(knowledge distillation)로 강화된 단순하면서도 효과적인 가중치 평균화 방법을 제안한다.

원저자: Steven Vander Eeckt, Hugo Van hamme

게시일 2026-01-22

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Steven Vander Eeckt, Hugo Van hamme

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

문제점: "한 가지 작업만 하는" 뇌

당신이 미국식 영어를 이해하는 데 전문가인 아주 똑똑한 음성 인식 비서(AI)를 고용했다고 상상해 보세요. 당신은 이 비서가 매우 마음에 듭니다. 그러다 이제 이 비서가 스코틀랜드 억양도 이해할 수 있어야겠다고 결정합니다. 그래서 스코틀랜드 데이터를 가지고 비서를 훈련시킵니다.

함정: 스코틀랜드 영어를 가르치자마자, 비서는 미국식 영어를 말하는 법을 잊어버리기 시작합니다. 이것을 **파괴적 망각(Catastrophic Forgetting)**이라고 부릅니다. 이는 마치 어떤 학생이 역사 시험 공부에 너무 몰두한 나머지, 바로 전 주에 배웠던 수학 내용을 완전히 잊어버리는 것과 같습니다.

AI의 세계에서 이것은 거대한 문제입니다. 만약 시간이 흐름에 따라 AI에게 여러 언어나 방언을 가르치고 싶다면, 보통은 예전의 모든 데이터(예를 들어 수천 시간의 예전 대화 녹음본)를 다시 가르치기 위해 모두 저장해야 합니다. 이는 비용이 많이 들고, 느리며, 때로는 개인정보 보호 규칙 때문에 불가능하기도 합니다.

해결책: "섞기" 기술

이 논문의 저자들은 **가중치 평균화(Weight Averaging)**라고 불리는 놀라울 정도로 간단한 해결책을 제안합니다.

AI의 "뇌"(내부 설정 또는 "가중치")를 하나의 레시피라고 생각해 보세요.

기존 레시피: 당신은 미국식 영어에 대한 완벽한 레시피를 가지고 있습니다 (이를 레시피 A라고 부릅시다).
새로운 훈련: 당신은 스코틀랜드 영어를 배우기 위해 레시피 A를 약간 수정하여, 새로운 버전인 레시피 B를 만듭니다.
실수: 만약 당신이 그냥 레시レシピ B를 사용한다면, 미국식 영어의 풍미를 잃게 됩니다. 반대로 레시피 A만 사용한다면, 스코틀랜드 영어를 이해할 수 없습니다.
해결책: 둘 중 하나를 선택하는 대신, 레시피 A 한 숟가락과 레시피 B 한 숟가락을 가져와서 함께 섞어 레시피 C를 만듭니다.

AI의 "옛날" 뇌와 "새로 훈련된" 뇌를 수학적으로 평균 내어 섞음으로써, AI는 새로운 작업을 잘 수행하면서도 기존 작업의 지식을 유지할 수 있습니다.

테스트 방법

연구진은 이 아이디어를 두 가지 시나리오에서 테스트했습니다.

방언 테스트 (단일 언어): AI에게 6가지 다른 영어 방언(미국, 영국, 호주, 인도, 스코틀랜드, 아일랜드)을 차례대로 가르쳤습니다.
- 결과: "섞기" 방법은 믿기 힘들 정도로 잘 작동했습니다. AI는 여섯 번째 방언을 배울 때도 첫 번째 방량을 거의 완벽하게 기억해 냈으며, 메모리 뱅크에 데이터를 저장하려고 시도한 다른 모든 방법들을 능가했습니다.
언어 테스트 (다중 언어): 영어, 그다음에는 네덜란드어, 스웨덴어, 폴란드어, 러시아어를 가르쳤습니다. 이 언어들은 방언보다 서로 훨씬 더 다릅니다.
- 결과: 일반적으로 여기서 망각은 더 심하게 일어납니다. 하지만 "섞기" 방법은 여전히 경쟁자들을 압도했습니다. 이 방법은 단 한 문장의 추가 데이터도 저장하지 않고도 새로운 언어들을 학습하면서 기존의 언어들을 지워버리지 않았습니다.

국물을 섞는 두 가지 방법

이 논문은 이 평균화 작업을 수행하는 두 가지 방법을 제시합니다.

50/50 믹스: 단순히 이전 모델과 새 모델을 같은 비율로 섞는 것입니다. 이 방법도 잘 작동하지만, 때때로 AI가 아주 첫 번째 작업에 대해 아주 조금 잊어버리는 경우가 생깁니다.
"동등한 역사" 믹스: 이것이 승자입니다. 만약 당신이 5가지 작업을 배웠다고 가정해 봅시다. 현재의 모델을 바로 직전의 모델과 섞는 대신, 지금까지 만들어온 모든 버전의 모델과 섞는 것입니다. 이를 통해 첫 번째 작업이 마지막 작업만큼이나 동일한 관심을 받을 수 있도록 보장합니다.

"선생님" 보너스 (지식 증류)

때로는 단순히 레시피를 섞는 것만으로는 충분하지 않을 수 있습니다. 특히 새로운 작업이 매우 다를 때(예: 영어에서 러시아어로 전환할 때) 그렇습니다.

저자들은 "선생님" 단계를 추가했습니다. 레시피를 섞기 전에, "옛날 AI"(선생님)가 "새로운 AI"가 배우는 과정을 지켜보게 했습니다.
선생님은 이렇게 말합니다. "헤이, 이 소리가 들릴 때, 이게 예전에는 X를 의미했다는 걸 기억해. Y가 아니라 말이야."
이는 새로운 모델이 학습 과정 중에 기존 지식을 더 잘 유지하도록 도와줍니다. 논문에서는 이를 LWFA(망각 없이 학습하기 + 평균화)라고 부릅습니다. 이 방법은 매우 다른 언어를 배울 때 특히 도움이 된다는 것이 증명되었습니다.

핵심 요약

보통 AI가 잊어버리는 것을 막으려면, 복습을 위해 거대한 "메모리 뱅크"와 많은 양의 옛 데이터가 필요합니다. 하지만 이 논문은 그 메모리 뱅크가 전혀 필요하지 않다는 것을 보여줍니다.

새로운 작업을 배우기 전과 후의 AI 뇌를 단순히 평균 내는 것만으로도, 새로운 기술을 마스터하면서 기존의 기술을 계속 살려둘 수 있습니다. 이 방법은 매우 단순하며, 추가적인 저장 공간을 요구하지 않고, 데이터를 저장하려고 시도하는 복잡한 방법들보다 더 뛰어납니다.

요약하자면: 새로운 레시피를 배운다고 해서 기존의 레시피를 버리지 마세요. 그냥 그것들을 함께 섞으세요. 그러면 두 가지의 장점을 모두 얻을 수 있습니다.

기술 요약: ASR의 파괴적 망각을 위한 가중치 평균화(Weight Averaging)

문제 정의
훈련된 자동 음성 인식(ASR) 모델을 새로운 작업(예: 새로운 화자, 방언 또는 언어)에 적응시키는 과정은 종종 **파괴적 망각(Catastrophic Forgetting, CF)**을 초래하며, 이로 인해 모델이 이전에 학습한 작업에 대한 성능을 상실하게 됩니다. 이는 지속적 학습(Continual Learning, CL) 시스템을 구축하거나, 모든 과거 데이터를 재학습하는 데 드는 막대한 계산 및 자원 소모 없이 새로 사용 가능한 데이터를 활용하는 능력을 심각하게 제한합니다. 지속적 학습 방법들이 존재하지만, 많은 방식이 리허설(과거 샘플 저장)에 의존하여 개인정보 보호 문제를 일으키거나 추론을 복잡하게 만드는 작업별 파라미터를 요구합니다. 기존의 정규화 기반 방법들은 엔드 투 엔드(E2E) ASR에서 제한적인 효과만을 보여왔습니다.

방법론
저자들은 새로운 작업 $t$ 가 가용해진 후 두 가지 뚜렷한 단계로 작동하는 단순하면서도 효과적인 CL 방법인 **가중치 평균화(Weight Averaging)**를 제안합니다.

적응(Adaptation): 이전 작업들에 대해 훈련된 파라미터 $\theta_{t-1}$ 을 가진 모델을 새로운 작업 $t$ 에 적응시킵니다. 이 적응은 다음과 같이 수행될 수 있습니다:
- 나이브 미세 조정(Naive Fine-Tuning): 새로운 작업 데이터에 대한 표준 훈련.
- 망각 없는 학습(Learning Without Forgetting, LWF): 표준 크로스 엔트로피 및 CTC 손실에 지식 증류 손실( $L_{lwf}$ )을 추가하는 정규화 기반 접근 방식입니다. 이 손실은 새 모델이 새로운 작업의 데이터에 대해 이전 모델( $\theta_{t-1}$ )의 출력 확률을 모방하도록 강제함으로써, 과거 샘플을 저장하지 않고도 기존 지식을 보존합니다.
- 결과적으로 적응된 파라미터를 $\hat{\theta}_t$ 라고 합니다.
가중치 평균화(Weight Averaging): 최종 파라미터 $\theta_t$ 는 이전 모델( $\theta_{t-1}$ )과 적응된 모델( $\hat{\theta}_t$ )의 가중 평균으로 계산됩니다:
$\theta_t = (1 - \eta)\theta_{t-1} + \eta\hat{\theta}_t$
여기서 $0 \le \eta \le 1$ 입니다. 논문은 $\eta$ 에 대해 두 가지 전략을 조사합니다:
- 고정된 $\eta = 0.5$ : 이전 모델의 기여도가 지수적으로 감소하는 지수 이동 평균입니다.
- 동적 $\eta = 1/t$ : 산술 평균으로, 작업 $t$ 까지의 모든 적응된 모델이 동일하게 기여합니다 ( $\theta_t = \frac{1}{t} \sum_{i=1}^t \hat{\theta}_i$ ).

만약 모델 아키텍처가 공유 파라미터( $\theta_S$ )와 작업별 파라미터( $\theta_U$ )를 포함한다면, 평균화는 공유된 구성 요소에만 적용됩니다.

주요 기여

메모리 프리 CL(Memory-Free CL): 이 방법은 과거 샘의 메모리 버퍼를 필요로 하지 않으면서 높은 지속적 학습 성능을 달 Achieve하여, 리허설 기반 방법과 관련된 개인정보 보호 및 저장 공간 제약 문제를 해결합니다.
단순성 및 효과성: 이 접근 방식은 계산적으로 단순하며, 적응 단계(LWF의 경우) 동안 이전 모델의 단일 순전파(forward pass)와 파라미터 평균화 단계만을 필요로 합니다.
이중 작업 아키텍처 지원: 이 방법은 단일 언어(공유 모델) 및 다국어(공계 인코더, 작업별 디코더) ASR 아키텍처 모두에서 검증되었습니다.

실험 결과
저자들은 Conformer 인코더와 Transformer 디코더로 구성된 E2E 모델을 사용하여 Common Voice (CV) 데이터셋에서 이 방법을 평가했습니다.

단일 언어 실험 (6개 영어 방언):
- 제안된 방법들(FTA: 평균화를 적용한 미세 조정; LWFA: 평균화를 적용한 LWF)은 2,000개의 문장을 저장한 경험 재생(Experience Replay, ER)을 포함한 모든 베이스라인을 유의미하게 능가했습니다.
- 최적의 설정( $\eta = 1/t$ )은 **13.72%**의 평균 단어 오류율(AVG WER)을 달성하여, 가장 강력한 베이스라인(2k 샘플을 사용한 ER, 14.20%)보다 3.4% 더 우수한 성능을 보였습니다.
- 역방향 전이(Backward Transfer, BWT, 망각의 척도)는 나이브 미세 조정의 -2.5%와 비교하여 거의 0(-0.1%)에 가깝게 감소했습니다.
다국어 실험 (5개 언어):
- 작업 간의 이질성으로 인해 이 환경에서 망각이 더 심하게 나타났습니다. 나이브 미세 조정은 파괴적 망각(BWT -22.2%)을 초래했습니다.
- $\eta = 1/t$ 를 적용한 LWFA는 **19.54%**의 AVG WER로 최상의 성능을 기록하며, 강력한 베이스라인(2k 샘플을 사용한 ER, 23.65%)을 17.4% 차이로 앞질렀습니다.
- LWFA는 메모리 저장 공간 없이도 ER에서 관찰된 망각을 약 88.9% 감소시켰습니다.
- 다국어 환경에서는 적응 중 LWF 손실을 추가하는 것이 단순 미세 조정보다 상당한 성능 향상을 제공한 반면, 단일 언어 환경에서는 FTA와 LWFA의 차이가 미미했습니다.

의의 및 주장
본 논문은 가중치 평균화가 E2E ASR의 파괴적 망각에 대한 "단순하면서도 효과적인" 해결책이라고 주장합니다. 저자들은 자신들의 방법이 다음과 같다고 단언합니다:

메모리 필요성 제거: 샘플을 저장해야 했던 기존의 SOTA(State-of-the-Art) ASR용 CL 방법들과 달리, 이 방법은 메모리 버퍼 없이도 우수한 성능을 달성합니다.
완벽에 가까운 유지 능력: $\eta = 1/t$ 를 사용할 때, 이 방법은 새로운 작업을 효과적으로 학습하면서도 "거의 제로에 가까운 망각"을 실현합니다.
아키텍처 전반의 일반화: 이 방법은 단일 언어(전체 공유) 및 다국어(부분 공유) 시나리오 모두에서 견고합니다.

저자들은 가중치 평균화의 성공을 가중치 평균화가 손실 지형(loss landscape)에서 "더 넓은 최적점(wider optima)"을 생성하여, 체크포인트 평균화 및 모델 수프(model soups)에서의 관찰과 유사하게 일반화 성능을 높인다는 이론적 발견 덕분이라고 설명합니다. 결론적으로, 이 접근 방식은 이전에 필수적이라고 여겨졌던 자원 오버헤드 없이 고성능 지속적 학습을 가능하게 합니다.