⚡ electrical engineering

Improving Large-Scale Weakly Supervised ASR by Filtering and Selection

이 논문은 초기 사전 학습과 문자 오류율 기반 필터링 및 도메인 특화 음향 선택을 결합하여 90,000시간의 일본어 데이터셋에서 문자 오류율을 최대 6.4%까지 성공적으로 감소시킨 대규모 약지도 학습 ASR을 위한 새로운 3단계 학습 방식을 제안한다.

원저자: Kohei Matsuura, Masato Mimura

게시일 2026-06-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kohei Matsuura, Masato Mimura

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 인간의 말을 이해하도록 가르치고 있다고 상상해 보세요. 이를 위한 가장 좋은 방법은 수백만 시간의 대화 데이터를 로봇에게 입력하는 것입니다. 하지만 여기 문제가 있습니다. 완벽한 전사 데이터(오디오와 일치하는 텍스트)가 없다는 점입니다. 대신, 인터넷에서 긁어모은 방대하고 엉망진창인 오디오와 텍스트 뭉치를 가지고 있습니다. 어떤 텍스트는 완벽하지만, 많은 양이 오타, 누락된 단어, 또는 컴퓨터의 실수로 인해 완전히 잘못된 내용으로 가득 차 있습니다. 연구자들은 이것을 "약지도 학습(weakly supervised)" 데이터셋이라고 부릅니다.

Matsuura와 Mimura의 논문은 이 엉망인 데이터 뭉치를 어떻게 스마트한 음성 인식 교사로 탈바꿈시키는지, 즉 **필터링(Filtering)**과 **선택(Selection)**이라는 세 단계의 과정을 통해 설명합니다.

그들이 수행한 방법을 쉽게 설명하면 다음과 같습니다.

문제점: "소란스러운 교실"

교실에 9만 시간 분량의 학생들의 말하기 데이터가 있다고 상상해 보세요. 선생님(AI)은 학생들이 무엇을 말하고 있는지 배우려고 노력 중입니다. 하지만 선생님의 교과서(레이블/정답)에는 오류가 가득합니다. 어떤 때는 학생이 "배(pear)"라고 말했는데 교과서에는 "사과(apple)"라고 적혀 있기도 합니다. 때로는 말하지 않은 단어가 추가되기도 합니다. 만약 선생님이 이 엉망인 교과서를 그대로 암기하려고 한다면, 혼란에 빠져 성능이 저해될 것입니다.

해결책: 3단계 훈련 캠프

저자들은 데이터를 버리지 않고도 학습 과정을 정화하는 영리한 방법을 제안합니다.

1단계: "초안 작성" (사전 학습, Pretraining)

먼저, AI가 오류를 포함한 전체의 지저난 데이터셋을 공부하게 합니다.

비유: 이것은 학생이 오타가 있는 책들을 포함하여 도서관 전체를 빠르게 훑어보는 것과 같습니다. 아직 완벽해지려는 것이 아니라, 언어가 어떻게 작동하는지 전반적인 감을 잡는 단계입니다.
결과: AI는 음성의 기초를 배우지만, 여전히 잘못된 레이블 때문에 다소 혼란스러워합니다.

2단계: "품질 관리" (필터링, Filtering)

이제 마법 같은 일이 일어납니다. AI는 방금 공부한 엉망인 교과서를 바탕으로, 자신이 들은 오디오를 스스로에게 다시 "읽어" 봅니다. 그리고 자신이 들은 것과 원래의 엉망인 레이블을 비교합니다.

비유: 학생이 엉망인 교과서에 적힌 문장을 소리 내어 읽는다고 상상해 보세요. 만약 텍스트에는 "고양이가 매트 위에 앉아 있다"라고 되어 있는데 학생이 듣기에는 "고양이가 모자 위에 앉아 있다"라고 들린다면, 학생은 무언가 잘못되었다는 것을 알게 됩니다.
실행: 그들은 "혼란 점수(Confusion Score)"(문자 에러율, CER이라 불림)를 계산합니다. 이 점수가 너무 높으면, 해당 레이블은 아마도 쓰레기(오타가 너무 많거나 단어가 누락됨)일 가능성이 높습니다. 그러면 그 특정의 나쁜 예시들을 버립니다.
놀라운 점: 그들은 단순히 나쁜 것을 버리기만 한 것이 아닙니다. "괜찮은" 것과 "좋은" 것들을 남겨두었습니다. 그런 다음, AI가 이 정제된 뭉치를 다시 공부하게 만들었습니다.
결과: 이미 보았던 데이터를 다시 공부했음에도 불구하고, "노이즈(잡음)"를 제거했더니 AI가 훨씬 더 똑똑해졌습니다. 이는 마치 누군가가 드디어 오타를 모두 고쳐 놓은 교과서를 공부하는 것과 같습니다.

3단계: "전문 튜터" (선택, Selection)

마지막으로, 그들은 AI가 특정 유형의 음성(예: 시끄러운 카페 또는 격식 있는 강연장)에 대해 정말 잘할 수 있는지 확인하고 싶었습니다.

비유: AI가 모든 사람과 대화할 줄 아는 일반론적인 전문가라고 상상해 보세요. 이제 당신은 이 AI가 시끄러운 카페에서도 사람들을 잘 이해하는 전문가가 되기를 원합니다. 새로운 데이터를 찾는 대신, 방금 정제한 데이터 뭉치를 살펴보고 이렇게 묻습니다. "이 9만 시간의 오디오 중 어떤 것이 타겟 환경(시끄러운 카페)과 가장 비슷하게 들리는가?"
실행: 그들은 수학적인 "유사도 점수(similarity score)"를 사용하여 타겟 환경과 가장 유사한 상위 50만 개의 샘플을 뽑아냅니다. 그런 다음, 이 유사한 샘플들만을 사용하여 AI에게 짧고 집중적인 훈련 세션(미세 조정, fine-tuning)을 제공합니다.
결과: AI는 전문가가 되었습니다. 새로운 데이터셋이 필요했던 것이 아니라, 기존 데이터셋의 올바른 부분에 집중하기만 하면 되었습니다.

핵심 요약

이 논문은 거대한 일본어 데이터셋(9만 시간)을 대상으로 테스트했습니다.

**필터링(2단계)**은 AI의 정확도를 약 6.4% 향м 향상시켰습니다.
**선택(3단계)**은 이를 추가로 4.0% 더 향상시켰습니다.
결합했을 때, 동일한 데이터셋을 재사용하고 정제하는 것만으로도 오류를 거의 9% 줄였습니다.

핵심 교훈: 항상 더 많은 데이터가 필요한 것은 아닙니다. 때로는 어떤 데이터를 사용하는지가 더 중요합니다. "쓰레기" 같은 레이블을 걸러내고, 그 후 "가장 관련 있는" 샘플을 선택함으로써, 엉망인 약지도 학습 데이터셋을 강력한 훈련 도구로 바꿀 수 있습니다. 이것은 오타가 가득한 엉망인 노트를 공부하는 것과, 동일한 정보의 정제된 고품질 요약본을 공부하는 것의 차이와 같습니다.

기술 요약: 필터링 및 선택을 통한 대규모 약지도 학습 기반 ASR 성능 향상

문제 정의
대규모 약지도(weakly supervised) 데이터셋은 강력한 엔드투엔드(end-to-end) 자동 음성 인식(ASR) 모델을 훈련하는 데 필수적입니다. 그러나 인터넷 및 내부 아카이브에서 수집된 이러한 데이터셋은 두 가지 주요 한계점을 가집니다: (1) 오타, 발화되지 않은 부가 텍스트, 타임스탬프 불일치 등을 포함한 노이즈가 섞인 레이블의 존재, 그리고 (2) 도메인 특수성의 결여로 인해 특정 타겟 도메인에서 모델이 최적의 성능을 내지 못할 수 있다는 점입니다. 준지도 학습(semi-supervised learning)에서는 흔히 신뢰도 기반 필터링을 사용하지만, 대규모 약지도 데이터셋에서 이러한 전략의 효과는 아직 충분히 탐구되지 않았습니다. 또한, 기존의 데이터 선택 연구는 주로 훈련 시간 단축을 위한 코어셋(core-set) 선택에 집중되어 있으며, 동일한 데이터셋을 사용하여 도메인 적응을 통해 강건성을 향상시키는 연구는 미흡합니다.

방법론
저자들은 단일 대규모 약지도 데이터셋을 사용하여 모델을 반복적으로 정교화하도록 설계된 새로운 3단계 훈련 접근 방식을 제안합니다.

1단계: 초기 사전 훈련(Initial Pretraining): 연결주의 시간적 분류(CTC)를 기반으로 하는 인코더 전용 ASR 모델을 전체 대규모 데이터셋에 대해 사전 훈련합니다. 저자들은 이후의 필터링 단계에서 예측 생성을 효율적으로 수행하고 환각(hallucination) 현상에 강건하기 위해 CTC 기반 모델을 선택했습니다. 이 단계는 레이블의 대부분이 실제 음성 내용을 반영하고 있기 때문에, 노이즈에도 불구하고 모델이 ASR 태스크를 거칠게(coarsely) 학습할 수 있도록 합니다.
2단계: 필터링 및 지속 사전 훈련(Filtering and Continued Pretraining): 1단계의 모델을 사용하여 데이터셋 내의 모든 음성을 전사합니다. 모델의 예측값과 원래의 노이즈가 섞인 레이블 사이의 음절 오류율(Character Error Rate, CER)을 계산합니다. CER이 미리 정의된 임계값 $r$ 을 초과하는 샘플은 제외됩니다. 그 후, 모델은 필터링된 서브셋을 대상으로 지속 사전 훈련을 수행합니다. 저자들은 낮은 임계값이 레이블 품질을 보장하지만, '어렵지만' 올바르게 레이블링된 샘플까지 제거하여 모델이 쉬운 데이터 쪽으로 편향될 위험이 있다고 가정합니다. 따라서 최적의 임계값은 레이블 품질과 데이터 다양성 사이의 균형을 맞추어야 합니다.
3단계: 데이터 선택 및 미세 조정(Data Selection and Fine-tuning): 타겟 도메인 훈련 세트가 없는 경우, 저자들은 필터링된 데이터셋에서 타겟 도메인과 음향적으로 유사한 샘플을 선택하는 방식을 제안합니다. 이는 타겟 도메인의 평균 자기지도 학습(SSL) 임베딩과 데이터셋 내 샘플들의 임베딩 간의 코사인 유사도를 계산함으로써 이루어집니다. 가장 유사한 상위 $N$ 개의 샘플을 선택하여 지속 사전 훈련된 모델을 미세 조정합니다. 이 방법은 선형 복잡도를 유지하면서도 표현력이 풍부한 SSL 임베딩을 활용합니다.

주요 기여

새로운 훈련 파이프라인: 본 논문은 데이터 필터링과 선택을 연속적인 훈련 루프로 통합하여, 초기 사전 훈련 단계에서 사용된 샘 샘플을 재사용함으로써 모델 성능을 더욱 향상시키는 프레임워크를 소개합니다.
CER 기반 필터링 분석: 연구는 90,000시간 규모의 일본어 데이터셋을 통해 CER 기반 필터링의 영향을 실증적으로 검증하였으며, 레이블 품질과 데이터 다양성 사이의 트레이드오프를 식별했습니다.
유사도를 통한 도메인 적응: 저자들은 사전 훈련에 사용된 것과 동일한 데이터셋 내에서 선택된 음향적으로 유사한 샘플을 통해 미세 조정을 수행함으로써, 추가적인 외부 데이터 없이도 모델을 타겟 도메인에 효과적으로 적응시킬 수 있음을 입증했습니다.

실험 결과
실험은 90,000시간의 일본어 약지도 데이터셋을 대상으로 수행되었으며, 세 가지 공개 데이터셋인 CSJ(학술 강연), CommonVoice(크라우드소싱), Noisy-KU(노이즈가 있는 구어체)에서 평가되었습니다.

필터링 효능: 2단계에서 CER 임계값에 기반한 필터링은 모든 데이터셋에서 일관된 개선을 보였습니다. 최적의 임계값은 20에서 40 사이로 나타났습니다. 이 범위에서 최대 **6.4%**의 상대적 음절 오류율(CER) 감소를 달お성했습니다. 저자들은 매우 낮은 임계값(예: $r \le 10$ )은 이득이 제한적이라는 점을 언급하며, 데이터 다양성을 유지하는 것의 중요성을 강조했습니다.
선택 효능: 3단계에서, ( $r=30$ 으로 선택된) 음향적으로 유사한 샘플을 사용하여 Noisy-KU 데이터셋에 대해 미세 조정을 수행했을 때, 무작위로 선택된 샘플로 미세 조정을 했을 때보다 상대적 CER이 4.0% 감소했습니다.
전반적인 성능: 제안된 방식은 단일 훈련 데이터셋을 좁히고 재사용하는 것만으로 Noisy-KU 데이터셋의 CER을 38.8%에서 35.3%로(9.0% 상대적 감소) 줄였습니다. 또한 제안된 CTC 기반 모델은 일본어 특화 사전 훈련 데이터가 없는 상태에서도 Whisper Small 모델(두 배의 파라미터 수를 가짐)보다 일본어 벤치마크에서 더 우수한 성능을 보였습니다.

의의 및 주장
본 논문은 레이블 노이즈와 도메인 불일치를 체계적으로 해결함으로써 대규모 약지도 데이터셋을 효과적으로 활용할 수 있다고 주장합니다. 저자들은 필터링이나 선택을 위해 추가적인 외부 데이터셋을 요구하지 않고 기존 데이터를 정제하여 사용한다는 점에서 이 방법이 실용적임을 강조합니다. 또한, 필터링과 선택의 이점이 타겟 도메인 데이터로 미세 조정을 수행한 후에도 지속된다는 점을 밝혀, 이 접근 방식이 널리 적용 가능함을 시사합니다. 저자들의 지식 범위 내에서, 이는 사전 훈련에 사용된 것과 동일한 데이터셋에서 적절한 서브셋을 선택함으로써 강력한 사전 훈련된 ASR 모델을 더욱 개선할 수 있음을 보여준 첫 번째 연구입니다.