기술 요약: 인도어 ASR 을 위한 TTS-STT 플라이휠

1. 문제 제기

이 논문은 인도어 자동 음성 인식 (ASR) 의 치명적인 격차를 지적합니다. 최첨단 (SOTA) 오픈소스 및 상용 시스템은 표준 "읽기용 산문" 텍스트 (예: 뉴스, 위키백과) 에서는 잘 작동하지만, 개체 (entity) 가 밀집된 오디오에서는 현저히 실패합니다. 이 틈새 도메인에는 10 자리 전화번호, 화폐 금액 (로마자 숫자와 인도어 단어 모두 포함), 내장된 로마자 토큰을 가진 인도 주소, 브랜드 이름, 영어/인도어 코드 믹스 등 실제 업무 흐름 콘텐츠가 포함됩니다.

보유된 합성 개체 밀집 텔루구어 테스트 세트에서, 오픈소스 SOTA 모델 (vasista22/whisper-telugu-large-v2) 은 개체 정렬률 (EHR) 이 단 0.027에 불과했고, 상용 시스템 (Deepgram Nova-3) 은 0.16을 기록했습니다. 두 시스템 모두 훈련 말뭉치가 읽기용 산문 텍스트로 지배적이기 때문에, 이 데이터에 대해 읽기용 산문 성능에 비해 수직으로 낮은 성능을 보입니다.

2. 방법론: TTS-STT 플라이휠

저자들은 ASR 격차를 해소하기 위해 필요한 특정 훈련 데이터를 생성하는 데 오픈소스 텍스트 음성 변환 (TTS) 을 활용하는 자체 적응 플라이휠을 제안합니다.

A. 개체 밀집 합성 오디오 (EDSA) 말뭉치

• 생성: 파이프라인은 텔루구어, 힌디어, 타밀어 전반에 걸쳐 약 22,000 개의 개체 태그가 지정된 운반 구문을 생성하기 위해 Anthropic Haiku-4.5 를 사용합니다. 이는 정제된 개체 사전 (숫자, 화폐, 주소, 브랜드, 고유명사, 코드 믹스) 으로 시드됩니다.
• 합성 다양성: 단일 음성 분포에 과적합되는 것을 방지하기 위해, 구문은 Praxy R6(오픈소스), Vanilla Chatterbox, IndicF5, ElevenLabs v3, Cartesia sonic-3 등 다섯 가지 TTS 시스템을 통해 라우팅됩니다.
• 품질 관리: 기준 ASR 이 인식하지 못하는 합성 클립의 약 10~15% 를 제거하기 위해 클래스별 문자 오류율 (CER) 필터를 적용합니다.
• 텍스트 정렬: 기준 텍스트 레이블이 합성 오디오의 음향적 실현과 일치하도록, 숫자 열을 언어별 발음된 형태로 다시 쓰는 중요한 전처리 단계 (예: "54235"를 "five lakh forty-two thousand..."로 변환) 를 수행합니다.
• 비용: 이 말뭉치를 생성하는 한계 비용은 무료 크레딧을 제외하고 $50 미만으로, 인간 전사 비용의 일부에 불과합니다.

B. LoRA 미세 조정 레시피

저자들은 두 개의 기본 모델 위에 저랭크 적응 (LoRA) 을 사용하여 ASR 모델을 미세 조정합니다.

1. Praxy-STT-rb (헤드라인): vasista22(Whisper-large-v2) 를 EDSA 말뭉치와 실제 데이터 (IndicVoices, Common Voice, FLEURS) 가 혼합된 것으로 미세 조정합니다. 이 모델은 읽기용 산문 능력을 파괴적으로 망각하지 않도록 더 작은 학습률을 사용합니다.
2. Praxy-STT-r2: "스크립트 붕괴 (Script Collapse)"에 대한 언어 조건부 수정을 입증하기 위해 Whisper-large-v3 를 처음부터 미세 조정합니다.

C. 평가 지표

• 개체 정렬률 (EHR): 토큰 수준의 정확한 일치보다는 의미적 동등성을 위해 설계된 맞춤형 지표입니다. 화폐 ("5 lakh" 대 "500,000"), 브랜드, 발음된 숫자를 정규화합니다. 이는 결정적이며 LLM 판정자에 의존하지 않습니다.
• 스크립트 충실도율 (SFR): 목표 언어에 대한 올바른 유니코드 블록에 속하는 출력 문자의 비율을 측정하여 "스크립트 붕괴" (예: 텔루구어 오디오를 칸나다 문자로 전사) 를 감지합니다.

3. 주요 결과

A. 개체 밀집 인식 성능

훈련 중에는 보지 못한 Cartesia 오디오를 사용한 보유 합성 개체 밀집 테스트 세트에서:

• 텔루구어: 플라이휠 모델 (Praxy-STT-rb) 은 EHR 0.473을 달성했습니다. 이는 오픈소스 SOTA(0.027) 대비 17 배 개선이며, 상용 Deepgram Nova-3(0.16) 대비 3 배 개선입니다.
• 타밀어: 모델은 EHR 0.543을 달성했으며, 이는 오픈소스 SOTA 와 Deepgram(둘 다 약 0.025) 대비 22 배 개선입니다.
• 힌디어: 모델은 EHR 0.337(오픈소스 SOTA 대비 7 배) 을 달성했으나, Deepgram(0.485) 에서는 부진했습니다. 저자들은 이는 플라이휠이 상용 시스템이 아직 개체 커버리지에 투자하지 않은 영역에서 가장 효과적임을 시사한다고 지적합니다.

B. 원어 음성 전이

20 개의 원어 인간 녹음 텔루구어 구문을 사용한 건전성 확인 (sanity check) 은 모델이 합성 데이터를 넘어 일반화할 수 있음을 확인했습니다. 원어 음성에서의 EHR 은 0.516으로, 합성 보유 세트 (0.473) 보다 약간 높았으며, 이는 이득이 TTS 분포 과적합이 아닌 개체 학습에 기인함을 나타냅니다.

C. 읽기용 산문 후퇴

저자들은 정직한 트레이드오프를 보고합니다. 개체 인식이 개선되었지만, 읽기용 산문 단어 오류율 (WER) 은 약간 후퇴했습니다.

• 텔루구어: FLEURS-Te 에서 +6.6 백분율 포인트 (pp).
• 힌디어/타밀어: FLEURS 에서 사전 등록된 +7 pp 임계값을 초과하는 후퇴.
• 그러나 대화형 홀드아웃 (IndicVoices) 에서는 모델이 기본 모델과 동등한 성능을 유지했습니다.

D. 언어 조건부 스크립트 붕괴

이 논문은 Whisper-large-v3 의 텔루구어에서 특정 실패 모드를 식별했는데, 이는 자주 칸나다 또는 데바나가리 문자를 출력합니다 (SFR 0.46–0.71). 언어별 LoRA 수정이 이를 교정했습니다 (SFR 0.81–0.97). 그러나 저자들은 이 레시피가 이미 높은 스크립트 충실도 (SFR ≥0.98) 를 가진 힌디어와 타밀어에는 **금기 (contraindicated)**임을 발견했습니다. 해당 언어에 LoRA 를 적용하면 WER 후퇴와 SFR 감소가 크게 발생했습니다.

E. 제거 분석

EDSA 말뭉치 없이 읽기용 산문 데이터 (FLEURS-Te) 만으로 동일한 LoRA 레시피를 훈련한 제거 분석 결과, EHR 은 0.020(기준선 근처) 이었습니다. 이는 개체 인식 이득의 약 100% 가 LoRA 아키텍처 자체가 아닌 EDSA 말뭉치에 기인함을 결론적으로 입증합니다.

4. 중요성 및 주장

이 논문은 오픈소스와 상용 시스템 모두 현재 실패하는 틈새 개체 밀집 도메인에서 인도어 ASR 의 격차를 해소했다고 주장합니다. 그 중요성은 다음과 같습니다.

1. 비용 효율적인 데이터 합성: 오픈소스 TTS 와 LLM 을 사용하여 틈새 도메인을 위한 고품질 다양성 훈련 말뭉치를 $50 미만으로 생성할 수 있음을 입증하여, 인간 전사의 높은 비용을 우회합니다.
2. 성능 도약: 저자원 인도어에서 개체 인식을 17~22 배 개선하여 텔루구어와 타밀어에서 상용 API 를 능가합니다.
3. 방법론적 엄밀성: 개체 인식을 적절히 평가하기 위해 EHR 지표를 도입하고, 불필요한 언어에 해로운 미세 조정을 방지하기 위한 진단 (SFR 확인) 을 제공합니다.
4. 정직한 보고: 저자들은 명시적으로 모델이 사전 등록된 목표 (텔루구어 EHR ≥0.75) 를 달성하지 못했으며 여전히 과제는 "실질적으로 열려 있다"고 밝히고, 결과를 해결된 문제가 아닌 거의 제로인 기준선에서 큰 한 걸음으로 제시합니다.

모든 코드, 데이터, 개체 사전, 모델 가중치는 재현성을 보장하기 위해 오픈소스로 공개됩니다.