💬 NLP

When Synthetic Speech Is All You Have: Better Call GRPO

이 논문은 GRPO(Group Relative Policy Optimization)가 합성 음성만을 사용하여 대규모 언어 모델 기반 자동 음성 인식을 규제된 도메인에 적응시키는 데 있어 지도 미세 조정(supervised fine-tuning)보다 크게 우수함을 입증하며, 초기 레이어의 표현을 변경하기보다는 정지 보정(stopping calibration) 및 주의력 정렬(attention alignment)과 같은 행동적 측면을 개선함으로써 단어 오류율을 상대적으로 45% 감소시켰음을 보여준다.

원저자: Shashi Kumar, Yanis Labrak, Hasindri Watawana, Sergio Burdisso, Esaú Villatoro-Tello, Kadri Hacioğlu, Petr Motlicek, Andreas Stolcke

게시일 2026-07-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shashi Kumar, Yanis Labrak, Hasindri Watawana, Sergio Burdisso, Esaú Villatoro-Tello, Kadri Hacioğlu, Petr Motlicek, Andreas Stolcke

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 은행의 전화 통화를 듣는 똑똑한 로봇을 가르치려 한다고 상상해 보세요. 문제는 무엇일까요? 실제 은행 통화는 엄격한 개인정보 보호법 때문에 마음대로 가져와 연습할 수 없는 '비밀 금고'와 같다는 점입니다. 그래서 과학자들은 로봇을 훈련시키기 위해 컴퓨터가 만든 "가짜" 목소리(텍스트 음성 변환, TTS)를 사용하기로 했습니다.

하지만 반전이 있었습니다. 로봇이 혼란을 겪고 있었던 것입니다. 표준적인 방식(이를 지도 미세 조정 또는 SFT라고 부릅니다)으로 이 가짜 목소리들을 학습했을 때, 로봇은 환각 현상을 보이기 시작했습니다. 짧은 문장을 듣고 나서도 그냥 계속 말을 이어가며, 일어나지도 않은 일을 아주 자신감 있게 긴 문단으로 지어내 버리는 것이었습니다. 마치 학생이 선생님으로부터 "수도는 파리입니다"라는 말을 들은 뒤, 묻지도 않았는데 프랑스 역사에 대한 긴 에세이를 자신만만하게 써 내려가는 것과 같았습니다.

이 논문의 주요 발견은 GRPO(그룹 상대 정책 최적화)라는 새로운 훈련 기술이 이 문제를 해결한다는 것입니다. 단순히 가짜 목소리를 단어 하나하나 그대로 복사하는 대신, GRPO는 엄격한 코치처럼 행동합니다. "자, 이 문장을 다섯 가지 다른 방식으로 말해봐. 하지만 문장 전체가 말이 되고 적절한 시점에 딱 멈춰야만 높은 점수를 줄 거야"라고 말하는 식이죠.

빅 쇼다운: SFT vs. GRPO

연구진이 이 기술을 은행 업무에 테스트했을 때, 결과는 놀라웠습니다.

기존 방식 (Sft): 로봇이 큰 실수를 저질렀으며, 오류율은 **36.71%**였습니다. 주로 없던 단어를 추가하는 "삽입 오류"가 주된 원인이었습니다.
새로운 방식 (GRPO): 로봇은 태도를 고쳐 잡았고, 오류율은 **22.09%**로 떨어졌습니다. 이는 **40%**의 상대적 개선입니다!
파워 콤보: 먼저 기존 방식으로 로봇을 가르친 뒤 GRPO로 다듬었더니, 오류율은 **20.21%**까지 더 낮아졌습니다.

논문은 가짜 목소리의 독특한 음향적 특징을 완벽하게 흉내 낼 필요가 있다는 생각에 명시적으로 반대합니다. 표준적인 방식은 가짜 목소리의 아주 작은 결함까지도 복사하려고 애쓰는데, 이는 오히려 로봇을 더 나쁘게 만듭니다. GRPO는 그런 사소하고 이상한 결함들은 무시하고 큰 그림에 집중합니다. 즉, "정확한 단어를 말했는가, 그리고 오디오가 멈췄을 때 말을 멈췄는가?"에 집중하는 것입니다.

실제로 얼마나 많은 진짜 데이터가 필요한가요?

당신은 이렇게 생각할 수도 있습니다. "가짜 목소리가 그렇게 까다롭다면, 이를 해결하기 위해 엄청나게 많은 실제 인간의 녹음 데이터가 필요하지 않을까?" 논문은 다음과 같이 말합니다. 그럴 필요 없습니다.

연구진은 방대한 양의 가짜 목소리가 있다면, 마법을 부리기 위해 아주 적은 양의 실제 인간 음성만 있어도 된다는 것을 발견했습니다.

실제 음성이 0시간일 때, 오류율은 **22.09%**였습니다.
실제 음성을 단 1시간 추가하자 오류율은 **20.32%**로 떨어졌습니다.
5시간을 추가하니 **15.51%**로 떨어졌습니다.
하지만 여기서 핵심은, 실제 음성을 54시간이나 추가해도 겨우 **12.61%**로 낮아졌다는 점입니다.

논문은 첫 5~10시간의 실제 데이터가 전체 가능한 개선 효과의 약 3분의 2를 제공한다고 제안합니다. 그 이후에는 더 많은 실제 녹음 데이터를 수집하더라도 얻을 수 있는 이득이 매우 적습니다. 이는 라디오 주파수를 맞추는 것과 같습니다. 신호를 잡기 위해서는 약간의 실제 신호가 필요하지만, 일단 신호가 잡히고 나면 다이얼을 더 돌린다고 해서 음악이 훨씬 더 선명해지지는 않는 것과 같습니다.

왜 GRPO가 효과적인가요? (마법 뒤에 숨겨진 이유)

연구진은 GRPO가 왜 더 나은지 깊이 파고들었습니다. 이는 로봇이 뇌 속에 새로운 "언어"를 배웠기 때문이 아니라, 로봇의 행동이 변했기 때문이라는 것을 발견했습니다.

딱 맞춰 멈추기: 기존 방식(SFT)은 노래가 끝난 뒤에도 고음을 계속 내지르는 가수처럼, 오디오가 끝난 후에도 계속 말을 이어갔습니다. GRPO는 오디오가 멈출 때 정확히 멈추는 법을 배웠습니다. 즉, 언제 조용히 해야 하는지를 훨씬 더 잘 알게 되었습니다.
추측하지 말고 듣기: SFT를 사용할 때 로봇은 무엇을 들었는지 확신이 서지 않으면, 자신이 생각하기에 "있어야 할 법한" 내용을 바탕으로 추측하며 "환각"을 일으켰습니다. GRPO는 로봇이 오디오 증거에 충실하도록 강제했습니다. 오디오가 흐릿하면 이야기를 지어내는 대신 잠시 멈추도록 만든 것입니다.
전면 개편 불필요: 연구진은 로봇의 내부 "뇌파"(표현)를 측정했는데, GRPO가 로봇의 초기 기억을 다시 쓰는 것이 아님을 발견했습니다. GRPO는 단지 최종 의사결정 층을 미세하게 조정할 뿐입니다. 이는 엔진 성능이 좋지만 운전이 불안정한 자동차를 가져다가, 엔진을 새로 만드는 대신 운전자가 브레이크를 더 잘 밟도록 가르치는 것과 같습니다.

무엇이 효과가 없었나요?

논문은 또한 불필요하다는 것이 밝혀진 몇 가지 화려한 아이디어들도 테스트했습니다.

"최고의" 가짜 목소리 고르기: 연구진은 가장 다양하거나 흥미로운 가짜 목소리를 골라 훈련시키기 위해 복잡한 수학을 사용해 보았습니다. 놀랍게도, 데이터가 충분히 모인 후(약 25시간)에는 그냥 가짜 목소리를 무작위로 뽑는 것이 똑같이 잘 작동하거나 오히려 더 나았습니다.
복잡한 점수 매기기: 문장의 길이를 정확히 맞추거나 글자 수를 세는 데 추가 점수를 주는 방식도 시도했습니다. 하지만 단순하게 틀린 단어의 개수(WER)를 세는 방식이 가장 좋고 단순한 도구였습니다.

결론

가짜 목소리만으로 음성 로봇을 훈련시켜야 하는 상황이라면, 단어 하나하나를 그대로 복사하지 마세요. 대신 GRPO를 사용하세요. GRPO는 로봇에게 문장 전체를 듣고, 소리가 멈추면 멈추며, 가짜 목소리의 이상한 결함들을 무시하도록 가르칩니다.

저자들은 이 방식이 은행업과 같이 개인정보 보호가 중요한 직무에 적합한 방법이라고 확신합니다. 그들은 단지 약간의 실제 데이터(5~10시간)와 많은 양의 가짜 데이터만 있다면, 산더미 같은 실제 녹음 데이터로 훈련받은 로봇만큼이나 잘 듣는 로봇을 만들 수 있다는 것을 보여주었습니다. 이는 개인정보를 보호하면서도 비용을 절감하고, 마침내 언제 입을 다물어야 할지 아는 로봇을 만드는 승리입니다.

기술 요약: 합성 음성만 있는 경우라면: GRPO를 호출하라

1. 문제 정의

은행업과 같이 규제가 엄격한 도메인에서 LLM(대규모 언어 모델) 기반 자동 음성 인식(ASR)의 채택은 데이터 프라이버시 제약으로 인해 심각한 병목 현상을 겪고 있습니다. 실제 고객과 상담원 간의 전화 통화 데이터를 수집하는 것은 비용이 많이 들 뿐만 아니라, 이러한 생체 및 금융 데이터를 민감 정보로 분류하는 GDPR 및 EU AI 법안과 같은 규제로 인해 법적으로 제한됩니다. 결과적으로, 학계는 가용한 전사(transcript)로부터 TTS(Text-to-Speech) 시스템을 통해 생성된 **합성 음성(synthetic speech)**을 대체제로 활용하는 방향으로 선회했습니다.

그러나 합성 음성과 실제 녹음 사이에는 상당한 **음향적 불일치(acoustic mismatch)**가 존재합니다. 이 격차를 줄이기 위해 시도된 기존 연구들은 거의 예외 없이 **지도 미세 조정(Supervised Fine-Tuning, SFT)**에 의존해 왔습니다. 저자들은 SFT가 이 특정 환경에 최적화되지 않았다고 가설을 세웠는데, 그 이유는 SFT의 토큰 단위 교차 엔트로피(cross-entropy) 목적 함수가 모델로 하여 하여 참조 토큰을 하나씩 재현하도록 강제하기 때문입니다. 이는 모델이 유창하지만 음향적으로는 근거가 없는 연속된 텍스트를 생성하는 과정에서, 로컬 합성 아티팩트(예: 부자연스러운 운율, 음성적 결함, 불완전한 실내 임펄스 응답 시뮬레이션)를 흡수하게 만들어 높은 비율의 **삽입 오류(insertion errors, 환각 현상)**를 유발합니다.

2. 방법론

본 논문은 합성 음성을 사용하여 LLM 기반 ASR 모델을 적응시키기 위해, SFT에서 강화 학습(Reinforcement Learning, RL), 구체적으로는 **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**로 전환할 것을 제안합니다.

모델 아키텍처

실험에는 모듈형 LLM 기반 ASR 백본을 사용합니다:

인코더(Encoder): 동결된 WavLM-Large.
프로젝터(Projector): ReLU 활성화 함수를 포함하며, 음향 시퀀스를 5배 다운샘플링하는 학습 가능한 선형 레이어.
LLM: 동결된 Llama-3.2-1B-Instruct와 학습 가능한 LoRA 어댑터( $r=16, \alpha=32$ ).
적응 범위(Adaptation Scope): 프로젝터와 LoRA 파라미터만 업데이트하며, 인코더와 LLM 백본은 동결하여 적응 목적 함수의 효과를 격리합니다.

학습 패러다임

지도 미세 조정 (SFT): 정답 전사(ground-truth transcripts)에 대한 토큰 단위 교차 엔트로피 손실을 최소화합니다.
그룹 상대 정책 최적화 (GRPO):
- 메커니즘: 각 입력 발화에 대해, 정책은 $G$ 개의 가설(디코딩된 전사) 그룹을 샘플링합니다.
- 보상(Reward): 가설들은 보상 함수(기본값: $1 - \text{WER}$ )에 의해 점수가 매겨집니다.
- 이점(Advantage) 계산: 그룹 내에서 보상을 표준화함으로써( $A_i = \frac{r_i - \mu}{\sigma + \epsilon}$ ) 그룹 상대적 이점을 계산하며, 이를 통해 학습된 가치 함수(critic)의 필요성을 제거합니다.
- 목적: 정책은 클리핑된 대리 목적 함수(clipped surrogate objective)를 최대화하도록 업데이트되어, 그룹 평균보다 뛰어난 가설을 강화하고 낮은 보상을 가진 가설을 억제합니다. 이는 토큰 단위의 가능성(likelihood)이 아닌 시퀀스 수준의 목적 함수를 최적화합니다.

보상 함수

본 연구는 단어 오류율(WER), 음절 오류율(CER), 길이 일관성 항(LEN), 그리고 다양한 가산 조합 등 여러 보상 함수를 평가합니다.

데이터 설정

실제 데이터: DefinedAI 뱅킹 코퍼스 (훈련용 54시간, 테스트용 6.55시간).
합성 데이터: 페르소나 매칭을 위한 VoiceDesign을 사용하여 Qwen3-TTS로 합성된 뱅킹 코퍼스의 전사 데이터. 오디오는 채널 음향을 시뮬레이션하기 위해 측정된 실내 임펄스 응답(RIR)과 컨볼루션되었습니다.
사전 훈련: 모델은 LS 960 (LiberiSpeech) SFT 체크포인트에서 초기화되었습니다.

3. 주요 기여 및 발견 사항

A. 합성 데이터에 대한 GRPO의 우월성

성능 격차: 합성 음성만으로 적응할 때, SFT는 **36.71%**의 WER을 보이는 반면, GRPO는 이를 **22.09%**로 낮춥니다 (40%의 상대적 감소).
결합 접근법: SFT 후 GRPO를 수행하는 파이프라인은 **20.21%**의 WER을 달성하여, SFT 단독 사용 대비 45%의 상대적 개선을 보여줍니다.
실제 데이터: 풍부한 실제 데이터가 있을 때, GRPO는 SFT 대비 미미한 이득(10.27% $\to$ 9.49% WER)을 제공하며, 이는 주로 삽입 오류의 감소에 기인합니다.

B. 데이터 효율성 및 스케일링

실제 데이터의 한계 효용: 소량의 실제 데이터를 합성 데이터와 혼합할 때 가장 높은 수익을 얻습니다. 첫 5~10시간의 실제 데이터가 달성 가능한 WER 감소량의 약 3분의 2를 차지합니다. 25시간을 넘어서면 수익은 크게 감소합니다.
합성 데이터 포화: 합성 데이터를 늘리는 것이 항상 유익한 것은 아닙니다. 1시간의 실제 데이터 예산이 고정되었을 때, 성능은 합성 데이터 25시간에서 정점(WER 16.77%)을 찍고, 전체 54시간 풀을 사용할 때(WER 20.32%)는 오히려 저하됩니다. 이는 과도한 합성 데이터가 제한된 실제 데이터의 앵커링(anchoring) 효과를 희석시킬 수 있음을 시사합니다.

C. 보상 및 선택 전략

보상 함수: 직접적으로 WER을 최적화하는 것이 가장 효과적인 전략입니다. 길이나 CER 항을 추가하는 것은 일반적으로 WER 성능을 해치거나 삽입 오류를 증가시킵니다.
데이터 선택: 합성 음성 선택에 있어, 무작위 샘플링이 복잡한 다양성 기반 전략(화자, 의미론적 또는 음향적 임베딩) 및 GRPO 전용 셀렉터(롤아웃 통계 기반)보다 우수한 성능을 보였습니다 (합성 풀이 25시간으로 적당히 큰 경우). 선택 전략은 매우 작은 예산(1시간)에서만 미미한 이점을 보입니다.

D. 개선 메커니즘: 행동적 vs 표현적

본 논문은 성능 향상이 근본적인 표현 변화보다는 **행동적 변화(behavioral changes)**에서 기인함을 추적합니다:

삽입 감소: 합성 데이터에 대한 SFT는 음성이 끝난 후에도 수백 개의 추가 토큰을 생성하는 "삽입 꼬리(insertion tails)" 문제를 겪습니다. GRPO는 이 꼬리를 효과적으로 제거합니다.
중단 보정(Stopping Calibration): GRPO는 모델이 음향적 증거가 끝날 때 텍스트 생성을 멈추는 능력을 크게 향상시킵니다. 이는 마지막 참조 토큰 이후 토큰 확률이 급격히 떨어지는 것과 낮은 기대 보정 오차(ECE)를 통해 입증됩니다.
어텐션 앵커링(Attention Anchoring): GRPO는 SFT에 비해 오디오 토큰에 대해 더 낮은 어텐션 엔트로피를 유지합니다. SFT의 어텐션이 확산되는 반면(언어적 사전 지식에 의존), GRPO는 어텐션을 안정적인 오디오 증거에 날카롭고 집중되게 유지하여 환각을 방지합니다.
표현 보존: 층별 CKA 유사도 분석 결과, GRPO는 베이스 모델의 초기-중간 레이어 표현을 보존합니다. 반면, SFT는 합성 아티팩트에 맞추기 위해 이러한 표현을 크게 변화시킵니다. GRPO는 근본적인 음향 표현을 다시 쓰지 않고 중단 동작을 수정하는 "경량화된 정책 교정" 역할을 합니다.

4. 의의 및 주장

본 논문은 합성 음성이 도메인 적응을 위한 주요 또는 유일한 자원일 때, 강화 학습(특히 GRPO)이 지도 미세 조정(SFT)보다 선호되어야 한다고 주장합니다.

그 의의는 다음과 같습니다:

합성 음성이 고성능 ASR을 위한 음향적 불일치가 크더라도, 훈련 목적 함수가 토큰 단위(SFT)가 아닌 시퀀스 수준(GRPO)이라면 효과적으로 활용될 수 있음을 입증했습니다.
SFT의 주요 실패 모드는 실제 음성의 경계와 합성 아티팩트를 구분하지 못해 발생하는 **환각적 삽입(hallucinated insertions)**입니다.
GRPO는 평가 지표(WER)를 직접 최적화함으로써 긴 삽입 체인을 포함하는 가설을 억제하는 법을 학습하여, 합성 데이터를 규제 대상 도메인에서의 유효한 실제 데이터 대체제로 만듭니다.

저자들은 소량의 실제 데이터(5~10시간), 대규모의 합성 데이터(25시간), 그리고 단순한 WER 기반 GRPO 보상 함수를 결합하는 것이 규제 대상 도메인 적응을 위한 가장 실용적이고 효과적인 경로라고 결론짓습니다.