💬 NLP

Mind the Pause: Disfluency-Aware Objective Tuning for Multilingual Speech Correction with LLMs

본 논문은 ASR 전사문에서 불필요한 삽입어와 반복을 제거하면서도 문법적 구조와 의미적 일관성을 유지하기 위해 토큰 수준의 비유창성 탐지와 지시 미세조정 및 대비 학습 목적 함수를 결합한 다국어 음성 수정 파이프라인을 제안하며, 힌디어, 벵골어, 마라티어에서 기존 베이스라인보다 우수한 성능을 입증합니다.

원저자: Deepak Kumar, Baban Gain, Asif Ekbal

게시일 2026-05-13

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Deepak Kumar, Baban Gain, Asif Ekbal

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

"Mind the Pause" 논문에 대한 설명을 쉬운 언어와 일상적인 비유로 풀어냅니다.

문제: "더듬거리는" 로봇

로봇 비서와 대화한다고 상상해 보세요. 당신은 이렇게 말합니다. "음, 제 생각엔, 어, 회의는, 마치, 오후 3 시에 있는 것 같아요."

로봇의 청각 시스템 (ASR 이라고 함) 은 들리는 그대로를 기록합니다. "음, 제 생각엔, 어, 회의는, 마치, 오후 3 시에 있는 것 같아요."

소리에 정확하긴 하지만, 이는 로봇의 뇌 (대형 언어 모델 또는 LLM) 가 이해하기엔 엉망진창입니다. 마치 작가가 목을 가다듬거나, 단어를 반복하거나, 문장을 다시 시작하느라 멈추기를 반복하며 쓴 책을 읽으려는 것과 같습니다. 이 '노이즈'는 로봇을 혼란스럽게 만들어 엉뚱한 답변을 내거나, 번역을 poorly 하거나, 당신에게 다시 말할 때 자연스럽지 않게 만듭니다.

대부분의 기존 방법들은 가위처럼 행동하며 이를 고치려 했습니다. 즉, '음'과 '어'를 찾아서 그냥 잘라내는 방식이었습니다. 하지만 종종 이는 문장을 조각난 것처럼 보이게 만들었습니다. 퍼즐 조각이 하나 빠진 문장과 같았죠.

해결책: 2 단계 '편집자' 팀

저자들은 이러한 전사본을 고칠 새로운, 더 똑똑한 팀을 제안합니다. messy 한 초고를 작업하는 2 인 편집 크루라고 생각하세요.

1 단계: 하이라이터 (탐지기)

먼저, MuRIL이라는 특수 도구를 사용합니다. 이는 하이라이터 펜처럼 행동합니다. messy 한 문장을 스캔하여 어떤 단어가 '쓰레기'(필러, 반복) 이고 어떤 단어가 '황금'(실제 의미) 인지를 정확히 하이라이트합니다.

비유: 선생님이 학생의 에세이를 채점한다고 상상해 보세요. 실수를 지우는 대신, 빨간 펜으로 동그라미를 쳐서 학생이 정확히 무엇을 고쳐야 하는지 알게 합니다.

2 단계: 재작성 아티스트 (LLM)

다음으로, 이 하이라이트된 초고를 강력한 AI 작가 (LLM) 에게 넘깁니다. AI 에게 이렇게 말합니다. "여기 messy 한 문장과 빨간 동그라미가 있습니다. 원래 의미를 유지하면서 이를 완벽하고 매끄러운 문장으로 다시 써 주세요."

비밀 재료: '반복 금지' 규칙

이게 이 논문의 가장 큰 혁신입니다. 보통 AI 에게 재작성을 가르칠 때, '좋은' 답변을 보고 그것을 따라 하도록 학습시킵니다. 하지만 때로 AI 가 게을러져서 실수로 나쁜 단어 ('음'과 '어') 를 그대로 복사해 버리기도 합니다.

이를 막기 위해 저자들은 **대조 학습 (Contrastive Learning)**이라는 특별한 규칙을 추가했습니다.

비유: 아이에게 케이크 굽는 법을 가르친다고 상상해 보세요.
- 일반적인 학습: 완벽한 케이크를 보여 주며 말합니다. "이것처럼 만들어 봐."
- 이 논문의 방법: 완벽한 케이크를 보여 주지만, 동시에 지난번에 태운 쿠키 위에 큰 빨간 'X'를 그립니다. 그리고 말합니다. "이 케이크처럼 만들어 보되, 태운 쿠키는 넣지 마라."

이 '반복 금지' 규칙은 AI 가 문장에 '음'이나 '어'를 다시 넣으려 할 때 적극적으로 벌을 줍니다. AI 가 쓰레기를 남기지 않도록 매우 조심하도록 강요하는 것입니다.

그들이 테스트한 것

팀은 3 가지 인도어 언어로 이를 테스트했습니다: 힌디어, 벵골어, 마라티어. 이 언어들은 복잡한 문법과 사람들이 더듬거나 문장을 다시 시작하는 다양한 방식 때문에 까다롭습니다.

그들은 새로운 방법을 다음과 비교했습니다:

오래된 가위: 단순히 단어를 잘라내는 것.
스마트 추측자: 도움 없이 고침을 추측하려는 AI 모델.
큰 유명 모델: GPT-4 나 Gemini 처럼 매우 비싸고 강력한 모델.

결과

논문에 따르면 '반복 금지 규칙이 있는 2 단계 팀'이 승자였습니다.

가위보다 낫습니다: 문법을 깨뜨리지 않고 문장을 고쳤습니다.
추측자보다 낫습니다: 문맥을 훨씬 더 잘 이해했습니다.
거인들을 이겼습니다: 놀랍게도 그들의 작고 전문화된 모델은 GPT-4 와 같은 거대하고 비싼 모델과 거의 비슷하거나, 때로는 더 잘 수행했습니다. 특히 실제 세계의 messy 한 오디오 녹음에서 그랬습니다.

왜 중요한가

저자들은 말의 '더듬임'을 정리하지 않으면 로봇의 뇌가 혼란에 빠진다고 보여주었습니다.

질문 답변: 로봇이 더 멍청한 답변을 줍니다.
번역: 번역이 더 나빠집니다.
대답하기: 로봇이 다시 말할 때 로봇 같고 어색하게 들립니다.

이 새로운 방법을 사용하면 로봇은 messy 하고 더듬거리는 인간의 목소리를 받아 깨끗하고 매끄러운 문장으로 바꾼 뒤, 완벽하게 이해할 수 있습니다.

한 줄 요약

이 논문은 말의 전사본을 정리하는 똑똑한 방법을 소개합니다. 단순히 실수를 삭제하는 대신, '하이라이터'로 실수를 찾고 '재작성 아티스트'가 이를 고치며, 실수가 다시 들어가지 않도록 보장하는 특별한 규칙을 사용합니다. 이는 음성 비서와 챗봇이, 특히 힌디어, 벵골어, 마라티어와 같은 언어에서 훨씬 더 잘 작동하도록 만들어 줍니다.

기술 요약: 멈춤에 주의하라

문제 제기
자동 음성 인식 (ASR) 시스템은 종종 채우기 말 ("uh", "um" 등), 반복, 잘못된 시작, 자기 수정과 같은 자발적 대화의 비유창성을 그대로 보존합니다. 이러한 아티팩트는 인간 대화에서 자연스럽지만, ASR 전사문에 존재하면 가독성을 저하시키고 챗봇, 음성 비서, 기계 번역을 포함한 하위 자연어 처리 (NLP) 응용 프로그램을 심각하게 방해합니다.

기존 접근법은 주로 비유창성 처리를 탐지 후 삭제 문제로 간주합니다. 비유창 토큰을 식별하는 데 효과적이지만, 이러한 방법들은 종종 문법적 구조와 의미적 일관성을 해쳐 문법적으로 틀리거나 끊어진 문장을 초래합니다. 또한, 대규모 언어 모델 (LLM) 이 비유창성 탐지나 데이터 증강을 위해 탐구되어 왔지만, 아티팩트를 제거하면서도 의미를 보존하는 포괄적인 수정 파이프라인에 완전히 통합되지는 않았습니다. 해당 논문에서의 실증 분석에 따르면, 최첨단 ASR 시스템 (예: Whisper v3 Large, AI4Bharat Indic Conformer) 조차도 이러한 비유창성을 일관되게 정규화하지 못해, 전사된 문장의 약 30% 가 적어도 하나의 비유창성을 포함하고 있습니다. 이러한 지속성은 하위 작업에서 측정 가능한 저하를 초래하여, 질문 응답 정확도를 0.5~~1.6 포인트, 기계 번역 품질을 2~~4.7 BLEU 포인트 감소시킵니다.

방법론
저자들은 토큰 수준 탐지와 지시 튜닝 LLM 생성을 통합하고 새로운 대비 학습 목적 함수로 강화된 다국어 비유창성 수정 파이프라인을 제안합니다. 이 프레임워크는 세 가지 주요 단계로 작동합니다:

비유창성 탐지 (MuRIL): 다국어 인코더 기반 시퀀스 태거인 MuRIL(인도어를 위한 다국어 표현) 이 특정하게 미세 조정되어 토큰을 유창 (0) 또는 비유창 (1) 으로 분류합니다. 이 모델은 ASR 전사문의 어느 부분이 노이즈인지 나타내는 토큰 수준의 신호를 제공합니다.
지시 미세 조정: LLM(테스트에는 Llama-3.2-3B-Instruct 와 Qwen2.5-3B-Instruct 사용) 이 지시 따르기 패러다임을 사용하여 미세 조정됩니다. LLM 의 입력은 다음으로 구성됩니다:
- 작업을 정의하는 자연어 지시문.
- 원래의 비유창 ASR 전사문.
- MuRIL 이 예측한 토큰 수준 레이블.
- 식별된 비유창 토큰 목록.
  목표 출력은 해당 유창한 참조 문장입니다. 이 설정은 탐지된 비유창 신호를 명시적으로 조건으로 삼아 LLM 이 텍스트를 다시 쓰도록 안내합니다.
대비 학습 목적 함수: 교차 엔트로피 손실만으로 훈련된 모델이 레이블을 받음에도 불구하고 때때로 비유창 토큰을 재생성하는 한계를 해결하기 위해, 저자들은 대비 손실 구성 요소를 도입합니다. 이 목적 함수는 생성된 출력에 식별된 비유창 토큰이 포함되어 있는 경우 모델을 명시적으로 처벌합니다. 전체 손실 함수는 표준 교차 엔트로피 ( $L_{CE}$ ) 와 대비 패널티 ( $L_{contrastive}$ ) 를 결합합니다:
$L_{total} = L_{CE} + \lambda \cdot L_{contrastive}$
대비 항은 알려진 비유창 토큰을 생성할 확률을 계산하고 패널티를 적용하여, 모델의 생성을 비유창 패턴에서 밀어내고 유창한 목표 방향으로 끌어당기는 효과를 냅니다.

주요 기여

비유창성 인식 튜닝을 위한 대비 손실: 이 논문은 교차 엔트로피와 대비 패널티를 결합한 다중 손실 목적 함수를 도입합니다. 이는 표준 지시 튜닝에서 종종 결여된 알려진 비유창 토큰의 재생성을 명시적으로 억제하는 기능입니다.
최초의 LLM 기반 수정 파이프라인: 탐지 전용 또는 인코더-디코더 아키텍처 (예: mBART) 에 초점을 맞춘 이전 작업과 달리, 이 작업은 다국어 수정을 위해 토큰 수준 탐지 신호와 지시 튜닝 LLM 을 통합한 최초의 완전한 파이프라인을 제시합니다.
다국어 환경에서의 통합 탐지 및 수정: 이 프레임워크는 시퀀스 태깅을 위해 MuRIL 을 훈련시키고, 비유창 전사문과 예측된 레이블을 모두 LLM 에 입력합니다. 이는 수동 토큰 삭제의 함정을 피하고 의미적 무결성을 보존하는 잘 형성된 문장을 생성하도록 보장합니다.

결과
该系统은 수동으로 편집된 합성 데이터와 실제 ASR 전사문을 사용하여 힌디어, 벵골어, 마라티어라는 세 가지 인도어에 대해 평가되었습니다.

성능 향상: 제안된 대비 접근법은 다국어 지시 미세 조정 및 mBART 를 포함한 강력한 베이스라인보다 일관되게 우수한 성과를 거두었습니다.
- 비대비 훈련과 비교하여, 이 방법은 모델과 언어를 평균화했을 때 +1.97 BLEU 향상을 달성했습니다.
- 다국어 지시 미세 조정과 비교하여 +6.16 BLEU 향상을 달성했습니다.
- mBART 와 비교하여 +8.54 BLEU 향상을 달성했습니다.
모델 비교: Qwen2.5-3B-Instruct 백본은 Llama-3.2-3B-Instruct 보다 대비 목적 함수로부터 더 크게 혜택을 받아 BLEU 및 chrF2 점수에서 더 큰 향상을 보였습니다.
하위 영향: 수정된 출력은 질문 응답, 기계 번역, 텍스트 음성 변환과 같은 하위 작업에서 비유창 및 유창 입력 간의 성능 격차 대부분을 회복하여 실용성을 확인했습니다.
독점 모델과의 비교: 3B 파라미터 대비 모델은 6 개 평가 조건 중 4 개에서 제로샷 및 퓨샷 프롬프팅 하의 GPT-4o 와 맞먹거나 능가했으며, 세 언어 전반에 걸쳐 Gemini 2.5 Pro 를 크게 능가했습니다.

의의 및 주장
이 논문은 탐지 전용 전략이 고품질 비유창성 수정에는 불충분하다고 주장합니다. 토큰 수준 단서와 지시 튜닝 및 대비 학습을 결합함으로써, 저자들은 다국어 음성 기반 NLP 시스템을 위한 확장 가능하고 언어 중립적인 솔루션을 제공합니다. 이 작업은 모델 크기 확장이나 고급 프롬프팅만으로는 해결할 수 없는 인도어 비유창성의 형태적 풍부함과 구문적 복잡성을 처리하기 위해 작업별 대비 훈련이 필요함을 보여줍니다. 저자들은 그들의 접근 방식이 탐지와 생성 사이의 간극을 효과적으로 연결하여, 하위 응용 프로그램의 신뢰성을 향상시키는 유창하고 의미를 보존하는 텍스트를 생성한다고 강조합니다.