LLM-Based Multi-Reference Evaluation for Efficient and Robust Assessment of Phrase Break Annotations

기술 요약: 구절 분절(Phrase Break) 어노테이션을 위한 LLM 기반 다중 참조 평가

문제 정의

구절 분절(phrase break) 어노테이션의 신뢰할 수 있는 평가는 텍스트 음성 변환(TTS) 시스템에서 매우 중요한데, 이는 운율적 경계가 발화의 명료도와 자연스러움에 직접적인 영향을 미치기 때문이다. 그러나 기존의 평가 프레임워크는 다음과 같은 두 가지 주요 한계를 지닌다:

1. 단일 참조 평가(Single-Reference Evaluation): 이 전통적인 방식은 하나의 발화와 고유한 하나의 "골드(gold)" 어노테이션 사이에 일대일 대응 관계가 존재한다고 가정한다. 하지만 운율적 구절 형성(prosodic phrasing)은 본질적으로 일대다(one-to-many) 성격을 띠므로(하나의 문장에 대해 여러 유효한 구절 형성이 존재함), 이 방식은 특정 참조 모델과 다른 유효한 대안적 어노테이션을 잘못 기각할 위험이 있다. 또한, 새로운 발화가 추가될 때마다 참조 데이터를 수동으로 확장해야 하므로 확장성이 부족하다.
2. 인간의 판단(Human Judgment): 인간의 평가는 다양한 유효한 구절 형성을 인식할 수 있을 만큼 유연하지만, 노동 집약적이고 확장성이 낮으며 상당한 언어학적 전문 지식을 요구하기 때문에 대규모 또는 반복적인 시스템 개발에는 부적합하다.

LLM을 판사(judge)로 사용하려는 이전의 시도들은 이 특정 작업에서 제한적인 효과를 보였으며, 종종 미묘한 운율적 변이를 포착하는 데 실패하였다.

방법론: LLM 기반 다중 참조 평가 (LMRE)

저자들은 운율적 구절 형성의 일대다 특성을 모델링하도록 설계된 LMRE 프레임워크를 제안한다. "블랙박스" 형태의 LLM-as-a-judge 접근 방식과 달리, LMRE는 재현 가능한 평가를 가능하게 하기 위해 재사용 가능하고 결정론적인 다중 참조 룩업(multi-reference lookup)을 구축한다.

핵심 구성 요소:

• 다중 참조 룩업 구축: 단일 골드 스탠다드 대신, LMRE는 LLM을 사용하여 주어진 발화 $W$에 대해 $k$개의 그럴듯한 참조 어노테이션 세트($R(W) = \{B^{(1)}_r, \dots, B^{(k)}_r\}$)를 생성한다.
• 퓨샷 프롬프팅을 통한 다양화(Diversification via Few-Shot Prompting): LLM은 기존 어노테이션의 퓨샷 풀($P_{FS}$)을 활용하여 프롬프팅된다. 다양성을 보장하기 위해, 시스템은 각 쿼리에 대해 퓨샷 예시를 재샘플링하고 여러 번의 반복($N_{iter}$)을 수행한다.
• 결정론적 필터링(Deterministic Filtering): 노이즈와 가짜 출력을 완화하기 위해, 시스템은 $N_{iter}$번의 반복 중 $N_{iter}/10$번 이상 생성된 어노테이션만을 유지한다.
• 평가 로직: 가설 어노테이션 $B_h$는 생성된 참조 세트 중 적어도 하나와 정확도(Exact Match 또는 F1) 유사도가 임계값 $\theta$를 초과하면 수용된다.
• 구현: 시스템은 레이턴시와 비용을 줄이기 위해 배치 크기 32의 배치 프롬프팅을 사용하며, 재현성을 위해 온도를 0.0으로 설정한다.

실험 설정

저자들은 1,356개의 구절 분절 어노테이션으로 구성된 큐레이션된 한국어 테스트베드를 통해 LMRE를 검증하였다.

• 데이터 다양성: 데이터셋은 다섯 가지 어노테이션 전략(규칙 기반, 콤마 기반, 오디오 기반, 전문가 기반 텍스트 기반, 합성 데이터)과 11가지 구성을 포함한다.
• 발화 길이: 데이터는 짧은 문장(<7 단어), 중간 문장(7–10 단어), 긴 문장(≥11 단어) 카테고리로 계층화되었다.
• 베이스라인: 단일 참조 평가(두 명의 인간 전문가 참조 사용) 및 인간의 판단(네 명의 독립적인 판정자)과 비교하였다.
• LLM 구성: 실험에는 GPT-4.1, Claude Sonnet 및 결합된 접근 방식이 사용되었으며, 퓨샷 풀 크기($|P_{FS}|$)와 반복 횟수($N_{iter}$)를 변화시켰다.

주요 결과

1. 인간의 판단과의 정렬: LMRE는 단일 참조 평가보다 인간의 판단과 유의미하게 더 높은 정렬도를 보인다.
   • 수용 동작(Acceptance Behavior): 단일 참조 평가는 유효한 어노테이션을 체계적으로 과소 수용하며, "수용 가능(Acceptable)" 점수 그룹에서 인간의 판단과 평균 **26.59%**의 격차를 보인다. LMRE(결합 설정)는 이 격차를 **7.04%**로 줄였으며, 고품질(점수 5) 어노테이션의 경우 **1.75%**까지 줄였다.
   • 상관관계: LMRE는 인간의 점수에 대해 더 높은 피어슨($r$) 및 스피어만($\rho$) 상관계수를 달와냈다. 최적의 구성(결합, $N_{iter}=40$, $|P_{FS}|=128$)에서, 단일 참조 평가의 $r=0.56, \rho=0.53$에 비해 LMRE는 $r=0.68, \rho=0.70$의 상관계수를 기록했다.
2. 지표 민감도: 모든 방법에서 F1 점수 지표가 Exact Match(EM)보다 인간의 판단과 일관되게 더 나은 정렬을 보여주었다. 이는 부분적인 겹침을 보상하여 운율적 구절 형성에 내재된 미묘한 변이를 수용하는 F1의 능력 덕분이다.
3. 확장성 및 일반화: LMRE는 작은 퓨샷 풀($|P_{FS}|=128$)에서도 강력한 성능을 유지하였으며, 추가적인 인간 라벨링 노력 없이도 보지 못한(unseen) 발화에 잘 일반화되었다. 퓨샷 풀의 크기와 반복 횟수가 증가함에 따라 서로 다른 퓨샷 풀 간의 성능 차이가 좁혀졌으며, 이는 상호 검토자 변동성에 대한 강건성을 나타낸다.
4. 길이 의존성: EM 지표에서 단일 참조 평가 대비 LMRE의 상대적 개선은 긴 발화에서 가장 두드러졌으며, 이는 긴 문장이 더 큰 구절 형성의 가변성을 허용한다는 직관을 뒷받침한다.

의의 및 기여

본 논문은 LMRE가 확장성과 다중 참조 지원 사이의 트레이드오프를 효과적으로 해결함으로써 TTS 시스템의 운율 평가를 위한 확장 가능하고 신뢰할 수 있는 프레임워크를 제공한다고 주장한다. 구체적인 기여는 다음과 같다:

• 프레임워크 제안: 기존 방식의 일대일 가정을 극복하고, LLM 생성 참조를 통해 운율적 구절 형성의 일대다 특성을 모델링하는 LMRE를 도입하였다.
• 포괄적인 테스트베드: 이질적인 품질 조건 하에서 방법을 검증하기 위해 다섯 가지 전략과 11가지 구성을 아우르는 1,356개의 한국어 어노테이션으로 구성된 다양한 테스트베드를 구축하였다.
• 실증적 검증: LMRE가 완전히 자동화된 상태에서도 단일 참조 평가에 비해 인간의 판단과 실질적으로 향상된 정렬을 달성함을 입증하였다.

저자들은 결론적으로 LMRE가 음성 도메인에서의 평가를 위한 LLM의 잠재력을 강조하며, 효율적(자동화)이면서도 강력한(다양한 유효 구절 형성을 처리할 수 있는) 솔루션을 제공한다고 밝히고 있다.