💬 NLP

HATS: An Open data set Integrating Human Perception Applied to the Evaluation of Automatic Speech Recognition Metrics

본 논문은 인간의 선호도와 다양한 자동 음성 인식 지표 간의 상관관계를 조사하고 평가하기 위해 143 명의 주석자가 인지한 전사 오류를 포함한 새로운 프랑스어 데이터셋인 HATS 를 소개합니다.

원저자: Thibault Bañeras Roux, Jane Wottawa, Mickael Rouvier, Teva Merlin, Richard Dufour

게시일 2026-05-01

📖 3 분 읽기☕ 가벼운 읽기

원저자: Thibault Bañeras Roux, Jane Wottawa, Mickael Rouvier, Teva Merlin, Richard Dufour

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

요리 대회에서 심사위원이 되어본다고 상상해 보세요. 두 명의 요리사 (이를 Chef A 와 Chef B 라고 부르겠습니다) 가 비밀 레시피를 바탕으로 요리를 만들었습니다. 당신의 임무는 두 요리를 모두 맛보고 원래 레시피에 더 가까운 것이 무엇인지 결정하는 것입니다.

컴퓨터 세계에서는 **자동 음성 인식 (ASR)**이 정확히 이 일을 수행합니다. 인간의 말을 듣고 단어를 적어내려 노력하는 것이 마치 요리를 재현하려는 요리사와 같은 모습입니다.

오랫동안 이러한'컴퓨터 요리사'를 평가하는 유일한 방법은 실수를 세는 것이었습니다. 컴퓨터가'bat'대신'cat'이라고 적었다면 그것은 하나의 오류입니다. 'b-a-t'대신'c-a-t'라고 적었다면 그것도 오류입니다. 이를 **단어 오류율 (WER)**이라고 합니다. 이는 맛을 보지 않고 재료 몇 개가 빠졌는지만 세는 심사위원과 같습니다.

문제:'세는'심사위원은 너무 엄격합니다

이 논문의 저자들은'세는'심사위원이 인간이 실제로 중요하게 생각하는 것을 잘 이해하지 못한다고 주장합니다. 때로는 컴퓨터가 단어를 바꾸지만 의미가 명확하게 전달되는 실수를 하기도 합니다 (예:'I ate an apple'대신'I ate a pear'라고 말하는 경우). 인간 청자는 문장을 완벽하게 이해할 수 있지만,'세는'심사위원은 이를 실패로 표시합니다.

연구자들은 궁금해했습니다: 어떤 컴퓨터 지표가 실제로 인간이'좋은'전사 (transcription) 라고 생각하는 것과 일치할까요?

해결책: HATS 실험

이를 알아내기 위해 팀은 HATS(Human Assessed Transcription Side-by-Side) 라는 새로운 데이터셋을 만들었습니다. 이를 거대하고 조직적인 시식 행사로 생각하세요.

준비: 143 명의 자원봉사자를 모았습니다.
과제: 누군가 말하는 녹음을 재생했습니다. 그런 다음 자원봉사자들에게 그 동일한 녹음에 대한 두 가지 다른 컴퓨터 생성 전사본을 보여주었습니다. 두 전사본 모두 오류가 있었습니다.
선택: 자원봉사자들은 두 가지 서면 버전 중 어느 것이'더 나은'것인지, 혹은 이해하기 더 쉬운지 선택해야 했습니다. "동등하다"고 말할 수는 없었습니다. 반드시 승자를 골라야 했습니다.

연구자들은 두 컴퓨터 버전의 품질이 매우 유사한 어려운 사례를 특별히 선택하여 인간들이 언어의 미묘한 차이에 대해 진지하게 생각하도록 했습니다.

결과: 인간들은 무엇을 선호했을까요?

연구자들은 이후 인간의 선택과 다양한 컴퓨터 채점 시스템을 비교하여 어떤 시스템이 인간과 가장 많이 일치하는지 확인했습니다.

다음은 그들이 발견한 바를 간단한 비유로 설명한 것입니다:

구식 방법 (WER/CER): 전통적인'단어 오류율'은 틀린 글자 수만 세는 심사위원과 같습니다. 성능이 좋지 않았습니다. 인간이 선호하는 것보다 종종'더 나쁜'전사본을 선택했습니다.
신규 방법 (의미 기반 지표): 연구자들은 철자뿐만 아니라 단어의 의미를 살펴보는 더 똑똑한 지표를 테스트했습니다. BERTScore와 SemDist와 같은 도구를 사용했습니다.
- BERTScore를 단어는 다르지만'big'과'huge'가 같은 의미임을 이해하는 심사위원으로 상상해 보세요.
- SemDist를 전체 문장 구조를 살펴'분위기'나 의미가 올바른지 확인하는 심사위원으로 상상해 보세요.

승자: 인간 자원봉사자와 가장 많이 일치한 지표는 SemDist(Sentence-BERT 라는 모델을 사용한 것) 였습니다. 인간이 이해하기 더 쉬운 전사본을 예측하는 데 가장 뛰어났습니다.

놀라운 반전: 텍스트의'소리'

한 가지 흥미로운 발견은 **음소 오류율 (PhonER)**에 관한 것이었습니다. 이 지표는 단어의 철자가 아닌 소리를 기준으로 오류를 세는 것입니다.

인간들이 오디오를 듣는 것이 아니라 텍스트만 읽었음에도 불구하고,'소리 기반'지표는'단어 세기'지표보다 인간의 선택을 더 잘 예측했습니다.
비유: 마치 인간들이 텍스트를 읽는 동안 무의식적으로 머릿속에서 단어를'듣고'있었던 것과 같습니다. 그들은 글자만 보고 있었음에도 소리가 맞는 텍스트를 선호했습니다.

결론

이 논문은 음성 - 텍스트 시스템이 실제로 인간에게 좋은지 알고 싶다면 철자 실수만 세서는 안 된다고 결론 내립니다. 문장의 의미와 흐름을 이해하는 지표가 필요합니다.

연구자들은 다른 과학자들이 더 좋고 인간 친화적인 음성 인식 시스템을 구축할 수 있도록'시식'데이터 (HATS) 를 무료로 공개했습니다.

중요 참고 사항: 저자들은 이 연구가 완전히 프랑스어로 수행되었다고 경고합니다. 이러한 규칙이 프랑스어에 적용된다고 해서 자동으로 영어나 다른 언어에도 적용되는 것은 아닙니다. 또한, 테스트를 위해 매우 까다로운 예시들을 선택했기 때문에 이 데이터가 현실 세계에서 컴퓨터가 범하는 모든 오류를 대표하지는 않을 수 있습니다.

다음은 "HATS: An Open data set Integrating Human Perception Applied to the Evaluation of Automatic Speech Recognition Metrics" 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

자동 음성 인식 (ASR) 시스템은 전통적으로 **단어 오류율 (WER)**과 **문자 오류율 (CER)**을 사용하여 평가됩니다. 이러한 지표는 기준 전사본 (reference transcript) 대비 잘못된 단어 또는 문자의 수를 계산합니다. 그러나 저자들은 이러한 지표가 다음과 같은 이유로 불충분하다고 주장합니다.

이들은 인간 중심이 아닌 시스템 중심입니다.
의미적 이해가 부족합니다 (예: "cat"을 "dog"로 바꾸는 것과 "car"로 바꾸는 것을 동일하게 처벌하지만, 전자の方が 더 이해하기 쉬울 수 있음).
오류가 근본적이지 않다면 인간이 전사 오류에도 불구하고 문장의 의미를 추출할 수 있다는 사실을 반영하지 못합니다.

특히 자막이나 메시지 등 인간이 소비하기 위한 전사본의 경우, 인간의 인식과 더 밀접하게 연관된 평가 지표가 필요합니다.

2. 방법론

HATS 데이터셋

핵심 기여는 프랑스어용 새로운 오픈 데이터셋인 **HATS(Human-Assessed Transcription Side-by-Side)**를 제작한 것입니다.

출처: 전사본은 REPERE 테스트 코퍼스 (약 10 시간 분량의 라디오/TV 방송 오디오) 를 기반으로 생성되었으며, 10 개의 서로 다른 ASR 시스템(Speechbrain/wav2vec2/XLS-R 기반의 8 개 엔드 - 투 - 엔드 시스템과 Kaldi 기반의 2 개 DNN-HMM 시스템) 을 사용했습니다.
주석 프로토콜:
- 작업: 143 명의 인간 참가자가 작성된 기준 전사본과 두 개의 자동 가설(서로 다른 ASR 시스템에서 생성됨) 을 나란히 제시받는 "side-by-side" 실험입니다.
- 제약: 참가자는 "가장 좋은" 가설을 선택해야 하며, "동일"을 선택할 수 없습니다.
- 자극물 선정: 작업이 도전적이고 유익하도록 삼중항 (triplets) 을 무작위로 선택하지 않았습니다. 다음 세 가지 기준에 따라 필터링되었습니다:
  1. 가설들은 서로 그리고 기준 전사본과 달라야 함.
  2. 모든 시스템의 가설들이 서로 대비되어야 함.
  3. 지표 기반 선정: 특정 시나리오를 만들기 위해 쌍을 선택함:
    - 동일/다른 점수: 지표들이 품질에 대해 일치하거나 불일치함.
    - 지표 충돌: 한 지표는 가설 A 를 선호하고 다른 지표는 가설 B 를 선호함.
    - 모호성: WER/CER는 같지만 의미 지표는 다른 경우.
데이터 양: 1,000 개의 기준 - 가설 삼중항으로, 총 7,150 개의 주석(각 삼중항을 최소 7 명의 참가자가 평가) 이 생성됨.
평가자 간 신뢰도: Fleiss' Kappa 는 0.46 이었으며, 삼중항의 82% 에서 인간 간 최소 71.4% 의 일치율을 보였습니다. 이는 작업이 어렵지만 인간이 더 나은 옵션을 일관되게 식별할 수 있음을 나타냅니다.

테스트된 평가 지표

이 연구는 다양한 자동 지표가 인간의 선택과 얼마나 잘 일치하는지 평가했습니다. 평가된 지표는 다음과 같습니다.

어휘적: WER, CER, 음소 오류율 (PhonER).
의미적/임베딩 기반:
- 임베딩 오류율 (EmbER): 단어 임베딩 (fastText) 의 코사인 거리를 가중치로 둔 WER.
- SemDist: 문장 수준 임베딩 간의 코사인 유사도 (CamemBERT, FlauBERT, SentenceBERT 로 테스트).
- BERTScore: 문맥 임베딩을 사용한 토큰 수준 유사도 (multilingual BERT, CamemBERT-base, CamemBERT-large 로 테스트).

분석 접근법

저자들은 지표의 예측 (어떤 가설이 더 나은지) 과 인간 합의 간의 일치율을 계산했습니다.

합의 정의: 일치는 $\frac{\max(A, B)}{A + B}$ 로 계산되었으며, 여기서 $A$ 와 $B$ 는 가설 A 또는 B 를 선택한 인간의 수입니다.
필터링: 결과는 세 가지 조건 하에서 분석되었습니다:
1. 100% 일치: 모든 인간이 일치한 삼중항만.
2. 70% 일치: 강력한 합의를 보인 삼중항.
3. 0% 일치 (전체): 필터링을 적용하지 않음.

3. 주요 결과

지표의 성능은 인간의 선호도와 일치한 비율로 측정되었습니다.

지표 유형	최상위 성능 지표	성능 (70% 일치)	주요 발견 사항
어휘적	CER	64%	CER 가 WER 를 능가했습니다. 이는 일부 이전 연구와 모순되며, 프랑스어 철자 (묵음 문자) 나 작성된 텍스트 기준의 사용 때문일 수 있습니다. 이 데이터셋에서 WER 는 무작위 확률 (53%) 근처에서 성능을 보였습니다.
음소적	PhonER	69%	WER 와 CER 보다 성능이 더 좋았으며, 이는 인간이 텍스트를 읽을 때조차 음소적 유사성을 무의식적으로 고려함을 시사합니다.
의미적	SemDist (Sentence CamemBERT-large)	78%	최고 성능 지표입니다. Sentence-BERT 임베딩이 의미적 유사성을 극대화하도록 특별히 훈련되었기 때문에 다른 지표들을 일관되게 능가했습니다.
의미적	BERTScore (CamemBERT-large)	68%	잘 수행되었지만 동일한 임베딩 모델을 사용할 때 SemDist 보다 약간 낮았습니다.

주목할 만한 관찰 사항:

임베딩 민감성: 임베딩 모델의 선택이 지표 성능에 상당한 영향을 미칩니다. 예를 들어, FlauBERT-base 를 사용한 SemDist(59%) 는 CER(60%) 보다 성능이 낮았지만, Sentence CamemBERT-large 를 사용한 SemDist(78%) 는 가장 우수했습니다.
지표 불일치: WER 와 CER 가 동점인 경우, 의미 지표는 종종 인간의 선택과 일치하는 차별점을 제공했습니다.
인간 인식: 인간은 엄격한 어휘적 정확도보다 의미적 일관성과 음소적 흐름을 우선시하는 것으로 보이며, 이는 어휘 지표가 포착하지 못합니다.

4. 주요 기여

HATS 데이터셋: 인간 선호도 라벨이 포함된 대규모 수동 주석 프랑스어 ASR 오류 데이터셋을 공개했습니다. 이는 10 개의 다양한 ASR 시스템과 엄격한 자극물 선정 기준을 사용한 나란히 비교 프로토콜을 최초로 적용한 것입니다.
경험적 평가: 프랑스어에서 인간 인식에 대한 어휘 대 의미 지표의 포괄적인 벤치마크입니다.
프랑스어 ASR 에 대한 통찰: 프랑스어 맥락에서 WER 보다 CER 가 인간 인식에 대한 더 나은 대리 지표라는 발견으로, WER 의 보편적 지배력에 도전합니다.
의미 지표 검증: SemDist(Sentence-BERT 임베딩 사용) 가 현재 ASR 평가에서 인간 선호도를 예측하는 가장 신뢰할 수 있는 자동 지표임을 입증했습니다.

5. 중요성 및 향후 작업

중요성: 이 연구는 단순한 오류 계수를 넘어 인간 중심의 품질 평가로 ASR 평가를 전환하기 위한 로드맵을 제공합니다. 인간이 소비하기 위한 전사본을 평가하려면 임베딩 기반 지표가 필요함을 검증했습니다.
한계:
- 데이터셋은 프랑스어에 특화되어 있으며, 결과가 다른 언어로 일반화되지 않을 수 있습니다.
- 자극물은 엄격한 기준에 따라 선택되었으므로 "평균" 오류를 덜 대표할 수 있습니다.
- 기준은 오디오가 아닌 텍스트였습니다.
향후 방향:
- 시각적 텍스트 단서가 제거되었을 때 CER 가 여전히 WER 보다 우월한지 테스트하기 위해 오디오 기준으로 실험을 재현.
- 인간 상관관계와 계산 효율성 및 해석 가능성(WER/CER 의 현재 강점) 을 균형 있게 잡는 새로운 지표 개발.
- 교차 언어 일반화를 테스트하기 위해 데이터셋을 다른 언어로 확장.

결론적으로, 이 논문은 WER 와 CER 가 낮은 비용과 해석 가능성으로 인해 여전히 유용하지만, Sentence-BERT 를 사용한 SemDist가 ASR 평가를 인간 인식과 정렬시키는 데 더 우수한 지표이며, HATS 데이터셋은 향후 평가 방법을 개발하고 검증하는 데 중요한 자원이라고 주장합니다.