Benchmarking Commercial ASR Systems on Code-Switching Speech: Arabic, Persian, and German

한 그룹의 번역가들에게 매우 구체적이고 까다로운 상황, 즉 한 문장 안에서 두 가지 언어를 사용하는 사람들을 어떻게 처리할지 가르치려 한다고 상상해 보세요. 현실 세계에서는 이것이 항상 일어납니다. 카이로의 소프트웨어 엔지니어는 "마감기한 (deadline) 은 내일이고, 업데이트 (update) 를 출시 (ship) 해야 해"라고 말하며 영어 기술 용어를 아랍어 문법과 섞어 쓸 수 있습니다. 테헤란의 개발자는 "이 새로운 기능 (feature) 에 버그 (bugs) 가 너무 많아"라고 말하며 페르시아어와 영어를 섞을 수 있습니다.

이 논문은 다섯 가지 상용 '음성-텍스트' 시스템 (휴대폰이나 회의 앱에서 사용할 수 있는 종류) 에 대한 성적표와 같으며, 이러한 특정 '코드스위칭' 도전을 얼마나 잘 처리하는지 평가합니다.

다음은 그들이 무엇을 했으며 무엇을 발견했는지에 대한 간단한 비유를 사용한 요약입니다:

1. 문제: "청정실" 대 "북적이는 시장"

대부분의 회사는 음성 시스템을 "청정실"에서 테스트합니다. 그들은 뉴스 앵커가 대본을 읽는 것처럼 명확하고 단일 언어의 오디오를 재생한 후, 몇 단어를 올바르게 인식했는지에 따라 점수를 매깁니다.

• 논문의 주장: 이는 차를 매끄럽고 텅 빈 레이싱 트랙에서만 테스트하는 것과 같습니다. 이는 사람들이 한 번에 여러 언어로 외치는 북적이는 시장 거리에서 차가 어떻게 핸들링하는지에 대해 아무것도 알려주지 않습니다.
• 현실: 실제 대화는 messy(어지럽습니다). 사람들은 종종 생각 없이 문장 중간에 언어를 전환합니다. 논문은 이러한 현실 세계 시나리오에 대해 기존의 "청정실" 테스트는 오해의 소지가 있다고 주장합니다.

2. 테스트 구축: "재능 스카우트" 파이프라인

공정한 테스트를 만들기 위해 연구자들은 임의의 오디오를 가져오지 않았습니다. 그들은 수천 명의 후보자들 중에서 가장 어렵고 흥미로운 예시를 찾기 위해 2 단계 "재능 스카우트" 시스템을 구축했습니다:

• 1 단계 (빠른 필터): 그들은 두 개의 스크립트 (예: 아랍어 문자와 영어 문자) 가 섞인 것처럼 보이는 문장을 찾아내는 간단한 컴퓨터 규칙을 사용했습니다. 이는 문지기 (bouncer) 가 입구에서 신분증을 확인하는 것과 같습니다.
• 2 단계 (전문가 패널): 남은 후보들은 두 명의 초지능 AI "심사위원"(GPT-4o 및 Gemini 1.5 Pro)에게 보내졌습니다. 이 심사위원들은 문장을 읽고 언어 전환 빈도, 속어 복잡도, 소리의 혼란 정도 등 여섯 가지 "난이도" 요인에 따라 등급을 매겼습니다.
• 결과: 그들은 1,200 개의 까다로운 문장 (아랍어 - 영어, 페르시아어 - 영어, 독일어 - 영어 언어 쌍 각각 300 개) 을 최종 선정했습니다. 이 과정은 AI 심사위원에게 모든 단일 문장을 읽게 하는 것보다 막대한 비용 (약 91%) 을 절감했습니다.

3. 채점: "자" 대 "번역가"

이것이 이 논문에서 가장 중요한 발견입니다. 그들은 시스템을 채점하는 두 가지 다른 방법을 사용했습니다:

• 자 (WER - 단어 오류율): 이는 전통적인 방법입니다. 모든 단일 문자와 단어 불일치를 세어 봅니다. 화자가 "feature"라고 말하고 컴퓨터가 "feature"를 의미하는 페르시아어 단어를 썼다면 (의미는 같지만 모양은 다름), "자"는 "틀렸다! 그것은 실수다"라고 말합니다.
• 번역가 (BERTScore): 이는 더 지능적인 방법입니다. 이는 의미를 이해합니다. 화자가 "feature"라고 말하고 컴퓨터가 "feature"를 의미하는 페르시아어 단어를 썼다면, "번역가"는 "훌륭한 작업! 철자는 다르지만 의미를 정확히 파악했군"이라고 말합니다.
• 발견: 아랍어와 페르시아어와 같이 단어가 다르게 쓰일 수 있지만 같은 의미를 가지는 언어의 경우, "자"는 너무 가혹합니다. 이는 시스템이 철자에 대해 창의적인 것을 처벌합니다. "번역가"(BERTScore) 는 훨씬 더 공정한 등급을 매깁니다.

4. 레이스 결과

그들은 다섯 개의 대형 상용 시스템을 테스트했습니다. 그들의 순위는 다음과 같습니다:

• 승자: ElevenLabs Scribe v2가 명백한 챔피언이었습니다. 네 가지 언어 쌍 모두에서 가장 낮은 오류율과 가장 높은 의미 점수를 기록했습니다. 특히 까다로운 아랍어와 페르시아어 혼합을 처리하는 데 탁월했습니다.
• 중간 그룹: OpenAI 와 Google 은 괜찮았지만, 특히 가장 어려운 문장에서 우승자보다 훨씬 더 많은 실수를 했습니다.
• 고군분투하는 팀: Azure(Microsoft) 는 가장 높은 오류율을 보였습니다. 그러나 논문은 Azure 에게 시작 시 한 번만 확인하는 대신 언어를 지속적으로 "확인"하도록 지시하면 조금 더 나아지지만 여전히 뒤처진다고 지적합니다.
• 특별 사례: Deepgram 은 아랍어나 페르시아어를 공식적으로 지원하지 않기 때문에 독일어 - 영어로만 테스트되었습니다. 독일어에서는 매우 잘 수행되었지만, 두 언어 모두 같은 알파벳을 사용하는 더 쉬운 테스트였기 때문에 다른 시스템과 비교할 수 없습니다.

5. "하드 모드" 발견

연구자들은 테스트를 난이도 (쉬움, 보통, 어려움, 전문가) 로 나누어 분석했습니다.

• 놀라움: "쉬운" 문장에서는 모든 시스템이 꽤 비슷해 보였습니다. 하지만 "전문가"(가장 어려운) 문장에서는 격차가 폭발적으로 벌어졌습니다.
• 비유: 평평한 트랙에서는 모두 같은 속도로 달리는 경주를 상상해 보세요. 하지만 트랙이 가파르고 바위가 많은 산으로 변하면 한 명의 주자 (ElevenLabs) 는 꾸준히 올라가는 반면, 다른 주자들은 미끄러지기 시작하고 넘어집니다. 평균 점수는 이러한 거대한 차이를 숨깁니다; 가장 어려운 도전을 볼 때만 진정한 격차를 볼 수 있습니다.

6. 시각적 증거

이러한 언어들에서 "철자"보다 "의미"가 더 중요하다는 것을 증명하기 위해 그들은 단어용 GPS 같은 시각적 지도를 사용했습니다.

• 그들은 "정답" 문장과 "컴퓨터의 추측" 문장을 지도에 표시했습니다.
• 결과: 컴퓨터가 다른 스크립트 (예: 페르시아어 문자로 영어 단어 작성) 를 사용했을 때조차, 지도 위의 점들은 서로 바로 옆에 있었습니다. 이는 "자"(WER) 가 틀렸다고 말했더라도 컴퓨터가 의미를 이해했음을 증명합니다.

결론

한 숨에 여러 언어를 사용하는 사람들을 위한 제품을 구축한다면 표준 "단어 오류율" 점수만 보지 마세요. 이는 국수를 얼마나 완벽하게 썻는지로만 요리사를 판단하고 수프가 맛있는지는 무시하는 것과 같습니다.

• 아랍어와 페르시아어의 경우 **"의미 점수"(BERTScore)**를 사용하세요.
• 쉬운 문장뿐만 아니라 "가장 어려운" 문장으로 테스트하세요.
• ElevenLabs Scribe v2는 현재 이 특정 작업에서 가장 뛰어나지만, 논문은 비즈니스용 시스템을 선택할 때 지연 시간 (latency) 과 비용과 같은 현실 세계 요소들도 중요하다고 경고합니다.