💬 NLP

How Robust Are LLMs to Vietnamese Dialects?

이 논문은 대규모 언어 모델(LLM)을 베트남어 방언에 대해 평가하는 최초의 체계적인 벤치마크인 VialectectBench를 소개하며, 방언의 변이가 여러 과업 전반에 걸쳐 측정 가능한 성능 저하를 일으킨다는 점과 표준 베트남어에 대한 높은 숙련도가 의미를 보존하는 지역적 차이에 대한 강건성을 보장하지 않는다는 점을 밝히고 있습니다.

원저자: Minh Tran, Trinh Chau, Thanh-Nhan Le, Nam Tran, Luan Thanh Nguyen, Cuong Dang, Duc Hoang

게시일 2026-08-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Minh Tran, Trinh Chau, Thanh-Nhan Le, Nam Tran, Luan Thanh Nguyen, Cuong Dang, Duc Hoang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 똑똑한 로봇에게 인간의 언어를 이해시키는 법을 가르치고 있다고 상상해 보세요. 당신은 수백만 권의 책, 뉴스 기사, 그리고 웹사이트 등 매우 정제된 "교과서적" 버전의 언어로 쓰인 자료들을 로봇에게 보여줍니다. 로봇은 이 작업에 매우 능숙해졌고, 당신이 내는 모든 테스트에서 만점을 받습니다. 하지만 여기 함정이 있습니다. 현실 세계는 교과서와 같지 않습니다. 사람들은 항상 "완벽한" 버전으로 말하지 않습니다. 그들은 억양을 사용하고, 속어를 쓰며, 북쪽, 남쪽, 혹은 중부 지역인지에 따라 다르게 말합니다. 이것을 **방언(dialect)**이라고 부릅니다. 이것은 마치 같은 노래가 서로 다른 악기로 연주되는 것과 같습니다. 멜로디(의미)는 같지만, 소리(단어와 문법)는 변하는 것입니다.

과학자들은 이러한 거대한 언어 로봇, 즉 **대규모 언어 모델(LLM)**을 구축하여 우리가 글을 쓰고, 질문에 답하고, 문제를 해결하는 것을 돕게 하고 있습니다. 하지만 여기에는 큰 의문이 하나 남아 있습니다. 이들이 정말로 모든 사람을 이해할 만큼 똑똑한 것일까요, 아니면 단지 언어의 "표준" 버전을 이해하는 데 매우 뛰어난 것뿐일까요? 만약 당신이 지역 방언을 사용하여 로봇에게 질문을 던진다면, 로봇은 여전히 정답을 맞힐까요, 아니면 혼란에 빠져 엉뚱한 말을 지어내기 시작할까요? 이것은 매우 중요합니다. 왜냐하면 로봇이 오직 "완벽한" 버전만을 이해한다면, 실제 사람들이 이를 사용하려 할 때 실패하게 되어 좌절감을 주거나 심지어 위험한 오해를 불러일으킬 수 있기 때문입니다.

위대한 베트남 방언 테스트

연구팀은 이 언어 로봇들을 궁극적인 테스트에 투입하기로 했습니다. 그들은 이 모델들이 베트남 방언의 무질서하고 아름다운 현실을 감당할 수 있는지 확인하고 싶었습니다. 베트남에서는 사람들이 다양한 지역적 색채로 말합니다. 수도에서 "무엇(what)"을 뜻하는 단어가 중부 지역에서는 완전히 다른 단어일 수 있지만, 모두가 무엇을 묻고 있는지는 이해할 수 있습니다.

연구진은 VialectBench라는 특별한 놀이터를 만들었습니다. 이것은 말하자 당연히 방식에 너무 까다로운 로봇들을 골탕 먹이기 위해 설계된 거대한 장애물 코스라고 생각하면 됩니다. 그들은 먼저 4로 된 표준 질문과 과업들—예를 들어 누군가의 기분을 추측하거나, 논리 퍼즐을 풀거나, 이야기에 기반해 질문에 답하는 것 등—로 시작했습니다. 그런 다음, 여섯 개 지역의 베트나미 전문가들을 고용하여 그 동일한 과업들을 그들의 지역 방언을 사용하여 다시 쓰게 했습니다.

목표는 간단했습니다. 의미는 정확히 똑같이 유지하되, 현지인처럼 들리도록 단어를 바꾸는 것이었습니다. 예를 들어, 표준 방식으로 "의사가 저에게 무엇을 먹으라고 했나요?"라고 묻는 대신, 중부 지역의 사람은 "Bác sĩ dặn ăn chi?"(의사가 '무엇'을 먹으라고 했나요?)와 같이 지역 단어를 사용하여 물을 수 있습니다. 로봇은 두 버전 모두에 답해야 했습니다. 만약 로봇이 표준 버전은 맞혔지만 방언 버전에서 틀렸다면, 그것은 로봇이 취약하다는 것, 즉 말투의 변화에 쉽게 혼란을 느낀다는 것을 의미했습니다.

결과: 길을 잃은 로봇들

연구진이 열 개의 언어 모델(작은 오픈 소스 모델부터 거대하고 강력한 GPT-4o까지)에 대해 테스트를 실행했을 때, 결과는 일종의 경종을 울렸습니다. 어떤 로봇도 완벽하지 않았습니다. 모든 모델이 방언에 직면했을 때 비틀거렸습니다.

평균적으로, 로봇들은 표준 베트남어 대신 방언을 다뤄야 했을 때 성능이 2.82% 하락했습니다. 하지만 그 하락 폭은 모든 곳에서 동일하지 않았습니다. 마치 로봇들에게 특정한 사각지대가 있는 것 같았습니다.

"중부"의 문제: 가장 큰 문제는 중부 방언(특히 PNT2 및 PNT3로 표시된 그룹)에서 나타났습니다. 로봇들이 이 방언들을 마주했을 때, 성능이 급격히 떨어졌습니다. PNT3 방언은 가장 큰 평균 하락을 일으켜 로봇의 성능을 6.17% 떨어뜨렸고, PNT2는 **4.73%**를 떨어뜨렸습니다.
"북부"의 놀라움: 흥el하게도, **북부 방언(PNB)**은 로봇들에게 가장 쉬운 편이었습니다. 실제로 일부 모델의 경우, 북부 방언을 듣는 것이 오히려 성능을 약간 더 좋게(0.42%) 만들었는데, 이는 로봇들이 훈련받은 표준 베트남어가 이미 북부의 방식과 매우 유사하기 때문일 것입니다.
남부의 혼합: 남부 방언(PNN)은 평균적으로 약 **1.81%**의 완만한 하락을 일으켰습니다.

어디에서 실패했는가?

연구진은 또한 로봇들이 어떤 종류의 과업에서 실패했는지 살펴보았습니다. 조사 결과 **질문 답변(QA)**이 가장 취약한 것으로 나타났습니다. 로봇이 이야기를 읽고 방언으로 된 질문에 답해야 할 때 가장 많이 어려움을 겪었으며, 평균 성능 하락폭은 5% 이상이었습니다. 이는 질문 자체가 지역 방언으로 표현되었을 때, 로봇이 텍xt에서 답을 찾기 위해 맥락을 연결하는 데 어려움을 겪는다는 것을 시사합니다.

또 다른 무서운 발견은 **"유해한 반전(harmful flip)"**입니다. 이것은 로봇이 표준 베트남어로는 정답을 맞히지만, 방언으로는 완전히 틀린 답을 내놓는 현상을 말합니다. 중부 방언이 이러한 반전을 가장 많이 일으켰으며, 모든 모델에 걸쳐 **6.54%**의 비율을 보였습니다. 이것은 마치 로봇이 한 목소리로는 "정답을 압니다!"라고 자신 있게 말하다가, 다른 목소리로 말할 때는 실제로는 정반대의 답임에도 불구하고 "정답은 이것입니다!"라고 자신 있게 말하는 것과 같습니다.

이것이 의미하는 바

이 연구는 로봇이 표준 베트남어에 천재적이라고 해서, 모든 베트남어에 천재라는 뜻은 아니라는 것을 보여주었습니다. 연구진은 표준 언어에서의 강력한 성능이 지역적 변이 상황에서도 신뢰할 수 있는 동작을 보장하지는 않는다는 것을 발견했습니다.

또한 그들은 이 로봇들이 자연적으로 방언에 면역력이 있다는 가설을 일축했습니다. 가장 뛰어난 성능을 보였던 GPT-4o와 같은 가장 똑똑한 모델조차도, 방언이 도입되었을 때 여전히 작은 정확도 하락을 보였습니다. 이 연구는 우리가 이러한 도구들이 모든 사람에게 작동한다고 단순히 가정해서는 안 되며, 사람들이 실제로 말하는 다양한 방식에 맞춰 특별히 테스트되고 개선되어야 함을 시사합니다.

요약하자면, 로봇들은 가이드북을 완벽하게 공부했지만 현지인이 진한 억양으로 길을 알려주는 순간 길을 잃어버리는 관광객과 같습니다. 우리가 그들에게 모든 다양한 목소리를 듣도록 가르치지 않는다면, 그들은 계속해서 실수를 범할 수도 있습니다.

기술 요약: LLM은 베트남어 방언에 얼마나 강건한가?

문제 정의

대규모 언어 모델(LLM)은 주로 북부 방언과 밀접하게 일치하는 표준 문어체 베트남어를 기준으로 평가됩니다. 그러나 일상적인 의사소통은 의미는 보존하지만 표면 형태(어휘 선택, 대명사, 담화 표지 및 기능어)가 크게 다른 지역 방언을 빈번하게 포함합니다. 기존의 베트남어 방언 연구는 이러한 변이를 기계 번역이나 감성 분석과 같은 다운스트림 태스크를 개선하기 위한 방언-표준어 정규화(dialect-to-standard normalization) 문제로 간주하는 경향이 있습니다.

중요한 격차가 존재합니다: LLM 자체가 의미를 보존하는 지역적 입력에 본질적으로 강건한지 여부는 불분명합니다. 현재의 벤치마크는 동일한 골드 레이블 소스 인스턴스의 여러 방언 변이형을 제공하지 않기 때문에, 방언적 변이로 인해 발생하는 성능 저하, 예측 반전(prediction flips) 또는 실패 패턴을 측정할 수 있는 통제된 구조가 부족합니다.

방법론

데이터셋 구축: VialectBench

이 격차를 해소하기 위해 저자들은 베트남어 LLM의 강건성을 평가하기 위한 최초의 엔드 투 엔드(end-to-end) 인간 주석 병렬 벤치마크인 Vialect-Bench를 소개합니다.

구조: 이 데이터셋은 400개의 표준 베트남어 소스 인스턴스로 구성되며, 각 인스턴스는 의미를 보존하는 6개의 지역 방언 변이형으로 재작성되어 총 2,400개의 인스턴스를 생성합니다.
방언 그룹: 6개 그룹은 주요 지역 변이를 다룹니다:
- PNB: 북부 베트남어 (표준/북부).
- PNN: 남부 베트남어 (호치민시, 동남부, 메콩 델타).
- PNT1–PNT4: 중부 베트남어 하위 그룹 (Thanh Hoa; Nghe An–Ha Tinh; Quang Binh–Quang Tri–Thua Thien Hue; Da Nang–Binh Thuan).
태스크: 서로 다른 능력을 요구하는 4가지 언어 이해 태스크를 포괄합니다:
1. 감정 인식 (ER): UIT-VSMEC 기반.
2. 자연어 추론 (NLI): ViANLI 기반.
3. 질의응답 (QA): ViQuAD 기반.
4. 객관식 질의응답 (MCQA): ViMMRC 2.0 기반.
주석 프로토콜: 주석 작성자는 6개의 대상 방언 지역에서 모집되었습니다. 엄격한 이중 검토 프로세스를 통해 의미 보존, 방언의 진본성, 가이드라인 준수를 보장했습니다. 엄격한 자격 기준(예: 의미 보존율 $\ge$ 0.90)을 통과한 재작성본만 포함되었습니다.
통제된 설계: 각 인스턴스에 대해 태스크 레이블과 근거(전제, 문맥, 정답 구간)는 고정됩니다. 오직 태스크를 수행하는 입력 필드(발화, 가설, 질문, 선택지)만이 재작성됩니다. 이를 통해 관찰된 성능 변화가 태스크 복잡성이 아닌 방언적 변이에 기인함을 보장합니다.

실험 설정

모델: 9개의 오픈 소스 모델(Qwen2.5 변형, Llama 3.1, Mistral, Gemma 2/3, Vistral, SeaLLM)과 1개의 독점 모델(GPT-4o)을 포함하여 10개의 인스트럭션 튜닝된 모델을 평가했습니다.
추론: 입력 변이의 효과를 생성의 확률성으로부터 분리하기 위해 결정론적 디코딩(temperature=0, 샘플링 없음)을 사용한 직접 프롬프팅을 사용했습니다.
지표:
- 성능: MCQA, NLI, ER에 대한 정확도(Accuracy); QA에 대한 토큰 수준 F1.
- 강건성: 유해한 반전율(Harmful-Flip Rate, HFR). 이는 표준 베트남어에서는 정답을 맞혔으나 방언 형태에서는 오답을 낸 사례의 비율로 정의됩니다.
- 가능도 이동(Likelihood Shift): 표면 형태의 변화를 정량화하기 위해 고정된 참조 모델(Qwen2.5-0.5B)을 사용하여 퍼플렉시티(Perplexity, PPL) 비율을 측정했습니다.

주요 결과

1. 보편적 방언 취약성

평가된 어떤 모델도 완전히 방언 불변(dialect-invariant)하지 않습니다. 10개 모델 전체에서 방언 입력은 평균 성능을 2.82% 감소시켰습니다.

태스크별 취약성: 4가지 태스크 모두 영향을 받았습니다. **질의응답 (QA)**이 가장 큰 평균 저하(5.21%)를 보였으며, 그 뒤를 MCQA (2.55%), 감정 인식 (2.08%), NLI (1.45%)가 이었습니다.
지역적 격차: 강건성은 지역에 따라 크게 다릅니다.
- PNT3 (중북부 III)와 PNT2 (중북부 II)는 각각 평균 **6.17%**와 **4.73%**의 성능 저하를 일으켜 가장 큰 폭의 하락을 유발했습니다.
- PNB (북부)는 가장 덜 파괴적이었으며, 일부 모델에서 평균 성능을 0.42% 약간 향상시켰습니다.
- 중부 방언 그룹 (PNT1–PNT4)은 모든 모델에서 가장 높은 평균 유해한 반전율인 **6.54%**를 기록했습니다.

2. 태스크별 실패 패턴

QA: 이 태스크는 4가지 중부 변이형 모두에서 상당한 저하를 보이며 가장 넓은 취약성을 나타냈습니다. 이는 방언적 변이가 지역적 쿼리와 이를 뒷받침하는 근거 사이의 정렬을 구체적으로 방해함을 시사합니다.
NLI & ER: 이 태스크들은 더 선택적인 저하를 보였으며, 가장 심각한 손실은 PNT2와 PNT3에 집중되었습니다.
MCQA: PNT3가 가장 큰 손실(4.30%)을 유발하는 지역적 패턴을 따랐습니다.

3. 모델 능력 vs. 안정성

GPT-4o는 가장 높은 절대적 성능(표준어에서 77.8%)과 가장 높은 안정성(평균 방언 격차 $\approx$ 1.0%)을 보여주었습니다.
베트남어에 적응된 모델인 Vistral-7B는 작은 평균 방언 격차(1.5%)를 보였으나, 모든 방언에서 낮은 절대적 성능을 유지했습니다. 이는 작은 방언 격차가 반드시 강건성을 의미하는 것이 아니라, 단순히 모든 입력 유형에 대해 일관되게 낮은 성능을 반영할 수 있음을 나타냅니다.
중부 비대칭성: 중부 방언은 북부 및 남부 변형에 비해 일관되게 낮은 성능과 높은 유해한 반전율을 생성하였으며, 이는 "중부 효과"가 종종 올바른 표준어 예측을 오답으로 전환시킨다는 것을 나타냅니다.

의의 및 기여

본 논문은 세 가지 주요 기여를 합니다:

VialectBench: 6개 방언 그룹과 4개 태스크에 걸쳐 베트남어 LLM의 강건성을 평가하기 위한 최초의 통제된, 인간 주석 병렬 벤치마크를 제안합니다.
평가 프레임워크: 정규화 기반 접근 방식을 넘어, 매칭된 표준어와 방언 입력을 비교함으로써 방언으로 인한 성능 저하 및 예측 반전을 정량화하는 방법론을 제시합니다.
실증적 발견: 본 연구는 강력한 표준 베트남어 성능이 의미를 보존하는 지역적 변이 하에서도 신뢰할 수 있는 동작을 보장하지 않는다는 점을 입증합니다. 특히, 중부 베트남어 방언(특히 PNT2 및 PNT3)이 현재 LLM에 가장 큰 도전 과제가 되어 가장 높은 유해한 예측 반전율을 초래한다는 점을 강조합니다.

저자들은 정규화가 다운스트림 시스템에 도움을 줄 수는 있지만, 모델 자체의 내재적 강건성을 드러내지는 못한다고 결론짓습니다. 관찰된 취약성은 LLM이 실제 베트남어 의사소통에 내재된 언어적 다양성을 처리하기 위해 추가적인 발전이 필요함을 시사합니다.