Who Benchmarks the Benchmarks? A Case Study of LLM Evaluation in Icelandic

이 논문은 아이슬란드어용 대규모 언어 모델 (LLM) 벤치마크가 검증되지 않은 합성 또는 기계 번역 데이터를 사용하여 심각한 오류를 포함하고 평가의 타당성을 훼손할 수 있음을 지적하며, 저/중자원 언어에 대한 검증된 평가 방법의 필요성을 강조합니다.

핵심

"시험지를 누가 채점하나?" 아이슬란드어 AI 평가의 진실

이 논문은 **"우리가 AI(대형 언어 모델) 의 능력을 측정하는 시험지가 정말로 신뢰할 수 있는가?"**라는 근본적인 질문에서 시작합니다. 특히 자료가 부족한 '저자원 언어'인 아이슬란드어를 사례로 들어, 현재 AI 평가 방식에 숨겨진 치명적인 결함들을 파헤칩니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드리겠습니다.

---

1. 핵심 비유: "번역된 수학 문제지"의 함정

상상해 보세요. 한국 학생들에게 미국 초등학교 과학 시험지를 주고 성적을 매기려 합니다. 그런데 이 시험지를 아무도 검토하지 않고 기계 번역기로 아이슬란드어로만 번역했다고 칩시다.

• 문제 1 (문화적 불일치): "네바다 주의 강수량이 적은 이유"를 묻는 문제가 나옵니다. 아이슬란드 학생들에게 네바다의 기후는 전혀 관련이 없습니다. 마치 "제주도 해녀가 사용하는 도구"를 묻는 문제를 미국 학생에게 내는 것과 비슷합니다.
• 문제 2 (번역 오류): 번역기가 '과일'을 '동물'로 잘못 번역하거나, 전문 용어를 엉뚱한 단어로 바꿉니다. 예를 들어, '과일'이 '칠면조 (동물)'로 번역되어, 정답이 '칠면조'가 되어버리는 기이한 상황이 발생합니다.
• 문제 3 (생성된 거짓말): AI 가 시험지를 직접 만들게 했다면, AI 는 사실과 다른 내용을 만들어낼 수 있습니다. "김정은의 아들 이름이 '시구르요'다"라고 거짓말을 하며, 정답을 그 부모로 유도하는 식입니다.

이 논문은 **"이렇게 엉망으로 만들어진 시험지로 아이슬란드어 AI 의 능력을 평가하는 것은, 엉터리 시험지로 학생을 평가하는 것과 같다"**고 경고합니다.

2. 연구팀이 발견한 '진짜' 문제들

연구팀은 아이슬란드어 AI 평가에 쓰이는 여러 시험지 (벤치마크) 를 직접 분석했습니다. 결과는 충격적이었습니다.

• 인간이 만든 시험지 vs 기계가 만든 시험지:
  • 인간이 번역하고 검증한 시험지: 오류가 거의 없었습니다. (예: 'WinoGrande' 시험지)
  • 기계 번역이나 AI 가 만든 시험지: 거의 절반 이상이 심각한 오류를 품고 있었습니다. 특히 'HellaSwag' 같은 시험지는 100% 에 가깝게 오류가 발견되어 아예 폐기해야 할 수준이었습니다.
• 통계적 신뢰도: 기계 번역된 시험지들은 AI 가 "왜 틀렸는지"가 아니라 "우연히 맞춘 것"처럼 높은 점수를 받을 수 있게 만들었습니다. 마치 수학 문제를 풀지 않고 답지만 외운 학생이 100 점을 받는 꼴입니다.

3. 왜 이런 일이 일어날까요? (원인 분석)

• 편의성 vs 정확성: 자료가 부족한 언어 (아이슬란드어 등) 에는 직접 시험지를 만드는 게 어렵고 비쌉니다. 그래서 연구자들은 "영어 시험지를 기계 번역해서 쓰자"거나 "AI 에게 시험지를 만들어달라"는 편법을 썼습니다.
• 검증의 부재: 번역된 시험지를 원어민이 한 번도 확인하지 않았습니다. 번역기의 실수, 문화적 오해, 사실 오류가 그대로 시험지에 담겨버린 것입니다.
• AI 의 환각 (Hallucination): AI 가 시험지를 만들 때, 존재하지 않는 단어를 invented 하거나 (예: 여성형 직업 명칭을 만들어냄), 문맥과 전혀 상관없는 답을 정답으로 제시하기도 합니다.

4. 이 문제가 왜 중요한가요?

만약 엉터리 시험지로 AI 를 평가하면 어떤 일이 벌어질까요?

1. 잘못된 방향성: AI 개발자들은 "내 모델이 이 엉터리 시험지에서 높은 점수를 받았으니 훌륭하다"고 착각합니다. 하지만 실제로는 AI 가 번역기의 실수를 암기하거나 문화적 맥락을 무시하는 방향으로 학습했을 뿐입니다.
2. 언어 공동체의 피해: 아이슬란드어처럼 소수 언어는 디지털 바다에서 영어에 의해 잠식당할 위기에 처해 있습니다. 엉터리 평가는 AI 가 아이슬란드어의 진짜 특징을 배우는 대신, 영어식 사고방식을 아이슬란드어에 강요하게 만듭니다.

5. 연구팀이 제안하는 해결책

이 논문은 다음과 같은 세 가지 원칙을 강조합니다.

1. 기계 번역 금지 (검증 없이): 번역된 시험지를 쓸 때는 반드시 원어민 전문가가 내용을 확인하고 수정해야 합니다.
2. AI 생성 데이터 경계: AI 가 만든 데이터도 기계 번역과 다를 바 없으니, 같은 주의가 필요합니다.
3. 원어민 참여 필수: 시험지 제작부터 검증까지 해당 언어를 모국어로 쓰는 사람이 주도해야 합니다.

결론: "시험지를 누가 채점하나?"

논문의 제목인 "Who Benchmarks the Benchmarks?"(벤치마크를 누가 평가하는가?) 에 대한 답은 명확합니다.

"시험지를 만든 사람 (연구자) 이 스스로의 시험지를 끊임없이 검증해야 한다."

우리는 AI 가 얼마나 똑똑한지 알고 싶어 합니다. 하지만 부실한 시험지로는 AI 의 진짜 능력을 알 수 없습니다. 마치 망가진 자국으로 키를 재면 키가 왜곡되어 나오듯, 부실한 데이터로 AI 를 평가하면 우리는 잘못된 미래를 준비하게 됩니다.

이 논문은 **"편의성보다 정확성을, 기계 번역보다 인간의 검증"**을 선택하라고 강력히 호소하고 있습니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 저자원 언어의 벤치마크 부재: 대규모 언어 모델 (LLM) 의 발전과 함께 다양한 언어에 대한 평가가 필요해졌으나, 영어 등 고자원 언어에 비해 저자원/중자원 언어 (예: 아이슬란드어) 에서는 평가 데이터 (벤치마크) 가 부족합니다.
• 자동 생성 및 기계 번역의 남용: 인간이 직접 데이터를 수집하고 검증하는 것은 시간과 비용이 많이 들기 때문에, 기존 영어 벤치마크를 기계 번역 (MT) 하거나 LLM 을 이용해 합성 데이터 (Synthetic Data) 를 생성하는 방식이 널리 사용됩니다.
• 검증되지 않은 데이터의 위험성: 이러한 자동화된 방식으로 생성된 데이터는 번역 품질이 낮거나, 문화적 맥락이 결여되거나, 사실적 오류를 포함할 수 있습니다. 특히 검증 (Verification) 없이 공개된 데이터는 모델의 실제 능력을 왜곡하여 잘못된 평가 결과를 초래할 수 있습니다.
• 연구의 핵심 질문: "벤치마크를 벤치마크하는 (검증하는) 주체는 누구인가?" 즉, 현재 아이슬란드어 LLM 평가에 사용되고 있는 벤치마크들의 품질은 얼마나 신뢰할 수 있는가?

2. 연구 방법론 (Methodology)

• 대상: 2025 년 10 월 기준 아이슬란드어 LLM 리더보드 (Miðeind, EuroEval) 에 포함된 주요 벤치마크들.
  • 포함된 벤치마크: WinoGrande-IS, GED, Inflection, Belebele, ARC-Challenge-IS, WikiQA-IS, Hotter and Colder, MIM-GOLD-NER, ScaLA-IS, NQiI, MultiWikiQA-IS, MMLU-IS, HellaSwag-IS 등.
• 정량적 오류 분석 (Quantitative Error Analysis):
  • 샘플링: 각 벤치마크에서 무작위로 250 개 이하의 샘플을 추출 (데이터 크기가 작을 경우 10% 추출).
  • 주석 작업 (Annotation): 아이슬란드어 언어학 및 NLP 배경을 가진 3 명의 연구자가 데이터를 분석했습니다.
  • 레이블링 기준:
    • IC (Incorrect/Severely Flawed): 잘못된 답변, 심각한 결함, 명확하게 나쁜 기계 번역.
    • F (Flawed): 오타, 문법 오류, 어휘 오류 등 존재하지만 치명적이지 않은 결함.
    • OK (Valid): 유효한 예시.
  • 신뢰도 측정: 크립펜도르프 알파 (Krippendorff's alpha) 와 가중 합의 계수를 사용하여 평가자 간 신뢰도 (IRR) 를 계산했습니다.

3. 주요 결과 (Key Results)

• 인간 참여 여부에 따른 명확한 차이:
  • 인간이 번역/검증한 데이터: 'WinoGrande-IS' (인간 번역 및 현지화) 는 심각한 결함이 거의 없었습니다. 'WikiQA-IS' 또한 LLM 생성 데이터를 인간이 수동으로 검증 및 수정했기 때문에 상대적으로 양호했습니다.
  • 기계 번역/합성 데이터: 검증되지 않은 기계 번역 데이터는 심각한 오류를 보였습니다.
    • HellaSwag-IS: 샘플의 100% 가 'IC' (심각한 결함) 로 판정되었으며, 유효한 예시는 단 하나도 없었습니다.
    • MMLU-IS: 유효한 예시가 10% 미만이었으며, 번역 품질이 매우 낮았습니다.
    • ARC-Challenge (EuroEval 버전): 기계 번역된 버전은 'OK' 비율이 20% 에 불과한 반면, Miðeind 의 현지화 버전은 55% 로 더 좋았으나 여전히 오류가 존재했습니다.
• 구체적인 오류 유형:
  • 문화적/맥락적 불일치: 미국 초등학교 과학 질문 (예: 네바다 주의 강수량 원인) 을 아이슬란드어 맥락에 맞춰 번역하지 않아 적절하지 않은 질문이 되었습니다.
  • 용어 오류: 과학 용어 (예: bi-flagellate, autotroph) 가 아이슬란드어에 존재하지 않는 단어로 번역되거나 잘못된 번역이 사용되었습니다.
  • 인명 및 고유명사 왜곡: Louis Pasteur 가 'Louis Guðmundsson'으로 잘못 번역되어 질문의 의도가 훼손된 사례가 발견되었습니다.
  • 합성 데이터의 환각 (Hallucination): 'MultiWikiQA-IS'와 같은 LLM 생성 데이터는 맥락과 무관한 답변이나 사실과 다른 정보를 포함하고 있었습니다.
  • ScaLA 벤치마크의 문제: 아이슬란드어 하위 집합은 의회 연설 녹취록을 사용했는데, 구어체 특성상 문법적 오류가 아닌 자연스러운 문장도 '불문법'으로 잘못 라벨링되거나, 의회 절차상 삽입구 (예: "의장 종 울림") 가 문장 구조를 해치는 것으로 잘못 처리된 경우가 있었습니다.

4. 주요 기여 (Key Contributions)

1. 저자원 언어 벤치마크의 품질 위기 경고: 기계 번역이나 LLM 생성 데이터를 검증 없이 벤치마크로 사용하는 관행이 저자원 언어의 LLM 평가 신뢰도를 심각하게 훼손하고 있음을 실증적으로 증명했습니다.
2. 정량적 오류 분석 데이터셋 제공: 아이슬란드어 주요 벤치마크들에 대한 체계적인 오류 분석 결과와 코드를 공개하여, 향후 연구자들이 벤치마크 품질을 검증할 수 있는 기준을 마련했습니다.
3. 평가 방법론에 대한 제언:
   • 원어민 참여 필수: 벤치마크 생성 및 검증 과정에 반드시 원어민이 참여해야 합니다.
   • 검증 프로세스 강화: 기계 번역이나 합성 데이터를 사용할 경우, 무작위 샘플링을 통한 엄격한 인간 검증 (Human Verification) 이 필수적입니다.
   • 문화적 적합성 (Localization): 단순 번역이 아닌, 해당 언어의 문화와 교육 맥락에 맞는 현지화 (Localization) 가 필요합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 모델 개발의 왜곡 방지: 결함이 있는 벤치마크는 모델이 실제 언어 능력을 학습하는 것이 아니라, 번역 오류나 인위적인 패턴 (Translationese) 을 학습하도록 유도하여 모델 개발을 왜곡할 수 있습니다.
• 지속적인 감시 필요: 벤치마크는 한 번 생성되고 끝나는 것이 아니라, 지속적인 감시 (Scrutiny), 문서화, 비판적 평가가 필요합니다. "벤치마크를 벤치마크하는" 과정이 표준 관행이 되어야 합니다.
• 향후 방향: 저자원 언어의 LLM 평가는 단순한 성능 점수 경쟁을 넘어, 해당 언어 공동체의 문화적, 언어적 특성을 반영한 원어민 주도 (Native-authored), 커뮤니티 검증 (Community-vetted), 오염 방지 (Contamination-audited) 벤치마크 구축으로 전환해야 합니다.

이 논문은 특히 저자원 언어 분야에서 LLM 평가의 신뢰성을 확보하기 위해 인간의 개입과 검증의 중요성을 강력하게 강조하고 있습니다.