💻 computer science

How Reliable Are Bengali LLM Benchmarks? A Cross-Lingual Contamination and Robustness Audit of Open-Weight Language Models

이 논문은 교차 언어적 데이터 오염을 탐지하고 섭동에 대한 강건성을 측정함으로써 벵골어 LLM 벤치마크의 신뢰성을 감사하기 위한 체계적인 프레임워크를 소개하고 검증하며, 초기 파일럿 결과가 우연 수준을 간신히 상회하는 성능을 보인다는 점을 밝힌다.

원저자: Md Fahim Faisal Tanha

게시일 2026-08-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Md Fahim Faisal Tanha

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 새로운 학생의 수학 문제 해결 능력을 얼마나 잘 판단하려고 한다고 상상해 보세요. 당신은 학생에게 시험을 주고, 학생이 높은 점수를 받자 그를 천재라고 선언합니다. 하지만 만약, 시험을 보기 전에 그 학생이 몰래 정답지를 외워버린 것이라면 어떨까요? 혹은, 그 학생이 다른 언어로 된 똑같은 문제들을 이미 보았고, 그에 기반해 답을 추측한 것이라면 어떨까요? 이것이 바로 인공지능(AI) 테스트의 까다로운 세계입니다. 과학자들은 글을 읽고, 쓰고, 다양한 언어로 대화할 수 있는 매우 똑똑한 컴퓨터 프로그램인 '대규모 언어 모델(LLM)'을 만듭니다. 이 프로그램들이 실제로 똑똑한 것인지, 아니면 단순히 암기를 잘하는 것인지를 확인하기 위해 연구자들은 '벤치마크'라고 불리는 표준화된 테스트를 제공합니다.

여기에는 '오염(contamination)'이라는 교활한 문제가 있습니다. 이는 마치 선생님이 실수로 책상 위에 정답지를 남겨두었고, 학생이 시험 전에 그것을 발견한 것과 같습니다. 학생은 만점을 받지만, 실제로 내용을 학습한 것은 아닙니다. 단지 답을 외운 것뿐이죠. 이것은 매우 중대한 문제입니다. 만약 테스트가 '오염'되었다면, 우리는 그 점수를 신뢰할 수 없기 때문입니다. 우리는 AI가 벵골어(수억 명의 사람들이 사용하는 언어)를 잘한다고 생각할 수도 있지만, 실제로는 영어 버전의 테스트를 이전에 보았던 것일 수도 있습니다.

이제, 이 연구가 마치 탐정처럼, 벵골어 AI 테스트가 공정한지 아니면 숨겨진 유출로 가득 차 있는지 조사하는 과정을 살펴보겠습니다.

탐정 작업: 벵 Bengali AI 테스트 감사

이 논문의 연구자들은 매우 중요한 질문을 던지고 있습니다: 우리가 벵골어 테스트에서 보는 AI 모델의 점수는 진짜인가, 아니면 사전 노출 때문에 부풀려진 것인가?

그들은 벵골어에 집중했는데, 그 이유는 벵골어가 거대한 언어임에도 불구하고 최근에야 비로-로 전용 AI 테스트들이 등장하기 시작했기 때문입니다. 이러한 테스트 중 상당수는 유명한 영어 테스트를 그대로 번역한 것입니다. 연구팀은 만약 AI 모델이 훈련 과정에서 영어 버전의 질문을 보았다면, 실제로 벵골어를 이해하지 못하더라도 벵골어 정답을 맞힐 수 있을 것이라고 우려했습니다. 이를 '교차 언어적 오염(cross-lingual contamination)'이라고 합니다.

이 미스터리를 해결하기 위해, 연구진은 사전 노출 여부를 확인할 수 있는 특별한 '감사 프레임워크(audit framework)'—즉, 도구 세트—를 구축했습니다. 그들은 세 가지 주요 방법을 사용했습니다:

'가능도(Likelihood)' 체크: 그들은 AI가 테스트 질문에 대해 얼마나 놀랐는지를 살펴보았습니다. 만약 AI가 질문을 이전에 본 적이 있다면, 놀라지 않고 매우 확신을 가질 것입니다. 반대로 질문을 처음 보는 것이라면 더 망설이게 될 것입니다.
'빈칸 채우기' 테스트: 그들은 객관식 문제에서 오답 중 하나를 숨긴 뒤, AI에게 사라진 옵션이 무엇인지 맞혀보라고 하여 AI를 속이려 했습니다. 만약 AI가 정확히 사라진 단어를 맞힌다면, 이는 모델이 전체 테스트를 통째로 암기했을 가능성이 높다는 것을 의미합니다.
'그라운드 트루스(Ground Truth)' 검색: 모델이 완전히 공개되어 있어 훈련 데이터의 내용을 정확히 알 수 있는 경우, 그들은 실제로 훈련 데이터 내에 테스트 질문이 존재하는지 직접 검색했습니다.

또한 그들은 **강건성(robustness)**을 테스트했습니다. 이는 질문의 어순을 약간 바꾸거나, 숫자를 바꾸거나, 무관하고 엉뚱한 문장을 추가하는 등의 방식으로 질문을 살짝 변형하여, AI가 여전히 정답을 맞히는지 확인하는 것입니다. 만약 질문을 조금만 바꿨는데도 AI의 점수가 급락한다면, 이는 AI가 실제로 '생각'하는 것이 아니라 단지 정확한 패턴을 암기하고 있었음을 시사합니다.

지금까지의 발견 사항

연구진은 단순히 이론만 이야기한 것이 아니라, 자신들의 탐정 도구가 제대로 작동하는지 확인하기 위해 작은 '파일럿(pilot)' 테스트를 수행했습니다. 그들은 더 작은 규모의 AI 모델(Qwen2.5-1.5B라고 불림)을 사용하여 벵골어 독해 테스트인 BoolQ-bn의 질문 500개를 테스트했습니다.

이 파일럿 테스트가 밝혀낸 내용은 다음과 같습니다:

점수가 동전 던지기보다 겨우 나은 수준: 모델의 정확도는 0.568이었습니다. 이 테스트는 예/아니오 질문으로 구성되어 있으므로, 무작위로 찍었을 때의 점수는 0.50입니다. 모델은 순수한 운보다 약 7포인트 정도 높은 점수를 기록했습니다. 이는 이 규모의 모델이 아직 벵골어 독해에 대한 강력한 이해력을 갖추지 못했음을 시사합니다.
'사전 노출' 테스트는 결론을 내리기에 불충분함: 그들은 가능도 도구를 사용하여 모델이 정답을 암기했는지 확인하려 했으나, 비교를 위해 모델이 확실히 본 적이 없는 '대조군(control)' 질문 세트가 필요했습니다. 이 부분은 아직 마무리 단계에 있습니다.
'방해 요소' 테스트: 그들은 모델이 혼란을 느끼는지 확인하기 위해 질문에 방해되는 문장을 추가했습니다. 모델의 점수는 0.558로 약간 떨어졌지만, 그 차이는 통계적으로 유의미하지 않았습니다(수학적으로 볼 때 이는 단순한 무작위 소음일 수 있습니다). 이는 파일럿 테스트 규모가 너무 작아서 모델이 취약한지 아닌지를 확정 짓기에는 부족했다는 것을 의미합니다.

큰 그림

이 논문의 핵심 요지는 벵골어 AI가 사전 노출을 보이는지에 대한 최종 판결을 내리는 것이 아닙니다. 대신, 이 논문은 그 사실을 알아내는 방법에 대한 청사진입니다.

연구진은 누구나 사용할 수 있는 완전한 오픈 소스 툴킷을 구축했습니다. 그들은 사용 가능한 모든 벵골어 벤치마크 목록을 만들었고, 오염을 확인하기 위한 프로토콜을 생성했으며, 무료 컴퓨터 자원(예: Google Colab)으로 이러한 비용이 많이 드는 테스트를 실행하는 것이 가능하다는 것을 보여주었습니다.

그들은 현재 훨씬 더 많은 모델과 벤치마크를 대상으로 전체 감사를 진행하고 있습니다. 파일럿 테스트는 시스템이 작동함을 증명했지만, 전체 결과는 여전히 계산 중입니다. 이 논문은 우리가 이러한 감사를 실시하기 전까지는, 벵골어 AI에서 보이는 높은 점수가 실제 지능인지 아니면 이전에 영어 답변을 보았기 때문인지 확신할 수 없다고 주장합니다.

요약하자면, 이 논문은 행동 촉구입니다: "AI가 벵골어에 똑똑한지 추측하는 것을 멈추고, 이 탐정 도구들을 사용하여 그것을 증명합시다." 그들은 우리가 AI가 특정 언어에 능숙하다고 말할 때, 그것이 단순히 테스트를 암기했기 때문이 아니라 실제로 그 언어를 이해하고 있기 때문임을 확실히 하고자 합니다.

기술 요약: 벵골어 LLM 벤치마크의 신뢰성

1. 문제 정의

약 2억 5천만 명이 사용하는 언어인 벵골어는 최근 대규모 언어 모델(LLM) 평가 벤치마크의 급증을 경험하고 있습니다. 그러나 이러한 벤치마크의 신뢰성은 두 가지 주요 위협에 의해 훼손되고 있습니다:

벤치마크 데이터 오염 (BDC): 평가 항목이 모델 학습 코퍼스에 빈번하게 유출됩니다. 결정적으로, 이 오염은 **교차 언어적(cross-lingual)**입니다. 영어 소스 텍스트로 학습된 모델은 번역된 텍스트를 직접 본 적이 없더라도, 그 영어 원문에 대한 지식을 바탕으로 벵골어 번역본에서 부풀려진 점수를 얻을 수 있습니다. 대부분의 벵골어 벤치마크가 영어 테스트 세트를 직접 번역한 것이기 때문에, 이들은 구조적으로 이러한 위험에 취약합니다.
강건성(Robustness) 부족: 저자원 언어 벤치마크에서의 성능은 진정한 능력보다는 표면적인 암기를 반영할 수 있습니다. 최근의 증거에 따르면, 의미론적으로 동일한 섭동(perturbation) 하에서 점수가 붕괴될 수 있음이 밝혀졌으나, 벵골어에 대해서는 이러한 취약성이 체계적으로 감사되지 않았습니다.

교육 및 공공 서비스의 의사결정에 이러한 벤치마크가 빠르게 채택되고 있음에도 불구하고, 벵골어 벤치마크의 오염이나 강건성을 감사한 선행 연구는 없습니다. 이는 보고된 성능 점수의 타당성에 의문을 제기합니다.

2. 방법론

저자는 벵골어 LLM 벤치마크의 신뢰성을 평가하기 위해 설계된 체계적인 감사 프레임워크를 제시합니다. 이 프레임워크는 토큰 수준의 가능도(likelihood)와 일부 경우 전체 사전 학습 코퍼스에 대한 접근성을 활용하기 위해 오픈 웨이트 모델(1B~9B 파라미터)에 적용됩니다.

2.1 감사 프레임워크 구성 요소

프레임워크는 세 가지 탐지 계열의 삼각 측량을 사용합니다:

가능도 기반 신호 (Min-K% Prob): 벤치마크 항목에 대해 확률이 가장 낮은 하위 $k\%$ 토큰들의 평균 로그 확률을 측정합니다. 학습 데이터에 존재하는 항목은 일반적으로 더 높은 점수를 나타냅니다. 이는 공개되지 않은 비공개 프로브 세트 및 벤치마크 존재 전의 모델인 시간적 대조군(Pythia 모델)과 비교됩니다.
생성 기반 테스트 (TS-Guessing): 다지선다형 질문의 경우, 모델이 마스킹된 오답 항목을 재구성하도록 유도합니다. 우연한 확률(chance baseline)을 크게 상회하는 정확도는 과업 이해가 아닌 테스트 파일의 암기를 나타냅니다.
그라운드 트루스 코퍼스 검색: 완전 공개된 사전 학습 코퍼스를 가진 모델(Tier B: OLMo, Pythia, BLOOM)의 경우, 프레임워크는 벵골어 및 영어 형태 모두에서 13-gram 중복 검색을 수행합니다.

2.2 교차 언어 및 강건성 분석

교차 언어 오염 (RQ2): BEnQA의 병렬 벵골어-영어 설계를 활용하여, 영어 소스 항목과 그에 대응하는 벵골어 항목 간의 암기 신호 및 정확도를 비교합니다. 이는 영어 소스에 대한 강력한 암기가 벵데어 번역본의 정답 예측으로 이어지는지 테스트합니다.
강건성 감사 (RQ3): 프레임워크는 다음을 포함한 의미 보존 섭동을 벤치마크 항목에 적용합니다:
- 옵션 순서 변경 (MCQ용).
- 방해 문장 삽 insersion.
- 숫자 치환 (수학 문제용).
- 왕복 기계 번역(round-trip machine translation) 패러프레이징.
  연구는 이러한 섭동 하에서의 정확도 변화량(delta)과 모델 순위의 안정성을 측정합니다.

2.3 실험 설정

모델: 감사 대상 모델에는 Llama-3.2, Qwen2.5, Gemma-2, Mistral, TituLLM, TigerLLM, OLMo, Pythia, BLOOM이 포함됩니다.
벤치마크: 출처, 크기, 라이선스 및 구축 방법을 상세히 기록한 8개의 공개 벵골어 LLM 벤치마크(예: BEnQA, Bangla MMLU, BanglaMATH, BoolQ-bn)의 큐레이션된 인벤토리를 구분합니다 (native: 벵골어로 작성됨, translated: 영어에서 파생됨).
컴퓨팅: 모든 실험은 4-bit 양자화를 사용하여 무료 티어 GPU 컴퓨팅(Kaggle/Google Colab)에서 수행되었습니다.
파일럿: 완료된 파일럿 연구에서는 BoolQ-bn의 500개 항목 샘플을 대상으로 Qwen2.5-1.5B-Instruct를 평가했습니다.

3. 주요 기여

큐레이션된 인벤토리: 출처, 크기, 라이선스 및 구축 방법을 상세히 기술한 버전 관리된 공개 벵골어 LLM 벤치마크 인벤토리.
오염 감사 프로토콜: 가능도, 생성 및 코퍼스 검색 방법을 결합한 벵골어 벤치마크 전용 최초의 프로토콜.
교차 언어 테스트: 교차 언어 오염을 격리하고 측정하기 위해 병렬 데이터(BEnQA)를 사용하는 새로운 실험 설계.
강건성 도구: 점수 안정성과 순위 변화를 측정하고, 취약성을 잠재적 오염과 연결하는 섭동 세트.
공개 출시: 커뮤니티의 재감사를 가능하게 하기 위해 모든 코드, 데이터 매니페스트 및 항목별 감사 출력물을 공개합니다.

4. 파일럿 결과

Qwen2.5-1.5B-Instruct(BoolQ-bn의 500개 항목)에 대한 파일럿 연구 결과는 다음과 같습니다:

정확도: 0.568 (95% CI [0.524, 0.610])로, 이진 분류 작업의 우연한 확률인 0.50을 겨우 상회했습니다. 모델은 다수 클래스 베이스라인보다 단 3.4 퍼센트 포인트 높았습니다.
강건성: 방해(distractor) 섭동으로 인해 정확도가 -1.0 퍼센트 포인트(0.568에서 0.558로) 변화했습니다. 불일치 항목에 대한 McNemar 테스트는 통계적으로 유의하지 않았으나( $p=0.302$ ), 저자는 파일럿 샘사 크기가 작은 변화를 감지하기에는 부족했다고 언급했습니다.
오염 신호: 평균 Min-K% Prob은 -3.767이었습니다. 오염 탐지를 위한 전체 AUROC 점수는 비공개 프로브 세트와의 비교를 기다리는 중입니다.
실행 가능성: 파일럿을 통해 전체 모델 $\times$ 벤치마크 감사 셀(정확도 + Min-K% + 섭동)을 단일 T4 GPU에서 약 0.56 GPU-시간 내에 실행할 수 있음을 확인했습니다.

5. 의의 및 주장

본 논문은 벵골어 LLM 벤치마크에 대한 최초의 체계적 감사를 표방합니다. 그 의의는 다음과 같습니다:

근본적인 질문: 벵골어 벤치마크의 높은 점수가 실제 능력인지, 아니면 유출된 데이터의 암기인지에 대해 의문을 제기하며 해석에 도전합니다.
방법론적 엄밀성: 세 가지 별도의 탐지 계열을 결합하고 시간적 대조군(Pythia)을 사용하여, 단일 방법론적 접근보다 더 강력한 증거를 제공하고자 합니다.
확장성: 프레임워크는 언어에 구애받지 않으며, 번역에 의존하는 다른 중간 규모 언어에도 적용할 수 있을 만큼 계산 비용이 저렴하도록 설계되었습니다.
커뮤니티 유용성: 프로토콜과 인벤토리를 공개함으로써, 새로운 모델과 데이터셋이 등장함에 따라 벵골어 벤치마크의 신뢰성을 지속적으로 모니터링할 수 있게 합니다.

저자는 전체 감사 그리드(모든 모델 및 벤치마크 포함)가 현재 진행 중임을 명시하며, 본 원고는 프레임워크, 인벤토리, 프로토콜 및 완료된 파일럿을 보고합니다. 또한, 가능도 기반 탐지기가 오픈 웨이트 모델에 대해 확정적인 증거보다는 증거를 제공하며, 신호가 없다는 것이 벤치마크가 깨끗하다는 것을 보장하지 않는다는 점을 언급하며 신중한 입장을 유지합니다.