기술 요약: BenHalluEval

문제 정의

벵골어는 세계에서 여섯 번째로 많이 사용되는 언어임에도 불구하고, 이 언어에 대한 대규모 언어 모델(LLM)의 환각(hallucination) 현상에 대한 체계적인 평가가 이루어진 바 없다. 기존의 환각 탐지 벤치마크(예: TruthfulQA, FActScore, HaluEval)는 주로 영어 또는 아랍어, 힌디어와 같은 고자원 언어에 집중되어 있다. 또한, 현재의 평가 방법은 환각된 후보만을 테스트하는 단일 트랙 프로토콜에 의존하는 경우가 많아, 모델이 나타낼 수 있는 균일한 응답 편향(예: 항상 "환각" 또는 "환각 아님"이라고 예측하는 현상)을 고려하지 못한다. 더불어, 벵골어 디지털 통신에서 흔히 나타나는 패턴인 벵골어-영어 코드 혼용(code-mixed) 입력에 대한 LLM의 구체적인 동작 방식 역시 조사되지 않은 상태이다.

방법론

저자들은 벵골어 및 벵골어-영어 코드 혼용 입력을 위해 특별히 설계된 다중 작업 환각 평가 프레임워크인 BenHalluEval을 소개한다. 이 프레임워크는 3단계 파이프라인을 통해 작동한다.

1. 시드 데이터셋 선택 및 필터링

프레임워크는 기존 데이터셋을 활용하고 환각이 발생하기 쉬운 "어려운" 샘플을 식별하기 위한 특정 필터링 전략을 적용하여 네 가지 별도의 작업으로 구성된 벤치마크를 구축한다:

• 생성형 질의응답 (GQA): TydiQA-GoldP(벵골어)를 사용한다. 세 가지 모델(Qwen2.5-14B, Gemma-2-9B, DeepSeek-R1-14B)에 컨텍스트 없이 프롬프트를 주었을 때 세 모델 모두 실패한 인스턴스를 시드 세트로 선택하여 필터링하였다 (1,000개 샘플).
• 벵골어-영어 코드 혼용 QA: 1,000개의 GQA 시드 질문을 GPT-5.4를 사용하여 벵골어-영어(로마자 표기)로 변환하되, 원래의 벵골어 답변은 유지하였다.
• 요약 (Summarization): BanglaCHQ-Summ(1,800개의 의료 질의-요약 쌍)을 사용한다. 세 모델에 의해 요약되었을 때 BERTScore F1 유사도가 낮은 샘ples를 기준으로 필터링하여, 가장 어려운 1,000개의 인스턴스를 선택하였다.
• 추론 (Reasoning): SOMADHAN(8,792개의 벵골어 수학 문제)을 사용한다. 다양한 난이도를 보장하기 위해 추론 체인 길이(가장 긴 것 500개, 가장 짧은 것 500개)에 따라 계층화하였다.

2. 환각 샘플 생성

저자들은 GPT-5.4를 사용하여 네 가지 작업 전반에 걸쳐 12,000개의 환각 후보를 생성하였다. 생성 과정에는 작업별 환각 분류 체계가 적용되었다:

• GQA 및 코드 혼용 QA (4가지 유형): 사실성(사실 조작), 이해도(의도 오해), 구체성(부적절한 상세 수준), 추론(근거 없는 결론).
• 요약 (3가지 유형): 조작된 내용, 비사실적 추가, 직접적 모순.
• 추론 (5가지 유형): 산술적 실수, 공식 오적용, 부적절한 연역, 환각된 중간 사실, 의미적 표류(Semantic Drift).

3. 이중 트랙 평가 프로토콜

단일 트랙 평가의 한계를 해결하기 위해, 저자들은 7개의 LLM(추론 중심, 다국어, 벵골어 중심 카테고리를 포괄)에 대해 평가되는 이중 트랙 프로토콜을 제안한다:

• 트랙 A (Track A): 정답(ground-truth)을 제시한다. 기대되는 판정은 "아니오"(환각 아님)이다. 이는 **거짓 양성률(False Positive Rate)**을 측정한다.
• 트랙 B (Track B): 생성된 환각 후보를 제시한다. 기대되는 판정은 "예"이다. 이는 **환각 탐지율(Hallucination Detection Rate)**을 측정한다.

4. BenHalluScore (BHS)

저자들은 두 가지 실패 모드(정답에 대한 거짓 양성 및 환각 데이터에 대한 탐지 실패)를 공동으로 처벌하도록 설계된 교정 지표인 BenHalluScore를 도입한다.
$$\text{BenHalluScore} = \frac{1}{2} \left( \frac{W_A}{N_A} + \frac{W_B}{N_B} \right) \times 100\%$$
여기서 $W$는 잘못된 판정을, $N$은 트랙당 총 인스턴스를 나타낸다. 점수가 낮을수록 교정이 잘 된 것을 의미하며, 점수가 50%라면 무작위적이거나 균일하게 편향된 동작을 의미한다.

주요 결과

7개의 모델(DeepSeek-R1-14B, GPT-4.1 mini, Qwen2.5-32B, Gemma-2-27B, Mistral-nemo-12B, LLaMA-3.1-8B, TigerLLM-9B 포함)을 평가한 결과 상당한 성능 차이가 드러났다:

• 성능 범위: BenHalluScore는 7.72%(요약 작업에서의 Qwen2.5-32B)에서 55.42%(코드 혼용 QA에서의 Mistral-nemo-12B) 사이의 범위를 보였다.
• 작업별 편차: 요약 작업은 일반적으로 GQA나 추론보다 낮은(더 좋은) 점수를 기록했는데, 이는 전체 소스 문서에 대한 접근성이 사실적 일관성을 돕는다는 것을 시사한다. 추론 작업은 가장 넓은 성능 편차를 보여, 벵골어에서의 추론 환각을 탐지하는 데 높은 난이도가 있음을 나타냈다.
• 모델 카테코리:
  • GPT-4.1 mini는 GQA에서 15.56%를 달 기록하며, 두 트랙 모두에서 낮은 오류율을 유지하며 가장 우수한 균형을 달성했다.
  • TigerLLM-9B(벵골어 중심 모델)는 GQA와 요약에서 훨씬 더 큰 다국어 모델들을 능가하였으며, 이는 언어 특화 사전 학습이 파라미터 수보다 교정 성능의 더 강력한 예측 인자임을 시사한다.
  • Mistral-nemo-12B와 LLaMA-3.1-8B는 심각한 체계적 편향을 보였다. 예를 들어, Mistral-nemo-12B는 거의 모든 정답을 환각으로 표시하였고(트랙 A 오류 87.70%), LLaMA-3.1-8B는 대부분의 환각을 탐지하는 데 실패하였다(트랙 B 오류 81.63%).
• 코드 혼용 vs. 고유 스크립트: 일부 다국어 모델(Qwen2.5, Gemma-2, DeepSeek-R1)은 고유 벵골어 스크립트보다 벵골어-영어 코드 혼용 입력에서 더 나은 성능을 보였는데, 이는 영어에 기반한 표현력이 더 강하기 때문으로 보인다. 반면, TigerLLM-9B와 GPT-4.1 mini는 고유 벵골어에서 더 나은 성능을 보였다.
• 완화 전략 (Chain-of-Thought): 사고의 사슬(CoT) 프롬프팅을 적용해도 환각 식별 능력이 일관되게 개선되지는 않았다. 여러 경우에서 CoT는 단순히 모델의 편향을 균일한 "아니오"에서 균일한 "예"로(또는 그 반대로) 이동시켰을 뿐, 진정한 탐지 정확도를 개선하지는 못했다.

의의 및 기여

본 논문은 다음과 같은 기여와 의의를 주장한다:

1. 최초의 전용 벤치마크: BenHalluEval은 고유 스크립트와 코드 혼용 입력을 모두 다루는 벵골어 전용 최초의 환각 벤치마크를 구축한다.
2. 이중 트랙 교정: 본 연구는 저자원 언어에서 단일 트랙 평가의 부적절함을 강조한다. 트랙 A와 트랙 B를 도입함으로써, 환각된 데이터에 대한 높은 탐지율만으로는 가려질 수 있는 실패 모드(균일한 응답 편향)를 밝혀냈다.
3. 언어 특화 최적화: 결과는 더 큰 파라미터 수가 저자원 환경에서 반드시 더 나은 성능을 보장한다는 가설에 도전하며, 벵골어 중심의 사전 학습(TigerLLM-9B)이 더 큰 다국어 모델보다 우수한 교정 성능을 낼 수 있음을 입증한다.
4. 프롬프팅의 한계: 본 연구는 CoT 프롬프팅이 벵골어에서의 환각을 완화하는 보편적인 전략이 아님을 실증적으로 보여준다. CoT는 종-종 식별 능력을 개선하기보다는 예측 분포를 변화시키는 데 그친다.

저자들은 벵골어에 대한 신뢰할 수 있는 환각 평가를 위해서는 전문화된 이중 트랙 프레임워크가 필요하며, 현재의 프롬프팅 전략만으로는 이 영역의 환각을 완화하기에 불충분하다고 결론짓는다. 데이터셋과 코드는 추가 연구를 위해 공개된다.