💬 NLP

Halluverse-M^3: A multitask multilingual benchmark for hallucination in LLMs

이 논문은 영어, 아랍어, 힌디어, 터키어를 아우르는 다국어 및 다중 작업 벤치마크 데이터셋인 Halluverse-M^3를 소개하며, 이는 대규모 언어 모델의 엔티티, 관계, 문장 수준의 환각을 체계적으로 평가하고 구분하여 언어와 작업 간의 상당한 성능 격차를 드러낸다.

원저자: Samir Abdaljalil, Parichit Sharma, Erchin Serpedin, Hasan Kurban

게시일 2026-02-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Samir Abdaljalil, Parichit Sharma, Erchin Serpedin, Hasan Kurban

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 똑똑하고 박학다식한 로봇들(거대 언어 모델)의 그룹이 있다고 상상해 보세요. 이 로봇들은 이야기를 쓰고, 질문에 답하고, 다양한 언어로 대화를 요약할 수 있습니다. 이 로봇들은 놀랍지만, 아주 독특한 버릇이 하나 있습니다. 때때로 아주 자신만만하게 거짓말을 지어낸다는 것입니다. 가짜 인물을 만들어내거나, 누가 무엇을 했는지 뒤섞거나, 일어나지도 않은 새로운 사건을 추가하기도 합니다. 기술 세계에서는 이를 **"환각(hallucination)"**이라고 부릅니다.

제공된 논문은 HalluVerse-M3라는 새로운 도구를 소개합니다. 이 도구는 이 로봇들이 자신의 거짓말을 얼마나 잘 잡아내는지 테스트하기 위해 설계된, 거대한 다국어 버전의 "틀린 그림 찾기" 게임이라고 생각하면 됩니다.

연구자들이 수행한 작업과 발견한 내용을 쉬운 비유를 사용하여 다음과 같이 정리했습니다.

1. 문제점: "자신만만한 거짓말쟁이"

이전에는 연구자들이 주로 영어로만 이 로봇들을 테스트했으며, 단순히 예/아니오 질문을 던지거나 전체 이야기가 참인지 거짓인지만 확인했습니다. 이는 마치 요리사에게 양파 써는 법만 테스트하고, 케이크를 굽는 능력은 전혀 묻지 않는 것과 같았습니다. 우리는 그들이 복잡한 과제를 처리할 수 있는지, 혹은 아랍어, 힌디어, 터키어와 같은 다른 언어에서 다르게 거짓말을 하는지 알 수 없었습니다.

2. 해결책: HalluVerse-M3 ("거짓말 탐지기" 데이터셋)

저자들은 이를 해결하기 위해 거대한 데이터셋(테스트 케이스 모음)을 구축했습니다.

네 가지 언어: 연구진은 영어, 아랍어, 힌디어, 터키어로 로봇들을 테스트했습니다.
두 가지 과제: 단순히 질문만 던진 것이 아니라, 로봇들에게 긴 대화를 요약하도록(예: 회의록 작성) 요청했습니다.
세 가지 유형의 거짓말: 단순히 "이것은 거짓이다"라고 말하는 대신, 거짓말을 세 가지 특정 카테고리로 분류했습니다.
- 잘못된 이름 (개체): 로봇이 실제로는 "잭 도시"가 샀는데도 "일론 머스크가 트위터를 샀다"라고 말하는 경우입니다. (사람이 틀림)
- 잘못된 연결 (관계): 로봇이 일론 머스크가 트위터를 샀다고 해야 하는데, 발명했다고 말하는 경우입니다. (행위가 틀림)
- 지어낸 이야기 (문장): 로봇이 일론 머스크가 노벨상을 받았다는 식의, 일어나지도 않은 새로운 문단을 통째로 추가하는 경우입니다. (아이디어 자체가 가짜임)

제작 방법: 연구진은 실제의 진실된 답변을 가져온 뒤, 컴퓨터를 사용하여 이름을 바꾸거나, 동사를 변경하거나, 가짜 문장을 추가하는 방식으로 정교하게 조작했습니다. 그 후, 실제 인간 전문가들이 이 "거짓말"이 명확한지, 그리고 "진실"이 견고한지를 검증했습니다.

3. 테스트: 로봇들에게 일을 시키다

연구진은 사용 가능한 가장 똑똑한 로봇들(무료 오픈 소스 모델과 GPT-4와 같은 유료 비공개 모델 모두)을 데려와서, 두 개의 텍스트 쌍(원본 진실과 "환각"이 섞인 버전)을 보여주었습니다. 그리고 로봇들에게 다음과 같이 물었습니다: "이것은 어떤 유형의 거짓말인가?"

4. 결과: 로봇들이 맞춘 것 (그리고 틀린 것)

결과는 로봇들의 성적표와 같았습니다.

가장 쉬운 과제: 질의응답(Question Answering). 특정 질문에 답하는 과정에서 로봇들은 거짓말을 찾아내는 데 꽤 능숙했습니다. 이는 짧은 메시지에서 오타를 찾는 것과 같습니다.
가장 어려운 과제: 대화 요약(Summarizing Conversations). 로봇들이 긴 대화를 요약해야 할 때, 훨씬 더 많이 헤맸습니다. 이는 복잡한 수프 속에서 단 하나의 잘못된 재료를 찾아내는 것과 같습니다. 거짓말이 긴 문장들 사이에 숨겨지기 때문입니다.
가장 어려운 거짓말: 문장 수준의 환각(Sentence-Level Hallucinations). 가장 똑똑한 로봇들조차 완전히 새로운 가짜 이야기가 추가된 것을 포착하는 데 어려움을 겪었습니다. 잘못된 이름은 쉽게 찾아냈지만, 그럴듯하게 들리는 가짜 사건을 만들어내는 것은 잡아내기가 매우 어려웠습니다.
언어 격차: 로봇들은 자신들의 "모국어"인 영어에서 가장 뛰어났습니다. 언어가 어려워지거나 학습 자원이 적을수록 성능이 떨어졌습니다. 힌디어가 가장 어려웠으며, 로봇들이 힌디어의 거짓말을 감지할 때 가장 많은 실수를 저질렀습니다.
오픈 소스 vs 폐쇄형 모델: GPT-4와 같은 고가의 비공개 로봇들이 무료 오픈 소스 모델들보다 일반적으로 더 나은 성능을 보였지만, 단순한 질문에서는 그 격차가 크지 않았습니다. 그러나 요약 작업에서는 유료 모델들이 눈에 띄게 앞서 나갔습니다.

5. 이것이 왜 중요한가

논문의 결론은, 이 로봇들이 점점 똑똑해지고는 있지만, 특히 복잡한 정보를 요약하거나 영어 이외의 언어를 사용할 때 자신의 미묘한 실수를 포착하는 데는 여전히 완벽하지 않다는 것입니다.

HalluVerse-M3는 이제 다른 연구자들이 더 나은 "거짓말 탐지기"를 만들기 위해 사용할 수 있는 공개된 도구입니다. 이는 로봇들이 사실을 지어내는 것을 멈추고, 우리와 대화할 때 진실만을 말할 수 있도록 훈련할 수 있는 현실적이고 도전적인 체육관 역할을 할 것입니다.

요약하자면: 저자들은 AI가 단순한 오류는 잘 잡아내지만, 요약이나 비영어권 언어에서는 복합적인 거짓말을 잡아내는 데 여전히 어려움을 겪고 있음을 보여주기 위해 다국어 버전의 "가짜 찾기" 게임을 만들었습니다.

기술 요약: HalluVerse-M3

문제 정의

대규모 언어 모델(LLM)은 종종 사실적 근거가 결여된 일관된 텍스트를 생성하는데, 이를 환각(hallucination) 현상이라고 한다. 이러한 문제는 의료, 법률, 경영 의사결정과 같은 미션 크리티컬한 영역에서 상당한 위험을 초래한다. 최근 연구들이 환각을 분석하기 위한 데이터셋을 생산해 왔으나, 기존 자원들은 세 가지 주요 한계점을 지닌다:

언어적 편향: 이들은 주로 영어에 집중되어 있어, 다른 언어적 맥락에서의 환각 패턴에 대한 이해를 제한한다.
조대 입도(Coarse Granularity): 대부분의 경우 환각을 이진 현상(사실 vs 환각)으로 취급하여, 오류 유형의 다양성(예: 개체 치환 vs 관계 왜곡)을 가린다.
태스크 특이성: 기존 자원들은 대개 단일 생성 태스크만을 다루며, 이는 질문 답변(QA) 및 요약과 같은 서로 다른 응용 문맥 간의 체계적인 비교를 저해한다.

결과적으로, 다양한 언어와 태스크에 걸쳐 미세한 수준의 환각을 분석할 수 있는 통합된 프레임워크가 부족한 실정이다.

방법론

저자들은 통제된 구축 파이프라인을 통해 환각을 체계적으로 분석할 수 있도록 설계된 데이터셋인 HalluVerse-M3를 소개한다.

데이터셋 구축

언어 및 태스크: 이 데이터셋은 4개 언어(영어, 아랍어, 힌디어, 터키어)와 2개의 생성 태스크(질문 답변(QA), 대화 요약(DS))를 다룬다.
소스 데이터:
- QA: 검증 가능한 증거에 근거한 참조 답변을 사용하여, Lin et al. [2022]의 사실적 QA 데이터셋으로부터 유도되었다.
- DS: 구체적인 사건과 개체에 대한 요약에 초점을 맞춘 DialogSum 데이터셋 [Chen et al., 2021]으로부터 유도되었다.
다국어 준비: 영어를 소스 언어로 사용한다. 아랍어, 힌디어, 터키어에 대한 병렬 출력은 Google 번역 API를 통한 자동 번역 후, 문법적 정확성과 의미적 충실도를 보장하기 위해 원어민의 엄격한 수동 검증을 거쳐 생성되었다.
환각 주입: 참조 출력( $y^*$ $y^{*}$ )으로부터 환각된 출력( $\tilde{y}$ $\tilde{y}$ )을 만들기 위해 통제된 편집 프로세스가 적용되었다. 이 과정은 다음을 포함한다:
- 특정 참조 명제( $\Delta^-$ )를 제거하거나 변경함.
- 정확히 하나의 새로운, 근거 없는 명제( $\Delta^+$ )를 도입함 ( $|\Delta^+| = 1$ ).
- 새로운 명제가 참조에 의해 지지되지 않도록 함 ( $\Delta^+ \cap P(y^*) = \emptyset$ ).
미세한 수준의 주석(Fine-Grained Annotation): 본 데이터셋은 주입된 명제 $p^+$ $p^{+}$ 의 성격에 따라 세 가지 상호 배타적인 환각 유형을 구분한다:
1. 개체 수준(Entity-level): 술어와 속성은 참조와 일치하지만, 적어도 하나의 개체 인자가 다른 경우.
2. 관계 수준(Relation-level): 개체 인자는 일치하지만, 술어(관계) 또는 속성(예: 시간적 순서, 인과관계)이 다른 경우.
3. 문장 수준(Sentence-level): 해당 명제가 정렬된 참조 명제를 갖지 않는 경우; 즉, 닻(anchor)이 없는 진술임.
검증: 각 언어당 두 명의 원어민이 독립적으로 데이터를 주석 처리했다. 문법적 오류가 있거나 환각이 불분명한 사례는 null (0)로 레이블링하여 제외했다. 검증자 간 일치도(Cohen's $\kappa$ )는 0.74에서 0.83 사이로 상당한 수준에서 완벽에 가깝게 나타났다.

실험 설정

저자들은 미세한 수준의 환각 탐지 태스크에 대해 14개의 현대적인 LLM(오픈 소스 및 독점 모델 모두 포함)을 평가했다.

모델: Phi-4, Mistral-7B, Qwen-2.5 변형, Gemma-2, LLaMA-3.3, DeepSeek-V2.5, PaLM 2, Claude-3.5, Gemini-2.5, 그리고 GPT-4 변형들을 포함한다.
프로토콜: 평가은 프롬프팅만을 사용하여 수행되었다(파인튜닝 없음). 모델들은 원본 출력과 환각된 출력 쌍이 주어졌을 때 환각 유형(Entity, Relation, 또는 Sentence)을 식별하는 과업을 부여받았다.
지표: 정확도(Accuracy)를 주요 지표로 보고하였으며, 이를 태스크, 언어, 환각 유형별로 분석하였다.

주요 결과

평가는 모델 성능에 관한 몇 가지 일관된 경향을 보여주었다:

태스크 난이도: 질문 답변(QA)이 대화 요약(DS)보다 모델이 평가하기에 일관되게 더 쉬운 것으로 나타났다. 이는 QA에서의 오류는 국소적인 특성을 갖는 반면, 요약에서의 환각은 확산적이고 문맥 의존적인 특성을 갖기 때문이다.
환각 유형 난이도: 환각 유형에 따라 명확한 성능 구배(gradient)가 존재한다:
- 개체 수준(Entity-level): 탐지가 가장 쉽다. 최첨단 모델들(예: GPT-4o)은 QA에서 90% 이상의 정확도를 달enc했다.
- 관계 수준(Relation-level): 중간 정도의 난이도로, 더 깊은 의미론적 추론을 요구한다.
- 문장 수준(Sentence-level): 가장 도전적인 유형이다. 강력한 모델들조차 고전하였으며, 요약 태스크에서는 정확도가 종종 50~65%까지 떨어졌다.
언어 효과: 성능은 영어에서 가장 높았으며, 저자원 언어에서는 저하되었다. 힌디어는 특히 요약 태스크에서 지속적으로 가장 낮은 탐지 정확도를 보였다.
모델 비교: 독점 모델들이 일반적으로 오픈 소스 시스템보다 우수한 성능을 보였으나, 규모가 큰 오픈 소스 모델(예: DeepSeek-V2.5, LLaMA-3.3-70B)은 QA에서 경쟁력 있는 성능을 보였다. GPT-4o는 환각 주입 과정에 관여했을 가능성이 높은 데, 전반적으로 가장 강력한 성능을 달성했다.

의의 및 주장

본 논문은 HalluVerse-M3가 다국어, 다중 태스크 환경에서 환각을 연구하기 위한 현실적이고 도전적인 벤치마크를 제공한다고 주장한다. 이 데이터셋의 의의는 다음과 같다:

정밀도(Granularity): 이진 분류를 넘어 개체, 관계, 문장 수준의 오류를 구분한다.
다국어 범위: 유형학적으로 다양한 언어(영어, 아랍어, 힌디어, 터키어)에 걸쳐 환각 패턴을 분석할 수 있는 희귀한 자원을 제공한다.
태스크 다양성: 근거 기반 태스크(QA)와 추상적 태스크(요약) 간의 통제된 비교를 가능하게 한다.

저자들은 최근의 최첨단 모델들이 QA에서의 개체 수준 오류를 탐지하는 데는 강한 성능을 보이지만, 생성적 태스크에서의 문장 수준 환각은 가장 진보된 모델들에게도 여전히 해결되지 않은 문제로 남아 있다고 결론짓는다. 이 데이터셋은 표면적인 단서(surface-level cues)를 넘어 더 깊은 의미적 근거(semantic grounding)를 향한 방법론의 필요성을 강조하며, 탐지 및 완화를 위한 향후 연구를 지원하기 위해 공개된다.

윤리적 고려 사항

이 데이터셋은 의도적으로 조작된 정보를 포함하고 있다. 저자들은 오용되어 오도하는 콘텐츠를 생성하는 시스템을 훈련시키는 데 사용될 위험이 있음을 언급한다. 이를 완화하기 위해, 데이터셋은 비상업적 연구 목적으로만 사용 가능한 CC BY-NC 4.0 라이선스 하에 공개되며, 환각 사례와 그 유형이 명시적으로 레이블링되어 있다. 콘텐츠 안전성 스크리닝 결과, 공격적인 언어의 출현은 낮게 나타났다.