HalluTruthQA-4K: A Fine-Grained Corpus and Annotation Process for Arabic Hallucination Detection and Truth Verification

완벽한 아랍어를 구사하는 아주 똑똑한 로봇 친구와 대화하고 있다고 상상해 보세요. 이 로봇은 당신에게 이야기를 들려주고, 복잡한 과학을 설명하며, 고대 역사를 아주 능숙하고 자신감 있게 인용할 수 있습니다. 그래서 당신은 전혀 의심하지 못할 만큼 매끄럽게 들릴 것입니다. 하지만 여기 함정이 있습니다. 로봇이 유창하고 자신감 있게 말한다고 해서 반드시 진실을 말하고 있는 것은 아니라는 점입니다. 때때로 이 로봇은 날짜를 섞어 쓰거나, 가짜 역사적 인물을 만들어내거나, 존재하지 않는 종교 경전을 인용하면서도 매우 설득력 있게 들릴 수 있습니다. 이것을 "환각(hallucination)"이라고 부릅니다. 인공지능의 세계에서 환각은 무서운 유령 이야기가 아닙니다. 그것은 컴퓨터 모델이 실제로는 틀렸지만 진짜처럼 들리는 사실을 지어내는 것을 의미합니다.

오랫동안 이 문제를 해결하려던 과학자들은 매우 투박한 도구를 사용해 왔습니다. 그들은 로봇에게 질문을 던지고, 답변을 읽은 뒤, 단순히 "그것은 거짓이다" 또는 "그것은 참이다"라고 말할 뿐이었습니다. 이는 마치 선생님이 수학 시험지를 채점하면서, 학생에게 어느 숫자가 틀렸는지 혹은 왜 틀렸는지를 알려주지 않고, 단지 빨간 펜으로 페이지 전체를 틀렸다고 표시하는 것과 같았습니다. 이 방식으로는 로봇에게 더 잘하는 법을 가르치기가 어려웠습니다. 우리는 더 세밀하게 확대하여, 틀린 단어를 정확히 지목하고, 실수를 설명하며, 정답을 보여줄 수 있는 모든 기능이 담긴 하나의 패키지가 필요했습니다.

여기서 HalluTruthQA-4K의 연구진이 등장합니다. 그들은 아랍어 언어 모델을 위한 거대하고 매우 상세한 훈련장을 구축하기로 결정했습니다. 이것을 거대한 "틀린 그림 찾기" 게임이라고 생각해보세요. 다만 두 개의 그림을 비교하는 대신, 로봇의 답변을 검증된 진실과 비교하는 것입니다. 그들은 이슬람 지식, 역사, 과학, 지리학이라는 네 가지 까다로운 주제를 다루는 4,000개의 질문-답변 쌍 데이터셋을 만들었습니다.

그들이 이 게임을 수행한 방법은 다음과 같습니다:

1. 설정: 전문가들이 네 가지 주제 각각에 대해 1,000개의 질문을 작성했습니다.
2. 수행: 특정 아랍어 구사 AI 모델에게 이 질문들에 답하도록 했습니다.
3. 검사: 이것이 마법 같은 부분입니다. 전문가들은 단순히 "틀렸다"고 말하는 대신 탐정 역할을 했습니다. 그들은 거짓이나 오류가 포함된 1,643개의 답변을 찾아냈습니다. 모든 오류에 대해, 그들은 문장 전체를 표시하는 대신 틀린 정확한 글자(문자)를 콕 집어냈습니다.
4. 설명: 그들은 왜 틀렸는지를 평이한 언어로 기록했습니다.
5. 객관식 구성: 또한 모든 질문에 대해 하나의 정답과 다섯 개의 까다로운 "매력적인 오답"(진짜처럼 보이는 가짜 답변)이 포함된 객관식 퀴즈를 만들었습니다. 이는 AI가 완벽하게 써내지 못하더라도 진실을 골라낼 수 있는지 확인하기 위함이었습니다.

연구진은 이 AI 모델들이 똑똑하게 들리는 데는 매우 뛰어나지만, 정확성 면에서는 자주 실패한다는 것을 발견했습니다. 실제로 그들이 생성한 답변의 약 **41%**가 어떤 종류의 사실적 오류를 포함하고 있었습니다. 하지만 진짜 발견은 그들이 실수를 했다는 사실뿐만 아니라, 어디에서 그리고 어떻게 실수를 했는가 하는 점이었습니다.

그들은 오류가 항상 크고 명백한 거짓말인 것은 아니라는 점을 발견했습니다. 때때로 핵심 답변은 맞지만, 이를 증명하기 위해 가짜 출처를 만들어내거나, 날짜를 몇 년 정도 틀리기도 합니다. 그들은 이슬람 지식 질문에서 모델들이 답변의 "충실성(faithfulness)"을 망치는 경우가 많다는 것을 발견했습니다. 즉, 사실 자체는 맞지만 엉뚱한 구절을 인용하거나 특정 학자에게 잘못된 말을 돌리는 식입니다. 과학과 역사에서는 실제 숫자, 이름, 또는 날짜를 틀리는 오류가 더 많았습니다.

이 논문은 이러한 로봇을 고치기 위해서는 단순히 최종 성적만을 봐서는 안 된다고 제안합니다. 우리는 구체적인 "환각 구간(hallucinated spans)", 즉 거짓인 아주 작은 텍스트 덩어리들을 들여다봐야 합니다. 연구팀은 이러한 오류들을 "사실적 모순(Factual Contradiction, 거짓을 말함)", "맥락 불일치(Context Inconsistency, 잘못된 근거 사용)", 또는 "사실적 조작(Factual Fabrication, 완전히 새로운 이야기를 만들어냄)"과 같은 범주로 분류하기 위해 특별한 "분류 체계(taxonomy, 전문적인 분류 시스템을 뜻함)"를 만들었습니다.

4,000개의 사례와 1,843개의 정밀하게 짚어낸 오류 지점, 그리고 인간이 작성한 설명을 함께 공개함으로써, 저자들은 연구자들에게 새로운 고성능 현미경을 건네주고 있습니다. 그들은 이 문제가 영원히 해결되었다고 주장하는 것이 아닙니다. 대신, 모델이 정확히 어떻게, 그리고 왜 틀리는지를 측정할 수 있는 도구를 제공함으로써, 미래에 더 나은, 더 진실한 모델을 만들 수 있도록 돕는 것입니다. 이것은 마치 로봇에게 거울과 자신의 실수 지도를 건네주어, 똑똑하게 들리는 것과 실제로 옳게 말하는 것의 차이를 마침내 배울 수 있게 해주는 것과 같습니다.