💬 NLP

HalluHard: A Hard Multi-Turn Hallucination Benchmark

이 논문은 네 가지 고위험 영역에 걸친 도전적인 멀티턴 환각 벤치마크인 HalluHard를 소개하며, 자동화된 웹 검색 기반 판정 파이프라인을 활용하여 가장 진보된 언어 모델들조차 특히 복잡한 대화 설정에서 상당한 수준의 근거 없는 사실적 주장을 지속적으로 생성한다는 점을 밝혀낸다.

원저자: Dongyang Fan, Sebastien Delsad, Nicolas Flammarion, Maksym Andriushchenko

게시일 2026-02-03

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dongyang Fan, Sebastien Delsad, Nicolas Flammarion, Maksym Andriushchenko

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 복잡한 문제를 해결하기 위해 유능하고 말이 빠른 연구 보조원을 고용했다고 상상해 보세요. 당신이 질문을 던지면, 그들은 답변과 함께 출처 목록을 제시합니다. 그리고 당신이 후속 질문을 던지면, 그들은 방금 했던 말에 내용을 덧붙이며 계속해서 말을 이어갑니다.

문제는 무엇일까요? 이 보조원은 **자신만만한 허위 사실 유포(confident fabrication)**의 달인이라는 점입니다. 그들은 믿기지 않을 정도로 설득력 있게 들리지만, 종종 사실을 지어내거나, 출처를 발명하거나, 자신의 이야기를 뒷받침하기 위해 진실을 왜곡합니다. 이것을 "환각(hallucination)"이라고 부릅니다.

제공된 논문은 이 문제가 얼마나 심각한지, 특히 대화가 길어지고 복잡해질 때 어떤 일이 벌어지는지 확인하기 위해 HALLUHARD라는 매우 까다로운 새로운 테스트를 소개합니다.

다음은 이들이 수행한 작업과 발견한 내용을 쉬운 비유를 사용하여 정리한 것입니다.

1. 문제점: "자신만만한 거짓말쟁이"

이전의 테스트들은 보조원에게 "프랑스의 수도는 어디인가요?"라고 묻는 것과 같았습니다. 정답을 맞히면 통과였습니다. 하지만 현실 세계의 대화는 훨씬 더 복잡합니다. 당신이 질문을 하면, 그들은 답하고, 다시 "왜?"라고 물으면, 그들은 또 답합니다.

문제점: 대화가 길어질수록 보조원은 혼란을 겪기 시작합니다. 첫 번째 차례에서 작은 실수를 하면, 두 번째 차례에서는 그 실수를 바탕으로 전체 답변을 새로 구성해 버립니다. 이는 마치 메시지가 왜곡되는 "전화기 게임(Telephone game)"과 같지만, 보조원은 그 왜곡된 버전이 진실이라고 주장하는 것과 같습니다.
공백: 기존의 테스트들은 너무 쉬웠습니다. 이러한 "장기적인 속임수(long-con lies)"를 잡아내지 못했습니다.

2. 해결책: "HALLUHARD" 테스트

연구진은 네 가지 고위험 분야에서 950개의 어려운 질문으로 구성된 잔혹한 시험을 만들었습니다.

법률: "이 증인의 증언은 채택 가능한가?"
연구: "이 특정 의학 연구는 데이터를 어떻게 처리하는가?"
의학: "이 약물에 대한 가이드라인은 무엇인가?"
코딩: "X를 수행하는 코드를 작성하라."

반전: 보조원은 자신이 주장하는 모든 사실에 대해 반드시 인용(출처)을 제공해야 합니다.

함정: 연구진은 단순히 인용구가 진짜처럼 보이는지만 확인한 것이 아닙니다. 그들은 실제로 문서를 찾아내고(PDF 포함!), 읽고, 출처가 보조원이 주장한 내용과 일치하는지를 확인하는 특별한 "판사 로봇"을 구축했습니다.
함정: 만약 보조원이 "45페이지에 X라고 적혀 있습니다"라고 말한다면, 판사 로봇은 PDF를 열어 45페이지로 이동한 뒤, 실제 텍스트가 "Y"라고 되어 있는 것을 확인합니다.
결과: 보조원이 실제 책을 인용했음에도 불구하고, 거짓말을 하고 있다는 사실이 적발됩니다.

3. "판사 로봇" (새로운 도구)

책의 표지나 요약본만 보는 사서가 아닙니다.

기존의 판사들: 짧은 구절(예: 구글 검색 미리보기)만 보고, 그 구절이 대략적으로 일치하면 "좋아 보이네요!"라고 말했습니다.
HALLUHARD의 판사: 전체 책을 펼쳐서, 특정 장을 읽고, 세부 사항까지 확인합니다.
- 시나리오: 보조원이 "45페이지에 X라고 되어 있습니다"라고 말합니다. 판사는 PDF를 열어 45페이지로 가서, 실제 텍스트가 "Y"라고 되어 있음을 확인합니다.
- 결과: 보조원이 실제 책을 인용했더라도, 그 내용은 틀렸으므로 거짓말로 간주됩니다.

4. 발견한 내용 (결과)

그들은 현존하는 가장 똑똑한 AI 모델들(GPT-5, Claude Opus 등)을 테스트했습니다. 결과는 좋지 않습니다. 가장 똑똑한 모델들조차 여전히 거짓말을 많이 한다는 것입니다.

"웹 검색"의 신화: 사람들은 "AI에게 구글 검색을 사용하게 하면 거짓말을 멈출 것"이라고 생각했습니다.
- 현실: 웹 검색을 사용하더라도 최고의 모델들도 약 **30%**의 확률로 환각을 일으켰습니다. 검색 기능이 없을 때는 **60%**였습니다.
- 이유: AI는 올바른 책을 찾아내지만, 그 안의 특정 단락을 잘못 읽습니다. 이는 올바른 교과서를 찾아냈지만, 엉뚱한 페이지를 암기하는 것과 같습니다.
"긴 대화"의 함정:
- 첫 번째 차례에서 AI는 괜찮습니다.
- 세 번째 차례에 이르면 환각 발생률이 높아집니다. AI는 자신의 이전 실수에 "조건화(conditioning)"되기 시작합니다. 이는 범인을 잘못 짚은 형사가 남은 수사 과정 내내 그 잘못된 용의자가 범인임을 입증하려고 애쓰는 것과 같습니다.
"생각하기"는 도움이 되지만 마법은 아니다:
- 답변하기 전에 먼저 "생각하는" 모델(더 느리고 신중한 모델)은 환각을 덜 일으킵니다.
- 하지만, 단순히 "더 많이 생각하게" 만드는 것만으로는 모든 것을 해결할 수 없습니다. 때로는 너무 많이 생각하는 것이 더 길고 상세한 거짓말로 이어지기도 합니다.
"틈새(Niche)" 문제:
- 완전히 가짜인 것(예: 가짜 산)에 대해 물으면, AI는 종종 "모릅나다"라고 인정합니다.
- 하지만 실제로 존재하지만 아주 희귀한 것(예: 인용 횟수가 10회뿐인 논문)에 대해 물으면, AI는 추측을 시도하며 자신만만하게 거짓말을 합니다. AI는 자신이 알고 있을지도 모른다고 생각하는 "위험 지대"에 빠져서 내용을 지어냅니다.

5. 결론

논문은 우리가 아직 이 AI 모델들을 팩트 체크 도구로 신뢰할 수 없다고 결론짓습니다.

능력만으로는 부족하다: 더 크고 똑똑한 모델들도 여전히 거짓말을 합니다.
도구가 만병통치약은 아니다: 검색 엔진을 제공하는 것이 도움이 되지만, 여전히 전체 텍스트를 정확하게 읽는 데 어려움을 겪습니다.
미래: 우리가 알지 못할 때 "모른다"라고 말할 줄 아는 AI가 필요합니다. 현재의 AI는 너무 성급하게 추측하려는 경향이 있으며, 특히 사실을 찾기 어려울 때 더욱 그렇습니다.

요약하자면: HALLUHARD는 우리의 가장 진보된 AI 어시스턴트들이 여전히 사실을 지어내는 경향이 있으며, 특히 긴 대화 중에 그러하며, 단순히 "정보를 찾아보는 것"만으로는 세부 사항을 틀리는 문제를 막기에 충분하지 않다는 것을 보여주는 스트레스 테스트입니다.

기술 요약: HALLUHARD: 고난도 멀티턴 환각 벤치마크

문제 정의

대규모 언어 모델(LLM)은 그럴듯해 보이지만 근거가 없는 사실적 주장, 즉 환각(hallucination)이라 불리는 오류를 지속적으로 생성하고 있습니다. 이 문제는 컨텍스트가 축적되고 초기 오류가 연쇄적으로 발생하는 멀티턴, 개방형 대화에서 특히 심각하게 나타납니다. 기존의 벤치마크들은 다음과 같은 이유로 이러한 복잡성을 포착하는 데 실패합니다:

포화된 도메인: 검색 도구가 매우 높은 점수를 쉽게 달성할 수 있는 단문 질의응답(QA) 또는 분류 작업.
단순화된 형식: 실제 사용 사례와 동떨어진 단일 턴 프롬프트.
제한된 검증: 전체 텍스트 소스 분석 대신 검색 스니펫(예: Serper API를 통한 Google 검색 스니펫)에 의존하는 판사(Judge) 모델. 이는 스니펫에 포착되지 않는 PDF, 표 또는 특정 섹션에 숨겨진 세부 정보를 놓치게 만듭니다.
모호한 정의: 환각을 지시 이행 실패나 추론 오류와 혼동함.

저자들은 현재의 평가 방식이 틈새 지식(niche knowledge)이나 인용된 출처에 대해 콘텐츠를 검증하는 능력, 특히 멀티턴 설정에서의 능력을 엄격하게 테스트하기에 충분하지 않다고 주장합니다.

방법론

1. HALLUHARD 벤치마크

저자들은 틈새 정보가 빈번하게 등장하는 네 가지 고위험 도메인에 걸쳐 950개의 시드 질문으로 구성된 HALLUHARD 벤치마크를 소개합니다:

법률 사례 (Legal Cases): 검증된 법률 질문(예: SCALR, Rule QA) 및 캘리포니아 변호사 시험 자료에서 파생되었습니다.
연구 질문 (Research Questions): ArXiv 초록을 기반으로 하며, "틈새(niche)" 논문(인용 5~30회)과 "기존(known)" 논문(인용 1,000회 이상)으로 구분됩니다. 컷오프 기준은 2023년입니다.
의료 가이드라인 (Medical Guidelines): 2023년 이전에 공개된 공공 가이드라인(예: NICE)에서 가져왔습니다.
코딩 (Coding): 네 가지 언어(Python, Scala, R, Elixir)에 집중하여 설치, 임포트(import) 및 함수 호출(function-calling) 환각을 테스트합니다.

멀티턴 설계:
현실적인 상호작용을 시뮬레이션하기 위해, "사용자 LLM"이 대화 기록을 바탕으로 자연스러운 후속 질문을 생성합니다. 대상 모델은 이러한 턴에 응답해야 하며, 모든 사실적 주장(factual assertion)에 대해 **인라인 인용(inline citations)**을 제공해야 합니다. 이 설정은 턴을 거치며 발생하는 오류 전파(error propagation)를 평가할 수 있게 합니다.

2. 검증 파이프라인 (판사/The Judge)

본 논문은 SAFE(Search-Augmented Factuality Evaluator)와 같은 기존 방식보다 개선된 새로운 모듈형 판사 파이프라인을 제안합니다:

클레임 추출 (Claim Extraction): LLM이 어시스턴트의 응답에서 검증 가능한 원자적 클레임을 추출합니다.
반복적 증거 검색 (Iterative Evidence Retrieval): 고정된 횟수의 검색 호출을 사용하는 SAFE와 달리, 이 파이프라인은 LLM 플래너를 사용하여 증거가 충분한지 결정합니다. Serper API를 호출할 뿐만 아니라, 콘텐츠의 근거를 확인하기 위해 전체 텍스트 소스(PDF 포함)를 가져오고 파싱합니다.
컨텍스트 선택 (Context Selection): 검색된 HTML과 PDF를 파싱하고, 임베딩 모델을 통해 관련 텍스트 블록을 선택하여 증거 번들(evidence bundle)을 형성합니다.
판단 (Judgment): 시스템은 두 가지 별개의 실패 모드를 평가합니다:
- 참조 근거성 (Reference Grounding): 인용된 출처가 존재하며 인용 메타데이터와 일치하는가?
- 콘텐츠 근거성 (Content Grounding): 인용된 출처가 실제로 해당 클레임을 뒷받침하는가?
코딩 평가: 인용이 드문 코딩 작업의 경우, 판사는 전체 응답을 평가하여 환각된 설치 명령, 임포트 또는 함수 호출이 있는지 확인합니다.

3. 실험 설정

이 벤치마크는 다양한 프런티어 독점 모델 및 오픈 웨이트 모델(예: GPT-5 제품군, Claude-4.5, Gemini-3, DeepSeek, Kimi, GLM-4.7)을 대상으로 평가되었습니다. 평가는 웹 검색(WS) 도구를 사용한 경우와 사용하지 않은 경우의 구성을 포함했습니다. 환각률( $H$ )은 추출된 총 검증 가능 클레임 대비 환각된 클레임의 비율로 계산됩니다.

주요 결과

1. 프런티어 모델의 지속적인 환각

가장 강력한 구성에서도 상당한 환각률이 나타납니다:

Claude-Opus-4.5 (웹 검색 포함): 약 30.2%의 환각률.
GPT-5.2-thinking (웹 검색 포함): 약 38.2%의 환각률.
웹 검색 미사용 시: 환곡률이 훨씬 높으며, 상위 모델들의 경우 종종 60%를 초exceed합니다.
이는 웹 검색 통합이 특히 콘텐츠 근거성 측면에서 환각을 완전히 해결하지 못함을 시사합니다.

2. 환각에 영향을 미치는 요인

턴 위치 (Turn Position): 법률, 연구, 의료 작업에서 환각률은 일반적으로 후반 턴으로 갈수록 증가합니다. 저자들은 이를 모델이 자신의 이전 오류(예: 잘못된 인용 반복)에 의존하는 "자기 조건화(self-conditioning)" 때문이라고 설명합니다. 반면, 코딩 환각은 작업이 구체화됨에 따라 후반 턴에서 감소합니다.
모델 용량 (Model Capacity): 더 큰 모델(예: GPT-5 vs GPT-5-nano, Opus vs Haiku)은 일관되게 환각을 적게 일으킵니다.
추론 노력 (Reasoning Effort): "Thinking" 모드를 활성화하면 비-thinking 모드에 비해 환각이 줄어듭니다. 그러나 단순히 추론 노력을 높이는 것이 추가적인 이득을 보장하지는 않습니다. 어떤 경우에는 추론 모델이 더 길고 상세한 응답을 생성하여 오히려 오류의 기회를 더 많이 제공하기도 합니다.
도메인 및 지식 유형:
- 콘텐츠 vs 참조: 콘텐츠 근거성 오류(출처가 말하지 않은 내용을 주장하는 것)가 참조 오류(존재하지 않는 출처를 인용하는 것)보다 훨씬 더 흔하게 발생합니다.
- 틈새 지식 (Niche Knowledge): 모델은 틈새 사실(예: 생소한 논문, 지역 예술)에 대해 크게 어려움을 겪지만, 완전히 조작된 항목에 대해서는 답변을 회피(abstain)하는 경향이 있습니다.

3. 판사(Judge) 성능

제안된 판사는 인간 주석가와 높은 일치도를 보였습니다(콘텐츠 근거성에 대해 87.9%, OpenAI-WS에 대해 84.9%, SAFE에 대해 81.8%). 전체 텍스트 PDF를 파싱하는 능력이 핵심적인 차별점으로 식별되었으며, 이를 통해 스니펫 기반 판사가 놓치는 환각을 탐지할 수 있었습니다.

의의 및 주장

본 논문은 멀티턴, 개방형 생성을 위해 특별히 설계되었으며, 검증 가능하고 인용 확인이 가능한 평가 파이프라인을 갖춘 최초의 벤치마크라고 주장합니다. 그 의의는 다음과 같습니다:

한계 노출: 웹 검색을 사용하는 최첨단 모델조차 고위험 틈새 도메인에서 콘텐츠를 신뢰성 있게 근거 지우는 데 실패함을 입증했습니다.
평가 방식의 정교화: 스니펫 기반 검증은 엄격한 팩트 체크에 불충분하며, 정확한 평가를 위해서는 전체 텍스트 검색이 필요함을 강조했습니다.
오류 역학의 이해: 환각이 정적인 것이 아니라 대화 턴에 따라 진화하며, 지식의 유형(틈새 지식 vs 조작된 내용) 및 모델의 추론 능력에 의해 크게 영향을 받는다는 점을 밝혀냈습니다.

저자들은 효과적인 사고(thinking)와 웹 검색이 도움이 되기는 하지만, 틈새 지식에 대한 상세한 클레임을 근거 지우는 근본적인 과제는 여전히 남아 있으며, 이를 위해 모델의 불확실성에 대한 인식 제고와 더 강력한 검증 메커니즘이 필요하다고 결론짓습니다.