기술 요약: HalluWorld: 참조 세계 모델을 통한 환각을 위한 통제된 벤치마크

1. 문제 제기

환각 (Hallucination) 은 여전히 대규모 언어 모델 (LM) 의 주요 실패 양상 중 하나이나, 기존 벤치마크는 요약, 질문 응답, 검색 증강 생성 (RAG) 등 다양한 작업에서 이를 일관성 없이 운영화하고 있습니다. 현재 접근 방식은 두 가지 주요 한계를 안고 있습니다:

1. 분열 (Fragmentation): 벤치마크는 종종 단일 레이블 하에 서로 다른 실패 양상 (예: 사실 오독 vs 이전 결정 오기억) 을 혼동하여, 한 설정에서의 완화 전략이 다른 설정으로 일반화되는지 불분명하게 만듭니다.
2. 통제 부족: 기존 벤치마크는 고정된 참조를 통한 인간 주석 (기억화 경향성 존재) 에 의존하거나, 재현이 어렵거나 체계적으로 변형하기 어려운 자연주의적 관찰에 의존합니다. 특히, 환경, 모델의 관찰 가능성, 그리고 갈등 해결 정책은 설계상 고정되어 있어 특정 실패 양상을 분리해 내는 것을 방해합니다.

본 논문은 환각의 근본 원인을 이해하기 위해서는 평가가 환각을 명시적인 참조 세계에 대한 관찰 가능한 오류로 정의하는 통합된 형식에 기반해야 한다고 주장합니다.

2. 방법론: HALLUWORLD 프레임워크

저자들은 "참조 세계 모델 (reference world model)" 형식에 기반한 확장 가능한 벤치마크 프레임워크인 HALLUWORLD를 소개합니다. 이 프레임워크는 환각을 세 가지 명시적 구성 요소로 분해합니다:

• 참조 세계 ($W$): 상태와 전이를 인코딩하는 완전히 명시된 기준 진실 (ground truth).
• 뷰 함수 ($V$): 모델이 관찰할 수 있는 것을 제어하는 메커니즘 (부분 관찰 가능성).
• 갈등 정책 ($P$): 관찰 가능한 소스 간 (예: 직접 관찰 vs 서면 증언) 갈등이 어떻게 해결될지 결정하는 규칙.

모델의 출력이 기준 진실인 참조 세계와 모순될 때 환각이 발생합니다. 이러한 구성 요소를 명시적으로 함으로써, 이 프레임워크는 다른 요소를 고정하면서 하나의 요인 (예: 세계의 복잡성) 을 변형하여 모델을 체계적으로 스트레스 테스트할 수 있게 합니다.

벤치마크 환경

HALLUWORLD 는 이 프레임워크를 세 가지 서로 다른 도메인에 구현하여 총 33 개의 그리드 월드 레벨, 7 개의 체스 레벨, 110 개의 터미널 태스크, 그리고 1,718 개의 총 프로브 질문을 제공합니다:

1. HALLUWORLD-GRID: MiniGrid 기반의 이 환경은 완전히 합성되고 사용자 정의가 가능합니다. 사전 학습 데이터와의 최소한의 중복을 유지하면서 세계 상태와 메커니즘 (예: 불, 홍수, 압력 판) 에 대한 높은 통제를 제공합니다.
   • 프로브: 지각 (P), 기억 (M), 인과 (C), 불확실성 (U), 복합 (X).
   • 직렬화: 표현 방식이 환각에 미치는 영향을 테스트하기 위해 심볼릭, 그리드 (ASCII), 메모리 형식을 지원합니다.
2. HALLUWORLD-CHESS: 학습 데이터에 강력한 표현을 가진 규칙 기반 도메인입니다. 이는 모델이 관찰된 보드 상태에 대항하여 전형적인 게임 연속 (적대적 사전 지식) 을 처리하는 능력을 테스트합니다.
   • 프로브: 지각 (정적 보드 읽기), 인과 (이동의 전진 시뮬레이션), 기억 (보드 없이 긴 이동 시퀀스 동안 상태 추적).
3. HALLUWORLD-TERMINAL: Terminal-Bench 의 궤적을 사용하여 현실적인 에이전트 배포에 기반합니다. 참조 세계는 실시간 Linux 파일 시스템이며, 뷰는 원시 터미널 기록입니다.
   • 프로브: 실제 소프트웨어 엔지니어링 작업에서 파생되어, 구식 기억, 범주 간 추론, 불확실성 과대 주장과 같은 실패 양상을 테스트합니다.

프로브 카테고리

모든 도메인에 걸쳐 벤치마크는 다섯 가지 인지 기술 카테고리를 사용합니다:

• 지각 (Perceptual, P): 현재 관찰에 직접 존재하는 값의 정확한 읽기.
• 기억 (Memory, M): 과거 관찰의 유지 및 시간 경과에 따른 상태 추적.
• 인과 (Causal, C): 인과 관계에 대한 추론 및 행동의 전진 시뮬레이션.
• 불확실성 (Uncertainty, U): 증거의 한계를 인식하고 맥락이 불충분할 때 답변을 유보함.
• 복합 (Compound, X): 여러 맥락 섹션 또는 환경에 걸친 증거 통합.

3. 주요 기여

1. 통합 운영화: 본 논문은 환각을 명시적인 참조 세계 및 갈등 정책에 대한 관찰 가능한 오류로 운영화하는 벤치마크 프레임워크를 도입하여, 집계 점수를 넘어 세분화된 오류 분류로 나아갑니다.
2. 통제된 환경 세트: 저자들은 33 개의 고유한 그리드 레벨, 7 개의 체스 레벨, 110 개의 터미널 태스크로 구성된 세 가지 도메인 (Grid, Chess, Terminal) 에서 이 프레임워크를 구현했습니다. 모든 환각 레이블은 구성에 의해 자동으로 생성되어 인간 주석의 필요성을 제거했습니다.
3. 확장성 도구: 그리드 월드 환경용 레벨 편집기와 궤적 레코더의 공개를 통해 커뮤니티가 복잡한 환경 - 프로브 튜플을 제작하고 벤치마크를 새로운 시나리오로 확장할 수 있게 합니다.

4. 실험 결과

저자들은 Frontier 및 오픈 가중치 모델 (GPT-4o/5, Claude Opus/Sonnet, o3, 그리고 Qwen 및 DeepSeek 와 같은 오픈 모델 포함) 을 이 설정들에서 평가했습니다.

일반적 발견

• 지각 vs 복잡한 추론: 직접 관찰된 정보에 대한 지각적 환각은 Frontier 모델들에게 거의 해결된 상태입니다. 그러나 **다단계 상태 추적 (기억)**과 인과적 전진 시뮬레이션은 가장 유능한 모델들조차 여전히 심각한 과제로 남아 있습니다.
• "사고" 역설: 확장된 사고 (Chain-of-Thought) 는 일관되지 않은 이점을 보입니다. 지각 정확도를 약간 향상시키지만, 종종 인과적 환각을 악화시킵니다. 저자들은 확장된 추론이 직접적인 관찰을 신뢰하는 대신 그럴듯한 중간 상태를 꾸며낼 (confabulate) 더 많은 기회를 제공한다고 가정합니다.
• 소신 신뢰: 모델들은 관찰 가능한 세계와 모순되더라도 일관되게 서면 증언 (예: 표지판, 게시판) 을 직접 관찰보다 우대합니다.
• 불확실성: 모델들은 인식적 유보 (epistemic abstention) 에 크게 어려움을 겪습니다. 터미널 설정에서, 정답이 "판단 불가"일 때 최상위 모델조차 약 25% 의 빈도로 환각을 일으킵니다.

도메인별 통찰

• 그리드 월드: 일관된 난이도 계층이 관찰되었습니다: 불확실성 < 지각 < 기억 < 인과. 환경 상태의 형식 (직렬화기) 은 환각의 독립적인 동인입니다. 예를 들어, 그리드 직렬화는 강력한 모델들의 교차 관찰 속성 추적에서 치명적인 실패를 초래한 반면, 심볼릭 형식은 개수 정확도를 유지했습니다.
• 체스: 긴 시퀀스 카테고리 (기억 및 복합) 가 Frontier 모델을 약한 모델들과 분리했습니다. 최상위 모델들이 지각 및 단시간 인과 프로브에서 포화 상태에 도달했지만, 장시간 상태 추적에서는 뚜렷한 실패 양상을 보였습니다.
• 터미널: 이는 가장 어려운 도메인이었습니다. 어떤 모델도 개별 프로브 카테고리에서 포화 상태에 도달하지 못했습니다. 주목할 만한 이상 현상은 GPT-4o-mini 로, 기억 환각률이 인과율을 초과하는 독특한 역전된 기억 프로필을 보여주어 장시간 상태 추적의 특정 실패를 시사했습니다.

탐색 실험 (InNav)

상호작용 탐색 설정에서 저자들은 탐색이 종종 (인식적 근거를 통해) 추론 모델들의 환각을 감소시키지만, 인지 부하로 인해 기억 또는 장시간 태스크에서는 오류를 증가시킬 수 있음을 발견했습니다. 탐색의 영향은 작업 카테고리 (예: 인과 태스크에는 유익하지만, 다중 구역 복합 태스크에는 해로움) 에 크게 의존합니다.

5. 중요성 및 주장

본 논문은 HALLUWORLD가 환각을 측정하고 감소시키기 위한 확장 가능하고 재현 가능한 경로를 제공한다고 주장합니다. 명시적이고 통제 가능한 환경에 기반한 평가를 통해, 이 벤치마크는 다음과 같은 점을 달성합니다:

• 실패 양상 분리: 환각이 단일 근본 능력 실패가 아니라 질적으로 다른 양상 (지각, 기억, 인과성, 불확실성) 에서 발생함을 드러냅니다.
• 표적 개입 가능: 적대적 증언, 직렬화 형식과 같은 특정 조건을 분리해 낼 수 있는 능력은 연구자들이 집계 지표에 의존하기보다 모델에 표적 개입을 선제적으로 지원할 수 있게 합니다.
• 패러다임 전환: 모호하고 출처 기반의 지표에서 환각을 세계 모델링 오류로 진단할 수 있는 실험적으로 다루기 쉬운 문제로 분야를 이동시킵니다.

저자들은 지각 정확도는 개선되고 있지만, 시간에 걸쳐 정확한 세계 상태를 유지하고 미래 상태에 대해 추론하는 능력은 Frontier 모델들에게 해결되지 않은 문제라고 결론지으며, 구조적 또는 학습 개입 없이는 추론만으로는 환각을 완화하기에 충분하지 않을 수 있음을 시사합니다.