기술 요약: 환각에 대한 통합적 정의: 결국은 월드 모델 문제다!

1. 문제 제기

LLM(대규모 언어 모델)의 등장 이후 환각 완화 전략에 대한 광범위한 연구가 진행되었음에도 불구하고, 환각은 프런티어 모델에서 지속적이고 해결되지 않은 문제로 남아 있다. 저자들이 식별한 핵심 문제는 "환각"이라는 정의의 파편화이다. 기존의 정의들은 작업별로 특화되어 있으며 종종 서로 모순된다:

• 요약 연구자들은 내용이 실제 세계에서는 사실일지라도 소스 문서에 의해 뒷받침되지 않으면 환각이라고 정의한다.
• 오픈 도메인 QA 연구자들은 소스와 관계없이 사실과 다른 내용을 환각으로 정의한다.
• 시각-언어 모델(VLM) 연구자들은 시각적 입력과 텍스트 사이의 불일치에 집중한다.
• 에이전트 연구자들은 환경 관찰에 기반한 부적절한 행동을 환각으로 간주한다.

이러한 통일된 정의의 부재는 벤치마크를 비교하거나, 완화 전략의 전이 가능성을 평가하거나, LLM이 환각을 영원히 멈출 수 있는지와 같은 근본적인 질문에 답하는 것을 어렵게 만든다. 현재의 평가 방식은 "그라운드 트루스(ground truth)"가 무엇인지, 그것에 어떻게 접근하는지, 또는 정보원 간의 충돌을 어떻게 해결하는지를 명시적으로 지정하지 않은 채 암묵적으로 가정하는 경우가 많다.

2. 방법론: 통합 프레임워크

저자들은 모든 기존 정의를 하나의 개념, 즉 사용자에게 관찰 가능한 부정확한 (내부적) 월드 모델링으로서의 환각이라는 개념 아래 통합하는 공식 프레임워크를 제안한다.

2.1 핵심 구성 요소

이 프레임워크는 세 가지 명시적 구성 요소를 기준으로 환각을 정의한다:

1. 참조 월드 모델 ($W$): 주어진 맥락에서 객관적으로 참인 것에 대한 공식적인 표현. $W$는 튜플 $(S, H, R)$로 정의되며, 여기서 $S$는 가능한 세계 상태의 집합, $H$는 상호작용 이력의 집합, $R$은 허용 가능한 상태를 제한하는 규칙의 집합이다. $W$는 소스 문서, 지식 베이스, 시뮬레이터, 데이터베이스 또는 형식 문법으로 구현될 수 있다.
2. 뷰 함수 ($V$): 특정 입력 $x$에 관련 있는 월드 모델의 부분을 선택하는 함수 (예: 전체 문서, 검색된 부분 집합, 또는 부분적인 DOM 관찰).
3. 충돌 정책 ($P$) 및 진리 함수 ($T_{W,P}$): 여러 정보원을 조정하는 정책 (예: "검색된 문서가 파라미터 메모리보다 우선한다"). 진리 함수는 $W, x, P$가 주어졌을 때 임의의 원자적 주장 $c$에 대해 상태(참, 거짓, 알 수 없음)를 할당한다.

2.2 공식 정의

$y$를 모델 출력이라 하고 $C(y)$를 사용자에게 관찰되는 원자적 주장들의 집합이라고 하자. 출력 $y$는 $(W, P)$에 대해 다음을 만족할 때만 환각을 일으킨다: $C(y)$에 속하는 주장 $c$가 존재하여 $T_{W,P}(x, c) = \text{false}$인 경우.

결정적으로, 이 정의는 환각(참조 월드에 대한 잘못된 믿음)을 다른 유형의 오류와 구분한다:

• 계획 오류 (Planning Errors): 믿음은 올바르나 선택된 행동이 부적절함.
• 보상/인센티브 오류 (Reward/Incentive Errors): 믿음은 올바르나 훈련 인센티브로 인해 확신에 찬 출력을 내놓음.
• 캘리브레이션 오류 (Calibration Errors): 불확실성이 적절하게 표현되지 않음.

3. 주요 기여

이 논문은 세 가지 주요 기여를 한다:

1. 통합된 분류 체계: 저자들은 기존의 정의들(요약, RAG, 에이전트, VLM 설정)이 동일한 근본 구조의 서로 다른 인스턴스임을 입증한다. $W, V, P$를 변화시킴으로써 기존의 정의들(예: 내재적 vs 외재적 환각)을 특수 사례로서 도출할 수 있다.
2. 명시적 벤치마크 설계 가이드라인: 이 프레임워크는 벤치마크 설계자들이 참조하는 월드, 모델의 뷰, 그리고 충돌 해결에 관한 가정을 명시하도록 강제한다. 이를 통해 서로 다른 벤치마크들(FavaBench, HALoGEN, HaluEval 등)이 어디에서 정의가 갈라지는지 진단함으로써 유의미한 비교를 가능하게 한다.
3. 합성 세계를 통한 확장 가능한 벤치마크 생성: 논문은 참조 월드 $W$가 완전히 규정되고 프로그래밍 방식으로 알려진 합성 환경(예: 게임, 시뮬레이터)을 사용하여 대규모 벤치마크를 생성하는 방법을 제안한다.
   • 사례 연구 (체스): 저자들은 체스 환경이 어떻게 벤치마크 역할을 할 수 있는지 보여준다. 체스의 세계 상태($s$)와 이력($h$)이 그라운드 트루스이다. 문서 생성기가 텍스트 맥락을 만들고, 쿼리 생성기가 질문을 생성한다. 진리 함수는 실제 보드 상태 및 규칙에 대해 주장을 평가하며, 이를 통해 인간의 주석 없이도 자동화된 대규모 환각 레이블 생성이 가능하다.

4. 결과 및 발견

포지션 페이퍼(Position Paper)로서, 이 연구는 모델 성능에 대한 경험적 결과를 제시하기보다는 개념적 및 진단적 분석을 제공한다:

• 진단 능력: 프레임워크는 문헌 간의 의견 불일치가 모델의 행동보다는 $W, V, P$의 암묵적인 차이에서 기인함을 밝혀낸다. 예를 들어, 어떤 방법론이 요약(여기서 $W$는 소스 문서)에서의 환각은 줄이지만 오픈 QA(여기서 $W$는 실제 세계의 사실)에서는 실패할 수 있는데, 이는 개입이 서로 다른 구성 요소를 타겟팅하기 때문이다.
• 완화 전략의 명확화: 논문은 완화 기술을 어떤 구성 요소를 타겟팅하는지에 따라 분류한다:
  • 검색/도구 (Retrieval/Tools): 뷰 함수($V$)에 대한 개입.
  • 캘리브레이션/기권 (Calibration/Abstention): 진리 함수 또는 출력 정책($T_{W,P}$)에 대한 개입.
  • 아키텍처/훈련 변경 (Architectural/Training Changes): 모델의 내부적인 $W$ 근사에 대한 개입.
• 오류 유형의 구분: 프레임워크는 "환각"(월드 모델링 오류)을 "계획" 또는 "지시 이행" 오류와 성공적으로 분리한다. 이는 현재 문헌에서 흔히 모호하게 다뤄지는 구분이다.

5. 의의 및 주장

저자들은 이 통합된 관점이 다음과 같은 이유로 중요하다고 주장한다:

• 과학적 엄밀성: 이 프레임워크는 분야를 모호하고 작업별로 특화된 정의에서 공식적이고 재현 가능한 구조로 이동시킨다. 연구자들은 모델이 환각을 일으켰다고 주장하기 전에 "무엇이 참인가"를 명확히 해야 한다.
• 비교 가능성: 이를 통해 텍스트, 비전, 에이전트 등 서로 다른 도메인의 벤치마크와 완화 전략을 공통 템플릿에 매핑하여 비교할 수 있게 한다.
• 확장성: 완전히 규정된 세계를 가진 합성 환경을 활용함으로써, 값비싼 인간 주석이나 신뢰할 수 없는 LLM-as-a-judge 방식 대신 구성 단계에서 환각 레이블이 결정되는 벤치마크를 생성할 수 있게 한다.
• 실행 가능한 가이드: 개발자와 연구자가 실패의 원인이 정보의 부재($V$)인지, 충돌하는 규칙($P$)인지, 아니면 근본적으로 망가진 내부 모델($W$)인지 식별할 수 있는 명확한 로드맵을 제공한다.

논문은 완벽한 월드 모델링은 달성 불가능할 수도 있지만, LLM의 목표는 지식의 경계를 인식하고, 불확실할 때 기권하며, 외부 정보에 기반해 업데이트하는 것이어야 한다고 결론짓는다. 제안된 프레임워크는 HALLUWORLD 벤치마크 제품군과 함께, 관찰 가능한 월드 모델 오류를 체계적으로 측정하고 줄이는 길을 제시한다.