기술 요약: LLM 환각 감지를 위한 평가 재고

문제 제기

대형 언어 모델 (LLM) 은 종종 환각 (hallucinations) 으로 알려진 불성실하거나 조작된, 일관성 없는 콘텐츠를 생성합니다. 이러한 환각을 감지하고 벤치마크 데이터셋 (환각 감지 벤치마크 또는 HDB) 을 만드는 데 상당한 노력이 기울여졌지만, 저자들은 현재 문헌에 치명적인 격차가 있음을 지적합니다. 구체적으로 기존 벤치마크는 특히 긴 컨텍스트를 포함하는 검색 증강 생성 (RAG) 과 같은 실제 사용 시나리오를 반영하지 못하는 경우가 많습니다. furthermore, 많은 벤치마크는 비유기적 (주입된) 환각에 의존하거나 현실적인 라벨 노이즈가 부족하여 감지기 성능을 과대평가하게 만들고, 실제 응용 프로그램에서 흔한 노이즈가 있는 데이터에 대한 모델의 스트레스 테스트를 실패하게 합니다.

방법론

1. HDB 를 위한 요건 (Desiderata)

저자는 효과적인 환각 감지 벤치마크가 갖춰야 할 7 가지 바람직한 속성 (요건) 을 먼저 확립합니다:

• D1. 유기적 환각: 콘텐츠는 LLM 에 의해 자연스럽게 생성되어야 하며, 수동으로 주입되거나 환각을 유도하도록 프롬프트된 것이 아니어야 합니다.
• D2. 인간 검증 테스트 라벨: 평가 라벨은 신뢰할 수 있어야 하며, 이상적으로는 여러 명의 전문가 인간 주석가에 의해 검증되어야 합니다.
• D3. 긴 컨텍스트 작업: 벤치마크는 컨텍스트가 길고 인간이 환각을 식별하기 어려운 고수요 지식 집약적 작업 (RAG 등) 을 포함해야 합니다.
• D4. 현실적인 학습 라벨: 학습 데이터는 약한 감독이나 불완전한 인간 주석을 반영하기 위해 현실적인 라벨 노이즈 (샘플 의존적 및 샘플 독립적 모두) 를 포함해야 합니다.
• D5. 포괄적인 환각 유형: 컨텍스트와 일관성이 없는 내재적 (intrinsic) 환각과 컨텍스트로 검증 불가능한 외재적 (extrinsic) 환각을 모두 커버해야 합니다.
• D6. LLM 다양성: 생성물은 편향 없는 진전 추적을 보장하기 위해 여러 현대 LLM 에서 나와야 합니다.
• D7. 다중 도메인: 데이터는 일반화를 테스트하기 위해 다양한 도메인에 걸쳐 있어야 합니다.

2. 기존 벤치마크에 대한 비판적 검토

저자는 이러한 요건에 따라 기존 HDB 24 개를 분석합니다. 그 결과, 기존 벤치마크 중 어느 것도 7 가지 속성을 모두 충족하지 못한다는 것을 발견합니다. 확인된 주요 격차는 다음과 같습니다:

• 긴 컨텍스트를 가진 RAG 기반 벤치마크의 심각한 부족.
• 실제 세계의 지도 학습에서 노이즈가 있는 라벨이 흔함에도 불구하고 학습 세트에 현실적인 라벨 노이즈가 부재함.
• 많은 벤치마크가 유기적 환각보다 감지가 쉬운 비유기적 환각 (예: 프롬프트된 환각) 에 의존함.

3. TRIVIA+ 벤치마크

이러한 격차를 해결하기 위해 저자는 새로운 RAG 기반 HDB 인 **TRIVIA+**를 소개합니다.

• 데이터 구축: 데이터셋은 확립된 데이터셋 (TRIVIAQA, NaturalQuestions, MS-MARCO, CovidQA, DROP) 의 프롬프트를 활용합니다. 상용 SOTA LLM(150B 개 이상의 파라미터) 과 오픈소스 모델 (Gemma-7b, Mixtral-8x7b) 이 응답을 생성합니다.
• 유기적 필터링: 텍스트의 유기적 성격을 변경하지 않으면서 실제 환각의 비율을 높이기 위해, 생성된 답변과 정답 (ground truth) 간의 낮은 ROUGE 중첩 (<0.1) 을 기준으로 필터링합니다.
• 주석 과정:
  • 라벨: 주석가는 문장을 '지원됨 (Supported)', '모순됨 (Contradicted)', '언급 안 됨 (Not Mentioned)', '보조 (Supplementary)'로 라벨링합니다. 이는 이진 '성실 (Faithful)' 또는 '불성실 (Unfaithful)' 라벨에 매핑됩니다.
  • 신뢰성: 다단계 투표 프로세스 (샘플당 최대 6 명의 주석가) 를 통해 고품질 테스트 라벨을 보장합니다.
  • 노이즈 생성: 학습을 위해 저자는 4 가지 세트의 노이즈가 있는 라벨을 생성합니다:
    1. 약한 감독 (WS): LLM-as-a-Judge 로부터의 라벨.
    2. 이견 주석가 (DW): 특정 이견을 가진 주석가의 라벨을 사용하여 주석가 훈련의 격차를 시뮬레이션.
    3. 이견 라벨 (DL): 이견이 있는 라벨로 무작위 교체하여 불완전한 품질 관리를 시뮬레이션.
    4. 무작위 뒤집기 (RF): 라벨을 무작위로 뒤집음 (샘플 독립적 노이즈).

4. 실험 설정

저자는 TRIVIA+ 와 기타 RAG 기반 HDB(HaluEval, RAGTruth, Dolly) 에서 인기 있는 최신 감지기들을 평가합니다.

• 테스트된 감지기:
  • 비지도: SelfCheckGPT(GPT-4-mini 및 Claude-Sonnet-3.5 사용), LLM-as-a-Judge.
  • 지도: Mistral-7B-Instruct 의 퓨샷 (FS), 프롬프트 최적화 (PO), 그리고 지도 미세 조정 (SFT).
• 노이즈 분석: 실험은 노이즈가 있는 학습 세트 (학습 시) 와 노이즈가 있는 테스트 세트 (평가 시) 를 사용하여 노이즈가 있는 라벨이 미치는 영향을 조사합니다.

주요 결과

1. 유기적 vs 비유기적 벤치마크에서의 성능

• 비유기적 (HaluEval): 감지기들이 매우 잘 수행하며, SFT 는 F1 점수 0.996 을 달성합니다. 저자들은 이를 프롬프트된 환각의 분리 가능성에 기인합니다.
• 유기적 (TRIVIA+, RAGTruth): 성능이 크게 떨어집니다. TRIVIA+ 에서 최상의 F1 점수는 0.694(LLM-as-a-Judge) 이며, SFT 는 0.663 에 그칩니다. 이는 현재 능력과 유기적 RAG 기반 환각에 대한 성능 한계 사이에 큰 격차가 있음을 나타냅니다.

2. LLM-as-a-Judge 의 경쟁력

지도 학습 방법이 제로샷 접근법보다 우월하다는 이전 문헌과 달리, 저자는 간단한 LLM-as-a-Judge 기준선이 유기적 벤치마크에서 지도 미세 조정 모델과 경쟁하거나 때로는 더 잘 수행한다는 것을 발견합니다.

3. 라벨 노이즈의 영향

• 평가 편향: 감지기를 노이즈가 있는 테스트 라벨 (예: WS 라벨) 로 평가할 때, 성능 지표는 낙관적으로 편향될 수 있습니다 (예: SFT F1 이 WS 라벨에서는 0.708 로 나타나지만 깨끗한 라벨에서는 0.663 임).
• 학습 방해: 노이즈가 있는 학습 라벨은 특히 글로벌 미세 조정 (SFT) 을 사용하는 지도 감지기를 크게 방해합니다. SFT 성능은 깨끗한 라벨의 0.663 에서 노이즈가 있는 라벨에서는 약 0.63~0.64 로 떨어집니다. 반면, 퓨샷 (FS) 과 프롬프트 최적화 (PO) 와 같은 로컬 방법은 학습 노이즈에 대해 더 큰 견고성을 보입니다.
• 샘플 의존적 노이즈: 샘플 의존적 노이즈 (DW, DL) 는 무작위 노이즈 (RF) 보다 감지 성능에 더 해롭습니다.

4. 긴 컨텍스트의 과제

• 컨텍스트 길이: 감지기는 긴 컨텍스트 (>5K 문자) 에서 급격히 저하됩니다. TRIVIA+ 에서 긴 컨텍스트의 F1 점수는 짧은 컨텍스트에 비해 0.09~0.23 감소합니다.
• 구조적 한계: 어텐션 기반 감지기 (ReDeEP 등) 는 메모리 제약에 직면합니다. 표준 하드웨어의 시퀀스 길이 제한으로 인해 TRIVIA+ 샘플의 14~22% 가 처리되지 못했습니다.

중요성과 주장

이 논문은 발견 사항과 제안된 TRIVIA+ 벤치마크가 RAG 기반 작업에 대한 환각 감지 연구에 필요한 동기를 부여하고 촉진할 것이라고 주장합니다. 그 중요성은 다음과 같습니다:

1. 격차 노출: 현재 감지기가 현실적인 유기적 RAG 작업에서 성능 한계에 도달하기 위해 "충분한 여지"를 남기고 있음을 입증.
2. 벤치마크 표준: 유기적 생성과 인간 검증과 같은 필수 기준을 기존 벤치마크가 종종 충족하지 못함을 강조하며, 향후 벤치마크를 평가하기 위한 엄격한 프레임워크 (7 가지 요건) 제공.
3. 노이즈 인식: 현실적인 라벨 노이즈가 감지 성능을 저해하는 결정적 요소임을 규명하여, 이 분야에서 견고한 학습 기법 (노이즈가 있는 라벨을 활용한 학습) 의 채택을 촉구.
4. 긴 컨텍스트 현실: 현재 문헌에서 과소 대표되어 있지만 현대 LLM 배포의 핵심인 긴 컨텍스트 RAG 작업이 제기하는 특정 과제를 강조.

저자들은 향후 연구가 민감한 실제 도메인에서 LLM 을 배포할 때의 과제를 더 잘 반영하기 위해 현실적인 노이즈를 갖춘 교차 도메인 일반화 가능한 감지기와 벤치마크 개발에 초점을 맞춰야 한다고 결론지었습니다.