기술 요약: 문서 그라운딩을 넘어 (Beyond Document Grounding)

문제 정의

검색 증강 생성(RAG) 시스템은 코딩 에이전트, 개발자 도구, 연구 문서 등 자연어를 넘어 구조화된 환경에서도 점점 더 많이 배포되고 있습니다. 기존의 환각 탐지 벤치마크와 탐지기들은 주로 자연어 문서 증거에 초점을 맞추고 있어, 소스 코드, 도구 출력(예: 테스트 로그, 명령 출력), 구조화된 문서(예: 마크다운, 표)와 같은 구조화된 입력이 제기하는 고유한 검증 과제를 해결하지 못합니다.

이러한 구조화된 설정에서는 단 하나의 지원되지 않는 서브스트링(unsupported substring)—예를 들어, 조작된 메서드 이름, 잘못된 필드 값, 또는 잘못 보고된 도구 관찰 결과—만으로도 나머지 응답이 정확하더라도 프로그램 동작을 변경하거나 사용자를 오도할 수 있습니다. 현재의 평가 프레 프레임워크는 전통적인 자연어 RAG 작업과 더불어 생성된 코드, 도구 관찰, 구조화된 문서를 모두 포괄하는 통합된 스팬 수준(span-level) 정식화가 부족합니다.

방법론

통합 벤치마크 구축

저자들은 5개의 소스에서 새로 구축된 74,285개의 예시로 구성된 통합 벤치마크를 소개하며, 기존 자연어 RAG 데이터셋(RAGTruth 및 PsiloQA)에서 변환된 예시들을 추가했습니다. 소스는 다음과 같습니다:

• 코드(Code): SWE-bench에서 유도되었으며, 저장소에 근거한 수정 사항(repository-grounded fixes)을 특징으로 합니다.
• 도구 출력(Tool Output): Squeez에서 유도되었으며, 쿼리와 상세한 도구 관찰 내용을 포함합니다.
• 구조화된 문서(Structured Documents): ACL 논문 청크, GitHub README, Wikipedia 마크다운.
• 자연어(Natural Language): RAGTruth 및 PsiloQA (14개 언어).

데이터 구축 파이프라인:

1. 그라운딩(Grounding): 소스에서 유도된 알려진 정답(예: 골드 표준 SWE-bench 패치)에서 시작합니다.
2. 주입(Injection): 소스별 특화된 "인젝터(injector)" 모델(코드는 Gemma 4 31B, 그 외는 Qwen 3.6 35B 사용)을 사용하여 국소적인 구조적 교체 편집을 제안합니다. 이러한 편집은 모순(Contradiction, 잘못된 로직/값), 미지원 추가(Unsupported Addition, 추가된 동작), 또는 조작된 참조(Fabricated Reference, 발명된 메서드/식별자)로 분류되는 국소적 환각을 도입합니다.
3. 스팬 레이블링(Span Labeling): 결정론적으로 편집을 적용하여 환각된 스팬의 정확한 문자 오프셋(character offsets)을 추출함으로써, 혼합된 자연어/코드 답변의 디프(diff) 과정에서 발생하는 모호성을 피합니다.
4. 참조 그라운딩(Reference Grounding): 잘려진 컨텍스트에 없는 외부 라이브러리나 형제 메서드를 참조하는 정답이 불이익을 받는 것을 방지하기 위해, 파이프라인은 저장소의 베이스 커밋에서 해결된 정의와 Context7의 실제 API 시그니처를 추가합니다.
5. 검증(Verification): 코드 에이전트 테스트 세트는 유효성 및 경계 정확도에 대한 필터링을 거쳐 2,015개의 예시를 남긴 후 인간 검토 및 중재를 거쳤습니다.

모델 아키텍처

통합 데이터셋을 통해 두 가지 탐지기 제품군이 훈련되었습니다:

1. LettuceDetect-Qwen-2B: 32,768-토큰 컨텍스트 윈도우를 가진 미세 조정된 Qwen3.5-2B 생성형 탐지기입니다. 이는 문자 스팬, 카테고리 및 서브카테고리를 포함하는 JSON을 출력합니다.
2. LettuceDetect-mmBERT-base: 최대 시퀀스 길이 8,192 토큰으로 훈련된 307M 파라미터 규모의 토큰 분류 인코더(mmBERT 기반)입니다.

두 모델 모두 환각 분류 체계를 정의하고 요청, 컨텍스트, 그리고 검증할 답변을 제공하는 데이터 불가지론적(data-agnostic) 프롬프트를 사용하여 훈련됩니다.

주요 기여

1. 태스크 정식화: 구조화된 그라운디드 생성 컨텍스트(코드, 도구 출력, 구조화된 문서)에 특화되어 설계된 사후 생성 환각 탐지를 위한 스팬 수준 태스크 정식화를 제안합니다.
2. 통합 벤치마크: 다양한 모달리티를 아우르는 74,285개의 새로운 예시와 기존 RAG 벤치마크에서 변환된 예시를 포함하는 포괄적인 데이터셋을 통해 교차 도메인 평가를 가능하게 합니다.
3. 탐지기 성능: 미세 조정된 생성형 탐지기(LettuceDetect-Qwen-2B)가 코드 에이전트 및 도구 출력 분할에서 오프더쉘(off-the-shelf) 탐지기 및 제로샷 LLM 심사위원보다 실질적으로 우수한 성능을 보이며, 자연어 RAG 벤치마크에서도 경쟁력을 유지함을 입증했습니다.

실험 결과

주요 발견

통합 테스트 세트에서 LettuceDetect-Qwen-2B는 0.689의 span-F1을 달성했습니다.

• 코드 에이전트 성능: 이 모델은 코드 에이전트 분할에서 0.602의 span-F1을 달성하여, LettuceDetect-large(0.17) 및 평가된 가장 강력한 제로샷 LLM 심사위원들(Nemotron-3-Ultra 및 gpt-oss-120b, 둘 다 $\le$ 0.22)을 크게 앞질렀습니다.
• 자연어 성능: 모델은 기존 벤치마크에서 경쟁력을 유지하며, RAGTruth에서 81.8의 example-F1을, English PsiloQA에서 0.724의 IoU를 달성했습니다(벤치마크 저자의 미세 조정된 mmBERT-base의 0.707을 상회).
• 다국어 능력: PsiloQA의 14개 언어 전반에 걸쳐, 모델은 평균 IoU 0.689에 도달하여 Qwen2.5-32B 심사위원(0.383)을 능가했습니다.

베이스라인과의 비교

• 제로샷 심사위원(Zero-Shot Judges): 대규모 제로샷 LLM(예: Nemotron-3-Ultra, gpt-oss-120b)은 코드와 도구 출력에서 어려움을 겪었으며, 종종 올바르게 새로 작성된 코드를 지원되지 않는 것으로 잘못 표시하거나 유효한 편집과 환각을 구분하지 못했습니다.
• 특화된 탐지기: 자연어만을 위해 훈련된 기존 탐지기(예: LettuceDetect-large)는 구조화된 데이터(코드 span-F1 0.17)에서 낮은 성능을 보였습니다.
• 인코더 vs 생성기: 생성형 탐지기(Qwen-2B)는 모든 소스에서 토큰 분류 인코더(mmBERT-base)보다 일관되게 높은 성능을 보였습니다(전체 span-F1 기준 0.689 대 0.642).

의의 및 주장

본 논문은 제안된 벤치마크와 탐지기가 RAG 평가의 핵심적인 공백, 즉 구조화된 비자연어 출력에 대한 스팬 수준 검증의 부재를 해결한다고 주장합니다. 저자들은 다음을 강조합니다:

• 구조적 검증은 구별됨: 코드 및 도구 출력에서의 검증은 의도 오류 및 구조적 유효성과 관련하여 자연어와는 다른 추론을 필요로 합니다.
• 생성형 탐지기가 우수함: 미세 조정된 생성형 모델은 긴 컨텍스트 윈도우를 가질 때, 특히 긴 저장소 컨텍스트와 복잡한 의존성을 다룰 때 전통적인 인코더나 제로샷 심사위원보다 이 작업에 더 적합합니다.
• 통합 평가: 단일 모델이 자연어 작업의 성능을 희생하지 않으면서도 다양한 모달리티(코드, 도구 출력, 문서)를 효과적으로 처리할 수 있습니다.

저자들은 대부분의 레이블링이 합성 주입(synthetic injection)에 의존한다는 점(단, 코드 테스트 세트는 인간의 검토를 거침)과 전체 에이전트 궤적(trajectory)이 아닌 최종 답변 검증에 집중했다는 점을 한계점으로 언급했습니다. 결론적으로, 이들의 연구는 차세대 그라운디드 생성 에이전트를 위한 견고한 검증 시스템을 개발하는 데 필요한 토대를 제공합니다.