기술 요약: LLM 인용 환각 탐지 및 감소를 위한 인용 근거 설정 (Citation Grounding)

1. 문제 정의

대규모 언의 모델(LLM)은 법률 영역에서 체계적인 신뢰성 문제인 **인용 환각(citation hallucination)**을 보입니다. 이는 그럴듯해 보이지만 허구적인 법령을 참조하거나, 폐지된 조항을 인용하거나, 관할권을 혼동하거나, 유효하지 않은 법적 논리 체계를 구축하는 것을 의미합니다. LLM은 법률 추론 벤치마크(예: 변호사 시험)에서는 우수한 성능을 보이지만, 기존 평가 프레임워크(LEXTREME, LexGLUE, LegalBench)는 분류 작업에 집중되어 있어 생성된 출력물의 인용 정확도를 측정하거나 탐지하는 지표가 부족합니다. 현재는 법률 전문가에 의한 수동 검증이 표준이지만, 이는 지속적인 모니터링이나 저자원 언어 환경으로 확장하기에는 한계가 있습니다.

2. 방법론

2.1 정답 인용 그래프 (The Ground-Truth Citation Graph)

제안된 접근 방식의 기초는 **우크라이나 통합 법원 판결 등록부(EDRSR)**에서 추출한 거대한 이분 인용 그래프 $G = (V, E)$입니다.

• 규모: 1억 80만 개의 판결 노드($V_d$), 21,736개의 고유 법령 노드($V_n$), 5억 220만 개의 인용 엣지($E$).
• 구조: 엣지는 특정 법원 판결과 해당 판결이 인용하는 특정 법령 조항을 연결합니다.
• 시간적 범위: 그래프는 2005년부터 2026년까지를 포괄하며, 세 가지 뚜렷한 법적 시대(평시, 하이브리드 전쟁, 전면 침공/계엄령)를 포함하여 시간적 유효성 검사를 가능하게 합니다.

2.2 인용 근거 설정 (Citation Grounding, CG) 지표

저자들은 LLM이 생성한 인용을 정답 그래프 $G$와 대조하여 검증하는 인용 근거 설정(CG) 지표를 제안합니다. 이는 환각 유형의 차별적 진단을 위해 세 가지 구성 요소로 분해됩니다:

1. 인용 정밀도 (Citation Precision, CP): 존재 여부를 검증합니다. 인용된 법령 노드가 $V_n(G)$에 존재하는가?
2. 인용 관련성 (Citation Relevance, CR): 맥락적 적절성을 검증합니다. 인용된 조항이 쿼리와 의미적으로 유사한 판결에서 사용되는가? (XLM-RoBERTa 임베딩을 통해 계산됨).
3. 인용 시간성 (Citation Temporality, CT): 시간적 유효성을 검증합니다. 해당 법령이 관련 법적 사건 발생 당시에 효력이 있었는가?

복합 인용 품질($CQ$)은 CP와 (CR과 CT의 평균)의 곱의 평균으로 계산됩니다. 존재하지 않는 법령(CP=0)은 품질을 0으로 만드는데, 이는 단 하나의 허구적인 인용이 문서 전체를 무효화한다는 법적 기준을 반영합니다.

2.3 인용 근거 설정 DPO (CG-DPO)

인간의 주석 없이 환각을 줄이기 위해, 본 논문은 알고리즘적으로 직접 선호 최적화(Direct Preference Optimization, DPO) 학습 쌍을 구축하는 방법인 CG-DPO를 소개합니다.

• 메커니즘: $G$에 있는 검증된 법원 판결로부터 시작하여, 인용문을 수정함으로써 "오염된(corrupted)" 버전을 생성합니다.
• 오염 전략:
  1. 조항 교체 (Article Swap): 동일한 법전 내의 다른 조항으로 교체 (CP 타겟).
  2. 법전 교체 (Law Swap): 조항 번호는 유지한 채 법전을 교체 (CR 타겟).
  3. 환각 주입 (Hallucination Injection): 실제 조항을 존재하지 않는 조항으로 교체 (CP 타겟).
  4. 시대착오 (Anachronism): 판결 날짜 이후에 제정된 법령으로 교체 (CT 타겟).
• 학습: 올바른 인용이 포함된 원본 텍스트는 선호되는 응답($y_w$)이 되고, 오염된 텍스트는 거부되는 응답($y_l$)이 됩니다. 이를 통해 인간 주석자의 필요성을 제거합니다.

3. 실험 설정 및 결과

3.1 경험적 평가

저자들은 7개 영역(민사, 형사, 행정, 노동, 가족, 헌법, 군사)에 걸친 100개의 우크라이나 법률 쿼리에 대해 5개 시스템을 평가했습니다:

• 시스템: AWS Bedrock을 통한 4개의 상용 LLM (Claude Haiku 4.5, Mistral Pixtral Large, Amazon Nova Pro, Amazon Nova Lite) 및 1개의 RAG 증강 프로덕션 시스템 (Claude Sonnet 4 기반의 LEX Chat).
• 결과:
  • 환각률: CG 점수는 0.791에서 0.873 사이로 나타났으며, 이는 인용의 13~21%가 환각임을 나타냅니다.
  • RAG의 우월성: RAG 증강 시스템은 가장 높은 CG(0.873)와 가장 낮은 인용 밀도(응답당 2.9개 인용)를 기록했으며, 이는 검색(retrieval)이 모델을 증거 기반 인용으로 제한함을 시사합니다.
  • 밀도-정확도 상관관계: 일반 모델들 사이에서 인용 밀도와 정확도 간의 상관관계는 약했습니다($\rho = -0.12$), 이는 보편적인 트레이드오프 가설에 반하는 결과입니다.
  • 도메인별 편차: 헌법법은 모든 모델에서 완벽한 근거 설정(CG = 1.0)을 달 기록했습니다. 가족법과 노동법은 가장 높은 편차(CG 0.46–0.90)를 보였습니다.

3.2 CG-DPO 학습 결과

Qwen2.5-7B-Instruct 모델을 알고리즘적으로 생성된 선호 쌍이 포함된 2,244개의 법원 판결 데이터셋을 사용하여 LoRA 방식으로 미세 조정했습니다.

• 성능: 모델은 세 가지 무작위 시드에 대해 올바른 인용과 오염된 인용을 구별하는 데 있어 98.5%의 평균 검증 정확도를 달성했습니다.
• 안정성: 보상 마진(reward margin)은 +14.9였으며 표준 편차는 0.3% 포인트 미만이었습니다.
• 수렴: 학습은 빠르게 수렴하여 첫 번째 에포크 내에 완벽에 가까운 정확도에 도달했습니다.

4. 주요 기여

1. 인용 근거 설정 지표: 5억 2백만 개의 엣지를 가진 인용 그래프를 활용하여, 대규모로 법률 인용 환각을 측정하고 진단할 수 있는 새롭고 분해 가능한 지표(CP, CR, CT)를 제시했습니다.
2. 대규모 평가: 우크라이나 법률에 대한 5개 LLM의 경험적 연구를 통해, RAG 시스템이 일반 모델보다 인용 정확도 면에서 우수하며 환각률이 법률 도메인에 따라 크게 달라짐을 밝혀냈습니다.
3. CG-DPO: 인용 그래프로부터 알고리즘적으로 DPO 학습 쌍을 생성하는 방법을 제시하여, 인용 정렬을 위한 값비싼 인간의 법률 주석 의존성을 제거했습니다.

5. 의의 및 주장

본 논문은 대규모 인용 그래프가 두 가지 목적을 수행한다고 주장합니다: **평가 오라클(evaluation oracle)**로서 환각을 탐지하고, 동시에 인간의 개입 없이 모델을 정렬하기 위한 학습 신호(training signal) 역할을 하는 것입니다.

• 폐쇄 루프 (Closed Loop): 이 접근 방식은 수동 주석 단계 없이 탐지에서 완화까지의 루프를 완성합니다.
• 확장성: CG-DPO는 그래프 유래 신호가 인용 정렬에 충분하다는 것을 입증하며, 자원이 제한된 환경에서의 법률 AI를 위한 확장 가능한 솔루션을 제공합니다.
• 지표의 타당성: 저자들은 CG가 보수적인 지표임을 검증했습니다. 즉, 그래프 커버리지의 공백으로 인해 드물게 인용되는 실제 법령을 환각으로 잘못 표시할 수는 있지만(false positive), 허구적인 조항에 대해서는 결코 잘못 표시하지 않습니다(false negative).
• 오픈 리소스: 연구 촉진을 위해 인용 그래프, 평가 프레임워크, CG-DPO 데이터셋을 오픈 리소스로 공개합니다.

저자들은 그래프가 기존 판결에 의존한다는 점(새로운 법률에 대한 커버리지 공백), 현재 구현된 시간성(특정 버전의 유효성보다는 존재 여부 확인)의 한계, 그리고 시민법(civil law) 체계에 집중했다는 점을 한계로 언급하며, 향후 커먼 로(common law) 적용 및 엔드 투 엔드 생성 평가를 위한 후속 연구를 제안했습니다.