기술 요약: 법률 RAG에서의 시간적 미그라운딩(Temporal Misgrounding)

문제 정의: 시간적 미그라운딩(Temporal Misgrounding)

본 논문은 **시간적 미그라운딩(temporal misgrounding)**을 법률적 RAG(Retrieval-Augmented Generation)에서 발생하는 체계적인 실패 모드로 규정한다. 이 현상은 시스템이 특정 질의에 적용되는 법률이 이전 또는 미래의 버전임에도 불구하고, 현재 시행 중인 버전의 법령 조항을 검색하여 인용할 때 발생한다.

저자들은 표준적인 법률 RAG가 코퍼스를 정적인 것으로 취급하는 반면, 법률 질의응답은 본질적으로 **시간적으로 인덱싱된 검색 문제(temporally-indexed retrieval problem)**라고 주장한다. 이러한 실패는 세 가지 구조적 근본 원인에 의해 발생한다:

1. 파라메트릭 최신성 편향(Parametric Recency Bias): LLM은 최근의 법적 상태를 과대표하는 스냅샷으로 학습되어, 현재의 법률로 사전 확률(priors)이 편향된다.
2. 시간적 조건화의 부재(Absence of Temporal Conditioning): 표준 밀집 검색기(dense retriever)는 질의에 내재된 날짜를 고려하지 않고 의미론적 유사성에 의해서만 인덱싱한다.
3. 조항 번호 에일리어싱(Article-Number Aliasing): 조항 식별자(예: CGI의 제219조)는 버전이 바뀌어도 지속되지만, 그 실질적인 내용(세율, 임계값 등)은 변한다. 단순한 검색 방식으로는 어떤 버전이 의도된 것인지 구별할 수 없다.

저자들은 더 크거나 최신인 LLM이라 할지라도, 방대한 양의 역사적 버전과 구조적 검색 변경 없이 유사한 텍스트를 구별하기 어렵다는 점 때문에 파라메트릭하게 이 문제를 해결할 수 없다고 상정한다.

방법론 및 벤치마크 설계

FiscalQA Pro 코퍼스

이를 해결하기 위해 저자들은 다음과 같이 구성된 FiscalQA Pro를 구축하였다:

• 버전화된 코퍼스(Versioned Corpus): 93년(1938~2031년)에 걸친 프랑스 세법(CGI, 부속서 및 LPF 포함)의 32,436개 조항 버전을 포함한다. 여기에는 최근 재정법에 의해 유예된 미래 효력 발생 버전도 포함된다.
• 판례 연결(Jurisprudence Linking): 법원 판결과 해당 판결 시점에 적용되었던 특정 조항 버전을 연결하는 69,208개의 인용 링크로 구성된 보조 데이터셋(정밀도 98~99%)을 포함한다.
• 구축 방식: 데이터는 공식 PIDE Légifrance API에서 추출되었으며, 명시적인 date debut(시작일) 및 date fin(종료일) 필드를 통해 조항 버전 수준의 완전한 출처(provenance)를 보장한다.

R3 시간적 추론 트랙(R3 Temporal-Reasoning Track)

핵심 벤치마크인 R3 트랙은 시간적 미그라운딩을 격리하여 측정하도록 설계되었다.

• 범위: 33개 CGI 조항(발표된 221개 중 범위 이슈로 12개 제외)에 걸친 209개의 채점된 전문가 검토 질문.
• 난이도: 이 세트는 "모든 모델에게 어려운(all-model-hard)" 수준이다. 파라메트릭 지식 필터를 통해, 평가된 모든 모델(11개 모델, 4회 샘플링 드로우)이 기억만으로는 질문에 답할 수 없음을 확인했다.
• 채점 메커니즘: 답변은 원자적 정답 "너겟(nugget)"(정규식으로 매칭되는 조항 식별자 및 허용 오차를 가진 수치 값)을 통해 **결정론적(deterministically)**으로 채점된다. 저자들은 시스템이 평가하고자 하는 동일한 시간적 편향을 상속받는 것을 피하기 위해 "LLM-as-judge" 채점 방식을 명시적으로 거부한다.
• 질의 체계: 본 논문은 특정 날짜의 법률 버전에 따라 정답이 결정되는 R3(시간적 추론)에 집중한다. 다른 체계들(R1: 인용 추출, R2: 결정론적 계산, R4: 다중 문서 합성)은 추가 트랙으로 공개된다.

실험 설계

저자들은 11개 모델(프런티어 폐쇄형 API 5개, 대체 프런티어 1개, 오픈 웨이트 5개)을 사용하여 R3 서브셋에 대해 통제된 세 가지 조건 실험을 수행하였다:

1. 조건 A (LLM-only): 파라메트릭 지식만 사용 (검색 없음).
2. 조건 B (Static RAG): 정적이고 현재 버전만 존재하는 코퍼스에 대한 검색 (현재 배포된 시스템을 대변함). 모델은 올바른 조항 ID를 받지만 현재 버전만 제공받는다.
3. 조건 C (Version-Aware RAG): 시간적으로 버전화된 코퍼스에 대한 검색.
   • Cor (Oracle): 모델이 올바른 조항 ID를 제공받고 인덱스에서 올바른 버전을 선택해야 함.
   • Cprod (End-to-End): 모델이 오라클 없이 올바른 조항과 올바른 버전을 모두 검색해야 함.

주요 결과

정적 접근 방식의 실패

• 파라메트릭 지식 (조건 A): 11개 모델의 평균 엄격 정확도(strict accuracy)는 **3.0%**였다.
• 정적 RAG (조건 B): 평균 엄격 정확도는 **2.7%**로, 조건 A와 통계적으로 차이가 없었다. 결정적으로, 정적 RAG는 해당 날짜에 적용 가능한 버전을 0%의 확률로 검색했다. 모델은 실제 존재하지만 적용 불가능한(현재의) 버전을 확신하며 인용했다.
• 결론: 표준 RAG는 조용히 실패하는 것이 아니라, 과거의 법률 대신 현재의 법률을 대체하며 확신을 가지고 실패한다.

버전 인식 검색의 성공

• 오라클 버전 선택 (Cor): 올바른 조항이 제공되고 모델이 올바른 버전을 선택했을 때, 평균 엄격 정확도는 **99.1%**에 도달했다. 이는 일단 올바른 버전이 가용해지면 모델이 올바른 값을 추출할 수 있음을 입증한다.
• 엔드 투 엔드 검색 (Cprod): 오라클 없는 엔드 투 엔드 검색기는 평균 **98.3%**의 엄격 정확도를 달رش했다.
• 병목 현 현상 분석: Cor(99.1%)와 Cprod(98.3%) 사이의 차이는 0.8% 포인트이며, 이는 전적으로 1단계 리콜(first-stage recall)(올바른 조항을 찾는 과정)에 기인한다. 골드 버전은 질문의 99%에서 상위 5개 검색 결과 내에 포함되어 있었다.

의의 및 주장

본 논문은 법률 QA가 시간적으로 인덱싱된 검색 문제로 재정의되어야 한다고 주장한다. 주요 기여는 시간 민감형 질문에 대한 법률 RAG의 병목 현상이 모델의 크기나 추론 능력이 아니라, 버전 인식 인덱싱과 날짜 조건부 검색의 부재라는 점을 입증한 것이다.

• 구조적 vs 파라메트릭: 시간적 그라운딩의 실패는 LLM 파라미터의 한계가 아니라 검색 아키텍처의 구조적 문제이다.
• 결정론적 평가: LLM 심판 대신 정규식과 수치 너겟을 사용함으로써, 벤치마크는 순환적 편향을 피하고 시간적 그라운딩을 측정하는 신뢰할 수 있는 척도를 제공한다.
• 일반화 가능성: 프랑스 세법에 초점을 맞추고 있으나, 저자들은 시간적 미그라운딩이 현장에서 수정되는 성문법 코퍼스(예: 독일, 스위스, 벨기에 시스템)를 가진 모든 체계의 구조적 문제라고 주장한다. 이는 독일 성문법 QA에서의 독립적인 연구 결과와도 일치한다.

이 연구는 시간적 미그라운딩을 정량화하고 완화하기 위해 특별히 설계된 최초의 버전화된 코퍼스와 벤치마크를 제공하며, 코퍼스, 벤치마크, 모델 응답 및 파이프라인 코드를 커뮤니티에 공개한다.