Temporal Decay of Co-Citation Predictability: A 20-Year Statute Retrieval Benchmark from 396M Ukrainian Court Citations

기술적 요약: 법률 검색에서 공인용 예측 가능성의 시간적 감쇠

문제 제기
법률 정보 검색 시스템은 종종 판례에서 함께 인용되는 법조항들의 패턴인 공인용 구조를 안정적인 검색 신호로 활용합니다. 이는 역사적 판례에서 조항 A 와 B 가 빈번하게 함께 인용된다면, 유사한 미래 사건에서도 여전히 관련성이 있을 것이라는 암묵적 전제를 기반으로 합니다. 본 논문은 이러한 전제의 정상성(stationarity) 에 도전합니다. 공인용 예측 가능성이 시간이 지남에 따라 안정적으로 유지되는지, 아니면 감쇠하여 지속적인 업데이트 없이는 그래프 기반 검색 방법을 쓸모없게 만드는지 조사합니다. 본 연구는 우크라이나 법률 시스템을 대상으로 하며, 20 년 기간 (2007~2026) 에 걸쳐 법률 조항 검색 신호의 시간적 안정성을 측정하기 위해 방대한 판례 코퍼스를 활용합니다.

방법론
저자들은 우크라이나 통합 국가 판례 등록부 (ЄДРСР) 에서 파생된 벤치마크인 UA-StatuteRetrieval을 구축했습니다. 이 데이터셋은 13 개 법률 편찬물에서 추출된 1 억 1 천만 건의 판례와 3 억 9 천 6 백만 개의 검증된 법전 조항 인용으로 구성됩니다.

• 평가 프로토콜: 본 연구는 완전 이분 그래프 (사건 대 조항) 에 걸쳐 Leave-one-out 인용 예측 프로토콜을 적용합니다. 각 판례에 대해 특정 인용된 조항을 마스킹하고, 시스템이 나머지 인용을 사용하여 이를 복원하도록 시도합니다. 이는 조항을 사건 사실로부터 검색하는 최종 사용자 작업을 대신하여, 공인용 신호의 안정성을 측정하는 대리 지표로 작용합니다.
• 점수 함수: 주요 지표는 평균 역순위 (MRR) 와 Hit@K 이며, 다음을 사용하여 평가됩니다:
  • Adamic-Adar(AA) 및 Common Neighbors(CN): 소셜 네트워크 분석에서 차용된 그래프 기반 링크 예측 방법.
  • Degree Baseline: 인기도 기반 검색 방법.
  • BM25: 인용을 제거한 마스킹된 판례 텍스트를 쿼리로 사용하여 전체 법률 텍스트에 대해 검색하는 텍스트 기반 기준선.
• Ablation 통제: 새로운 조항이 코퍼스에 진입하는 것과 같은 구성적 변화 (compositional shifts) 로부터 진정한 시간적 감쇠를 구분하기 위해, 저자들은 다음을 구현했습니다:
  1. 고정 조항 Ablation: 2012 년과 2024 년 모두에 존재하는 조항의 공유 어휘에 대한 성능 평가.
  2. 시간적 훈련/테스트 분할: 문서 ID 기준 첫 50% 의 사건으로 공인용 행렬을 구축하고 나머지 50% 로 평가하여 데이터 누수를 방지.
• 메커니즘 분석: 본 연구는 다국어 E5-large 임베딩을 활용하여 '임베딩 드리프트 (drift)'를 측정합니다. 2012 년과 2024 년에 특정 조항을 인용하는 사건 스니펫의 의미 중심점을 비교함으로써, 저자들은 조항이 적용되는 방식의 의미적 변화를 정량화합니다.

주요 결과
핵심 발견은 공인용 예측 가능성이 시간이 지남에 따라 현저히 감쇠한다는 것이며, 이는 법률 인용 구조가 비정상적 (non-stationary) 임을 확인시켜 줍니다.

1. 감쇠 규모:

   • 고정된 조항 세트에서 Adamic-Adar MRR 은 연구 기간 동안 33% (0.43 에서 0.29 로) 감소했습니다.
   • 엄격한 시간적 훈련/테스트 분할 (데이터 누수 없음) 하에서는 47% (0.51 에서 0.27 로) 로 더 심각한 감소가 발생했습니다.
   • 2012 년 이후 감소는 단조롭고 회복 기간이 없습니다.

2. 비균일한 저하:

   • 빈도: '허브' 조항 (10 만 건 이상의 인용) 은 감쇠에 저항하여 MRR 0.5 이상을 유지합니다. 그러나 실질적인 검색 최전선을 구성하는 **중간 빈도 조항 (1 천~1 만 건 인용)**은 예측 가능성의 약 **50%**를 상실합니다 (MRR 이 약 0.15 에서 약 0.07 로 하락).
   • 도메인: 형사소송법은 안정적인 공인용 패턴을 유지합니다 (MRR 약 0.40). 반면, 민사법은 2017 년 사법 개혁과 일치하며 급격히 저하됩니다 (MRR 이 0.35 에서 0.15 로 하락). 행정법 또한 특히 2022 년 이후 상당한 저하를 보입니다.

3. 텍스트 기반 기준선 성능:

   • BM25 텍스트 검색은 절대적 수치에서 공인용 방법보다 현저히 낮게 수행됩니다 (2024 년 MRR 0.047 대 0.324) 하지만, 더 빠르게 감쇠합니다 (공인용 21% 감소 대비 31% 감소). 이는 텍스트 기반 방법이 본질적으로 시간적 강건성이 더 높다는 전제를 도전합니다.

4. 메커니즘적 설명:

   • 임베딩 드리프트 분석은 12 년 동안 조항이 인용되는 방식에서 4.3% 의 의미적 변화를 드러냅니다.
   • 민사소송법은 가장 높은 의미적 드리프트 (0.046) 를 보이며, 이는 가장 가파른 검색 저하를 직접적으로 반영합니다. 이는 법률 조항의 법적 맥락과 해석적 관행이 진화함에 따라 구조적 (공인용) 및 어휘적 (BM25) 신호 모두 약화됨을 시사합니다.

의의 및 주장
본 논문은 법률 검색 신호가 정적이지 않음을 보여주는 최초의 종단적 벤치마크를 제공한다고 주장합니다. 그 의의는 세 가지 영역에 있습니다:

• 시스템 설계 함의: 그래프 기반 검색 시스템은 정적 인덱스로 취급될 수 없습니다. 관찰된 감쇠율 (20122018 년 기간 동안 연간 약 4% MRR 감소) 은 이러한 시스템이 재학습 없이 34 년 내에 의미 있는 성능을 상실함을 시사합니다. 저자들은 신호가 가장 약한 '중간 빈도' 검색 과제를 해결하기 위해 그래프와 텍스트 모달리티를 결합한 하이브리드 시스템이나 지속적인 재학습을 활용하는 시스템이 필요하다고 제안합니다.
• 벤치마킹 표준: 본 연구는 데이터 누수로 인해 표준 Leave-one-out 평가 프로토콜이 실제 세계의 저하를 약 5 백분율 포인트 과소평가함을 드러냅니다. 저자들은 향후 법률 검색 벤치마크의 기본 프로토콜로 시간적 훈련/테스트 분할을 옹호합니다.
• 이론적 기여: 의미적 임베딩 드리프트와 검색 성능 감쇠를 연결함으로써, 본 논문은 법률 인용 네트워크가 저하되는 이유에 대한 메커니즘적 설명을 제공합니다: 법률 조항의 진화하는 의미적 맥락이 역사적 공인용 패턴을 미래 관련성의 예측자로 덜 유용하게 만든다는 것입니다.

저자들은 향후 검색 접근법의 시간적 강건성을 직접 측정할 수 있도록, 조항별 난이도 점수, 20 개 연간 스냅샷, 임베딩 드리프트 측정을 포함한 UA-StatuteRetrieval 벤치마크를 공개합니다. 본 논문은 작업이 완전한 법률 조항 검색이 아닌 인용 예측 (대리 지표) 이라는 점과, 결과가 우크라이나 민사법 시스템에 특정된다는 점을 포함한 제한 사항을 명시적으로 지적합니다.