기술 요약: LexKairos

문제 정의

대규모 언어 모델(LLM)은 판결 예측 및 사례 검색과 같은 다양한 법률 작업에서 숙련도를 입증해 왔으나, 기존의 법률 AI 벤치마크는 **시간적 차원(temporal dimension)**을 간과하고 있습니다. 법률 실무는 본질적으로 시간에 종속적입니다. 법령은 특정 효력 발생 기간과 소급 적용 규칙을 가지며, 법적 청구는 사실적 사건의 연대기와 절차적 기한에 따라 결정됩니다. 현재의 평가는 의미론적 및 논리적 측면("무엇을" 그리고 "어떻게")에 집중되어 있으며, 법적 권리의 유효성과 집행 가능성을 규정하는 "언제"를 평가하는 데는 실패하고 있습니다. 또한, 법적 시간 역량에 관한 기존 연구는 사건 순서 지정이나 타임라인 추출과 같은 고립된 역량에 국한되어 있었으며, 법령의 시간적 지식과 사실적 사례의 연대기를 통합하는 통일된 프레임워크가 부족했습니다.

방법론

이러한 격차를 해소하기 위해 저자들은 중국 법률 맥락 내에서 LLM의 시간적 역량을 평가하기 위해 설계된 포괄적인 벤치마크인 LexKairos를 제안합니다. 이 벤치마크는 "법적 시간(Legal Time)"의 세 가지 상호 보완적인 차원을 중심으로 구성됩니다:

1. 법령 시간적 지식 (법령 중심 - Statute-centric): 법률과 관련된 시간적 메타데이터 및 규칙을 회상하는 모델의 능력을 평가합니다.
   • 하위 작업: 효력 발생일 문의, 효력 버전 식별, 효력 상태 검증.
   • 데이터: 규칙 기반 파이프라인을 사용하여 법령 메타데이터로부터 자동 생성되었습니다.
2. 사례 시간적 모델링 (사실 중심 - Fact-centric): 사례 사실 내의 타임라인을 처리하고 구조화하는 능력을 평가합니다.
   • 하위 작업: 사건 관계 식별(Allen의 간격 관계 기반), 시간적 거리 계산, 전역 사건 순서 지정, 경계 사건 검색.
   • 데이터: 검증된 민사 사건으로부터 LLM 보조 사건 추출 및 SQL 기반 질문 생성을 통해 구축되었습니다.
3. 법령-사례 시간적 추론 (하이브리드 통합 - Statute-Case Temporal Reasoning): 구체적인 사례 시나리오에 법령의 시간적 규칙을 적용하는 능력을 평가합니다.
   • 하위 작업: 제척 기간 추론(절대적 기한), 소멸시효 추론(공소시효).
   • 데이터: LLM 추출, 규칙 기반 필터링, 전문가 법률 검토를 포함하는 다단계 하이브리드 파이프라인을 통해 큐레이션되었습니다.

이 벤치마크는 실제 중국 사법 사례 및 법령에서 유도된 9개의 하위 작업으로 구성됩니다. 저자들은 8개의 LLM(GPT-5.4, Gemini-3-Flash, DeepSeek-R1, Qwen3.5, 그리고 LegalOne-8B와 같은 법률 특화 모델 포함)을 대상으로 세 가지 추론 설정 하에 체계적인 평가를 수행했습니다:

• Vanilla: 명시적인 추론 단계 없는 직접적인 프롬프팅.
• Chain-of-Thought (CoT): 네이티브 추론 모드가 없는 모델을 위한 명시적인 "단계별로 생각해보자(Let's think step by step)" 프롬프팅.
• Thinking Mode: 내장된 추론 능력을 지원하는 모델을 위한 씽킹 모드 활성화.

주요 기여

1. LexKairos 벤치마크: 세 가지 차원에 걸친 9개의 하위 작업을 통해 중국 법률 도메인의 법적 시간 역량을 체계적으로 평가하기 위한 최초의 전용 벤치마크입니다.
2. 체계적 평가: 8개의 최첨단 LLM에 대한 포괄적인 평가를 통해, 서로 다른 시간적 역량 및 추론 설정에 따른 성능 차이를 밝혀냈습니다.
3. 오류 분석: 특히 **효력 버전 식별 하위 작업(1-2)**에서의 실패 모드를 세밀하게 분석하여, "태그 전용(tag only)" 오류(잘못된 버전 식별자)가 지배적인 실패 형태임을 확인했습니다. 본 연구는 서로 다른 교차 모델 오류 프로파일(예: 누락 vs 환각)과 씽킹 모드가 이러한 분포를 어떻게 변화시키는지 강조합니다.
4. 효율성 통찰: 제약 없는 씽킹 모드와 작업 특화형 법률 프롬프팅 사이의 트레이드오프를 조사하여, 구조화된 프롬프트가 토큰 사용량을 대폭 줄이면서도(최대 3.4배 짧음) 경쟁력 있는 성능을 달-성할 수 있음을 입증했습니다.

결과

• 전반적인 성능: 폐쇄형 모델이 오픈 소스 모델보다 일반적으로 우수한 성능을 보였습니다. Gemini-3-Flash(씽킹 모드 포함)가 가장 높은 종합 점수(84.57)를 기록했으며, GPT-5.4(82.75)가 그 뒤를 이었습니다.
• 역량 격차: 모델들은 법령 라이프사이클 추적(작업 1)이나 절차적 시간 제한 추론(작업 3)보다 사례 연대기 분석(작업 2)에서 일관되게 더 나은 성능을 보였습니다. 이는 LLM이 법령 메타데이터를 회상하거나 복잡한 절차적 규칙을 적용하는 것보다 사례 사실에 내재된 시간 정보를 모델링하는 데 더 능숙함을 시사합니다.
• 추론 모드의 영향: Thinking Mode를 활성화하면 일관된 성능 향상을 가져왔으며, 특히 성능이 약한 모델(예: LegalOne-8B는 상대적 이득 +106.61%)에서 두드러졌습니다. 그러나 가장 우수한 모델들조차 정밀한 법령 메타데이터 회상이나 복잡한 절차적 추론이 필요한 작업에서는 눈에 띄는 한계를 보였습니다.
• 오류 패턴: **효력 버전 식별 하위 작업(1-2)**에서 "태그 전용" 오류가 평균 **85.20%**의 실패를 차지했습니다. Vanilla 추론 하에서 GPT-5.4는 "태그 누락(missing tag)" 오류(누락)가 지배적이었던 반면, LegalOne-8B는 "환각 태그(hallucinated tag)" 오류(조작)가 지배적이었습니다. 씽킹 모드를 활성화하면 이러한 분포가 변화했으나 근본적인 정밀도 결핍을 제거하지는 못했습니다.
• 중단(Truncation) 문제: Qwen3.5-9B와 같은 모델의 경우, 제약 없는 씽킹 모드는 상당한 출력 중단(작업 3에서 응답의 최대 22.78%)을 초래하여 정확도를 급격히 떨어뜨렸습니다. 작업 특화형 법률 프롬프팅은 더 간결한 출력을 생성함으로써 이를 완화했습니다.

의의 및 주장

본 논문은 법적 시간 지식과 추론이 현재 LLM에게 여전히 어려운 과제라고 주장합니다. 고급 추론 모드의 가용성에도 불구하고, 모델들은 법령 버전 식별자의 정밀한 회상과 법령 규칙을 사실적 연대기와 복잡하게 통합하는 데 어려움을 겪고 있습니다. 저자들은 씽킹 모드가 성능을 개선하기는 하지만, 법령 버전 식별자 회상의 근본적인 정밀도 결핍 문제를 해결하지는 못한다는 점을 강조합니다.

LexKairos의 의의는 일반적인 법적 추론을 넘어 법적 분석의 "언제"를 탐구함으로써 이러한 구체적인 시간적 약점을 드러내는 데 있습니다. 본 연구는 미래의 법률 AI 시스템이 단순히 제약 없는 추론 체인(토큰 예산 제한이나 환각의 위험이 있는)에 의 Rely하는 것이 아니라, 구조화된 프롬프팅이나 특화된 학습을 통해 더 강력한 시간 인지 추론 역량을 갖춰야 함을 시사합니다. 저자들은 전문가 주석의 노동 집약적인 성격으로 인한 절차적 시간 제한 추론 데이터셋의 상대적 규모 제한과, 현재 전역 사건 순서 지정이 일 단위(day-level) 수준의 세밀도로 제한되어 있다는 점 등 연구의 한계점도 언급하였습니다.