기술 요약: LegalGraphRAG

1. 문제 제기

법률 분야에 검색 증강 생성 (RAG) 과 GraphRAG 를 적용하는 과정은 신뢰할 수 있는 법률 추론을 방해하는 두 가지 중대한 과제에 직면해 있습니다:

1. 법률 지식의 이질성과 다중 세분성: 법률 코퍼스에는 역사적 판례, 추상적 법조문, 사법 해석 등 다양한 출처가 포함됩니다. 이러한 출처들은 사실적 세부 사항, 적용된 규칙, 추상적 원칙 등 서로 다른 추상화 수준에서 작동합니다. 전통적인 평면 그래프 구조나 표준 RAG 시스템은 이러한 세분성을 구분하지 못해, 추상적 원칙이 필요할 때 관련 없는 사실적 세부 사항을 검색하거나 그 반대의 상황을 초래합니다. 이는 표면적 키워드 매칭이 논리적 관련성을 압도하는 '의미적 유사성 함정'으로 이어집니다.
2. 검증 가능한 증거 기반 추론의 부재: 표준 RAG 파이프라인은 검색된 문맥을 검증 없이 직접 대규모 언어 모델 (LLM) 로 전달하여 생성합니다. 법률과 같은 고위험 분야에서는 이러한 '검색 후 생성' 방식이 불투명한 추론과 '지지되지 않은 정확성'을 초래합니다. 즉, 모델이 정확한 혐의를 예측할 수는 있지만, 이를 정당화하는 구체적인 법조문이나 증거를 검색하지 못할 수 있습니다. 이러한 투명성과 검증의 부재는 시스템이 환각에 취약하게 만들고 사법적 의사결정에 신뢰할 수 없게 만듭니다.

2. 방법론: LegalGraphRAG

저자들은 이러한 과제를 해결하기 위해 **계층적 법률 그래프 (HierarGraph)**와 다중 에이전트 증거 기반 추론 시스템이라는 두 가지 핵심 구성 요소를 통해 설계된 LegalGraphRAG 프레임워크를 제안합니다.

2.1 계층적 법률 그래프 (HierarGraph)

LegalGraphRAG 는 평면 지식 그래프 대신 이질적인 정보를 분리하기 위해 법률 지식을 세 가지 명확한 의미 층위로 조직화합니다:

• 사실 그래프 ($G_{fac}$): 검증된 법률 판례의 구조화된 집합입니다. 이는 사건 ($C$), 조문 ($A$), 그리고 **죄명 ($O$)**을 명시적으로 연결합니다. 간선은 인용 관계 ($C \to A$) 와 유죄 판결 결과 ($C \to O$) 를 나타내며, 증거 수집에 필요한 사실적 세분성을 제공합니다.
• 온톨로지 그래프 ($G_{ont}$): 사건 특성을 추상화하여 의미적 간극을 연결합니다. 비구조화된 내러티브를 피고인 속성, 범죄 행위, 피해자 특성, 주관적 심리 상태라는 네 가지 차원을 기반으로 정제된 의미 공간으로 매핑합니다. $k$-최근접 이웃 ($k$-NN) 과 Leiden 알고리즘을 사용하여 관련 사건들을 **커뮤니티 노드 ($K$)**로 그룹화하여, 광범위한 문맥에서 구체적인 세부 사항까지 계층적 검색을 가능하게 합니다.
• 규칙 그래프 ($G_{rul}$): **조문 ($A$)**과 **사법 해석 ($J$)**을 연결하여 법조문의 모호성을 해결합니다. 특히, 각 조문 노드는 복잡한 법률 규칙을 구체적인 검증 단계 (예: 피고인이 '국가 공무원'인지 확인) 로 분해하는 **진단 체크리스트 ($D$)**를 갖추고 있습니다. 이는 단순한 의미 매칭이 아닌 정밀한 논리적 검증을 가능하게 합니다.

2.2 다중 에이전트 증거 기반 추론

이 프레임워크는 HierarGraph 를 순차적으로 탐색하는 세 가지 전문 에이전트가 관여하는 투명한 파이프라인을 사용합니다:

1. 연구자 (Evidence Retrieval): 세 가지 병렬 검색 전략을 수행하여 원시 사건 쿼리를 관련 법률 증거에 기반하게 합니다:
   • 의미 매칭 검색: 온톨로지 정렬 임베딩을 통해 직접적인 증거를 찾습니다.
   • 커뮤니티 확장 검색: 쿼리에 의해 식별된 주제별 커뮤니티 내 사건들을 검색합니다.
   • 혐의 고정 검색: 추론된 혐의와 연결된 사건들을 수집하여 법적 근거를 고정합니다.
2. 감사관 (Evidence Validation): 검색된 조문의 적용 가능성을 엄격하게 검증합니다. 규칙 그래프의 진단 체크리스트와 사법 해석을 사용하여 사건 사실들이 특정 법적 조건을 충족하는지 평가합니다. 적용 불가능한 조문과 관련된 노드는 제거되어 유효한 증거만 진행되도록 보장합니다.
3. 재판관 (Evidence Synthesis): 검증된 서브그래프 (확인된 조문, 사건, 죄명) 를 종합하여 최종 판결을 내립니다. 출력에는 사용된 법조문과 사법 해석에 대한 명시적인 인용이 포함되어, 모든 결론이 검증된 증거로 추적 가능하도록 보장합니다.

3. 주요 기여

• 프레임워크 제안: 법률 이질성을 처리하고 추론의 신뢰성을 보장하기 위해 계층적 지식 그래프와 다중 에이전트 시스템을 통합한 증거 기반 법률 추론 프레임워크인 LegalGraphRAG 의 도입.
• 계층적 그래프 설계: 역사적 판례, 법령, 해석을 효과적으로 분리하여 정확한 검색을 지원하도록 다중 세분성 법률 지식을 모델링하는 3 층 법률 지식 그래프 (온톨로지, 사실, 규칙 층) 의 설계.
• 다중 에이전트 검증 파이프라인: 불투명한 생성이 아닌 검증 가능한 증거 사슬에 기반한 판결을 보장하는 단계별 검증을 강제하는 투명한 추론 파이프라인 (연구자 - 감사관 - 재판관) 의 확립.
• 실증적 검증: LegalGraphRAG 가 법률 판결 벤치마크에서 최첨단 성능을 달성하여 기존 GraphRAG 베이스라인 및 전문 법률 LLM 보다 정확성과 신뢰성 측면에서 우월함을 입증한 광범위한 실험.

4. 실험 결과

이 프레임워크는 두 개의 대규모 중국 법률 벤치마크인 CAIL2018과 CMDL에서 평가되었습니다.

• 생성 정확도: LegalGraphRAG 는 오픈 소스 모델 (Qwen, InternLM, GLM), 고급 모델 (GPT-4o-mini, DeepSeek-V3.1), 그리고 전문 법률 방법 (DISC-LawLLM, ADAPT) 을 포함한 베이스라인을 일관되게 능가했습니다. 혐의 예측 정확도에서 강력한 베이스라인 대비 최대 19.1% 의 유의미한 개선을 달성했습니다.
• 검색 효과성: 계층적 구조는 평면 전략에 비해 검색 성능을 크게 향상시켰으며 (예비 연구에서 25.3% 향상), 관련 없는 사실적 세부 사항의 검색을 효과적으로 줄였습니다.
• 신뢰성과 추적 가능성: 중요한 발견은 '추적 불가능한 정확 (Untraceable Correct)' 예측의 감소였습니다. 베이스라인은 종종 필요한 지지 조문을 검색하지 않고도 정확한 혐의를 예측하는 반면, LegalGraphRAG 는 '추적 가능한 정확 (Traceable Correct)' 샘플의 비율을 크게 높여 모든 판결이 검색된 증거에 의해 지지되도록 보장했습니다.
• 절차 연구: 계층적 그래프를 제거하면 성능이 가장 급격히 하락 (7.2%) 하여 그 필요성을 확인했습니다. 마찬가지로 감사관 에이전트를 제거하면 정확도가 3.4% 저하되어 검증 단계의 중요성을 입증했습니다.
• 효율성 트레이드오프: 다단계 검증으로 인해 온라인 추론 단계는 단순한 RAG 방법보다 더 높은 지연 시간과 토큰 비용을 발생시키지만, 오프라인 인덱싱 시간과 토큰 소비량은 RAPTOR, HippoRAG2 와 같은 일부 복잡한 GraphRAG 베이스라인보다 낮았습니다.

5. 의미 및 주장

이 논문은 LegalGraphRAG 가 법률 분석 분야에서 신뢰할 수 있고 신뢰성 있는 AI 를 위한 새로운 최첨단 기준을 수립했다고 주장합니다. 그 주요 의미는 법률 추론 과정을 '블랙박스' 생성 작업에서 투명하고 증거 기반의 파이프라인으로 전환하는 데 있습니다. 엄격한 검증을 강제하고 이질적인 지식을 구조화함으로써, 이 프레임워크는 고위험 분야에서 설명 가능성과 신뢰성에 대한 중대한 요구를 해결합니다.

저자들은 이 작업을 인간 판사를 대체하는 것이 아니라 법률 전문가의 논리적 추론 및 검색 능력을 강화하는 보조 도구로 위치시킵니다. 그들은 현재 단일 모드 텍스트 입력에 국한된다는 한계를 인정하며, 포괄적인 '스마트 법원' 시스템을 달성하기 위해 향후 연구의 유망한 방향으로 시각적 증거와 같은 다중 모드 노드로의 확장을 제시합니다.