Leverage Knowledge Graph and Large Language Model for Law Article Recommendation: A Case Study of Chinese Criminal Law

이 논문은 지식 그래프와 대규모 언어 모델을 결합하여 중국 형사법 조문 추천 정확도를 기존 0.549 에서 0.694 로 획기적으로 향상시킨 새로운 폐루프 추천 프레임워크를 제안하고 그 유효성을 입증합니다.

핵심

🏛️ 핵심 아이디어: "똑똑한 법률 비서"와 "완벽한 참고서"의 만남

이 연구는 **인공지능 (LLM)**과 **지식 그래프 (CLAKG)**를 결합하여, 판사나 법률 전문가가 사건을 처리할 때 어떤 법 조항을 적용해야 할지 가장 적합한 것을 찾아주는 시스템을 만들었습니다.

1. 문제점: "똑똑하지만 때로는 헛소리를 하는 AI"

지금까지의 인공지능 (LLM) 은 방대한 책을 읽어서 매우 똑똑해졌습니다. 하지만 법률 같은 전문 분야에서는 **할루시네이션 (Hallucination, 환각)**이라는 문제가 있었습니다.

• 비유: 마치 지식만 많고 기억력이 좋은 대학생이 있다고 칩시다. 그는 법학 지식이 풍부하지만, 시험을 볼 때 기억이 안 나는 부분을 임의로 지어내서 (거짓말을 해서) 답을 적어낼 수 있습니다. 법률에서 이런 '거짓된 법 조항'은 치명적입니다.

2. 해결책: "사실 확인이 가능한 완벽한 참고서 (CLAKG)"

연구팀은 AI 가 지어내지 못하게 하기 위해 **CLAKG(사건 기반 법률 지식 그래프)**라는 것을 만들었습니다.

• 비유: 이 시스템은 AI 에게 '검증된 사실만 적힌 두꺼운 참고서'를 옆에 두고 시험을 보게 하는 것과 같습니다.
  • 이 참고서에는 법률 조항과 과거에 실제로 판결된 수천 건의 사건 기록이 서로 촘촘하게 연결되어 있습니다.
  • 예를 들어, "절도"라는 사건이 들어오면, 이 참고서는 "절도"와 관련된 과거 판례들과 그 판례에서 적용된 "구체적인 법 조항"을 바로 찾아줍니다.

3. 작동 원리: "3 단계 협업 프로세스"

이 시스템은 크게 세 가지 단계로 작동합니다.

① 단계: 지식의 정리 (지식 그래프 구축)

• 상황: 수많은 법률 문서와 판결문을 AI 가 읽고, 중요한 키워드 (예: "사기", "상해", "횡령") 와 법 조항을 서로 연결합니다.
• 비유: 도서관 사서가 수만 권의 책을 읽어서, "A 사건"과 "B 법조항"이 어떻게 연결되는지를 정리한 초정밀 지도를 그리는 작업입니다.

② 단계: 추천과 검증 (AI + 지식 그래프)

• 상황: 새로운 사건이 들어오면, AI 는 먼저 이 사건과 비슷한 '키워드'를 찾아내고, 지식 그래프에서 관련된 법 조항과 과거 판례를 꺼냅니다.
• 비유: 이제 AI 는 지식 그래프에서 꺼낸 '참고 자료'를 보며 "이 사건에는 A 법조항이 가장 잘 맞아요"라고 답을 냅니다. 이때 참고 자료에 없는 법조항은 절대 지어내지 못하도록 AI 를 제한합니다.
  • 마치 시험을 볼 때 '오답 노트'와 '교과서'만 보고 답을 적는 것처럼, 틀릴 확률이 극도로 낮아집니다.

③ 단계: 인간 전문가의 수정 (닫힌 루프)

• 상황: AI 가 추천한 답을 법률 전문가 (판사 등) 가 확인합니다. 만약 AI 가 조금이라도 틀렸다면, 전문가가 바로 고칩니다.
• 비유: 이 수정된 내용은 다시 참고서 (지식 그래프) 에 업데이트됩니다.
  • 결과: 시스템이 사용할수록, 그리고 전문가가 고칠수록 참고서가 더 완벽해지고, AI 의 실수는 점점 줄어듭니다. 마치 스승과 제자가 함께 공부하며 실력을 키워가는 과정과 같습니다.

---

📊 성과: 얼마나 잘했나요?

연구팀은 이 시스템을 중국 형법 데이터로 테스트했습니다.

• 기존 방식 (단순 AI): 정확도 54.9% (거의 동전 던지기 수준)
• 기존 방식 (전문가 없이 AI 만): 정확도 54.9% (할루시네이션으로 인해 틀림)
• 기존 방식 (기존 검색 기술): 정확도 59.7% ~ 63.6%
• 이 연구의 방식 (AI + 지식 그래프 + 사건 데이터): 정확도 69.4%

결론: 단순히 AI 만 쓰는 것보다 약 15% 이상 정확도가 높아졌습니다. 이는 법률 분야에서 매우 큰 성과입니다.

💡 요약

이 논문은 **"AI 가 법을 지어내지 않게 하려면, 검증된 사실 (지식 그래프) 을 옆에 두고, 전문가가 계속 수정해 주는 시스템이 필요하다"**는 것을 증명했습니다.

• AI: 빠른 두뇌 (하지만 때로는 헛소리를 함)
• 지식 그래프: 검증된 사실만 담긴 두꺼운 참고서
• 전문가: 최종 확인을 해주는 교정자

이 세 가지가 합쳐져서, **판사들이 더 빠르고 정확하게 판결을 내릴 수 있도록 돕는 '똑똑한 법률 비서'**를 만든 것입니다.

기술 요약

논문 기술 요약: 지식 그래프와 대규모 언어 모델을 활용한 법률 조문 추천 (중국 형법 사례 연구)

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 현대 법치 사회에서 사법 효율성은 사회 안정과 경제 성장에 필수적입니다. 그러나 전 세계적으로 법원은 사건 처리 지연 (Case Backlog) 에 직면해 있으며, 판사들의 인지적 노력에 의존하는 판결 과정은 지능형 도구의 부족으로 인해 비효율적입니다.
• 핵심 문제:
  • 기존 방법의 한계: LSTM, CNN, BERT 등 전통적인 머신러닝/딥러닝 기반의 법률 조문 추천 모델은 사건 사실과 조문 ID 간의 매핑에만 집중하여 법률 조문 자체의 의미적 정보를 활용하지 못합니다. 또한, 데이터 부족과 레이블 불균형 (Imbalanced Data) 에 매우 취약합니다.
  • LLM 의 환각 (Hallucination) 문제: 대규모 언어 모델 (LLM) 은 풍부한 사전 지식을 바탕으로 법률 조문을 추천할 수 있지만, 존재하지 않는 조문을 인용하거나 부정확한 정보를 생성하는 '환각' 현상이 빈번하게 발생합니다. 이는 법률과 같은 고위험 분야에서 치명적입니다.
  • 기존 RAG 의 부족: 검색 증강 생성 (RAG) 기술이 도입되었으나, 단순한 텍스트 유사도 (TF-IDF, BM25) 에 기반한 검색은 법률의 미시적 의미나 구조적 관계를 포착하는 데 한계가 있습니다.

2. 제안된 방법론 (Methodology)

저자들은 사건 강화 법률 조문 지식 그래프 (Case-Enhanced Law Article Knowledge Graph, CLAKG) 와 LLM을 결합한 폐쇄 루프 (Closed-loop) 추천 프레임워크를 제안했습니다.

• CLAKG 구축 (Case-Enhanced Law Article Knowledge Graph):

  • 스키마 설계: 법률 조문 (Law Articles) 과 역사적 판결 사례 (Adjudicated Cases) 를 통합하는 작업 지향형 스키마를 설계했습니다.
  • 엔티티 및 관계: '원문 법률', '조문 ID', '핵심 정보 (Key Information)', '사건명', '공소사실', '판결 결과' 등을 노드로 정의하고, '적용 법률', '동의 (Agree With)', '발생 시간' 등의 관계를 정의했습니다.
  • 자동화 구축: LLM 을 사용하여 판결 문서에서 핵심 정보와 사건 요소를 추출하고, 이를 지식 그래프로 자동 변환합니다. 이후 법률 전문가의 검증을 통해 노드와 관계를 정제합니다.
  • 그래프 임베딩: CLAKG 의 구조적 정보를 활용하기 위해 관계형 그래프 합성곱 신경망 (RGCN) 을 사용하여 노드 임베딩을 학습했습니다. 링크 예측 (Link Prediction) 태스크를 통해 그래프의 연결성을 최적화합니다.

• LLM-CLAKG 기반 추천 프레임워크 (3 단계 프로세스):

  1. 키워드 매칭: 사용자의 새로운 사건 설명을 입력받아 LLM 이 CLAKG 내의 '핵심 정보' 노드 중 가장 관련성 높은 8 개를 매칭합니다.
  2. 후보 조문 및 사례 검색: 매칭된 핵심 정보 노드를 기반으로 RGCN 임베딩과 코사인 유사도를 계산하여 상위 5 개의 후보 법률 조문과 관련 역사적 사례를 CLAKG 에서 검색합니다.
  3. LLM 추론 및 추천 (RAG): 검색된 후보 조문, 관련 사례, 그리고 사용자의 사건 설명을 프롬프트에 포함시켜 LLM 에게 전달합니다.
     • 환각 방지 전략: LLM 이 후보 집합 내에서만 선택하도록 강제하고, 존재하지 않는 조문을 생성하지 못하도록 엄격한 출력 제약 (Output Constraints) 을 적용합니다.
     • 검증: LLM 은 검색된 증거를 기반으로 조문을 추천하고 그 이유를 설명합니다.

• 폐쇄 루프 인간 - 기계 협업 (Closed-loop Human-Machine Collaboration):

  • 시스템이 추천한 결과와 키워드를 법률 전문가가 검토합니다.
  • 전문가의 피드백 (수정 또는 승인) 을 받아 CLAKG 를 업데이트합니다. 새로운 사건 - 조문 연결 관계가 그래프에 추가되거나 잘못된 연결이 제거되며, 이는 향후 추천의 정확도를 지속적으로 향상시킵니다.

3. 주요 기여 (Key Contributions)

1. CLAKG 제안: 법률 조문과 판결 사례를 통합한 작업 지향형 지식 그래프와 이를 LLM 기반으로 자동 구축하는 파이프라인을 최초로 제안했습니다.
2. 환각이 억제된 추천 프레임워크: 검색 증강 생성 (RAG) 아키텍처에 CLAKG 를 통합하여, LLM 이 검증 가능한 법적 증거에 기반하여 추론하도록 유도함으로써 환각 현상을 효과적으로 줄였습니다.
3. 성능 향상 및 데이터 공개: 중국 형법 (Amendment XI) 을 대상으로 한 실험을 통해 제안된 방법의 유효성을 입증하고, 소스 코드 및 처리된 데이터셋을 GitHub 에 공개하여 재현성을 보장했습니다.

4. 실험 결과 (Results)

중국 판결문 (China Judgments Online) 의 1,170 건 데이터 (학습 997 건, 테스트 173 건) 를 사용하여 평가했습니다.

• 정확도 비교:

  • 기존 텍스트 분류 모델: BERT (0.289), GRU (0.427), DPCNN (0.495) 등 기존 모델들은 레이블 불균형으로 인해 주요 레이블로 편향되는 경향을 보였습니다.
  • 기존 RAG 및 LLM: 일반 LLM (0.549), TFIDF-RAG (0.597), Light-RAG (0.636) 보다 높은 성능을 보였습니다. 특히 Graph-RAG 는 데이터셋 특성에 맞지 않아 낮은 성능 (0.179) 을 보였습니다.
  • 제안된 방법 (LLM + CLAKG):
    • 사건 정보 없이 통계적 정보만 활용 시: 0.676
    • 사건 정보 (Case Information) 를 포함한 CLAKG 활용 시: 0.694
  • 결론: 제안된 방법은 모든 베이스라인 모델을 압도하며, 특히 데이터 부족과 불균형 상황에서 강건한 성능을 입증했습니다.

• Ablation Study:

  • GPT-4 와 Llama-3.1-405B-chat 모델 모두에서 CLAKG 와 사건 정보를 추가했을 때 정확도가 크게 향상되었습니다 (GPT-4: 0.549 → 0.694, Llama: 0.619 → 0.786). 이는 제안된 프레임워크가 다양한 LLM 백본에 적용 가능함을 보여줍니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: 이 연구는 법률 전문가의 업무 효율성을 높이고, 판결의 일관성을 보장하며, 사법 시스템의 과부하를 완화할 수 있는 실용적인 도구를 제공합니다.
• 기술적 혁신: 단순한 텍스트 매칭을 넘어, 법률 지식의 구조적 관계 (지식 그래프) 와 LLM 의 추론 능력을 결합하여 법률 도메인의 '환각' 문제를 해결하는 새로운 패러다임을 제시했습니다.
• 확장성: 중국 형법 사례를 통해 검증되었으나, 프레임워크 자체는 다른 관할권 (Common Law 등) 과 언어로 확장 가능하도록 설계되었습니다. 향후 더 많은 판결 데이터 확보와 합성 데이터 생성을 통한 데이터 불균형 해결 등을 통해 발전할 것으로 기대됩니다.

이 논문은 지식 그래프의 구조적 정확성과 LLM 의 유연한 추론 능력을 결합하여 법률 AI 의 신뢰성과 정확성을 동시에 높일 수 있음을 입증한 중요한 연구입니다.