Domain-Partitioned Hybrid RAG for Legal Reasoning: Toward Modular and Explainable Legal AI for India

이 논문은 인도 법률 연구의 복잡성을 해결하기 위해 도메인별 하이브리드 RAG 와 지식 그래프를 결합한 모듈식·설명 가능한 AI 아키텍처를 제안하며, 기존 RAG 대비 정확도와 추론 능력을 크게 향상시킨 결과를 보여줍니다.

핵심

이 논문은 인도의 복잡한 법률 시스템을 위해 개발된 새로운 인공지능 (AI) 비서에 대한 이야기입니다.

인도에는 현재 455 만 건 이상의 미해결 사건이 쌓여 있을 정도로 법원 업무가 매우 바쁘고 복잡합니다. 기존에 사용되던 법률 검색 프로그램들은 단순히 '키워드'를 찾아주는 수준이라, 문맥을 제대로 이해하지 못해 엉뚱한 정보를 주는 경우가 많았습니다.

이 연구팀은 **"단순한 검색을 넘어, 법률 전문가처럼 사고하는 AI"**를 만들기 위해 다음과 같은 혁신적인 시스템을 제안했습니다.

🏛️ 핵심 아이디어: "법률 도서관의 3 명의 전문 사서와 한 명의 지휘자"

이 시스템은 마치 거대한 법률 도서관을 운영하는 것처럼 설계되었습니다.

1. 3 명의 전문 사서 (RAG 모듈)
   기존에는 모든 책을 한 선반에 섞어두었다가 검색했지만, 이 시스템은 세 가지 다른 전문 분야로 나누어 각각의 '전문 사서'를 배치했습니다.

   • 판례 사서: 법원 판결문 (Supreme Court cases) 을 전문으로 봅니다.
   • 법전 사서: 헌법과 주요 법률 (Statutes) 을 전문으로 봅니다.
   • 형법 사서: 인도 형법 (IPC, 범죄와 처벌 규정) 을 전문으로 봅니다.
   • 비유: 마치 병원에서 내과, 외과, 소아과 전문의가 따로 진료하듯, 질문의 종류에 따라 가장 적합한 전문가에게만 자료를 찾아오게 합니다.

2. 지식 지도 (Legal Knowledge Graph)
   단순히 책 내용을 찾는 것만으로는 부족합니다. 법률은 서로 얽혀 있기 때문입니다. (예: "A 판결이 B 법조항을 인용했고, 그 법조항은 C 범죄를 처벌한다"는 식의 연결고리).

   • 이 시스템은 **네오4j (Neo4j)**라는 도구를 이용해 법률 개념들을 **거대한 연결 지도 (그래프)**로 만들었습니다.
   • 비유: 구글 지도에서 "A 지점에서 B 지점까지 가는 길"을 단순히 거리로만 재는 게 아니라, "A 는 B 와 친구고, B 는 C 와 동업자다"라는 관계까지 파악하는 것과 같습니다.

3. 지휘자 (Agentic Orchestrator)
   사용자의 질문을 듣고, 어떤 사서에게 물어봐야 할지, 그리고 연결 지도를 살펴봐야 할지 결정하는 지휘자가 있습니다.

   • 비유: 오케스트라 지휘자가 악기 소리를 조율하듯, 사용자의 복잡한 질문을 분석해 가장 정확한 답변을 만들기 위해 자료들을 조합합니다.

🚀 왜 이 시스템이 더 좋은가요? (결과)

연구팀은 이 시스템을 테스트해 보았습니다.

• 기존 방식 (단순 검색만 하는 AI): 10 점 만점에 4.16 점 (37.5% 성공률).
  • 문제: 키워드만 맞으면 관련 없는 정보도 가져오거나, 여러 자료를 연결해서 결론을 내리는 데 실패했습니다.
• 새로운 방식 (전문가 + 지도 + 지휘자): 10 점 만점에 6.09 점 (70% 성공률).
  • 성공: 단순히 문서를 찾는 것을 넘어, 법률 간의 논리적 연결고리를 찾아내고, 정확한 근거를 들어 답변을 생성했습니다.

💡 핵심 요약

이 논문은 **"법률 AI 는 단순히 책을 많이 읽는 것만으로는 부족하다"**는 것을 증명했습니다.
인도라는 거대하고 복잡한 법률 환경에서 정확한 판단을 내리려면, 전문 분야별로 나누어 자료를 찾고 (RAG), 서로의 관계를 지도처럼 연결하며 (Knowledge Graph), 지휘자가 이를 잘 조율 (Agentic Orchestrator) 해야 한다는 결론을 내렸습니다.

이 시스템은 앞으로 인도의 법률 연구 속도를 높이고, 변호사나 판사들이 더 정확한 정보를 바탕으로 사건을 처리하는 데 큰 도움이 될 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem Statement)

인도의 법률 생태계는 455 만 건 이상의 미결 사건을 안고 있으며, 법률 연구와 권위 있는 정보 접근성을 개선할 확장 가능한 AI 시스템이 절실히 필요합니다.

• 기존 시스템의 한계: SCC Online, Manupatra 와 같은 기존 플랫폼은 주로 키워드 검색에 의존하여 문맥적 근거 (contextual grounding) 가 약하고, 법률 문서 간의 복잡한 상호 연결성 (법조문, 판례, 헌법 조항 간의 교차 참조) 을 효과적으로 처리하지 못합니다.
• 단일 RAG 의 결함: 기존의 단일 (Monolithic) 검색 증강 생성 (RAG) 파이프라인은 긴 법률 문서와 구조적 복잡성으로 인해 '인용 편향 (citation drift)'과 '다중 홉 추론 (multi-hop reasoning)' 실패를 겪습니다. 특히 인도 법률처럼 헌법, 형법 (IPC), 판례가 복잡하게 얽힌 환경에서는 단순 임베딩 기반 검색만으로는 정확한 추론이 어렵습니다.

2. 방법론 (Methodology)

저자들은 인도 법률의 구조에 맞춰 설계된 도메인 분할 하이브리드 RAG-KG 프레임워크를 제안합니다. 이 시스템은 세 가지 전문화된 RAG 모듈과 대규모 법률 지식 그래프 (KG), 그리고 이를 조율하는 에이전트 오케스트레이터로 구성됩니다.

2.1. 시스템 아키텍처

1. 도메인 분할 RAG 모듈 (3 개):

   • Past Cases RAG: 대법원 판례의 추론, 판결 내용, 인용 구조를 처리.
   • Statutes & Constitution RAG: 헌법 조항 및 계층적 법조문 처리.
   • IPC RAG: 인도 형법 (Indian Penal Code) 의 범죄 정의, 형벌, 절차적 분류 처리.
   • 특징: 각 모듈은 독립적인 벡터 인덱스 (ChromaDB, HNSW) 를 가지며, 도메인 간 간섭을 줄이고 구조적 다양성에 최적화된 검색을 수행합니다.

2. 법률 지식 그래프 (Legal Knowledge Graph):

   • Neo4j 기반: 판례, 판사, 법조문, IPC 조항 간의 명시적 관계 (예: Case HEARD_IN Court, Case GOVERNED_BY IPCSection) 를 모델링.
   • 규모: 2,586 개의 노드와 5,056 개의 관계로 구성.
   • 역할: 텍스트 유사성만으로는 해결할 수 없는 다중 홉 (multi-hop) 질의와 관계적 추론을 가능하게 함.

3. 에이전트 오케스트레이터 (Agentic Orchestrator):

   • LLM 기반 라우팅 시스템으로, 사용자의 질의를 분석하여 해당 도메인 (판례, 법령, 형법 등) 을 식별.
   • 필요한 경우 특정 RAG 모듈을 선택하거나 KG 탐색을 트리거하여 증거를 수집하고, 이를 통합하여 인용이 포함된 답변을 생성합니다.

2.2. 데이터 처리 및 파이프라인

• 데이터 전처리: 법률 문서를 헤더 기반으로 분할하고, 1,000 자 (중복 200 자) 의 오버랩 청크로 나눈 후 all-MiniLM-L6-v2 모델로 임베딩.
• KG 구축: Gemini 2.0 Flash 를 활용하여 문서에서 11 가지 엔티티 (판례, 판사, 조항 등) 와 관계를 추출하고 Cypher 문으로 변환하여 Neo4j 에 삽입.
• 생성: Gemini 2.5 Flash 모델을 사용하여 검색된 문서를 바탕으로 답변을 생성하며, "제공된 법률 문서에 기반하여 답변하라"는 제약을 통해 환각 (hallucination) 을 방지.

3. 주요 기여 (Key Contributions)

1. 인도 특화 법률 지식 그래프: 헌법, 인도 형법 (IPC), 판례를 연결하는 최초의 대규모 구조화된 지식 그래프 중 하나를 구축했습니다.
2. 동적 에이전트 오케스트레이션: 단순 검색을 넘어, 질의의 복잡도에 따라 RAG 검색과 그래프 기반 추론을 동적으로 선택하고 조율하는 에이전트 컨트롤러를 구현했습니다.
3. 모듈형 및 설명 가능한 아키텍처: 도메인별 전문 모듈을 분리하여 검색 정확도를 높이고, 각 단계의 근거 (citation) 를 명확히 추적할 수 있는 설명 가능한 AI 시스템을 제시했습니다.

4. 평가 및 결과 (Evaluation & Results)

저자들은 LLM-as-a-Judge 프레임워크를 사용하여 40 개의 합성 법률 질문 (Constitutional, Criminal, Multi-hop 등) 으로 시스템을 평가했습니다.

• 성능 비교:
  • 하이브리드 시스템 (RAG + KG): 70% 통과율 (평균 점수 6.09/10).
  • RAG-only 베이스라인: 37.5% 통과율 (평균 점수 4.16/10).
• 세부 지표:
  • 하이브리드 시스템은 완전성 (Completeness) (4.97 vs 2.67) 과 법적 추론 품질 (Legal Reasoning Quality) (5.35 vs 3.95) 에서 RAG-only 시스템보다 압도적으로 높은 점수를 기록했습니다.
  • 이는 구조화된 관계 지식이 절차적 세부 사항과 판례 기반 추론을 포함하는 데 결정적인 역할을 함을 보여줍니다.
• 개별 모듈 성능: IPC RAG 모듈이 가장 높은 F1 점수 (0.445) 를 보였으며, KG 리트리버는 ROUGE-L (0.653) 과 토큰 중첩률에서 가장 높은 근거 기반 성능을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

이 연구는 인도 법률 연구의 효율성과 정확성을 획기적으로 개선할 수 있는 확장 가능하고 해석 가능한 AI 프레임워크를 제시합니다.

• 핵심 통찰: 단순한 의미 검색 (Semantic Retrieval) 만으로는 복잡한 법률 추론이 불가능하며, 구조화된 관계 지식 (Knowledge Graph) 과의 결합이 다중 홉 추론과 인용 정확도를 보장하는 필수 요소임을 입증했습니다.
• 미래 전망: 현재는 프로토타입 단계로 데이터 범위가 제한적이지만, 향후 대법원 및 고등법원 판례 전체로 KG 를 확장하고, 자동화된 수집 파이프라인을 도입하여 실제 법률 업무에 활용 가능한 robust 한 플랫폼으로 발전시킬 계획입니다.

이 논문은 인도라는 특정 관할권의 복잡한 법률 구조를 해결하기 위해 RAG 와 KG 를 융합한 새로운 패러다임을 제시하며, 전 세계 법률 AI 연구에 중요한 시사점을 제공합니다.