기술 요약: Falkor-IRAC

문제 제기

현재의 법률 인공지능 시스템은 대부분 벡터 기반 의미 유사성에 의존하는 검색 증강 생성 (RAG) 에 의존하고 있어, 법률 추론의 구조적 본질을 해결하지 못합니다. 본 논문은 법률 추론이 의미 검색 문제가 아니라 선례 전파, 절차적 상태 전이, 그리고 법령에 기반한 추론을 포함하는 제약된 기호적 추론 과정이라고 주장합니다.

표준 RAG 접근법은 법률 분야에서 세 가지 치명적인 구조적 실패를 겪습니다:

1. 의미적 관련성 대 법률적 관련성: 어휘적 유사성이 법률적 관련성을 보장하지는 않습니다. 획기적인 선례는 현재 사건과 다른 어휘를 사용할 수 있지만 구조적으로 여전히 필수적일 수 있습니다.
2. 할루시네이션으로서의 책임: 법률 맥락에서 그럴듯하지만 조작된 인용은 단순한 품질 오류가 아니라 소송 당사자에게 피해를 줄 수 있는 전문적 책임이 됩니다.
3. 상태성 부재: 법률 추론은 절차적 타임라인, 권리 부속, 그리고 기한에 의존하는 상태성을 가지며, 이는 벡터 모델이 표현할 수 없는 차원입니다.

이러한 실패는 사건이 대량으로 쌓여 있고 법률 지원이 제한적인 인도에서 특히 심각하여, 사법 접근성 격차가 심화되고 있습니다. 기존 도구들은 법원 통지나 절차적 상태에 대한 음성 우선, 할루시네이션이 없는 설명을 제공하지 못합니다.

방법론: Falkor-IRAC

Falkor-IRAC은 생성과 검증을 분리하는 그래프 제약 생성 프레임워크입니다. GraphRAG와 같이 지식 그래프를 단순히 검색 개선을 위해 사용하는 대신, Falkor-IRAC 은 그래프를 모델이 주장할 수 있는 내용에 대한 엄격한 제약으로 활용합니다.

1. 지식 그래프 스키마

이 시스템은 인도 대법원과 고등법원의 판결을 FalkorDB로 주입합니다. FalkorDB 는 하이브리드 벡터 및 그래프 쿼리를 지원하는 그래프 데이터베이스입니다. 이 스키마는 표준 인용 네트워크를 세 가지 새로운 계층으로 확장합니다:

• IRAC 구조: 쟁점 (Issue), 규칙 (Rule), 분석 (Analysis), 결론 (Conclusion) 을 위한 노드들이 사건, 법령, 판사들과 연결됩니다.
• 절차적 상태 전이: BAIL_DENIED(보석 거절), HEARING_HELD(심리 진행) 등의 ProceduralEvent 노드들이 TRIGGERS(트리거) 및 PRECEDES(선행) 관계로 연결된 계층입니다. 이는 소송 흐름을 상태 기계로 모델링하여 소송 당사자의 현재 절차적 위치에 대한 질문에 답변할 수 있게 합니다.
• 충격 유형 관계: 도그마적 분열 (예: 동등한 재판부 간의 이견) 을 침묵적으로 해결하는 대신 명시적으로 모델링하는 새로운 엣지 유형 (CONFLICTS_WITH, RESOLVED_BY, NARROWED_BY) 입니다.

2. 주입 파이프라인

판결은 세 단계로 처리됩니다:

1. 텍스트 추출: PyMuPDF 를 사용하여 레이아웃을 인식하는 정제가 수행됩니다.
2. 구조화 추출: LLM 이 IRAC 구성 요소, 법령, 선례, 절차적 이벤트를 제약된 JSON 으로 추출하며, 신뢰도가 낮을 경우 데이터를 조작하기보다 필드를 비워두도록 지시받습니다.
3. 그래프 로딩: 구조화된 데이터는 멱등성 MERGE 연산을 사용하여 FalkorDB 로 로드됩니다.

3. 추론 아키텍처

생성 파이프라인은 다중 에이전트 루프로 작동합니다:

1. 검색 에이전트: 사물 유형, 법령, 쟁점 키워드, 인용 체인, 그리고 충돌 감지라는 다섯 가지 병렬 전략을 사용하여 그래프를 탐색하여 후보 선례를 검색합니다.
2. LLM 합성: 검색된 후보에 기반하여 오직 답변을 생성합니다.
3. 검증 에이전트 (반증 가능성 오라클): 이것이 핵심 혁신입니다. 생성된 답변을 그래프와 대조하여 확인합니다:
   • 인용된 사건의 존재를 검증합니다.
   • 폐기 (OVERRULES) 또는 충돌 관계를 확인합니다.
   • 법령 폐지 상태를 유효성 검사합니다.
   • 출력: VALID(유효), INVALID(무효), CONFLICT(충돌), 또는 STALE(구식) 을 반환합니다.
   • 제약: 경로가 INVALID 또는 STALE인 경우, LLM 은 수정을 요청받습니다 (최대 두 번 시도). 다시 실패하면 시스템은 검증되지 않은 답변을 반환하는 대신 중단합니다.

주요 기여

1. IRAC 지식 그래프 스키마: 소송 흐름 (절차적 상태 전이) 을 도그마적 추론 및 충돌 유형 선례 관계와 함께 모델링하는 인도 법률 추론을 위한 최초의 스키마입니다.
2. 그래프 제약 생성: 그래프 내에서 유효한 지원 경로가 존재할 때만 LLM 출력이 허용되는 아키텍처입니다. 이는 "더 나은 검색"에서 "거부권을 가진 외부 심사관"으로 패러다임을 전환시킵니다.
3. 1 급 출력으로서의 충돌 감지: 시스템은 충돌을 침묵적으로 해결하는 대신 도그마적 충돌 (예: 해결되지 않은 동등한 재판부 간의 이견) 을 명시적으로 드러내어 사용자에게 정직한 불확실성을 제공합니다.
4. 그래프 네이티브 평가 세트: 인용 근거 정확도, 경로 유효성률, 할루시네이션 선례율, 충돌 감지율과 같은 구조적 지표를 어휘 지표 (BLEU/ROUGE) 를 대체하기 위한 제안입니다.

결과

이 시스템은 보석, 헌법법, 서비스법, 그리고 모욕죄에 관한 10 개의 쿼리를 사용하여 1949 년부터 2026 년까지의 51 개 대법원 판결로 구성된 개념 증명 코퍼스에서 평가되었습니다.

• 검증 에이전트 정확도: 검증 에이전트는 제출된 8 개의 실제 대법원 인용을 모두 올바르게 검증하여 (100% 근거 정확도) 조작된 2 개의 인용을 올바르게 거부했습니다 (조작된 입력에 대한 0% 할루시네이션율).
• 생성 성능: 소비자 CPU 하드웨어에서 Mistral 7B-Instruct 를 사용할 때, 10 개 쿼리 중 3 개가 300 초 타임아웃 내에 완료되었습니다. 구조화된 인용을 가진 단일 완료 쿼리는 100% 인용 근거 정확도를 달성했습니다.
• 한계: 7 개의 쿼리는 CPU 추론 지연으로 인해 타임아웃되었습니다. 특히 보석 쿼리는 작은 코퍼스 내의 희소한 그래프 커버리지로 인해 고통받았습니다.
• 기준선: 본 연구에서는 Vector RAG 또는 GraphRAG 와의 비교가 수행되지 않았으며, 초점은 아키텍처 검증에 있었습니다.

중요성과 주장

본 논문은 Falkor-IRAC 을 제품 준비 시스템이 아닌, 법률 추론이 퍼지 유사성 검색보다 제약된 그래프 탐색에 구조적으로 더 가깝다는 것을 입증하는 연구용 프로토타입으로 위치시킵니다.

• 확신보다 정직함: 시스템은 법률 지원 실무자 및 자기 대리 소송 당사자에게 더 유용하다고 주장되는 확신 있는 할루시네이션보다 "정직한 불확실성" (중단 또는 충돌 플래기) 을 우선시합니다.
• 상태적 추론: 절차적 상태 전이를 모델링함으로써, 판결을 정적 문서가 아닌 법적 과정의 탐색 기록으로 취급하는 기존 법률 AI 의 격차를 해소합니다.
• 일반화 가능성: 저자들은 이 아키텍처 (확률적 생성에 대한 기호적 그래프 제약) 가 준수, 특허 분석, 임상 가이드라인과 같은 추적 가능하고 감사 가능한 추론이 필요한 모든 분야에 적용 가능하다고 주장합니다.

본 논문은 법률 추론의 암묵적 그래프를 명시화하고 이를 생성을 제약하는 데 사용하는 것이, 특히 인도와 같은 고위험 및 고사건량 관할 구역에서 신뢰할 수 있는 법률 AI 를 위한 필수적인 방향이라고 결론지었습니다.