기술 요약: 일본 의료 소송 절차 지원을 위한 RAG 시스템

문제 정의

본 논문은 일본의 의료 소송 절차라는 특수한 맥락 내에서 검색 증강 생성(Retrieval-Augmented Generation, RAG) 시스템을 배포할 때 발생하는 과제를 다룬다. 대규모 언어 모델(LLM)은 법률 워크플로우에서 효율성 향상의 잠재력을 제공하지만, 이를 직접 적용하는 데에는 법적 규범(legal norms) 및 **절차적 공정성(procedural fairness)**과 관련된 중대한 장벽이 존재한다.

일본의 민사 소송, 특히 의료 사건에서 판사는 기술적 쟁점을 명확히 하기 위해 "전문 심리 위원"(예: 의사)에게 의존한다. 이러한 역할을 대체하거나 지원하기 위한 RAG 시스템은 다음과 같은 엄격한 당사자 주의 원칙을 준수해야 한다:

1. 사적 지식의 금지(Prohibition of Private Knowledge): 판사는 당사자가 제출한 자료나 증거에 포함되지 않은 지식에 의존할 수 없다.
2. 시간적 유효성(Temporal Validity): 사건에 적용되는 주의 표준(standard of care) 또는 법적 선례는 사건 발생 시점과 재판 시점 사이의 관계에 따라 달라진다.
3. 충실성(Faithfulness): 생성된 응답은 사법적 심리를 오도할 수 있는 환각(hallucination)을 방지하기 위해 반드시 제공된 문맥(context)으로부터 엄격하게 기인해야 한다.

기존의 RAG 연구는 주로 정확도와 환각 감소에 초점을 맞추고 있으나, 지식의 출처, 유효 기간, 그리고 검색된 지식의 절차적 허용 가능성과 관련된 법적 절차 규범 준수를 위한 프레임워크는 결여되어 있다.

방법론 및 제안된 프레임워크

본 논문은 일본 의료 소송에 특화된 "규범 준수형 RAG(norm-compliant RAG)" 시스템의 설계를 제안한다. 저자들은 실험적 결과를 제시하는 대신, 이러한 시스템이 충족해야 하는 이론적 프레임워크와 세 가지 핵심 요구사항을 정의한다. 시스템 아키텍처(그림 2 참조)는 검색 모듈을 타임스탬프 유지 메커니즘 및 LLM 생성기와 통합한다.

방법론은 세 가지 구체적인 기술적 요구사항을 중심으로 구조화되어 있다:

1. 지식 출처 통제 (절차적 준수)

당사자 주의 원칙을 충족하기 위해, 시스템은 외부 지식을 절차적으로 허용 가능한 출처로 제한해야 한다.

• 메커니즘: 검색 범위는 전문가 공동체에 의해 비판적 검증을 거쳤으며 양 당사자에게 동등하게 접근 가능한 문서로 엄격히 제한된다.
• 구현 전략: 시스템은 검색 결과를 필터링하며, 정의된 허용 범위 밖의 출처에서 파생된 출력물은 부적절한 것으로 라벨링한다. 이는 시스템이 절차적 권리를 침해하는 "사적 지식"을 도입하지 않도록 보장한다.

2. 속성 부여 및 충실성 (Attribution and Faithfulness)

응답이 환각이 아니며 오직 제공된 문맥에만 의존하도록 하기 위해:

• 메커니즘: 시스템은 RAG 검색에서 파생된 지식과 LLM의 사전 학습(pre-training) 데이터로부터 온 지식을 구분해야 한다.
• 구实现 전략:
  • 데이터 속성(Data Attribution, DA): 시스템은 생성된 응답의 주장이 검색된 문맥에서 기인한 것인지, 아니면 사전 학습된 모델에서 기인한 것인지 분석한다. 사전 학습 데이터에 의존하는 응답은 부적절한 것으로 표시된다.
  • 충실성 점수(Faithfulness Scoring): 본 논문은 전체 주장 수 대비 검색된 문맥에 의해 뒷받침되는 응답 내 주장의 비율을 계산하는 Ragas와 같은 Faithfulness Score의 사용을 언급한다.
  • 검증: 이 설계는 후보 문장이 검색된 문맥 내에 포함되어 있는지 확인하기 위해 프롬프트 내의 명시적 제약 조건과 검증 체인(chain-of-verification) 단계를 사용하는 것을 제안한다.

3. 쟁점별 참조 시간 (시간적 유효성)

적용되는 주의 표준은 시간에 따라 변하므로, 시스템은 정보 출처의 "유효 기간"을 관리해야 한다.

• 메커니즘: 시스템은 관련 지식이 특정 쟁점(예: 행위 당시의 과실 vs. 재판 당시의 인과관계)에 따라 달라진다는 점을 인식해야 한다.
• 구현 전략: 검색 모듈은 타임스탬프와 인용 네트워크를 유지하고 활용해야 한다. 단순히 가장 최신의 정보를 검색하는 것이 아니라, 분쟁과 관련된 특정 시점에 유효한 지식을 검색해야 한다. 이는 시스템이 의심되는 사건 발생 당시에 존재하지 않았던 지식을 바탕으로 결론을 도출하는 것을 방지한다.

주요 기여

본 논문의 주요 기여는 일본 법률 영역에 특화된 규범 준수형 RAG 프레임워크를 정의한 것이다. 사실적 정확성에 집중하는 일반적인 RAG 평가와 달리, 본 연구는 다음을 도입한다:

1. 절차적 제약: 민사 소송 규범(허용 가능성 및 동등한 접근성)에 기반하여 지식 출처를 필터링하는 공식적 요구사항.
2. 시간적 인식: 법적 및 의료적 표준이 진화하며 "정답"이 법적 쟁점의 시간적 맥락에 따라 달라짐을 인정하고, 전문가 지식의 "유효 기간"을 처리하기 위한 구체적인 아키텍처 요구사항.
3. 법률 맥락에서의 충실성: 일반적인 사실성에서 **출처 속성(source attribution)**으로 평가의 초점을 전환하여, 시스템이 법적 논거를 생성할 때 내부의 사전 학습된 지식에 의존하지 않도록 보장함.

결과 및 주장

본 논문은 설계 제안과 이론적 프레임워크를 제시하는 **프리프린트(preprint)**이며, 실험 결과, 정량적 평가 또는 배포된 시스템을 보고하지 않는다.

• 현재 상태: 저자들은 현재 시스템을 개발 중이며, 향-후 연구 과제로 식별된 요구사항을 충족하기 위한 구체적인 방법론 제안, 평가 지표 정교화, 시스템 구현 및 실험 수행을 밝히고 있다.
• 의의: 저자들은 자신들의 연구가 법률 AI 분야의 핵심적이고 미충족된 과제인 규범 준수 및 지식 출처의 적절성에 관한 연구 부족 문제를 다루고 있다고 주장한다. 이 세 가지 축(출처 통제, 충실성, 시간적 유효성)을 정의함으로써, 본 논문은 절차적 공정성이 최우선인 고위험 사법 환경에서 신뢰할 수 있는 RAG 시스템을 구축하기 위한 필수적인 토대를 제공하는 것을 목표로 한다.

요약하자면, 본 논문은 RAG가 일본 소송에서 실행 가능하려면 단순히 "관련 있는" 정보를 검색하는 도구에서 벗어나, "절차적으로 허용 가능하고, 시간적으로 정확하며, 엄격하게 충실한" 정보를 검색하는 도구로 진화해야 한다고 주장한다.