NeuroSymbolic AI for Legal AI-TRISM: Trustworthy, Reliable, Interpretable, Safe Models

기술 요약: 법률 AI-TRISM을 위한 뉴로심볼릭(NeuroSymbolic) AI

문제 제기
본 논문은 법률 도메인에 대한 대규모 언어 모델(LLM) 적용 시 발생하는 결정적인 격차를 식별한다. LLM은 자연어 처리 분야를 혁신했으나, "환각"(허위 인용 또는 사실 조작) 현상, 해석 가능한 추론의 부재, 그리고 관할권 계층 구조 및 절차적 미묘함을 엄격하게 준수하지 못하는 문제를 겪고 있다. 저자들은 허위 인용이 포함된 AI 생성 변론서로 인해 변호사가 제재를 받은 2024년 미국의 사례를 들어 이러한 위험성을 극명하게 보여준다. 현재의 검색 증강 생성(RAG) 방식은 권위 있는 출처에 LLM을 근거하도록 시도하고 있음에도 불구하고, 여전히 상당한 환각률(다양한 연구에서 17%에서 69% 사이)을 보이며, 복잡한 맥락적 예외 사항을 포착하거나 상충하는 법적 선례의 우선순위를 올바르게 설정하는 데 실패하는 경우가 많다. 순수 신경망 기반 접근 방식은 고도의 이해관계가 걸린 법적 의사결정에 필요한 논리적 일관성, 규칙 기반 검증 및 추적 가능성을 확보하는 데 어려움을 겪는다.

방법론: TRISM 프레임워크와 RASOR
이러한 한계를 해결하기 위해, 저자들은 LLM과 뉴로심볼릭 AI 원칙을 통합하는 TRISM(Trustworthy, Reliable, Interpretable, Safe Models - 신뢰할 수 있고, 믿을 수 있으며, 해석 가능하고, 안전한 모델) 프레임워크를 제안한다. 이 접근 방식은 신경망의 패턴 인식 능력과 구조화된 법률 지식에 대한 심볼릭(기호적) 추론의 논리적 추론을 결합한다.

본 논문에서 제시된 TRISM의 핵심 구현체는 법률 텍스트 생성을 위해 설계된 뉴로심볼릭 RAG 파이프라인인 RASOR(RAtionalize, Select, and Refine)이다. RASOR 아키텍처는 다음과 같은 5단계 과정을 통해 작동한다:

1. 근거 생성(Rationale Generation): 미세 조정된 모델(SaulLM)이 전문가 질의 및 문서가 포함된 법률 데이터셋으로부터 명시적이고 해석 가능한 근거를 생성한다.
2. 청크 선택(Chunk Selection): **신경 근거 기반 청크 선택기(NRCS)**가 생성된 근거를 밀집 통과 검색기(DPR)를 사용하여 관련 문서 청크와 매칭하며, 이는 복잡한 하이퍼파라미터 튜닝의 필요성을 제거한다.
3. 정제(Refinement): 정제 모듈은 **직접 선호도 최적화(DPO)**를 활용하여 근거를 최적화하며, CUAD(Contract Understanding Atticus Dataset)의 쌍을 이룬 예시를 바탕으로 관련 문서 청크와 가장 잘 일치하는 근거를 선택한다. 이는 인간 피드백 기반 강화 학습(RLHF)의 계산적 오버헤드를 피한다.
4. 검증(Verification): 비지도 학습 기반의 검증기(Verifier)가 무관하거나 모순된 청크를 필터링하여 환각 위험을 완화한다.
5. 추론(Inference): 시스템은 검증된 근거를 사용하여 최종 출력을 생성함으로써 도메인 지식과의 정렬을 보장한다.

또한, 본 논문은 심볼릭 백본 역할을 할 **법률 지식 그래프(KG)**를 구축하기 위한 공식적인 방법론을 상세히 설명한다. 여기에는 다음이 포함된다:

• 온톨로지 통합: 개념(예: "법령", "법원 판결"), 관계(예: "인용하다", "해석하다"), 그리고 계층 구조를 정의한다.
• 엔티티 및 관계 추출: 개체명 인식(NER)과 의미역 레이블링을 사용하여 법률 텍스트로부터 트리플 $(s, p, o)$를 추출한다.
• 동적 업데이트: LLM을 활용하여 KG 임베딩 공간 내의 "지식 격차"를 탐지하는 10단계 자동화 프로세스이다. 이는 역할 수행 전략(방어자와 검사자 역할 수행)을 통해 가설을 생성하고, 새로운 후보 트리플을 식별하며, 새로운 법령 및 선례에 맞춰 KG가 최신 상태를 유지하도록 정제하는 과정을 포함한다.

주요 기여
본 논문은 네 가지 주요 기여를 기술한다:

1. 한계 분석: 인과적 추론, 유추적 추론, 관할권의 미묘한 차이 처리에 있어서의 실패를 강조하며, 법률 분야의 현재 AI 기반 방식들을 비판적으로 검토한다.
2. RASOR 및 실증적 검증: 투명하고 구조화된 추론이 성능을 향상시킨다는 것을 입증하는 RASOR을 소개한다. 저자들은 이 접근 방식이 환각률을 기존 baseline인 SaulLM-52B의 약 75%에서 40% 미만으로 낮춘다고 주장한다.
3. 정형화된 KG 방법론: 해석 가능한 추론과 출력 검증을 모두 지원하는 심볼릭 법률 지식 베이스를 구축하기 위한 구조적 접근 방식을 제시한다.
4. TRISM 프레임워크: 규제 기준(정확성, 설명 가능성, 공정성, 안전성)을 충족하기 위해 심볼릭 법률 지식을 LLM과 통합하는 종합적인 프레임워크를 제시한다.

결과
저자들은 510개의 계약서에 걸쳐 13,000개 이상의 전문가 주석이 포함된 CUAD 데이터셋을 통해 RASOR을 평가하였다.

• 검색 성능: RASOR은 128-토큰 및 512-토키 크기 모두에서 약 93%의 견고한 재현율(Recall)을 달 기록하며, baseline 리랭커(re-ranker)를 능가했다.
• 생성 정확도: 생성 단계에서 LLAMA3-8B를 사용했을 때, RASOR은 최첨단 리랭커인 Contriever보다 정확도(정확한 문자열 일치로 측정) 면에서 최대 17% 더 높은 성능을 보였다. 구체적으로, 128-토큰 청크에서 RASOR은 52%의 정확도를 기록하여 Contriever의 38%를 앞섰으며, 512-토큰 청크에서는 64%를 달성하여 Contriever의 47%를 상회했다.
• 환각 감소: RASOR은 환각률을 40% 미만으로 낮추었으며, 이는 Contriever(58~65%) 및 SaulLM-52B(75%)에 비해 유의미한 개선이다.
• 동적 적응: 시스템은 질의 복잡도에 따라 검색되는 청크의 수($K$-값)를 동적으로 조정하여, 노이즈를 최소화하면서 검색을 최적화하는 능력을 입증했다.

의의 및 주장
본 논문은 RASOR을 완전한 뉴로심볼릭 법률 AI를 향한 "중요한 첫걸음"으로 규정한다. 저자들은 순수 신경망 접근 방식에서 뉴로심볼릭 시스템으로의 전환이 법률 AI를 "대체로 신뢰할 수 없는" 수준에서 "실제 법률 업무에 실행 가능한" 수준으로 이동시킨다고 주장한다. 이 시스템의 의의는 다음과 같다:

• 신뢰의 실행 가능성: 명시적인 출처 인용과 구조화된 근거를 강제함으로써, 시스템은 TRISM의 "신뢰성" 및 "해석 가능성" 기둥을 충족한다.
• 격차 해소: 모듈형 아키텍처는 현재의 신경망 구성 요소를 심볼릭 대응물(예: 신경망 기반 청크 선택을 지식 그래프 기반 검색으로 교체)로 체계적으로 교체하거나 강화할 수 있는 개념적 가교 역할을 한다.
• 도입 촉진: 저자들은 법률 전문가들이 개선된 결과를 목격한 후 이러한 투명한 시스템을 수용했다는 점을 언급하며, 설명 가능성이 이 접근 방식이 극복하는 주요 도입 장벽임을 시사한다.

논문은 현재 RASOR의 구현이 주로 신경망 경로를 따르고 있지만, 그 설계가 논리적 검증과 심볼릭 규칙 적용이 신경망 근사치를 대체하여 법적 계층 구조 및 절차적 제약 준수를 보장하는 완전한 뉴로심볼릭 추론 시스템으로 점진적으로 진화할 수 있도록 허용한다고 결론짓는다.