RCBSF: 스택버그 게임을 통한 자동화된 계약 수정을 위한 다중 에이전트 프레임워크 (기술 요약)

본 논문은 대규모 언어 모델 (LLM) 을 법률 AI 에 적용할 때 발생하는 **할루시네이션 (Hallucination)**과 엄격한 행동 제약의 부재 문제를 해결하기 위해 제안된 **위험 제약 이차원 스택버그 프레임워크 (Risk-Constrained Bilevel Stackelberg Framework, RCBSF)**에 대한 연구입니다.

1. 문제 정의 (Problem)

법률 계약의 작성, 수정, 검토는 매우 전문적이고 시간이 많이 소요되는 작업입니다. 기존 LLM 기반의 자동화 접근 방식은 다음과 같은 한계를 겪고 있습니다:

• 할루시네이션 및 사실 오류: 신뢰할 수 없는 인용이나 존재하지 않는 조항 생성.
• 제약 조건 누락: 복잡한 법적 논리와 위험 관리 요구사항을 충족하지 못함.
• 단순 협력 모델의 한계: 기존 다중 에이전트 시스템 (MAS) 은 주로 협력적 정보 수집에 초점을 맞추어, 실제 법률 실무에서 요구되는 '심사자 (Auditor) 가 수정자 (Revisor) 에게 엄격한 제약을 부과'하는 위계적 대립 구조를 반영하지 못함.

2. 방법론 (Methodology)

RCBSF 는 계약 수정 과정을 **비협력적 스택버그 게임 (Non-cooperative Stackelberg Game)**으로 모델링하여, 위험 관리와 의미 보존 사이의 균형을 최적화합니다.

2.1 계층적 다중 에이전트 구조

프레임워크는 두 가지 전략적 수준으로 구성된 3 개의 전문 에이전트로 구성됩니다:

1. 글로벌 처방 에이전트 (GPA, Leader):
   • 역할: 최상위 감사자 (Outer Auditor) 역할.
   • 기능: 계약 텍스트를 분석하여 **5 차원 위험 하이퍼플레인 (Category, Location, Evidence, Issue, Suggestion)**으로 구성된 엄격한 위험 예산 (Risk Budget) 을 설정합니다.
   • 목표: 계산 비용 (토큰 제한) 을 준수하면서 위험 완화 점수를 최대화하는 상위 목적 함수를 최적화합니다.
2. 구속 수정 에이전트 (CRA, Follower - Drafter):
   • 역할: 실행자 (Drafter).
   • 기능: GPA 가 부과한 제약 조건 하에서 계약 텍스트를 반복적으로 수정합니다.
3. 로컬 검증 에이전트 (LVA, Follower - Verifier):
   • 역할: 내부 감사자 (Inner Auditor).
   • 기능: CRA 의 수정 결과를 검증하고 잔여 위험을 계산하여 다음 반복을 위한 피드백 (Gradient) 을 제공합니다.

2.2 수학적 모델링

• 이차원 최적화 (Bilevel Optimization): 리더 (GPA) 는 팔로워 (CRA+LVA) 의 최적 반응을 고려하여 위험 지시 벡터 $h$를 먼저 결정하고, 팔로워는 이 제약 하에서 생성된 텍스트의 품질을 최적화합니다.
• 스택버그 균형 (Stackelberg Equilibrium): 리더가 먼저 움직이고 팔로워가 이에 반응하는 구조로, 기존 내시 균형 (Nash Equilibrium) 보다 우월한 전역 최적해를 보장합니다.
• 반복적 경사 근사: LVA 는 융합 그래디언트 (Fusion Gradient) 를 계산하여 텍스트 생성을 안내하며, 시스템은 잔여 위험을 최소화하는 고정점 (Stationary Point) 으로 수렴합니다.

3. 주요 기여 (Key Contributions)

1. RCBSF 프레임워크 제안: 위계적인 GPA-CRA-LVA 아키텍처를 도입하여, 5 차원 위험 제약을 통해 계약을 위험 최소화 스택버그 균형으로 이끕니다.
2. 이론적 증명: 표준 프롬프팅 (내시 균형) 에 비해 이차원 최적화 공식이 **엄격하게 우월한 유틸리티 (Strict Superiority)**를 제공함을 수학적으로 증명했습니다.
3. 통합 벤치마크 및 SOTA 성능: MAUD, CUAD, ContractNLI, PrivacyQA 등 4 개의 권위 있는 데이터셋을 통합한 벤치마크를 구축하고, 기존 방법론들을 압도하는 성능을 입증했습니다.

4. 실험 결과 (Results)

Qwen2.5-7B-Chat 를 백본으로 한 실험 결과, RCBSF 는 모든 평가 지표에서 최상위 성능을 기록했습니다.

• 위험 해결률 (RRR, Risk Resolution Rate): 평균 **84.21%**로, 기존 반복적 개선 (Iterative Refinement) 방법 (79.56%) 과 표준 방법 (70.81%) 보다 크게 우월했습니다.
• 계약 품질 (CQ, Contract Quality): 명확성, 엄밀성, 균형, 전문성을 평가하는 점수에서 모든 설정에서 최고 점수를 기록했습니다. 특히 '엄밀성 (Rigor)' 지표에서 가장 큰 개선을 보였습니다.
• 토큰 효율성 (TES, Token Efficiency Score): 1,000 토큰당 해결된 위험 수를 기준으로 **87.29%**를 달성하여, 불필요한 추론 텍스트를 생성하는 CoT 기반 방법론보다 효율적이었습니다.
• 애블레이션 연구 (Ablation Study):
  • 5 차원 제약 (Evidence, Suggestion 등) 을 제거할 경우 RRR 이 11% 이상 급감하여, 구체적인 증거와 제안이 핵심임을 입증했습니다.
  • 예산 페널티 (Budget Penalty) 가 없으면 토큰 효율성이 12% 감소하여, 자원 제약을 통한 위험 우선순위 설정의 중요성을 보여줍니다.

5. 의의 및 결론 (Significance)

RCBSF 는 법률 AI 분야에서 다음과 같은 중요한 의의를 가집니다:

• 패러다임 전환: 단순한 협력적 다중 에이전트에서 위계적 대립 (Hierarchical Adversarial) 구조로 전환하여, 실제 법률 팀의 '수정 - 심사' 프로세스를 효과적으로 시뮬레이션합니다.
• 신뢰성 확보: 할루시네이션을 방지하고 구체적인 증거에 기반한 수정을 강제함으로써, 고위험 법률 문서 자동화에서의 신뢰성을 크게 향상시켰습니다.
• 이론적 기반: 게임 이론 (스택버그 게임) 을 LLM 기반 텍스트 생성에 적용하여, 수학적 균형점을 통해 최적의 수정 결과를 도출하는 새로운 접근법을 제시했습니다.

결론적으로, RCBSF 는 위험 완화와 의미 보존 사이의 트레이드오프를 해결하여, 신뢰할 수 있고 제약 조건을 인지하는 법률 텍스트 생성을 위한 새로운 표준을 제시합니다.