AppellateGen: A Benchmark for Appellate Legal Judgment Generation
이 논문은 1 심 판결에 국한된 기존 연구의 한계를 극복하기 위해 2 심 판결 생성을 위한 'AppellateGen' 벤치마크와 사법 표준운영절차 (SOP) 기반의 다중 에이전트 시스템을 제안하여, 상고심 판결의 변증법적 특성과 인과적 의존성을 모델링하는 새로운 접근법을 제시합니다.
비유: 마치 초보 요리사가 "재료 (사실) 를 보고 요리 (판결) 를 만들어라"라고 시키는 것과 같습니다.
문제점: 하지만 실제 법정은 여기서 끝이 아닙니다. 불만족스러운 당사자가 **상고 (2 심)**를 하면 이야기가 달라집니다.
새로운 증거가 나오기도 하고,
1 심 판사가 잘못 본 부분을 지적하기도 하죠.
기존 AI 들은 이 **'논쟁과 수정의 과정'**을 무시하고, 그냥 처음부터 다시 요리하듯 판결문을 썼습니다. 이는 현실과 동떨어진 것입니다.
2. 이 연구가 뭘 만들었나요? (AppellateGen)
연구팀은 7,351 개의 실제 2 심 사건 쌍으로 구성된 새로운 데이터셋을 만들었습니다.
비유: 단순히 "요리 레시피"만 있는 게 아니라, **"1 심 요리사가 만든 요리를 맛본 후, 2 심 심사관이 '이건 너무 짜다, 소금 좀 덜고 새 고추가루를 넣자'라고 지적하는 과정"**까지 모두 기록한 완벽한 요리 교재를 만든 셈입니다.
이 데이터에는 1 심 판결, 2 심에서 새로 나온 증거, 그리고 왜 1 심 판결을 바꿨는지 (또는 유지했는지) 에 대한 이유들이 상세히 적혀 있습니다.
3. 어떻게 해결책을 제시했나요? (SLMAS: 법률 다중 에이전트 시스템)
기존의 거대 AI 모델 (LLM) 은 이 복잡한 과정을 한 번에 처리하려다 **환각 (거짓말)**을 하거나 논리가 꼬이는 경우가 많았습니다. 연구팀은 이를 해결하기 위해 **법정 절차 (SOP)**를 따라 움직이는 **4 명의 전문가 팀 (에이전트)**을 꾸렸습니다.
비유: 거대한 법정을 한 명의 판사가 혼자 모든 일을 처리하는 게 아니라, 전문가 팀으로 나누어 일을 시킨 것과 같습니다.
논쟁 포인트 찾기 (Analysis): "1 심 판결과 새로운 증거 사이에서 무엇이 가장 큰 차이점일까?"를 찾아냅니다. (예: "아, 1 심에서는 모르고 넘어갔던 CCTV 영상이 있군!")
법률 찾기 (Search): 그 차이점을 해결할 수 있는 정확한 법조문을 도서관에서 찾아옵니다.
결과 예측 (Predict): "이 법조문과 증거를 보면, 1 심 판결을 뒤집어야 할까, 유지해야 할까?"를 미리 판단합니다.
판결문 작성 (Write): 앞선 세 단계의 결론을 바탕으로 최종 판결문을 씁니다.
이렇게 단계별로 나누어 생각하게 함으로써, AI 가 헛소리를 하거나 논리가 꼬이는 것을 막았습니다.
4. 결과는 어땠나요?
일반 AI vs 전문 AI: 놀랍게도, 특정 법률 데이터만 학습한 '전문 법률 AI'보다는 논리 추론 능력이 뛰어난 일반 AI가 이 2 심 판결 과제에서 더 잘했습니다.
이유: 2 심 판결은 단순히 법조문을 외우는 게 아니라, 새로운 증거와 기존 판결을 비교하며 논리적으로 싸우는 능력이 중요하기 때문입니다.
성공: 연구팀이 만든 '전문가 팀 (SLMAS)' 방식은 기존 어떤 모델보다도 논리적 일관성과 정확도가 높았습니다.
5. 결론: 왜 중요한가요?
이 연구는 법률 AI 가 이제 **'단순한 정보 검색'**을 넘어, 복잡한 논쟁을 해결하고 새로운 증거를 고려하는 '고급 추론' 단계로 나아가야 함을 보여줍니다.
한 줄 요약: "법률 AI 가 1 심 판결을 단순히 복사하는 것을 넘어, **2 심 법정의 복잡한 논쟁을 이해하고 새로운 증거를 바탕으로 공정한 판결을 내리는 '현명한 조력자'**가 될 수 있는 길을 열었습니다."
이 기술이 발전하면, 앞으로 법원에서도 AI 가 판사의 논리적 오류를 미리 찾아내거나, 복잡한 2 심 사건을 처리하는 데 큰 도움을 줄 수 있을 것입니다.
1. 문제 정의 (Problem Definition)
기존 연구의 한계: 현재 법률 자연어 처리 (Legal NLP) 분야는 주로 1 심 (First-Instance) 판결 예측이나 정적 사실 (static facts) 에서의 판결 생성에 집중해 왔습니다. 이는 사실과 판결 간의 단순한 매핑에 의존하며, 상고심 (2 심) 절차의 변증법적 (dialectical) 특성을 간과합니다.
상고심 (2 심) 의 복잡성: 대륙법계 (특히 중국) 에서 2 심 재판은 1 심 판결의 오류를 시정하고 새로운 증거를 수용하는 '재판의 연속성' 원칙을 따릅니다. 이는 1 심 판결, 상고 사유, 그리고 새로운 사실 (New Facts) 간의 복잡한 인과 관계와 논리적 추론을 요구합니다.
데이터 부재: 기존 벤치마크는 다중 선택형 문제나 단일 단계의 문서 생성에 치중하여, 1 심과 2 심 판결 간의 연결고리와 변증법적 추론을 평가할 수 있는 대규모 생성형 벤치마크가 부족했습니다.
2. 방법론 (Methodology)
가. AppellateGen 벤치마크 구축
데이터 수집: 중국 법원 판결문 데이터베이스 (China Judgments Online) 에서 2021 년부터 2024 년까지의 판결문 470 만 건 이상을 수집했습니다.
케이스 매칭: 1 심과 2 심 판결문을 자동으로 매칭하는 파이프라인을 개발하여, 1 심 판결문과 이에 대한 2 심 판결문 (상고 결과) 을 쌍 (Pair) 으로 구성했습니다.
데이터셋 규모: 최종적으로 7,351 개의 고품질 케이스 쌍으로 구성된 데이터셋을 구축했습니다.
레이블 분포: 10.7% 는 판결이 뒤집힌 (Reversal) 경우, 89.3% 는 원심 유지 (Affirmation) 경우입니다.
세밀한 주석 (Fine-grained Annotation): 단순 텍스트 생성이 아닌 법적 유효성을 평가하기 위해 다음 4 가지 차원의 주석을 추가했습니다.
판결 결과 분류: 유지 (Affirm) 또는 파기 (Reverse).
파기 사유: 사실 오인, 법률 오적용, 절차 위반 등 구체적인 법적 근거.
새로운 사실 식별: 2 심에서 새로 발견된 사실과 증거.
법조문 추출: 판결의 근거가 된 구체적인 법조항.
나. SOP 기반 법률 멀티 에이전트 시스템 (SLMAS)
개념: 인간의 사법 표준 운영 절차 (Standard Operating Procedure, SOP) 를 모방하여, 복잡한 상고심 판결 생성을 분석 (Analysis), 검색 (Search), 예측 (Predict), 작성 (Write) 의 4 단계로 분해하는 멀티 에이전트 프레임워크를 제안했습니다.
에이전트 구성:
쟁점 식별 에이전트 (Disputed Issues Identification): 1 심 판결과 새로운 증거 간의 차이를 분석하여 핵심 쟁점을 도출.
법률 검색 에이전트 (Legal Retrieval): 식별된 쟁점에 기반하여 관련 법조문과 판례를 검색.
파기 예측 에이전트 (Reversal Prediction): 사실과 법률을 종합하여 판결 방향 (유지/파기) 을 논리적으로 예측.
문서 생성 에이전트 (Document Generation): 위 3 단계의 추론 과정 (Intermediate Reasoning States) 을 기반으로 최종 2 심 판결문을 생성.
목적: 단일 에이전트의 할루시네이션 (Hallucination) 을 줄이고, 논리적 일관성을 확보하기 위해 추론 과정을 명시적으로 구조화했습니다.
3. 주요 기여 (Key Contributions)
선구적인 작업 정의: 법률 NLP 의 범위를 정적인 1 심 예측에서 동적인 2 심 판결 생성으로 확장했습니다. 이는 모델이 상반된 서사와 새로운 증거 간의 갈등을 해결하고 사법 오류를 식별하는 능력을 요구합니다.
AppellateGen 벤치마크: 7,351 개의 쌍을 가진 대규모 데이터셋과 세밀한 주석 스키마를 제공하여, 장문맥 추론 (Long-context reasoning) 과 인과적 일관성 평가의 새로운 기준을 제시했습니다.
방법론적 프레임워크 및 통찰: SLMAS 를 통해 생성 과정을 분해함으로써 논리적 일관성을 크게 향상시켰습니다. 또한, 이 복잡한 작업에서는 일반적인 추론 능력이 뛰어난 범용 LLM 이 도메인 특화 모델보다 더 우수한 성능을 보인다는 중요한 통찰을 제공했습니다.
4. 실험 결과 (Results)
성능 향상: SLMAS 프레임워크를 적용한 모델 (예: Qwen3-235B) 은 기존 단일 에이전트 모델 및 상용 모델 (Gemini 2.5 Flash) 보다 **파기 예측 정확도 (67.24% vs 66.53%)**와 **LLM-as-a-Judge 평가 점수 (평균 2.536 vs 2.257)**에서 모두 우위를 점했습니다.
도메인 특화 모델 vs 범용 모델: 전통적인 법률 특화 모델 (DISC-LawLLM 등) 은 35~37% 의 낮은 정확도를 보인 반면, 추론 능력이 강화된 범용 LLM 은 60% 이상의 높은 정확도를 달성했습니다. 이는 상고심 판결이 정적 지식 검색보다 비교적 추론 (Comparative Reasoning) 능력에 더 의존함을 시사합니다.
생성 품질의 한계: SLMAS 가 논리적 일관성을 개선했음에도 불구하고, 평균 점수 (5 점 만점에 약 2.5 점) 는 여전히 인간 전문가 수준에 미치지 못합니다. 특히 새로운 증거와 법조항을 연결하는 장기적 인과 추론 (Long-chain causal reasoning) 부분에서 여전히 과제가 남아 있습니다.
추론 과정의 중요성: 추론 에이전트 (쟁점 식별, 법률 검색 등) 를 제거할 경우 성능이 급격히 하락하여, 단계별 추론이 최종 생성물의 질을 결정하는 핵심 요소임을 입증했습니다.
5. 의의 및 의의 (Significance)
법률 AI 의 새로운 지평: 단순한 판결 예측을 넘어, 실제 사법 절차의 복잡성 (변증법적 심리, 증거 재평가) 을 시뮬레이션할 수 있는 첫 번째 벤치마크를 제시함으로써 법률 AI 연구의 방향을 전환했습니다.
실용적 가치: SLMAS 와 같은 구조화된 멀티 에이전트 접근법은 법률 문서 생성 시 발생할 수 있는 할루시네이션을 줄이고, 법조문 적용의 정확성을 높여 법률 전문가의 보조 도구로서의 가능성을 입증했습니다.
미래 연구 방향: 현재 모델의 추론 한계를 극복하기 위해, 더 강력한 인과 관계 모델링과 장문맥 논리 추론을 위한 새로운 아키텍처 개발의 필요성을 제기했습니다.
이 논문은 법률 분야 생성형 AI 가 단순한 텍스트 생성을 넘어, 복잡한 사법 논리를 이해하고 적용할 수 있는 단계로 나아가기 위한 필수적인 기반을 마련했다는 점에서 의의가 큽니다.