Enhancing Judgment Document Generation via Agentic Legal Information Collection and Rubric-Guided Optimization

판사의 업무를 법적 결정을 위한 매우 엄격하고 중대한 레시피를 작성하는 일로 상상해 보세요. 이 "레시피"(판결문) 를 작성하기 위해 판사는 두 가지가 필요합니다:

1. 올바른 재료: 특정 범죄에 적용되는 정확한 법률과 과거 판례 (법령과 선례) 를 찾아야 합니다.
2. 완벽한 조리법: 그 재료를 사건의 사실과 결합하여 논리적이고 전문적이며 법적으로 타당한 최종 요리를 만들어야 합니다.

현재 이 작업을 시도하는 컴퓨터들은 종종 두 가지 큰 실수를 저지릅니다: 존재하지 않는 법률을 착각하여 잘못된 재료를 가져오거나 (할루시네이션), 재료를 논리적으로 전혀 맞지 않는 방식으로 조리합니다.

이 논문은 이러한 문제들을 해결하도록 설계된 새로운 컴퓨터 시스템인 Judge-R1을 소개합니다. 이는 최적의 법률 작성가가 되기 위해 두 단계의 훈련 과정을 거치는 "수퍼 셰프"로 생각할 수 있습니다.

단계 1: "현명한 쇼핑러" (에이전트 기반 법률 정보 수집)

작성 전에 시스템은 올바른 법률을 찾아야 합니다.

• 기존 방식: "나쁜 일이 발생했다"와 같은 모호한 설명을 검색 엔진에 입력하는 쇼핑러를 상상해 보세요. 그들은 방대하지만 대부분 관련이 없거나 약간 잘못된 결과들을 얻게 됩니다.
• Judge-R1 방식: 이 시스템은 현명한 쇼핑러 에이전트를 사용합니다. 단순히 검색하는 대신, 이 에이전트는 탐정처럼 행동합니다. 범죄의 복잡한 이야기를 "절도에 대한 법률은 무엇인가?", "이 특정 금액에 대한 형량은 무엇인가?"와 같은 구체적인 질문으로 분해합니다. 그런 다음 필요한 정확한 법령과 과거 판례를 찾기 위해 여러 "가게"(법률 데이터베이스) 로 이동합니다.
• 결과: 노이즈를 필터링하여 완벽한 고품질의 법적 증거 바구니를 가져옵니다. 이렇게 하면 판사가 조리를 시작하기 전에 올바른 "재료"를 확보하게 됩니다.

단계 2: "엄격한 음식 비평가" (규범 기반 최적화)

시스템이 재료를 확보하면 판결문을 작성해야 합니다.

• 기존 방식 (지도 미세 조정): 1,000 개의 양호한 에세이 예시를 보여给学生하여 작문을 가르치는 것을 상상해 보세요. 학생은 완벽하게 스타일과 형식을 모방하는 법을 배웁니다. 그러나 그들은 에세이의 외관만 모방할 뿐 규칙을 이해하지 못하기 때문에 논리적 오류를 범하거나 사실을 지어낼 수 있습니다.
• Judge-R1 방식: 초기 스타일 훈련 후, 시스템은 "강화 학습" 단계에 들어갑니다. 여기서 시스템은 다양한 판결문 버전을 작성하는 게임을 합니다.
  • 엄격한 음식 비평가(디지털 규범) 가 모든 버전을 맛봅니다.
  • 비평가는 단어의 화려함만 보지 않습니다. *올바른 법률을 사용했는가? 벌금 계산은 정확한가? 논리는 타당한가? 너무 많이 반복했는가?*를 확인합니다.
  • 판결문이 법적으로 잘못되면 시스템은 "나쁜 점수"를 받습니다. 완벽하면 "좋은 점수"를 받습니다.
  • 시스템은 이러한 점수들을 학습하여 "레시피"를 지속적으로 조정하며, 단순히 잘 쓰인 것이 아니라 법적으로 정확하고 논리적으로 빈틈없는 판결문을 일관되게 생산할 때까지 학습합니다.

최종 결과

이 논문은 JuDGE라는 표준 법률 테스트를 사용하여 이 "수퍼 셰프"를 다른 최상위 컴퓨터 시스템들과 비교 테스트했습니다.

• 재료 찾기: Judge-R1 은 이전 시스템들보다 훨씬 정확하게 법률을 찾았습니다. 이전 시스템들은 종종 핵심 세부 사항을 놓치거나 관련 없는 것들을 가져왔습니다.
• 판결문 작성: Judge-R1 이 생성한 최종 문서들은 법적 결론이 더 정확했고, 지어낸 인용이 적었으며, 경쟁 시스템들보다 법원이 요구하는 엄격한 논리적 구조를 더 잘 따랐습니다.

요약하자면, Judge-R1 은 단순히 변호사처럼 말하려고 하지 않습니다. 진실을 찾기 위한 현명한 검색 전략과 논리가 견고한지 확인하는 엄격한 채점 시스템을 사용하여, 법적 판결을 생성하는 훨씬 더 신뢰할 수 있는 도구를 만들어냅니다.