💻 computer science

LGAgent: A Structured and Rule-Guided Multi-Agent Framework for Interpretable Legal Reasoning

LGAgent는 다양한 규모의 LLM 간의 협업적 상호작용을 활용하여 전문적인 법률 워크플로우를 모방함으로써, 표준적인 단일 모델 방식에 비해 해석 가능하고 검증 가능하며 우수한 판결 추론을 제공하는 구조화되고 규칙 기반인 멀티 에이전트 프레임워크입니다.

원저자: Xin Feng, Feng Shu, Manjia Feng, Yi Feng, Haoming Liu

게시일 2026-07-08

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xin Feng, Feng Shu, Manjia Feng, Yi Feng, Haoming Liu

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 까다로운 법률 수수께끼, 예를 들어 법학 시험의 객관식 문제와 같은 것을 풀려고 한다고 상상해 보십시오. 만약 당신이 표준적인 초지능형 AI(즉, "대규모 언어 모델")에게 이를 해결하라고 요청한다면, 그 모델은 단순히 단어의 느낌에 따라 답을 추측하거나, 틀렸더라도 그럴듯한 이야기를 지어낼 수도 있습니다. 이는 마치 증거를 먼저 확인하지 않고 범죄를 해결하려는 유능하지만 충동적인 형사에게 맡기는 것과 같습니다. 운 좋게 맞출 수는 있겠지만, 세부 사항을 놓치는 경우가 많습니다.

이 논문은 이 단일 탐정을 구조화된 법률 팀으로 업그레이드하는 것과 같은 LGAgent를 소개합니다. 업무를 한 사람이 모두 수행하는 대신, LGAgent는 세 가지 구체적인 역할을 부여하여 이들이 유기적으로 협력함으로써 정답이 정확하고 논리적이며 사실에 근거하도록 보장합니다.

이 팀이 어떻게 작동하는지 쉬운 비유를 통해 설명하겠습니다.

LGAgent 팀의 세 가지 역할

1. 사건 분석가 (변호사 A): "해체 전문가"
이 에이전트는 아직 정답에는 관심이 없는 꼼꼼한 사서와 같습니다. 이들의 유일한 임무는 복잡한 법률 문제를 깔끔하고 조직적인 조각들로 분해하는 것입니다. 이들은 핵심 사실을 식별하고, 선택지에 있는 까다로운 "함정" 단어들을 찾아내며, 문제의 명확한 지도를 만듭니다. 이들은 추측하지 않습니다. 그저 다른 사람들이 무엇을 보고 있는지 정확히 알 수 있도록 퍼즐 조각을 정리할 뿐입니다.

2. 판사: "교통 경찰"
이 에이전트는 프로세스의 총책임자입니다. 사건 분석가가 정리된 지도를 전달하면, 판사는 다음과 같이 결정합니다: "법률을 더 찾아봐야 하는가?" 또는 "설명이 필요한가?"

팀이 확신을 가지면, 판사는 "진행하세요, 답을 고르세요"라고 말합니다.
만약 팀이 불확실하거나 증거가 부족하다면, 판사는 "멈추세요! 법전을 다시 확인해야 합니다" 또는 "혼란을 해소하기 위해 구체적인 질문을 던집시다"라고 말합니다.
판사는 팀이 성급하게 결론을 내리지 않고 엄격한 규칙을 따르도록 보ens합니다. 마치 실제 법정에서처럼 말입니다.

3. 의사 결정자 (변호사 B): "2단계 해결사"
이 에이전트는 실제로 최종 답을 선택하는 역할을 하지만, 두 가지 뚜렷한 단계로 수행합니다.

1단계 (직관 확인): 추가적인 규칙이나 증거를 보기 전에, 이미 알고 있는 지식을 바탕으로 빠르게 "맹목적인" 추측을 합니다. 또한 자신의 확신 정도(예: "60% 확신함")를 밝힙니다.
2단계 (증거 확인): 이제 분석가가 만든 정리된 지도와 판사의 지시를 따릅니다. 모든 선택지를 사실과 대조하여 검증합니다. 이들은 스스로에게 묻습니다: "이 선택지는 증거가 있는가? 틀린 내용인가? 아니면 정보가 부족한가?"
루프(Loop): 만약 일부 선택지에 대한 정보가 부족하거나(또는 초기 확신도가 너무 낮으면), 판사는 "명확화 루프"를 실행합니다. 팀은 판사에게 더 구체적인 가이드를 요청하고, 다시 확인하며, 확신이 생길 때까지 이 과정을 반복합니다.

이 접근 방식이 특별한 이유

이 논문은 이러한 "팀워크" 방식이 일반적인 단일 AI가 직면하는 세 가지 큰 문제를 해결한다고 주장합니다.

"블랙박스"식 추측의 종말: AI가 단순히 답을 내뱉는 대신, LGAgent는 자신의 작업 과정을 보여줍니다. 분석가가 어떻게 문제를 해체했는지, 판사가 어떻게 프로세스를 제어했는지, 그리고 의사 결정자가 어떻게 증거를 검증했는지 직접 확인할 수 있습니다. 이는 단순히 최종 점수만 보는 것이 아니라 경기의 재방송을 보는 것과 같습니다.
"환각(Hallucination)" 현상 방지: 표준 AI는 똑똑해 보이기 위해 때때로 사실을 지어내곤 합니다. LGAgent는 시스템이 무언가를 모를 때 가짜 사실을 만들어내는 대신, "정보 부족"이라고 인정하도록 강제합니다.
더 저렴하고 스마트함: 이 논문은 가장 비싸고 거대한 슈퍼컴퓨터 AI를 사용하지 않고도 훌륭한 결과를 얻을 수 있음을 보여줍니다. 이 구조화된 팀 방식을 사용하면, 훨씬 작고 저렴한 AI 모델로도 훨씬 크고 비싼 모델보다 뛰어난 성능을 낼 수 있습니다. 이는 혼자서 모든 것을 하려는 거대하고 비싼 장군 한 명보다, 완벽하게 소통하는 작은 전문가 팀을 두는 것과 같습니다.

결과

연구진은 이 시스템을 실제 중국 법률 시험 문제에 테스트하였으며, 다음과 같은 결과를 얻었습니다:

더 뛰어난 성능: 이 팀은 매우 똑똑한 단일 AI 모델들보다 일관되게 더 많은 문제를 맞혔습니다.
범용성: 단순히 한 종류의 법률에만 국한되지 않고, 테스트한 모든 법률 주제 전반에서 성능이 향 향상되었습니다.
비용 절감: 이 팀 구조 내에서 더 작고 저렴한 AI 모델을 사용할 수 있었기 때문에, 거대하고 비싼 모델을 사용하는 비용의 아주 적은 부분만으로도 높은 정확도를 달af성했습니다.

요약하자면, LGAgent는 복잡한 법률의 세계에서는 순수한 지능 그 자체보다 구조와 팀워크가 승리한다는 것을 증 증명합니다. AI가 문제를 해체하고, 프로세스를 제어하며, 증거를 검증하는 엄격한 규칙 기반 워크플로우를 따르도록 강제함으로써, 이 시스템은 더 똑똑할 뿐만 아니라 더 신뢰할 수 있고 이해하기 쉬운 시스템을 만들어냅니다.

기술 요약: LGAgent

문제 정의

대규모 언어 모델(LLM)은 일반적인 추론 능력에서 강력한 역량을 보여주지만, 법률적 판결의 엄격한 구조적 요구사항에는 어려움을 겪습니다. 현재의 단일 모델 접근 방식은 문제 분해, 프로세스 제어, 단계별 검증을 명시적으로 분리하지 못하는 경우가 많아, 법률 워크플로우에 필요한 해석 가능성이 결여된 "블랙박스"형 추론으로 이어집니다. 또한, 표준 LLM은 빈번하게 환각 현상, 논리적 불일치, 공식적인 판결 구조를 준수하지 못하는 문제를 보입니다. 기존의 멀티 에이전트 시스템은 자유 형식의 토론이나 암묵적인 수렴 기준에 의존하는 경우가 많으며, 이는 재현 가능하고 감사 가능한 법률 추론에 필요한 결정론적 실행 로직이 부족합니다. 아울러, 이러한 시스템 내의 서로 다른 하위 모듈들의 구체적인 기여도를 평가하기 위한 체계적인 평가 프레임워크도 부재한 실정입니다.

방법론

저자들은 전문적인 법률 워크플로우를 모사하도록 설계된 구조화되고 규칙 기반인 멀티 에이전트 프레임워크인 LGAgent를 제안합니다. 이 시스템은 소규모 LLM을 추론 백본(backbone)으로 활용하여, 특화된 에이전트들과 협력함으로써 해석 가능한 법률 추론을 수행합니다. 프레임워크는 세 가지 뚜렷한 역할을 관리하는 결정론적 오케스트레이터를 통해 작동합니다:

변호사 A (구조적 옵션 분해):
- 입력된 법률 질문과 선택지에 대해 구조 우선 분석을 수행하는 "쟁점 포착자(Issue Spotter)" 역할을 합니다.
- 옵션 수준의 주장, 법률 키워드, 잠재적 함정 신호를 포함하는 구조화된 옵션 정렬 스캐폴드(JSON 형식)를 생성합니다.
- 결정적으로, 이 에이전트는 답변 선호도를 인코딩하지 않으므로, 분해가 중립적이고 검증 가능한 상태를 유지하도록 보장합니다.
판사 (프로세스 컨트롤러):
- 정보 검색 게이팅(retrieval gating) 및 의사결정 가이드를 담당하는 중앙 프로세스 컨트롤러 역할을 합니다.
- 변호사 A가 생성한 스캐폴드를 평가하여, 엄격한 검색 게이트(need_retrieval)와 구체적인 증거 요구사항을 포함한 결정론적 제어 신호를 생성합니다.
- 현재 연구에서는 외부 검색 기능이 비활성화되어 있으며, 대신 판사는 백본 모델의 내부 파라미터 지식으로부터 명시적인 법률 조항을 이끌어내어 이를 "증거"로 활용합니다.
- 명시적인 규칙에 따라 명확화가 필요한 시점을 결정하며 상호작용 루프를 관리합니다.
변호사 B (2단계 의사결정 및 검증):
- 엄격한 2단계 프로토콜을 실행합니다:
  - 단계 B0 (맹목적 답변): 구조화된 스캐폴드나 증거에 접근하지 않은 상태에서 초기 답변과 신뢰도 점수( $c_0$ )를 생성합니다.
  - 단계 B1 (증거 인지 검증): 구조화된 스캐폴드, 판사의 제어 신호, 그리고 가용한 증거를 바탕으로 옵션들을 재평가합니다. 각 옵션에 대해 SUPPORT(지지), REFUTE(반박), 또는 NEI(정보 부족)라는 명시적인 상태를 부여합니다.
- 유계 다회차 상호작용 (Bounded Multi-Turn Interaction): 결정론적인 "대화 트리거 규칙"이 추가 상호작용을 규제합니다. 만약 NEI 옵션의 비율이 임계값( $\tau_1 = 0.5$ )을 초과하거나 초기 신뢰도가 낮을 경우( $c_0 < \tau_2 = 0.6$ ), 불확실성을 해소하기 위해 변호사 B와 판사 간의 유계된 명확화 루프(최대 2라운드)를 활성화합니다.

이 프레임워크는 미세 조정(fine-tuning) 대신 프롬프트 엔지니어링과 역할별 시스템 지침에 의존하는 학습 불필요(training-free) 설계를 특징으로 합니다. 또한, 구성 요소의 기여도를 평가하기 위한 자동화된 절제 연구(ablation pipeline)를 갖춘 플러그 앤 플레이 디자인을 채택하고 있습니다.

주요 기여

새로운 프레임워크: 구조화된 사례 분해, 프로세스 수준의 제어, 증거 인지 검증을 통합한 통합적이고 감사 가능한 파이프라인을 제시합니다.
명시적 규칙 기반 메커니즘: 자유 형식의 토론을 규칙 기반 검증으로 대체하여, 결정론적 제어 신호와 정량화된 불확실성에 의해서만 트리거되는 유계된 다회차 상호작용 루프를 도입했습니다.
포괄적 평가: 다양한 법률 벤치마크에서 강력한 단일 에이전트 베이스라인보다 일관된 개선을 입증하는 자동화된 절제 연구를 포함한 평가 프로토콜을 구축했습니다.
비용 효율적 성능: 명시적인 역할 경계와 해석 가능한 제어 신호를 강제함으로써 견고성과 신뢰성을 크게 향提升하며, 첨단 프런티어 모델과 비교하여 훨씬 낮은 추론 비용으로 경쟁력 있는 정확도를 달-성함을 입증했습니다.

실험 결과

프레임워크는 세 가지 중국 법률 벤치마크인 JEC-QA(국가 사법 시험), LexGenius(세밀한 진단 데이터셋), CAIL2022(사법 시험 트랙)에서 평가되었습니다.

성능 향상: LGAgent는 다양한 모델 제품군(4B 규모부터 DeepSeek-R1, GPT-4o와 같은 대규모 모델까지)에 걸쳐 직접 답변 베이스라인 및 CoT(Chain-of-Thought) 베이스라인을 유의미하게 능가했습니다. 예를 들어, LexGenius 데이터셋에서 DeepSeek-R1을 사용한 LGAgent는 86.97%의 EM을 달성하여 CoT 베이스라인 대비 +17.39의 향상을 기록했습니다.
견고성: 프레임ok의 LexGenius 내 7가지 모든 법률 차원(예: 법률 이해, 추론, 적용, 윤리 등)에서 일관된 긍정적 이득을 보여주었으며, 이는 도메인 특화된 과적합이 아닌 일반화 능력을 나타냅니다.
절제 연구 (Ablation Studies): 단일 구성 요소(변호사 A, 판사, 또는 다회차 루프)를 제거할 경우 성능 저하가 발생하였으며, 이는 시스템이 단일 지배적 모듈이 아닌 상호 보완적인 협업에 의존함을 확인시켜 줍니다.
비용-편익 분석: 소규모 또는 중간 비용의 백본(예: Qwen2.5-7B, GLM-4-Air)을 사용한 LGAgent 설정은 독점적인 프런티어 모델(예: Gemini-3.1-pro-preview, GPT-5.2)과 대등하거나 이를 상회하는 정확도를 달성하면서도, 질문 1,000개당 추론 비용을 약 85% 절감했습니다 (예: $0.29 vs. $3.16).

의의

본 논문은 LGAgent가 표준 LLM의 암묵적이고 해석 불가능한 추론과 법률 실무의 엄격하고 구조적인 요구사항 사이의 결정적인 간극을 해결한다고 주장합니다. 상호작용 프로토콜에 절차적 엄격함을 직접 내재화함으로써, 이 프레임워크는 추론 단계가 명시적이고 기계가 파싱 가능한 규칙에 의해 제어되도록 보장합니다. 이러한 접근 방식은 AI 지원 법률 추론의 견고성, 해석 가능성 및 확장성을 높이는 실행 가능한 경로를 제공합니다. 나아가, 이는 높은 수준의 추론 성능이 원시 파라미터 규모와 분리될 수 있음을 보여주며, 추가적인 지도 학습 없이도 사법 시험 문제 풀이 및 복잡한 사건 분석과 같은 실제 법률 시나리오에서 비용 효율적인 배포를 가능하게 합니다.