Investigating Multi-Agent Deliberation in Law

기술 요약: 법률 분야에서의 다중 에이전트 숙의(Multi-Agent Deliberation) 연구

문제 제기
법률적 추론에 대규모 언어 모델(LLM)을 적용하는 사례가 증가하고 있으나, 현재의 접근 방식은 주로 단일한 서사를 생성하는 모놀리식(monolithic) 모델에 의존하고 있다. 이러한 "단편적인" 추론은 시야 협착(tunnel vision)의 위험을 초래하여, 잠재적으로 대안적 해석을 간과하거나 덜 견고한 결론을 도출할 수 있다. 법률적 추론은 본질적으로 논쟁적이고 숙의적이며, 상충하는 논거를 검토하고 다양한 관점을 조화시키는 과정을 포함한다. 다중 에이전트 시스템(MAS)은 다른 영역에서 탐구되어 왔으나, 법률적 숙의를 위한 이들의 잠재력은 여전히 미개척 상태로 남아 있다. 본 연구가 다루는 핵심 문제는 다중 에이전트 숙의(MAD) 프레임워크가 경쟁하는 관점들을 명시적으로 모델링함으로써 법률 추론 과업을 개선할 수 있는지, 그리고 법률에서 영감을 받은 아키텍처가 표준 단일 모델 베이스라인보다 우수한 성능을 보이는지 여부이다.

방법론
저자들은 다섯 가지 벤치마크(네 가지 법률 추론 과업 및 한 가지 논리 추론 과업)에 걸쳐 네 가지의 뚜렷한 프레임워크를 평가하였다. 데이터셋은 LEXAM(법학 대학원 시험), COLIEE(일본 민법 함의), SARA(미국 연방 세법), PRIVACY(개인정보 보호 정책 조항 분석), LOGIQA(논리적 추론)를 포함한다. 모든 과업은 이진 '예(yes)'/'아니오(no)' 분류로 변환되었다.

비교된 프레임워크는 다음과 같다:

1. 베이스라인(Baseline): 정답과 짧은 설명을 제공하는 표준 단일 LLM 호출.
2. 다중 에이전트 숙의(MAD): 세 개의 에이전트가 독립적으로 예측을 생성한 후, 서로의 응답에 대해 두 차례의 성찰(reflection) 과정을 거치고 최종 답변을 다수결로 결정하는 표준 프레임워크. 이는 질문당 9회의 모델 호출을 필요로 한다.
3. 3-Ply 프레임워크: 법정 절차에서 영감을 받은 새로운 아키텍처. 원고(‘예’를 주장), 피고(‘아니오’를 주장), 판사라는 세 명의 에이전트를 운용한다. 과정은 원고의 초기 주장, 피고의 반론, 그리고 원고의 재반박으로 구성된다. 판사는 논거의 타당성에 근거하여 최종 결정을 내린다. 이는 4회의 모델 호출을 필요로 한다.
4. Parrots 프레임워크: 논증 이론에 기반한 새로운 아키텍처. "Alex" 에이전트(주요 예측자 역할)가 네 명의 "parrot" 에이전트와 대화를 나눈다. 각 parrot 에이전트는 특정 비판적 관점을 채택한다: 소크라테스적(가정에 도전), 냉소적(논거에 반박), 절충적(대안적 해석 제공), 아리스토텔레스적(논리적 강도 평가). Alex는 최종 답변을 확정하기 전 최대 3회까지 대화에 참여할 수 있다. 이는 3회에서 7회 사이의 모델 호출을 필요로 한다.

실험에는 2-shot 프롬프팅(유사한 사례 검색을 위한 BM25 활용)을 적용한 OpenAI의 GPT-5-mini 모델이 사용되었다. 연구는 F1 점수뿐만 아니라 프레임워크 간의 이견(disagreement)의 성격과 정당화(justification)의 품질도 분석하였다.

주요 기여

• 새로운 프레임워크: 본 논문은 법률에서 영감을 받은 두 가지 다중 에이전트 프레임워크인 3-Ply 모델(대립적인 법정 역할을 시뮬레이션)과 Parrots 모델(논증 이론에 기반한 구조화된 비판적 대화를 활용)을 소개한다.
• 경험적 평가: 다양한 법률 및 논리 추서 데이터셋을 통해 표준 베이스라인 및 일반적인 MAD 설정과 비교하여 이 프레임워크들을 종합적으로 평가하였다.
• 질적 분석: 문언적 해석(literal interpretation)과 실용적 해석(pragmatic interpretation)의 조율이 필요한 모호한 사례들을 다중 에이전트 시스템이 어떻게 처리하는지에 대한 상세한 조사를 수행하였다.

결과

• 성능: 다중 에이전트 프레임워크는 모놀리식 베이스라인에 비해 전반적인 F1 점수에서 유의미하게 높은 성과를 달성하지 못했다. 데이터셋 전반에 걸친 평균 성능 차이는 미미했다(1.5포인트 이내).
• 발산적 추론(Divergent Reasoning): 집계된 점수는 유사했음에도 불구하고, 프레임워크들은 현저히 다른 결정 패턴을 보였다(McNemar 검정, p < 0.001).
• 상호 보완적 강점: 다중 에이전트 프레임워크는 베이스라인이 해결하지 못한 하위 사례 집합을 성공적으로 해결했다(이견의 42.6%에서 51.9% 범위). 특히, Privacy 데이터셋에서 다중 에이전트 프레임워크는 베이스라인이 놓친 많은 사례를 해결한 반면, 베이스라인은 다중 에이전트 프레임워크가 놓친 사례를 전혀 해결하지 못했다.
• 질적 우월성: 모호한 조항(예: "위치 정보 데이터"에 WiFi 데이터를 포함하는지 여부)을 다루는 경우, 3-Ply와 Parrots 프레임워크는 더 정교하고 법률적으로 정보가 풍부한 논거를 제시하는 탁월한 능력을 보여주었다. 이들은 문언적 해석과 실용적 해석 사이의 균형을 성공적으로 맞추었으나, 베이스라인은 명시적인 텍란 언급이 부족하여 자주 실패하였다.
• 자원 비용: 다중 에이전트 접근 방식은 베이스라인(1회 호출)에 비해 훨씬 많은 모델 호출(3~9회)을 요구하며, 숙의 단계의 증가와 F1 점수 향상 사이에는 명확한 상관관계가 나타나지 않았다.

의의 및 주장
저자들은 다중 에이전트 시스템을 단순한 정확도 향상이 아닌, 구별되고 상호 보완적인 추론을 생성할 수 있는 능력 측면에서 법률 분야의 유망한 방향으로 제시한다. 본 논문의 주장은 다음과 같다:

1. 관점의 다양성: 다중 에이전트 접근 방식은 문언적 해석과 실용적 해석을 저울질해야 하는 모호한 법률 조항 해결과 같이 여러 관점에서의 비판적 사고를 요구하는 과업에 더 적합하다.
2. 견고성: 경쟁하는 관점들을 명시적으로 모델링함으로써, 이러한 시스템은 모놀리식 모델이 접근할 수 없는 형태의 추론을 포착하여 잠재적으로 "시야 협착"을 줄일 수 있다.
3. 정당화 품질: 다중 에이전트 출력물은 더 풍부한 정당화를 제공하며, 이는 분쟁 해결 과정에서 보다 효과적인 인간-AI 협업을 촉진할 수 있다.
4. 한계점: 연구는 환각(hallucinations)이 구조적 한계임을 인정하며, 계산 비용의 증가가 현재로서는 전반적인 성능 향상으로 직결되지 않는다는 점을 밝힌다. 저자들은 향-기호적(neuro-symbolic) 접근법을 탐구하여 공식적인 논증 방법을 통합하고, 에이전트 그룹 내의 아첨(sycophancy) 현상을 완화하는 방안을 조사할 것을 제안한다.

본 논문은 다중 에이전트 숙의가 정확도 측면에서 단일 모델을 반드시 능가하지는 않더라도, 대안적인 결론을 탐색하고 법률적 논증의 내재적 복잡성을 다루는 데 있어 가치 있는 메커니즘을 제공한다고 결론짓는다.