ArguGenCourt: Courtroom Argument Generation using Judicial Multi-agent Large Language Models

법조계의 치열한 세계에서 판사의 결정은 단순히 파일을 읽는 고독한 행위가 아니다. 그것은 역동적이고 때로는 긴장감이 흐르는 대화의 정점이다. 사건은 사실관계와 함께 시작되지만, 명확성을 추구하는 판사와 사건을 제기하는 청원인, 그리고 이에 맞서 방어하는 피청원인이라는 두 대립하는 측 사이의 주고받는 상호작용에 의해 형상화된다. 수십 년 동안 연구자들은 컴퓨터에게 이러한 법적 공방의 결과를 예측하도록 가르치기 위해 노력해 왔다. 그들은 알고리즘이 특정 판결로 이어지는 패턴을 포착할 수 있기를 바라며 기계에 방대한 과거 판례 라이브러리를 입력했다. 그러나 이러한 시도 대부분은 법을 정적인 퍼즐처럼 취급하여, 사건의 서술된 사실에만 집중한 나머지 법정에서 일어나는 살아있는 논쟁을 간과했다. 그들은 최종 결정이 종종 변호사가 판사의 질문에 응답하고 상대방의 주장에 반박하며 실시간으로 논점을 얼마나 잘 논증할 수 있는지에 달려 있다는 사실을 대체로 무시해 왔다.

이러한 이해의 공백을 메우고자 인도와 글래스고 대학교의 연구진이 협력했다. 그들은 단순하지만 심오한 질문을 던졌다. 인공지능가 단순히 사건을 읽는 것을 넘어, 법정의 대화를 실제로 시뮬레이션할 수 있는가? 이를 확인하기 위해 그들은 서로 다른 법적 역할을 수행하는 컴퓨터 프로그램들이 서로 대화할 수 있는 디지털 환경을 구축했다. 그들은 단순히 컴퓨터가 승자를 맞히기를 원한 것이 아니라, 실제 재판에서 요구되는 미묘함, 전략, 그리고 대응력을 갖춘 채 실제 변호사가 할 법한 논거를 컴퓨터가 생성할 수 있는지 확인하고자 했다. 그들의 목표는 변호사가 예상치 못한 질문에 대비하거나 법대생들이 안전하고 현실적인 환경에서 연습할 수 있도록 돕는 동시에, 이러한 디지털 대화가 법적 결과 예측의 정확도를 실제로 향상시킬 수 있는지 테스트하는 시스템을 만드는 것이었다.

연구진은 세 명의 인공지능 에이전트로 구성된 가상 법정을 구현한 'ArguGenCourt'라는 시스템을 만들었다. 한 에이전트는 판사 역할을, 다른 하나는 청원인 역할을, 세 번째는 피청원인 역할을 맡는다. 모든 사고를 하나의 컴퓨터 프로그램이 처리하도록 했던 이전의 시도들과 달리, 이 설정은 에이전트들이 상호작용하도록 강제한다. 판사는 사건의 세부 사항을 바탕으로 질문을 던지고, 청원인과 피청원인은 자신의 입장을 옹호하거나 상대방의 주장에 이의를 제기하는 답변을 구성해야 한다. 이 시스템은 대화의 흐름을 기억하도록 설계되어, 판사가 후속 질문을 던졌을 때 변호사들의 답변이 이전에 말한 내용과 일관성을 유지하도록 보장한다. 이는 변호사가 판사의 구체적인 우려 사항을 해결하지 않은 채 단순히 기존의 논점을 반복할 수 없는 실제 재판의 연속성을 모방한다.

이 디지털 변호사들을 효과적으로 만들기 위해 연구진은 그들에게 논쟁하는 법을 가르쳐야 했다. 그들은 AI에게 좋은 논거의 예시를 제공하는 다양한 방법을 실험했다. 한 가지 방법은 단순히 사건의 사실관데를 제공하고 발언하도록 요청하는 것으로, '제로샷 학습(zero-shot learning)'이라 알려진 기술이다. 또 다른 접근 방식은 현재 다루고 있는 사건과 유사한 과거 사례의 예시를 AI에게 보여주는 것이었다. 연구진은 가장 성공적인 전략이 '국소적 선례 검색(local precedent retrieval)'이라고 부르는 방법을 사용하는 것임을 발견했다. 이 접근 방식에서 시스템은 1,428개의 과거 대법원 판례 데이터베이스를 스캔하여 현재 사건과 가장 유사한 사례를 찾아낸다. 그런 다음 그 유사한 과거 재판에서 변호사들이 실제로 했던 발언을 추출하여 현재의 대화에 대한 가이드로 사용한다. 이는 마치 변호사가 자신과 똑같은 사건이 있었던 사례의 노트를 들고 법정에 들어서서, 그 실제 사례들을 활용해 자신의 논거를 형성하는 것과 같다.

이 시뮬레이션의 결과는 놀라웠다. 연구진이 다중 에이전트 시스템이 생성한 논거를 실제 법정의 기록과 비교했을 때, 국소적 선례 검색을 사용하는 시스템이 더 단순한 방법으로 생성된 논거보다 현저히 우수하다는 것을 발견했다. AI에게 아무런 예시를 주지 않은 기본 방식에 비해 논거의 품질이 약 12% 향상되었다. 시스템은 단순히 법률 용어처럼 보이는 텍스트를 생산한 것이 아니라, 실제 법적 추론과 의미론적으로 일치하는 논거를 생산했다. 이를 측정하기 위해 연구진은 'ArguEval'이라는 새로운 평가 도구를 개발했다. 이 도구는 법률에서 오해의 소지가 있는 단어 일치 여부를 단순히 세는 것이 아니라, 컴퓨터의 논거가 실제 인간 변호사의 논거와 의미 및 의도가 일치하는지를 분석한다. 평가 결과, 판사, 청원인, 피청원인이 서로 대화하는 다중 에이전트 시스템이 단일 에이전트가 모든 것을 혼자 수행하려 하는 시스템보다 일관되게 뛰어난 성능을 보였다.

그러나 이 시스템의 진정한 시험대는 단순히 얼마나 그럴듯하게 들리는가가 아니라, 실제로 법적 문제를 해결하는 데 도움이 될 수 있는지였다. 연구진은 AI 법정에서 생성된 논거를 사용하여 사건의 최종 판결을 예측하는 작업의 입력값으로 사용했다. 그들은 풍부한 시뮬레이션 대화를 예측 모델에 입력하는 것이 단순히 가공되지 않은 사실만을 제공했을 때보다 결과를 맞히는 데 더 유리할지 확인하고자 했다. 결과는 그들의 가설을 확인해주었다. 다중 에이전트 시뮬레이션을 통해 생성된 논거에 의해 예측 모델이 유도되었을 때, 판결을 예측하는 정확도가 기본 방식보다 14% 향상되었다. 이는 논거의 품질이 매우 중요하다는 점을 시사한다. 재판의 정적인 사실뿐만 아니라 주고받는 상호작용을 이해하는 컴퓨터는 판사가 어떻게 판결할지에 대해 훨씬 더 정확한 예측을 할 수 있다.

또한 이 연구는 시뮬레이션 내 특정 역할의 중요성을 강조했다. 연구진은 에이전트들이 서로 협력하고 반응하도록 허용했을 때, 이들이 고립되어 작동할 때보다 법적 추론의 복잡성을 훨씬 더 잘 포착한다는 것을 발견했다. 예를 들어, 판사 에이전트는 청원인과 피청원인이 자신들의 논점을 정교화하도록 만드는 명확한 질문을 던질 수 있었고, 이는 더욱 탄탄한 논거로 이어졌다. 이러한 역동적인 상호작용은 결정적이었다. 이는 법적 결정으로 가는 길이 사실에서 판결로 이어지는 직선이 아니라, 질의와 응답이 얽힌 구불구불한 길임을 입증했다. 이 경로를 시뮬레이션함으로써 연구진은 인공지능이 단순한 패턴 매칭을 넘어 인간의 법적 실무를 반영하는 형태의 추론에 참여할 수 있음을 보여주었다.

시스템이 큰 가능성을 보여주었지만, 연구진은 그 한계점을 주의 깊게 언급했다. 시뮬레이션은 미국 대법원 데이터를 사용하여 수행되었으며, 논거는 강력하긴 하지만 여로 인간 사고의 시뮬레이션인 거대 언어 모델에 의해 생성되었다. 이 연구는 이러한 AI 에이전트들이 인간 변호사나 판사를 대체할 수 있다고 주장하는 것이 아니다. 대신, 이 시스템을 준비와 교육을 위한 도구로 위치시켰다. 현실적인 반론을 생성하는 능력은 현직 변호사들이 판사가 던질 수 있는 질문이나 상대방이 제기할 수 있는 논점을 예측하는 데 도움을 줄 수 있다. 법대생들에게는 실제 법정의 압박 없이 현실적인 환경에서 연습할 수 있는 방법을 제공한다. 연구진은 이러한 도구가 더 많은 법 영역을 다루도록 확장되고 더 깊은 법적 지식 베이스와 통합되어, 법의 이론적 연구와 실무적 적용 사이의 간극을 메울 수 있는 미래를 구상하고 있다.

궁극적으로 이 작업은 법 분야에서 인공지능을 생각하는 방식의 변화를 나타낸다. 이는 단순히 사건의 결과를 예측하는 것에서 벗어나, 그 결과로 이어지는 과정 자체를 이해하는 데 초점을 맞춘다. 법정의 대화를 시뮬레이션하는 시스템을 구축함으로써, 연구진은 논거의 품질이 사실 그 자체만큼 중요하다는 것을 보여주었다. 연구 결과는 기계가 법을 진정으로 이해하기 위해서는 단순히 읽는 것이 아니라 논쟁하는 법을 배워야 한다는 점을 시사한다. 기술이 발전함에 따라, 이러한 디지털 법정은 법적 추론의 복잡성을 탐구하고 차세대 법조인들을 법정의 현실에 대비시키는 데 있어 귀중한 파트너가 될 수 있다.