Persuadability and LLMs as Legal Decision Tools

Oisin Suttle 와 David Lillis 의 논문 "Persuadability and LLMs as Legal Decision Tools (설득 가능성과 법적 결정 도구로서의 대규모 언어 모델)"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

이 논문은 대규모 언어 모델 (LLM) 을 법적 결정자 또는 보조 도구로 배포하는 데 있어 중요한 과제를 다룹니다. 사법 및 행정 결정의 근본적인 요구 사항은 **설득 가능성 (persuadability)**입니다. 즉, 대립하는 당사자들의 주장에 참여하고 영향을 받을 수 있는 능력을 의미합니다. 그러나 다음과 같은 긴장 관계가 존재합니다.

• 너무 경직된 경우: 설득될 수 없는 결정자는 새로운 증거나 주장을 고려하지 못합니다 (이는 audi alteram partem (상대방의 변론을 경청하라) 원칙을 위반합니다).
• 너무 유연한 경우: 부적절하게 설득 가능한 결정자는 사건의 법적 타당성보다는 변호사의 수사적 기술에 기반하여 결정을 내릴 수 있습니다.

저자들은 최첨단 LLM 이 이러한 긴장 관계를 극복할 수 있는지 조사합니다. 구체적으로 다음과 같은 질문을 던집니다: LLM 은 법적 사건의 객관적 타당성보다는 주장을 생성하는 변호사의 "품질"(또는 신원) 에 어느 정도 영향을 받는가?

2. 방법론

저자들은 **Advocates(변호사, 주장 생성), Judge(판사, 사건 결정), Scenarios(어려운 법적 질문)**라는 세 가지 역할을 포함하는 삼각 실험 프레임워크를 설계했습니다.

A. 시나리오 ("어려운" 질문)

• 출처: 미국 항소법원, 영국 및 웨일스 항소법원, 아일랜드 대법원의 분할 판결에서 발췌한 15 개의 시나리오.
• 근거: 분할 판결 (이의 의견 포함) 은 단일한 정답이 존재하지 않는 "어려운" 법적 질문을 나타내며, 이는 판단과 설득에 의존하여 결정이 내려짐을 의미합니다.
• 구조: 각 시나리오는 사실 관계와 핵심 법적 질문을 포함합니다.

B. "변호사" 모델 (주장 생성)

상대방을 위해 주장을 생성하기 위해 네 가지 서로 다른 LLM 이 사용되었습니다.

1. OpenAI gpt-4o
2. Google gemini-3-pro-preview (4k 사고 예산)
3. OpenAI gpt-5.1 (낮은 추론 노력)
4. Anthropic Claude Sonnet 4.5 (8k 사고 예산)

프롬프트 전략:
실질적 법적 내용과 수사적 형식을 구분하기 위해 변호사 모델은 두 가지 방식으로 프롬프트되었습니다.

1. 사실만 제공: 사건 사실과 법적 질문만 제공 (모델이 새로운 주장을 생성하도록 강제).
2. 사실 + 원본 주장: 사실과 역사적 사건에서 실제로 제기된 주장의 요약을 함께 제공 (최고의 법적 포인트에 대한 "힌트" 제공).

C. "판사" 모델 (결정 내리기)

• 범위: 20 개의 서로 다른 판사 모델 테스트 (폐쇄형 가중치와 개방형 가중치 혼합, 다양한 크기 및 추론 아키텍처 포함).
• 작업: 각 변호사 모델이 생성한 두 가지 경쟁 주장 (각 측에서 하나씩) 과 시나리오를 바탕으로, 해당 관할권의 법원이 하듯이 사건을 결정해야 함.
• 규모: 각 판사 모델은 1,200 회 테스트됨 (원본 주장 포함 600 회, 미포함 600 회), 총 24,000 회의 시도가 이루어짐.

D. 설득 가능성 지표

저자들은 주장의 품질을 나타내는 대리 변수로서 변호사의 신원을 기반으로 설득 가능성을 정의했습니다.

• 기준선: 판사가 설득 불가능하다면, 어떤 변호사도 무작위 할당 시 50% 의 확률로 승리해야 함.
• 쌍별 설득 가능성 ($p_2$): 두 특정 변호사가 경쟁할 때 50% 기준선에서 벗어난 정도를 측정.
  $$p_2 = \frac{|m_1 - m_2|}{2n}$$
  (여기서 $m$은 각 변호사의 승리 횟수, $n$은 시도 횟수)
• 집단 설득 가능성 ($p_{pop}$): 모든 쌍에서 판사가 특정 변호사 모델을 얼마나 선호하는지에 대한 집계 측정치.

3. 주요 기여

1. 개념적 프레임워크: AI 법적 결정 맥락에서 필수적인 설득 가능성과 부적절한 취약성 사이의 특정 긴장 관계를 규명.
2. 새로운 방법론: 설득자 vs 설득당자라는 이전의 양자적 연구와 달리, 설득 가능성을 측정하기 위한 삼각 "변호사 vs 변호사 vs 판사" 구성을 제안.
3. 최초의 체계적 법적 탐구: 복잡한 법적 추론 맥락에서 LLM 의 설득 가능성에 대한 대규모 실증 연구를 최초로 제공.
4. 오픈 데이터: 재현성을 위해 모든 코드, 프롬프트, 데이터 (15 개 시나리오, 측당 1,200 개의 주장, 24,000 개의 판사 응답) 를 공개.

4. 주요 결과

A. 보편적 설득 가능성

• 모든 모델이 설득 가능: 모든 판사 모델이 통계적으로 유의미한 설득 가능성 ($p < 0.05$) 을 보임.
• 크기: 집단 설득 가능성 ($p_{pop}$) 은 0.08 에서 0.20 사이였음. 이는 변호사의 신원 (즉, 주장의 품질) 이 승률에 무작위 기준선보다 8~21% 를 상회하는 영향을 미친다는 것을 의미함.
• 극단적 사례: 특정 쌍별 비교 (예: 가장 강력한 변호사 vs 가장 약한 변호사) 에서 승률은 63% 에서 90% 이상까지 다양했으며, 이는 일부 모델이 변호사의 신원에 크게 영향을 받음을 시사함.

B. 모델 아키텍처 및 크기

• 크기: 증거는 혼재되어 있음. 일반적으로 같은 계열 내에서 더 큰 모델이 작은 "라이트" 버전 (예: claude-sonnet 대 claude-haiku) 보다 설득 가능성이 낮았음. 그러나 예외도 존재함 (예: gpt-5-nano 는 전체적으로 설득 가능성이 가장 낮은 모델이었음).
• 추론 아키텍처: "사고" 예산을 가진 더 큰 모델들은 일반적으로 설득 가능성이 낮아 주장을 더 비판적으로 평가하는 것으로 보임. 그러나 일부 작은 오픈 모델에서는 이 추세가 반전되어 "추론" 변형 모델이 더 설득 가능했음.

C. 내용 대 형식

• 내용의 중요성: 변호사에게 "원본 주장"(힌트) 을 제공했을 때, 설득 가능성은 일반적으로 약간 감소함 (내용이 표준화되었음을 시사).
• 통계적 유의성: 원본 주장을 제공하는 효과는 작았으나, 직접 대결 테스트에서는 원본 주장을 프롬프트로 받은 변호사가 그렇지 않은 변호사보다 훨씬 더 자주 승리함 ($p=0.0039$). 이는 실질적 법적 내용이 수사적 유창성뿐만 아니라 설득에 역할을 한다는 것을 확인시킴.
• 관할권 지식: 모델이 더 많은 훈련 데이터를 가진 관할권 (미국 > 영국 > 아일랜드) 에서 설득 가능성은 더 낮았음. 이는 모델이 법적 내용을 더 잘 이해할 때 형식만으로 쉽게 흔들리지 않음을 시사함.

5. 중요성 및 함의

• AI 판사의 실현 가능성: 결과는 작은 LLM이 사법 역할에 부적합할 수 있음을 시사함. 그 높은 설득 가능성은 경쟁 주장을 비판적으로 평가하는 능력 부족 (형식에 쉽게 흔들림) 에서 비롯되었을 가능성이 높기 때문임.
• 대형 모델: 더 큰 모델은 설득 가능성이 낮지만 (더 나은 실질적 평가로 인해), 여전히 상당한 취약성 (쌍별 시나리오에서 최대 40% 의 편차) 을 보임.
• 정치적/윤리적 차원: 논문은 모델의 설득 가능성 수준이 "수용 가능한지"를 결정하는 것은 정치적 질문이라고 결론 내림. 이는 사법 제도에 대한 사회적 기대와 다양한 변호 기술을 가진 당사자들을 어떻게 대우하는지에 달려 있음.
• 향후 연구: 저자들은 다음과 같은 추가 연구를 요구함.
  • 설득을 주도하는 구체적인 특징은 무엇인가?
  • 주장에 노출되는 것이 실제로 결정의 질을 향상시키는가?
  • 인간 법률 전문가에 대한 LLM 설득 가능성의 벤치마킹.

결론: LLM 은 본질적으로 설득 가능합니다. 더 큰 모델은 부적절한 영향력에 대한 저항력을 더 보이지만, 어느 모델도 면역이 없습니다. 이를 결정자로 배포하려면 수사적 지배력이 아닌 법적 타당성에 기반한 결정을 보장하기 위해 각 모델의 특정 설득 가능성 프로필에 따라 신중하게 모델을 선택해야 합니다.