기술 요약: 행간 읽기: 법률 시뮬레이션에서의 행동적 사실성 모델링 및 평가

문제 정의

증언 녹취(Deposition) 훈련은 변호사가 비협조적인 증언 관리, 구체성 강요, 그리고 회피적 혹은 적대적 태도를 보이는 증인에 대한 대응 등 역동적인 대인 관계 기술을 숙달하는 데 필수적인 요소입니다. 현재의 법률 AI 벤치마크는 주로 사실적 정확성, 법적 추론, 또는 고립된 응답의 그럴듯함을 평가하며, 증언 녹취 실무에 필수적인 종단적 행동 역학을 다루지 못합니다. 주니어 변호사들은 일관되고 확장 가능하며 현실적인 모의 연습에 접근할 기회가 부족합니다. 대규모 언어 모델(LLM) 시뮬레이션은 잠재적인 해결책을 제시하지만, 기존의 평가는 표면적인 응답의 그럴듯함과 진정한 행동적 충실도(behavioral fidelity)를 혼동하는 경우가 많습니다. 시뮬레이터가 개별 응답은 그럴듯하게 생성할 수 있어도 적대적 압박에 의미 있게 반응하지 못하거나, 반대로 자연스러운 인간 증언의 일관성이 결여된 전략적으로 까다로운 상호작용을 만들어낼 수도 있습니다. 즉, 행동적 사실성(증인이 인간처럼 행동하는가?)과 교육적 유용성(상호작용이 의미 있는 훈련 과제를 제공하는가?)을 구분하는 프레임워크가 부재한 상황입니다.

방법론

1. WITNESSSIM: 상태 기반 증언 녹취 시뮬레이터

저자들은 제어 가능한 법률 페르소나에 의해 구동되는 역동적인 증언 녹치 시뮬레이터인 WITNESSSIM을 소개합니다. 표준적인 LLM 역할 수행(role-play)과 달리, WITNESSSIM은 적대적 질문 하에서 증인의 심리적 상태 변화를 모델링하기 위해 연속적인 동역학계(continuous dynamical system)를 채택합니다.

• 상태 공간 및 아키타입(Archetypes): 증인은 6차원 상태 벡터 $y_t = (C_t, K_t, A_t, V_t, R_t, P_t)$로 표현되며, 각 차원은 침착성(Composure), 지식(Knowledge), 순응성(Agreeableness), 장황함(Verbosity), 경직성(Rigidity), **수행 능력(Performance)**에 대응합니다. 시스템은 10가지 전문가 기반 아키타입(예: 공격적, 협조적, 방어적, 창의적, 수다스러움)을 활용합니다. 결정적으로, 본 시스템은 지식이 없는 증인(창의적)과 정보는 있으나 지나치게 많이 말하는 증인(수다스러움)을 구분하는 전용 지식 차원을 포함하며, 이는 표준적인 Big Five 성격 투영에서 흔히 누락되는 구분입니다.
• 끌개 상태(Attractor States): 각 아키타입은 기준 행동을 나타내는 고정된 끌개 상태 $y_0$와 연관됩니다. 지속적인 압박이 없는 경우, 동적 상태는 점진적으로 이 기준점으로 회귀합니다.
• 질문 인코딩: 변호사의 질문은 언어적 표식(예: "사실이 아니냐", "인정하라")에 기반한 압박 점수($p_t$)와 사전 등록된 민감한 주제와의 토큰 중첩에 기반한 주제 민감도 점수($s_t$)로 인코딩됩니다. 이들은 결합되어 복합 스트레스 신호 $\xi_t$를 형성합니다.
• 상태 역학: 상태 벡터는 각 턴마다 스트레스 신호와 현재 상태에 따라 결정론적으로 업데이트됩니다. 예를 들어, 압박은 침착성과 순응성을 감소시키고 경직성을 증가시킵니다. 민감한 주제는 회상 능력을 저하시키고 장황함을 증가시킬 수 있습니다. 피로 승수는 증언 녹취 기간 동안의 수행 능력 저하를 조절합니다.
• 이벤트 감지: 이산적 행동 이벤트(예: "증인이 당황함", "증인이 공격적으로 변함")는 상태 임계값이 충족될 때 트리거됩니다. 이러한 이벤트는 LLM 시스템 프롬프트에 추가되어, 생성된 대화가 수학적 상태에 근le하여 기초하도록 함으로써 모델이 표류하는 것을 방지합니다.
• 생성 루프: 각 턴마다 시스템은 질문을 인코딩하고, 상태를 업데이트하며, 파생된 행동 점수를 계산하고, 이벤트를 감지한 후, 페르소나, 현재 상태 및 이력에 조건화된 응답을 생성하도록 하단의 LLM(Claude Sonnet 5)에 프롬프트를 전달합니다.

2. 평가 프레임워크

저자들은 행동적 사실성과 교육적 유용성을 분리하는 2단계 평가 프레임워크를 제안합니다.

• 행동적 사실성: 생성된 증언이 그럴듯하며 일관된 정체성을 유지하는지 평가합니다.
  • 적대적 테스트: 특정 실패 모드에 대한 견고성을 테스트합니다 (예: 협조적인 증인에게 책임을 인정하도록 압박하거나, 선택적 회피를 테스트함).
  • 블라인드 전문가 비교: 변호사들이 WIT-NESSSIM 생성 시퀀스를 실제 증언 녹취록과 비교하여 맥락적 타당성을 판단합니다.
  • 종단적 분석: 감정-벡터 궤적을 사용하여 시간 경과에 따른 정서적 역학을 분석하고, 시뮬레이션된 데이터와 실제 증언 녹취의 시간적 구조를 비교합니다.
• 교육적 유용성: 시뮬레이터가 변호사의 개입에 의미 있게 반응하여 인식 가능한 도전 과제를 생성하는지 평가합니다.
  • 과업 기반 평가: 네 가지 특정 훈련 시나리오가 테스트되었습니다: 질문 형태 제어(협조적), 회피적인 증인으로부터 구체성 강요, 수다스러운 증인 재지시, 그리고 적대적인 증인 관리. 성공 여부는 상호작용이 할당된 아키타입을 붕괴시키지 않으면서 법적 전략에 따라 행동이 변화하는지에 의해 측정됩니다.

3. 실험 설정

평가에는 National Prescription Opiate Litigation (Case No. 1:17-MD-2804)에서 샘플링된 300개의 증언 녹취 및 재판 녹취록 코퍼스가 사용되었습니다. 시뮬레이션된 증인들은 해당 사건 자료에 근거하여 구성되었습니다. 평가는 적대적 공격, 실무 변호사(어소시에이트, 시니어 리티게이터, 중재인)의 블라인드 판단, 그리고 인간 주석으로 검증된 자동 점수 산출을 포함했습니다.

주요 결과

행동적 사실성

• 적대적 견고성: WITNESSSIM은 의도된 행동 경계를 일반적으로 잘 유지했습니다. 협조적인 증인에게 책임을 인정하도록 압박하는 테스트에서 99.0%가 자기 보호적 경계를 유지했습니다. 회피적인 증인은 선택적 저항(민감한 주제 대 사소한 주제에 대해 86.0%의 회피율)을 보였으며, 반복적인 질문 하에서 기대된 순서대로 짜증이 발생했습니다.
• 타당성: 블라인드 비교에서, 실무 변호사들은 WITNESSSIM 생성물을 실제 증언보다 체계적으로 선호하지 않았습니다. 어소시에이트와 시니어 리티게이터는 각각 30.0%와 32.7%의 비율로 WITNESSSIM을 선택했으며, 높은 무승부 비율(각각 40.0%와 22.4%)을 보였습니다. 그러나 공학 배경과 AI 시뮬레이션 경험을 가진 시니어 중재인은 90%의 사례에서 실제 증언을 식별해 냈으며, 이는 특정 인공물(artifact)이 전문가들에게 여전히 감지될 수 있음을 시사합니다.
• 종단적 충실도: 감정-벡터 궤적 분석 결과, 시뮬레이션된 데이터와 실제 증언 녹취는 완만한 시간적 일치($r = .148$)를 보였으나, 시뮬레이션된 궤적이 실제보다 현저히 매끄럽고 압축된(smoother and more compressed) 형태를 띠었습니다. 주성분 분석(PCA) 결과 실제와 합성 녹취가 분리되었으며, 이는 장기적 관점의 행동적 사실성에서 격차가 존재함을 나타냅니다.

교육적 유용성

• 개입에 대한 반응성: 시뮬레이터는 변호사의 개입이 의미 있는 변화를 이끌어내는 행동적으로 구별된 시나리오를 성공적으로 생성했습니다.
  • 질문 형태: 개방형 질문은 폐쇄형(86.5단어)이나 고압박 질문(68.4단어)에 비해 더 긴 응답(평균 175.9단어)을 유도했습니다.
  • 회피적 확답 유도: 93.0%의 맥락이 회피에서 통제로 이어지는 의도된 궤적을 따랐으나, 최종 답변의 33.1%는 여전히 모호한 표현(hedging)을 유지했습니다.
  • 적대적 증인: 97.7%의 공격적 증인이 실질적 통제 단계에 도달했으나, 통제된 답변의 97.3%가 여전히 적대적 표식을 유지했습니다.
• 아키타입 보존: 증인들은 압박에 반응하면서도 일반적인 협조적 태도로 획일적으로 붕괴되지 않았습니다. 예를 들어, 수다스러운 증인들은 초점이 맞춰진 상황에서도 여전히 장황함을 유지하여 아키타입의 핵심 과제를 보존했습니다.

의의 및 주장

본 논문은 고립된 응답의 그럴듯함을 넘어 지속적인 상호작용 전반에 걸친 행동적 충실도를 고려하는 법률 시뮬레이션 평가 프레임워크를 구축한다고 주장합니다.

1. 차원의 구분: 저자들은 행동적 사실성과 교육적 유용성이 별개이면서도 상호 보완적인 개념이라고 주장합니다. 시뮬레이터는 완벽한 장기적 사실성을 갖추지 못하더라도 교육적으로 유용할 수 있으며(역동적이고 반응적인 상호작용 생성), 그 반대의 경우도 마찬가지입니다.
2. 응답 수준 평가의 한계: 결과는 개별 응답의 그럴듯함만으로는 상호작적인 시뮬레이션을 평가하기에 불충분함을 보여줍니다. 시뮬레이션된 궤적이 더 "매끄럽고 압축된" 특성을 보인다는 점은 현재의 모델이 시간 경과에 따른 인간 행동의 전체적인 변동성과 복잡성을 재현하는 데 어려움이 있음을 강조합니다.
3. 훈련 효용성: 본 연구는 WITNESSSIM이 변호사들에게 까다로운 증인 행동을 관리하는 연습을 할 수 있는 반복적이고 구성 가능한 기회를 제공할 수 있음을 시사합니다. 다만, 저자들은 본 평가가 변호사의 학습이나 기술 전이를 입증하는 것이 아니라, 단지 그러한 연습을 가능하게 하는 데 필요한 행동적 과제를 시뮬레이션이 포함하고 있음을 입증할 뿐이라고 명시했습니다.
4. 향atic 방향: 본 논문은 고도의 충실도를 가진 인간 시뮬레이션을 위해서는 단순히 단일 프롬프트 응답의 타당성을 평가하는 것이 아니라, 상호작용 전반에 걸친 행동의 일관성, 지속성, 그리고 타당한 진화 과정을 평가하는 방법이 필요하다고 제언합니다.

저자들은 WITNESSSIM이 고도의 fidelity를 갖춘 법률 시뮬레이션으로 가는 한 단계이지만, 향후 연구는 행동적 사실성의 척도를 실제 학습 성과와 연결하여 시스템의 유용성을 완전히 검증해야 한다고 결론짓습니다.