🤖 AI

Human-on-the-Loop Orchestration for AI-Assisted Legal Discovery

이 논문은 구조화된 실패 분류 체계, 4계층 검증 아키텍처, 그리고 변호사의 검토가 필요한 문서의 양을 최소화하면서도 특권 포기 위험을 유의미하게 줄이는 인간 개입형(Human-on-the-Loop) 프레임워크를 제안함으로써, 자율형 AI 기반 법률 디스커버리에서의 "궤적 붕괴(trajectory collapse)" 위험을 다룬다.

원저자: Anushree Sinha, Srivaths Ranganathan, Abhishek Dharmaratnakar, Debanshu Das

게시일 2026-06-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Anushree Sinha, Srivaths Ranganathan, Abhishek Dharmaratnakar, Debanshu Das

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 아주 똑똑하고 빠르지만, 약간은 자만심이 강한 로봇 변호사를 고용하여 5,000개의 법률 문서를 분류하는 업무를 맡겼다고 상상해 보십시오. 당신의 목표는 "비밀" 문서(변호사-의뢰인 특권으로 보호되는 문서)를 찾아 안전하게 보관하고, 나머지는 상대측에 전달하는 것입니다.

문제는 이 로봇이 초기에 단 하나의 작은 실수만 저지르더라도, 거기서 멈추지 않고 그 첫 번째 오류 위에 자신의 모든 논리를 쌓아 올린다는 점입니다. 작업이 끝날 때쯤이면, 로봇은 어떤 문서를 안전하다고 착각하여 실수로 비밀 문서를 넘겨버렸을 수도 있습니다. 논문에서는 이를 **"궤적 붕괴(Trajectory Collapse)"**라고 부릅니다. 이는 마치 하나의 작은 흔들림이 전체 탑을 무너뜨리는 도미노 효과와 같으며, 로봇이 너무나 자신감 있게 말하기 때문에 실수를 알아차리기 전까지는 문제가 생겼다는 사실조차 모를 수 있습니다.

이 글은 이 문제를 해결하기 위해 "휴먼 온 더 루프(Human-on-the-Loop)" 시스템을 어떻게 사용하는지 제안합니다. 이것을 로봇이 혼자 일하는 것이 아니라, 로봇이 안전 장치를 착용하고 인간 감독자와 함께 일하는 것으로 생각하십시오. 로봇이 불안정해질 때만 인간이 개입하는 방식입니다.

4단계 안전망

저자들은 로봇이 엉망을 만들기 전에 잡아내기 위해 4단계 보안 시스템을 구축했습니다.

"할 수 있나요?" 확인 (계획 단계 - Planning):
로봇이 시작하기도 전에, 더 작고 단순한 프로그램이 다음과 같이 묻습니다: "당신은 이 특정 작업을 해결할 적절한 도구와 권한을 가지고 있습니까?" 만약 로봇이 불가능한 계획(예: 판사의 허가 없이 봉인된 법원 기록을 열람하려는 시도 등)을 세우려 한다면, 시스템은 즉시 이를 차단합니다.
- 비유: 클럽에 들어가기 전, 입구에서 신분증을 검사하는 보안 요원과 같습니다.
"진전이 있나요?" 확인 (추론 단계 - Reasoning):
로봇이 문제를 단계별로 생각해 나가는 동안, 시스템은 끊임없이 묻습니다: "이 단계가 실제로 정답에 가까워지고 있습니까, 아니면 그냥 제자리걸음을 하고 있습니까?" 만약 로봇이 사실을 지어내거나 뱅뱅 돌기 시작하면, 시스템은 '리셋' 버튼을 누르고 다시 시도하게 합니다.
- 비유: 길을 잘못 들었을 때 즉시 "경로 재탐색 중"이라고 알려주는 GPS와 같습니다. 10마일이나 떨어진 막다른 길에 도달하기 전에 미리 알려주는 것입니다.
"연습 실행" 확인 (실행 단계 - Execution):
로봇이 실제로 파일을 저장하거나 이메일을 보내기 전에, 안전한 가상 환경에서 "연습 실행(Dry Run)"을 수행합니다. 이는 해당 행동이 법적 규칙을 위반하는지(예: 비밀 문서를 엉뚱한 사람에게 실수로 보내는지 등) 시뮬레이션하는 과정입니다. 만약 시뮬레이션이 실패하면, 실제 행동은 차단됩니다.
- 비유: 비행기가 이륙하기 전 비행 시뮬레이터를 돌려보는 조종사와 같습니다. 시뮬레이션에서 비행기가 추락한다면, 실제로 이륙하지 않습니다.
"잘 모르겠어요" 확인 (불확실성 - Uncertainty):
때때로 로봇은 정답을 모를 때가 있습니다. 시스템은 로봇이 얼마나 "혼란스러워하는지"를 측정합니다. 만약 로봇이 너무 확신이 없다면(높은 불확실성), 짐작해서 답하지 않고 손을 들어 이렇게 말합니다: "인간이여, 이 부분은 도움이 필요합니다."
- 비유: 수업 시간에 정답을 몰라도 대충 짐작해서 학급 전체를 곤란하게 만드는 대신, 손을 들고 질문하는 학생과 같습니다.

테스트 결과는 어떠했나요?

저자들은 이 시스템을 가상의 5,000개 문서 세트에 적용하여 테스트했습니다. 결과는 다음과 같습니다.

로봇 단독: 로봇이 완전히 혼자 작업했을 때, 비밀 문서를 실수로 공개할 위험은 **8.3%**였습니다.
안전망이 있는 로봇: "휴먼 온 더 루프" 시스템(특히 로봇이 확신이 없는 문서만 인간 변호사가 확인하도록 하는 방식)을 추가했을 때, 비밀 공개 위험은 61% 감소하여 3.2%로 떨어졌습니다.
효율성: 가장 놀라운 점은, 인간 변호사는 전체 문서의 약 **24%**만을 검토했다는 것입니다. 나머지는 로봇이 스스로 처리했습니다.

결론

이 논문은 법률 업무에서 로봇이 모든 것을 완벽하게 수행할 것이라고 단순히 믿어서는 안 된다고 주장합니다. 왜냐하면 초기의 작은 실수 하나가 전체 사건을 망칠 수 있기 때문입니다. 대신, 우리는 로봇의 작업 각 단계에서 이를 점검하고, 로봇이 진정으로 확신이 없거나 규칙을 어기려 할 때만 인간 변호사를 호출하는 시스템이 필요합니다. 이 접근 방식은 비밀을 안전하게 보호하면서도 변호사들의 시간을 엄청나게 절약해 줍니다.

중요 참고 사항: 이 연구는 실험을 위해 만들어진 합성(가짜) 문서 세트를 대상으로 진행되었습니다. 저자들은 아직 이 시스템을 실제 법무법인의 실제 사례에 테스트하지 않았음을 명시하며, 이 결과는 유망한 첫걸음일 뿐 실제 사용을 위한 최종적인 보증은 아니라고 밝히고 있습니다.

기술 요약: AI 지원 법률 디스커버리를 위한 Human-on-the-Loop 오케스트레이션

문제 정의

자율형 대규모 언어 모델(LLM) 에이전트를 전자적 증거 개시(e-discovery)에 배치하는 것은 **궤적 붕괴(trajectory collapse)**라고 불리는 새로운 유형의 실패를 초래한다. 단발성 검색 작업과 달리, 에이전트 워크플로우는 에이전트의 $t$ 단계 출력이 $t+1$ 단계의 쿼리에 영향을 미치는 다단계 Reason-Act-Observe (ReAct) 루프를 통해 작동한다. 이러한 맥락에서, 초기 단계의 단 한 번의 오분류는 추론 체인 전체에 침투하여 조용히 전파될 수 있으며, 결과적으로 특권 검토(privilege review)가 완료되어 특권 로그(privilege log)가 생성될 시점에는 전체 과정을 무효화할 수 있다.

현재 리스크 평가의 과제:

오류의 누적: 오류는 고립되지 않는다. 오류는 궤적을 따라 누적되며, 수백 개의 하위 결정 과정에 잘못된 정보를 심어 놓는다.
유창성 함정(Fluency Trap): RLHF로 최적화된 LLM은 종종 잘못된 법률 분류에 대해 유창하고 자신감 넘치는 정당화 문구를 생성하여 오류를 은폐한다.
도구 호출 환각(Hallucinated Tool Calls): 에이전트는 과업 수행이 불가능할 때 중단하는 대신 도구 호출을 환각할 수 있다.
지표의 한계: 표준 지표(정밀도, 재현율, F1)는 궤적의 종단 성능만을 측정하며, 궤적 중간에서 발생하는 실패나 "유창성 함정"을 처벌하지 못한다.

방법론: 4계층 검증 아키텍처

본 논문은 특정 기능 단계에서 오류가 누적되기 전에 이를 차단하도록 설계된 Human-on-the-Loop (HOTL) 오케스트레이션 프레임워크를 제안한다. 이 아키텍처는 네 가지 검증 계층으로 구성된다.

1. 계획 검증 (Planning Validation)

실행 전, 경량 분류기( $f_{plan}$ )가 분해된 의도가 가용 도구 세트( $T$ ) 내에서 충족 가능한지 검증한다.

메커니즘: 미세 조정된 DeBERTa-v3 분류기가 솔루션 가능 확률 $P(S | q, T)$ 를 추정한다.
조치: 만약 $P(S | q, T) \geq \tau_{plan}$ (파일럿 테스트에서 0.70으로 설정)이면 쿼리를 실행하고, 그렇지 않으면 변호사에게 에스컬레이션한다.
목표: "사실 도출(Fact Derive)" 오류(허구의 판례 생성) 및 "과업 분해(Task Decompose)" 오류(연방 민사소송 규칙을 위반하는 하위 목표 설정)를 방지한다.

2. 단계별 추론 체크포인트 (Stepwise Reasoning Checkpoints)

각 추론 단계 $t$ 에서, 시스템은 최종 목표를 향한 기대 진전도를 측정하는 기여 점수( $A_t$ )를 계산한다.

메커니즘: $A_t = E_{\pi}[R(\tau) | s_t, a_t] - V(s_t)$ 이며, 여기서 $V(s_t)$ 는 몬테카를로 롤아웃을 통해 근사된다.
조치: 만약 $A_t < \epsilon$ (최소 진전 임계값, 0.05로 설정)이면, 추론 궤적을 폐기하고 에이전트가 현재 상태에서 다시 샘플링하도록 한다.
목표: 합리화가 사실적 근거를 압도하는 "추론 함정(Reasoning Trap)"을 방지한다.

3. 실행 샌드박싱 (Execution Sandboxing)

쓰기 작업(예: 문서를 특권 문서로 태깅하거나 프로덕션 데이터베이스로 라우팅)을 확정하기 전, 드라이 런(dry-run) 환경에서 작업을 실행한다.

메커니즘: 거부 목록(deny-list) 정책 엔진이 FRCP 준수 여부를 확인한다(예: "변호사 전용(Attorney Eyes Only)" 태그가 비변호사에게 전달되는 것을 방지).
조치: 작업이 비준수적일 경우, 이를 차단하고 HOTL 에스컬레이션을 트리거한다. 되돌릴 수 없는 API 호출의 경우, 샌드박스 체크가 실행 후 실패하면 보상 트랜잭션 패턴을 통해 취소 처리를 수행한다.
목표: "도구 누락(Missing Tool)" 및 "유창성 함정" 실행 실패를 완화한다.

4. 불확실성 기반 에스컬레이션 (Uncertainty-Gated Escalation)

시스템은 전체 예측 불확실성을 알레아토리(aleatoric, 데이터 노이즈) 성분과 에피스테믹(epistemic, 모델 지식) 성분으로 분해한다.

메커니즘: 모델 가중치에 접근할 수 없으므로, 에피스테믹 불확실성( $U_{ep}$ )은 **자기 일관성 분산(self-consistency variance)**을 통해 추정한다. 에이전트는 문서당 $k=10$ 개의 독립적인 분류 근거를 생성하며, $U_{ep}$ 는 결과 레이블 분포의 엔트로피이다.
조치: 만약 $U_{ep} > \tau_{esc}$ 이면, 시스템은 자율 행동을 중단하고 궤적 상태를 인간 변호사에게 제시한다.
목표: 모델이 신뢰할 수 있는 분류를 수행하기에 정보가 부족할 때만 에스컬레이션을 수행한다.

주요 기여

에이전트 실패의 분류 체계: 기능적 단계(계획, 검색, 추론, 실행)별로 정리된 법률 정보 검색에서의 실패 구조를 제시하며, 특정 실패 모드(예: "요약 불일치(Summarize Misalign)")를 FRCP에 따른 규제적 결과와 연결한다.
4계층 검증 아키텍처: 궤적 붕괴를 차단하기 위해 계획 검증기, 단계별 추론 체크포인트, 실행 샌드박스 및 불확실성 기반 에스컬레이션을 통합한 새로운 시스템 설계를 제안한다.
예비 시뮬레이션 연구: 합성 5,000개 문서 코퍼스를 대상으로 한 시연을 통해, 보정된 HOTL 에스컬레이션 임계값이 자율형 베이스라인에 비해 특권 포기(privilege-waiver) 리스크를 유의미하게 감소시킴을 보여준다.

실험 결과

연구는 합성 코퍼스 상에서 세 가지 조건—자율형(A), 다양한 임계값( $\tau \in \{0.3, 0.5, 0.7\}$ )을 적용한 임계값-HOTL(T-HOTL), 수동(M) 검토—을 비교하였다.

특권 포기 리스크 (Privilege-Waiver Risk, PWR): $\tau=0.5$ 일 때 T-HOTL은 자율형(8.3%) 대비 PWR을 **3.2%**로 낮추었으며, 이는 61%의 리스크 감소를 의미한다.
효율성: $\tau=0.5$ 에서 변호사 검토로 라우팅된 문서는 전체의 **23.7%**에 불과했으며, 이는 수동 검토(100%)와 대조적이다. 이는 리스크 수준을 유사하게 유지하면서 변호사 업무 시간을 약 76% 절감할 수 있음을 시사한다.
오류 복구: 롤백 복구율(Rollback Recovery Rate, RRR)은 평균 0.71을 기록하였으며, 이는 추론 체크포인트가 인간의 에스컬레이션 없이도 대부분의 궤적을 성공적으로 차단하고 복구했음을 나타낸다.
오류 발생 지점: 자율형 조건의 평균 첫 번째 오류 위치(Mean First-Error Position, FEP)는 3.2단계(평균 궤적 길이 7.8단계 중)였으며, 이는 오류가 초기에 발생하여 누적됨을 확인시켜 준다.
지연 시간 (Latency): 병렬 배치 요청을 통해 문서당 평균 14.2초의 엔드 투 엔드 처리가 가능했다. 순차 실행 시에는 290~340초가 소요되었을 것이다.

의의 및 주장

본 논문은 에이전트 기반 법률 디스커버리로 전환하기 위해서는 **궤적 무결성(trajectory integrity)**을 최우선 설계 목표로 확립해야 한다고 주장한다. 기존의 종단 지표는 누적되는 실패를 포착하기에 불충분하다. 저자들의 주장은 다음과 같다:

보정된 HOTL 에스컬레이션은 생산 단계의 에이전트 IR 시스템을 배포하기 위한 필수 전제 조건이다.
문서를 4분의 1 미만으로 인간 검토에 할당하면서도 특권 포기 리스크를 최대 61%까지 크게 줄이는 것이 가능하다.
제안된 아키텍처는 모든 상호작용 단위에 대해 결정론적 프로브넌스 해시(deterministic provenance hashes)를 기록함으로써 FRCP 감사 요구 사항을 충족하는 메커니즘을 제공한다.

한계 및 향 향후 과제

저자들은 본 연구 결과가 합성 코퍼스에 국한되어 있어, 실제 운영 데이터(예: 도메인 전문 용어, 인코딩된 첨부 파일)의 분포적 복잡성을 완전히 반영하지 못할 수 있다는 점을 명시적으로 언급했다.

실제 정답(Ground Truth): 레이블에 대한 공식적인 검토자 간 일치도가 결여되어 있으며, 향후 연구에서는 Cohen's $\kappa$ 를 보고할 예정이다.
절제 연구(Ablation): 본 연구는 개별 계층에 대한 절제 연구를 수행하지 않았다. 향후 로펌 파트너들과의 협업을 통해 각 계층의 기여도를 격리하여 분석할 예정이다.
데이터 거버넌스: 특권 문서를 처리하기 위해 GPT-4o를 실제 배포하려면 온프레미스 또는 제로 이그레스(zero-egress) 추론 환경이 필요하다.
검증: 향후 연구에서는 실제 디스커버리 코퍼스에서 시스템을 검증하고, TAPE 및 KAIJU와 같은 백본을 사용하는 공식적인 보증 방안을 탐색할 것이다.