기술 요약: GAVEL – 긴 문맥 법률 요약을 평가하기 위한 에이전트와 체크리스트의 결합

문제 정의

현대 대규모 언어 모델(LLM)은 최대 100만 토큰에 달하는 컨텍스트 창을 지원하지만, 복잡한 다중 문서 긴 문맥 작업에서의 효능은 여전히 불분명합니다. 특히 법률 사례 요약은 독특한 과제를 제시합니다. 단일 소송 사건은 수십 개의 문서(예: 소장, 신청서, 결정문)로 구성되어 10만 토큰을 넘어서며, 때로는 100만 토큰을 초과하기도 합니다. 뉴스나 소설 요약이 정보가 주로 순차적이거나 앞부분에 집중되어 있는 것과 달리, 법률 요약은 여러 문서에 걸친 상호 연결된 논거를 통합하면서 연대기를 유지하고, 당사자 및 판결 간의 관계를 보존하며, 정확한 상호 참조를 보장해야 합니다. 현재의 평가 방법들은 사실적 범위(factual coverage)의 미묘한 차이와 이 영역에서 자동 평가기의 신뢰성을 포착하는 데 실패하는 경우가 많습니다.

방법론

저자들은 두 가지 상호 보완적인 구성 요소인 GAVEL-REF(참조 기반)와 GAVEL-AGENT(참조 불필요)로 구성된 종합적인 평가 프레임워크인 GAVEL을 소개합니다.

1. GAVEL-REF: 참조 기반 평가

GAVEL-REF는 전문가가 작성한 참조 문헌을 기준으로 모델 요약을 평가하며, 세 가지 별도의 지표를 사용합니다:

• 체크리스트 평가: 26개의 전문가 설계 체크리스트 항목(예: 접수 날짜, 당사자, 구제 대상)을 활용합니다. 단순한 문자열 매칭과 달리, 이 프레임워크는 값을 추출하고 이를 지원 텍스트와 함께 리스트 형태로 추출하여 부분 점수를 부여하고 다중 값 항목을 처리할 수 있게 합니다. 또한 관계(동등, 포함, 상이)를 분류하여 정밀도(precision), 재현율(recall), F1 점수를 계산합니다.
• 잔여 사실(Residual-Fact) 평가: 인간의 요약 중 78%가 사전 정의된 체크리스트에 포함되지 않은 중요한 사실을 포함하고 있다는 점(요약당 평균 6.8개 사실)을 인식하여, 이 구성 요소는 체크리스트 값에 포함되지 않은 텍스트 구간으로부터 "잔여" 원자적 사실을 추출합니다. 이는 모델 요약과 인간 요약 사이에서 누락된 정보를 포착하기 위해 비교됩니다.
• 작성 스타일 평가: LLM 심사위원이 다섯 가지 차원(가독성/전문 용어, 서사 순서, 문장 구조, 서식, 인용 스타일)에 대해 모델 요약과 인간 참조 문헌 간의 유사성을 1~5점의 리커트 척도로 평가합니다.

이러한 구성 요소들은 내용 범위($\alpha=0.9$)와 잔여 사실의 상대적 중요도($r$)에 의해 가중치가 부여된 단일 점수($S_{GAVEL-REF}$)로 통합됩니다.

2. GAVEL-AGENT: 참조 불필요 에이전트 스캐폴드

전문가 요약 수집의 높은 비용 문제를 해결하기 위해, GAVEL-AGENT는 소스 문서에서 체크리스트 항목을 직접 추출하도록 설계된 참조 불필요 에이전트입니다.

• 도구 기반 탐색: 에이전트는 인간 전문가의 행동(훑어보기, 검색, 업데이트)을 모방하여 전략적으로 긴 문서 컬렉션을 탐색할 수 있도록 6개의 도구(list_documents, read_document, search_document_regex, get_checklist, append_checklist, update_checklist)를 갖추고 있습니다.
• 컨텍스트 관리: 긴 컨텍스트(256K+ 토큰)와 수많은 도구 호출을 처리하기 위해, 에이전트는 각 동작 후에 컨텍스트를 새로고침하며 가장 최근의 전체 응답 5개만 유지하고 나머지는 압축합니다.
• 구성: 저자들은 최적의 추출 전략을 결정하기 위해 단일 에이전트, 멀티 에이전트(그룹화), 26개 에이전트(항목당 하나) 구성을 테스트했습니다.

3. 메타 평가

GAVEL의 신뢰성을 검증하기 위해 저자들은 160시간의 인간 주석 작업을 포함하는 체계적인 메타 평가를 수행했습니다. 여기에는 5,442개의 체크리스트 항목 수준 주석, 450개의 비교 판단, 281개의 잔여 사실 추출, 375개의 스타일 평가가 포함되었습니다. 이 데이터셋은 GAVEL-REF 프레임워크 내에서 평가자로 작용하는 다양한 LLM의 성능을 벤치마킹하는 데 사용되었습니다.

주요 기여

1. GAVEL 프레임워크: 긴 문맥 법률 요약을 위한 체크리스트, 잔여 사실, 스타일 평가를 결합한 새로운 평가 시스템과, 문서 기반 직접 추출을 위한 참조 불필요 에이전트 스캐폴드를 제공합니다.
2. 대규모 메타 평가: 160시간의 인간 주석 데이터를 통해 GAVEL-REF가 강력한 오픈 소스 모델(예: GPT-oss, Qwen3)을 사용하여 최첨단 모델(예: GPT-5)과 대등한 정확도를 달({GPT-5와 같은 수준의 정확도}) 수 있음을 입증함으로써, 비용 효율적인 자동 평가의 실현 가능성을 증명했습니다.
3. 포괄적 벤치마킹: 18개 이상의 다양한 주제 영역과 5가지 길이 규모(32K ~ 512K 토크)에 걸쳐 100개의 최신(2025년) 법률 사례에 대해 12개의 프런티어 LLM(독점 및 오픈 소스)을 평가했습니다.
4. 일반화 입증: GAVEL-AGENT를 의료 분야(Cochrane 리뷰)에 성공적으로 적용하여 법률 이외의 영역으로의 전이 가능성을 보여주었습니다.

결과

법률 요약에 대한 LLM 성능

• 누락 vs 환각: 현재 모델들은 잘못된 내용을 만들어내는 환각보다 핵심 정보를 누락하는 경향이 훨씬 더 강합니다. 모든 모델에서 정밀도가 재현율보다 일관되게 높게 나타났습니다.
• 체크리스트 성능: 가장 우수한 성능을 보인 모델인 Gemini 2.5 Pro조차 체크리스트 평가에서 59.1의 F1 점수(정밀도 66.6, 재현율 55.3)만을 기록했습니다. 모델들은 단순한 단일 값 항목(예: 접수 날짜)에는 잘 작동했으나, 희귀하고 복잡한 다중 값 항목(예: 합의금, 관련 사건)에서는 어려움을 겪었습니다.
• 길이 민감도: 사례의 길이가 길어질수록 성능이 저하됩니다. Gemini 2.5 Pro의 체크리스트 F1은 32K 토큰 사례에서 512K 토큰 사례로 이동할 때 약 10% 하락했습니다. 오픈 소스 모델은 컨텍스트 제한과 절단 문제로 인해 긴 사례에서 더 급격히 성능이 저하되었습니다.
• 잔여 사실: GPT-4.1과 GPT-5만이 인간의 요약보다 더 많은 잔여 사실을 포착했습니다(잔여 비율 > 11%). 다만, GPT-5는 서사적인 요약보다는 체크리스트 스타일의 장황한 요약을 생성했습니다.

GAVEL-AGENT 효율성

• 토큰 감소: GAVEL-AGENT는 법률 도메인에서 엔드 투 엔드(end-to-end) 및 청크 단위(chunk-by-chunk) 추출 방식보다 36~54% 적은 토큰을 사용하면서도 경쟁력 있는 성능을 달성했습니다.
• 의료 도메인: 의료 도면에서 GAVEL-AGENT는 베이스라인 방법보다 최소 77% 적은 토큰을 사용하면서도 최고의 성능을 기록했습니다.
• 에이전트 아키텍처: 26개의 개별 에이전트(체크리스트 항목당 하나)를 사용하는 구성이 모든 항목을 공동으로 추출하는 단일 에이전트보다 우수한 성능을 보였으며, 이는 항목별 전문화가 긴 기록을 탐색하는 데 도움이 됨을 시사합니다.

의의 및 주장

본 논문은 GAVEL이 수동 검증이나 단순 n-gram 지표에 크게 의존했던 기존 연구의 한계를 해결하여, 긴 문맥 요약을 평가하기 위한 견고하고 확장 가능하며 비용 효율적인 솔루션을 제공한다고 주장합니다. 현재의 LLM이 주로 환각이 아닌 누락을 통해 실패한다는 점을 보여줌으로써, 이 연구는 모델 개선을 위한 구체적인 방향을 제시합니다. 또한, GAVB-AGENT의 성공은 에이전트 기반 스캐폴드가 전문가 요약 없이도 체크리스트 추출을 효과적으로 대체할 수 있음을 시사하며, 전문가 요약이 존재하지 않는 도메인에서도 고품질 평가를 가능하게 합니다. 저자들은 본 연구의 초점이 요약 모델을 직접 개선하는 것이 아니라 평가에 있음을 강조하며, 추출된 체크리스트를 조건으로 하는 모델 개발은 향후 과제로 남겨두었습니다.