기술 요약: 주입할 것인가, 탐색할 것인가? 트랜잭션 법률 문서의 LLM 분석을 위한 토큰 효율적 검색

문제 정의

본 논문은 트랜잭션 법률 문서(예: 계약서, 수정안, 부속 서신, 스케줄 등) 코퍼스를 대상으로 질문에 답하는 문제를 다룬다. 베이스라인 접근 방식인 **주입(inject)**은 모든 쿼리에 대해 전체 코퍼스를 대규모 언어 모델(LLM)의 컨텍스 창에 배치하는 방식이다. 이 방식은 정보 누락을 방지하여 검색 재현율(retrieval recall)을 극대화할 수 있지만, 코퍼스가 커짐에 따라 다음과 같은 두 가지 결정적인 한계가 발생한다:

1. 토큰 발자국(Token Footprint): 비용이 질문의 크기가 아닌 코퍼스 크기에 따라 확장되므로, 대규모 문서 세트에서 비효율적이다.
2. 롱 컨텍스트 성능 저하(Long-Context Degradation): LLM은 긴 입력값에 대해 불균일한 주의(attention)를 기울이며, 종종 컨텍스트 창 중간에 위치한 정보를 놓치는 경향이 있다.
3. 컨텍스 창 제한: 법률 관련 사안은 현재 모델의 최대 컨텍스 창을 초 exceed하는 경우가 많아, 전체 주입이 불가능할 때가 있다.

기존 벤치마크(예: CUAD, ContractNLI)는 일반적으로 단일 문서에 대해 작동하며, 트랜잭션 법률 분석에 내재된 교차 문서 의존성(예: 정의된 용어, 상호 참조, 수정 사항)을 포착하지 못한다.

방법론

저자들은 Syntheia에서 개발한 구조 인식형 청킹(structure-aware chunking) 방법을 사용하여, 두 가지 구조화된 검색 전략을 주입 베이스라인과 비교 평가하였다. 평가는 6개의 법률 문서를 대상으로 한 20개의 질문(검증된 정답이 있는 18개의 문서 기반 질문, 2개의 범위 외 제어 질문) 벤치마크를 통해 수행되었다.

평가 프로토콜

• 판사(Judge): 위치 편향이 통제되고 참조 지점에 고정된 쌍체 비교 판사(claude-opus-4-7 사용)가 베이스라인과 검색 방식의 답변을 비교하였다. 두 방향의 비교 결과가 모두 동일하게 정답과 일치할 때만 "무승부(tie)"를 부여하여, 두 답변이 모두 정답과 동일하게 일치함을 인증하였다.
• 지표: 연구는 (캐시된 컨텍스트를 포함하여) 모델이 주목하는 총 토큰인 토큰 발자국과 (프롬프트 캐싱 할인을 고려한) 달러 비용을 추적하였다. 캐싱은 토큰 수를 줄이지는 않지만 비용을 낮추기 때문에, 이 둘을 별개의 지표로 취급하였다.

세 가지 모드

1. 주입 (Inject, 베이스라인): 전체 코퍼스가 모든 쿼리를 위해 컨텍스 창에 배치된다.
2. 내비게이트-임베딩 (Navigate-Embeddings, navembed): 문서를 노드의 트리 형태로 사전 임베딩한다. 쿼리 시점에 코사인 유사도를 통해 가장 유사한 상위-$k$개 노드를 검색하여 컨텍스에 배치한다(선택적으로 교차 인코더 리랭킹 활용).
3. 내비게이트-인덱스 (Navigate-Index, navindex): LLM이 압축된 구조적 인덱스를 탐색하는 벡터리스(vectorless) 접근 방식이다. 인덱스는 다음을 포함한다:
   • 불리언 의미론적 플래그: (예: isDefinition, hasMoney, hasLiabilityLimit)
   • 구조적 메타데이터: 헤딩, 조항 참조, 명시적 상호 참조 및 정의된 용어 그래프.
   • 탐색 프로세스: LLM은 불리언 필터와 요약을 바탕으로 최대 10개의 노드 ID를 선택하기 위해 인덱스(S1)를 스캔한 후, 답변 생성을 위해 해당 노드들의 원문 텍스트(S2)를 결정론적으로 가져온다(S3).

주요 결과

Inject vs. navembed

• 성능: 가장 강력한 구성(Semantic retrieval + reranking, RUN-012)은 18개의 문서 기반 질문 중 16개에서 주입(inject)과 무승부를 기록했다(주입이 2개에서 우세).
• 효율성: 이 구성은 입력 토큰 발자국을 17.3배 감소시켰다 (188K 토큰 vs. 3.26M 토큰).
• 비용: 모든 검증된 실행에서 inject보다 낮은 달러 비용을 달로 달성했다.
• 실패 모드: 하이브리드 BM25 구성(RUN-011)은 "길이 편향(length bias)"으로 인해 페이로드가 팽창하고 비용 절감에 실패하는 현상을 보였다.

Inject vs. navindex

• 성능: 토큰 최적화 구성(Config 6)은 18개의 모든 문서 기반 질문과 두 개의 범위 외 제어 질문에서 inject와 무승부를 기록했다. 이는 본 연구에서 가장 높은 단일 실행 무승부율을 나타낸다.
• 효율성:
  • 토큰 발자국: 총 입력 토큰을 1.61배 감소시켰다.
  • 답변 컨텍스: 답변 생성 중에 모델이 주목하는 컨텍스를 약 56배 감소시켰다 (2.9K 토큰 vs. 163K 토큰).
  • 비용: inject 대비 25% 낮은 달러 비용($1.21 vs. $1.61)을 기록했다.
• 메커니즘: navindex의 성공은 코사인 유사도만으로는 포착할 수 없는 구조적 신호(상호 참조 및 정의된 용어)를 명시적으로 인코딩한 덕분이며, 이를 통해 단순한 의미적 근접성에 의존하지 않고 필요한 정확한 컨텍스를 검색할 수 있었다.

비용 분석: 캐싱 교차 규칙 (The Caching Crossover Rule)

본 논문은 **캐시된 주입(cached inject)**이 검색 방식보다 달러 기준으로 더 저렴해지는 시점에 대한 폐쇄형 규칙을 도출한다:
$$C < 10 \times R$$
여기서 $C$는 코퍼스 크기이고 $R$은 검색 페이로드이다.

• 시사점: 캐시된 inject가 검색 방식보다 저렴하려면 코퍼스가 검색 페이로드보다 약 10배 더 작아야 한다.
• 현실: 테스트된 163K 토큰 코퍼스의 경우, 정상 상태(steady state)에서 navembed와 navindex 모두 캐시된 inject보다 저렴했다. 그러나 매우 작은 코퍼스(<35K 토큰)의 경우, inject가 더 저렴한 옵션으로 남는다.
• 주의사항: 이는 캐시가 유효한(TTL 5분) "웜(warm)" 세션을 가정한다. 비동기 워크플로우에서는 캐시 쓰기 비용이 반복적으로 발생하여 inject의 이점을 상쇄할 수 있다.

주요 기여

1. 쌍체 평가: 정답이 검증된 법률 QA 세트에서 전체 코퍼스 주입과 구조화된 검색을 위치 편향이 통제된 방식으로 엄격하게 비교 평가하였다.
2. navindex 설계: 특정 프롬프트 엔지니어링을 통해 유형화된 불리언 플래그, 상호 참조 그래프, 정의된 용어 해결을 인코딩하는 법률 문서용 내비게이션 디스크립터를 설계하였다.
3. 캐싱-교차 규칙: 토큰 발자국과 달러 비용을 구분하는 폐쇄형 경제 규칙을 제시하여, 토큰 감소는 구조적 이점인 반면 비용 절감은 세션에 따라 달라짐을 강조하였다.
4. 실패 모드 카탈로그: BM25 길이 편향, 제목 위주의 과잉 선택, 제한 없는 노드 선택 등 피해야 할 특정 실패 모드를 식별하였다.

의의 및 주장

본 논문은 **구조적 검색(structured retrieval)**이 법률 텍스트의 구조적 의존성을 존중하는 검색 전략을 갖춘다면, 법률 문서 분석에서 전체 코퍼스 주입의 유효하고 종종 더 우수한 대안이 될 수 있다고 주장한다.

• 품질 보존: 구조적 검색은 (참조 지점에 고정된 판사가 측정한 바와 같이) 전체 주입과 동일한 답변 품질을 유지하면서도 토큰 발자국과 답변 컨텍스를 획기적으로 줄일 수 있다.
• 구조적 충실도: navindex 접근 방식은 벡터 유사성에만 의존하는 것보다 법률적 구조 신호(상호 참조, 정의된 용어)를 인덱스에 직접 인코딩하는 것이 수정안 및 부속 서류의 조율이 필요한 질문에 훨씬 효과적임을 입증한다.
• 경제적 타당성: 매우 작은 코퍼스나 단일 세션 쿼리의 경우에는 전체 주입이 더 저렴하지만, 코퍼스 크기가 커지거나 검색 페이로드가 전체 코퍼스보다 현저히 작아지면 구조적 검색이 경제적으로 우월한 선택이 된다.

저자들은 평가가 단일 모델 제품군, 특정 20개 질문 세트에 국한되어 있으며, 정답 노드 레이블의 부재로 인해 검색 재현율(precision/recall)을 직접 측정하지 않았다는 점을 언급하며 주장에 신중함을 유지하고 있다. 그들은 "무승부" 판정이 절대적 정확성이 아닌 정답과의 일관성에 대한 동등성을 인증하는 것임을 강조하며, 결과가 평가된 코퍼스와 프롬프트 엔지니어링에 특화되어 있음을 명시하였다.