Tokenizer Fertility and Zero-Shot Performance of Foundation Models on Ukrainian Legal Text: A Comparative Study

기술 요약: 우크라이나어 법률 텍스트에 대한 기초 모델의 토크나이저 비옥도 및 제로샷 성능

문제 제기
기초 모델은 영어에 비해 우크라이나어 법률 텍스트를 처리할 때 효율성과 성능에서 상당한 격차를 보입니다. 키릴 문자를 사용하는 형태론적으로 풍부한 언어인 우크라이나어는 종종 비최적의 토큰화로 고통받아 토큰 수의 불필요한 증가, 추론 비용 상승, 그리고 유효 컨텍스트 창 감소로 이어집니다. 일반 도메인 평가는 존재하지만, 우크라이나어 도메인 내의 특정 고위험 법률 작업에서 서로 다른 기초 모델이 어떻게 수행하는지에 대한 체계적인 비교는 부재합니다. 법률 기술 플랫폼을 구축하는 실무자들은 모델 크기 (파라미터 수) 가 비영어권 도메인 특화 작업의 성능과 상관관계가 없을 수 있으므로 모델 선택에 있어 불확실성에 직면해 있습니다.

방법론
본 연구는 LEX AI 테스트 훈련 프로그램의 "실험 A"로 지정되었으며, AWS Bedrock 을 통해 접근 가능한 Meta, Mistral AI, NVIDIA, Amazon, Qwen 등 5 개 공급업체의 7 개 기초 모델을 평가했습니다. 평가는 우크라이나 통합 국가 법원 결정 등록부 (EDRSR) 의 300 건의 실제 법원 결정 코퍼스를 활용했으며, 민사, 형사, 상사, 행정 관할 구역에 걸쳐 층화되었습니다. 3 개 소스 (정규식 파서, Claude Sonnet 4.5, NVIDIA Nemotron Super 3) 의 다수결 투표를 통한 엄격한 라벨 검증을 거친 후, 최종 지표 산출을 위해 273 개의 문서로 구성된 검증된 하위 집합이 사용되었습니다.

평가는 다음 세 가지 주요 차원을 측정했습니다:

1. 토크나이저 비옥도: 6,000 자 문서 샘플에서 공백 구분 단어 대비 서브워드 토큰의 비율.
2. 작업 성능: 다음 3 가지 작업에 대한 제로샷 및 퓨샷 성능:
   • 사건 유형 분류: 4 클래스 관할 구역 분류.
   • 사건 결과 분류: 사건 처리 결과 (예: 허가, 기각) 에 대한 5 클래스 예측.
   • 법률 규범 추출: 인용된 법률 및 조항의 구조화된 JSON 추출.
3. 비용 분석: 프롬프트 민감도 및 예제 분포에 대한 제거 실험을 포함한 추론 중 발생한 총 API 비용.

주요 기여

1. 토크나이저 비옥도 벤치마킹: 본 논문은 모델 간 토크나이저 효율성에서 1.6 배의 변이를 정량화했습니다. 토크나이저 설계는 모델 규모와 무관한 어휘 수준의 선택임을 보여주며, Llama 계열 모델은 우크라이나어 텍스트에서 Qwen 모델보다 훨씬 효율적입니다.
2. 성능과 규모의 분리: 본 연구는 총 파라미터 수가 우크라이나어 법률 작업의 성능을 예측하는 데 부적합하다는 실증적 증거를 제시합니다. 120B 파라미터 모델 (Nemotron Super 3) 은 675B 파라미터 모델 (Mistral Large 3) 보다 모든 작업에서 비용의 일부로 더 우수한 성과를 거두었습니다.
3. 퓨샷 저하 효과: 본 연구는 우크라이나어 법률 분류 작업에서 퓨샷 프롬프팅이 성능을 저하시킨다는 반직관적인 현상을 문서화했습니다. 여러 모델의 경우 예제 제공이 정확도를 최대 26 퍼센트 포인트까지 낮췄습니다. 제거 실험을 통해 이는 예제 선택이나 프롬프트 구성의 산물이 아니라 우크라이나어 예시의 형태론적 복잡성에 내재된 것임을 확인했습니다.
4. 비용 - 성능 최적화: 저자들은 품질과 비용을 모두 최적화하는 통합 순위와 다중 모델 라우팅 아키텍처를 제안하며, 법률 파이프라인 내의 서로 다른 하위 작업에는 서로 다른 모델을 배포해야 함을 시사합니다.

주요 결과

• 토크나이저 효율성: Llama 4 Maverick 이 가장 높은 효율성 (2.43 토큰/단어) 을 달성한 반면, Qwen3 모델은 가장 낮은 효율성 (3.90 토큰/단어) 을 보여 동일한 입력에 대해 60% 더 많은 토큰을 소비했습니다.
• 모델 성능:
  • NVIDIA Nemotron Super 3은 가장 높은 통합 점수 (83.1) 를 달성했으며, 사건 결과 분류에서 최고의 제로샷 정확도 (96.0%) 를 기록하여, 현저히 적은 활성 파라미터를 가졌음에도 불구하고 Mistral Large 3(총 675B 파라미터) 을 능가했습니다.
  • Llama 4 Maverick은 전체 실험 비용이 가장 낮은 수준 ($0.81) 에서 사건 유형 분류 (98.9%) 에서 최우수 기록과 동률을 이루었습니다.
  • Llama 3.3 70B는 법률 규범 추출에서 가장 좋은 성능 (F1 = 0.604) 을 보여 조밀한 아키텍처가 구조화된 추출 작업에 뛰어날 수 있음을 시사합니다.
• 퓨샷 영향: 퓨샷 프롬프팅은 21 개의 모델 - 작업 조합 중 12 개에서 성능 저하를 초래했습니다. 가장 심각한 하락은 사건 결과 분류에서 Qwen3 235B 에서 관찰되었으며 (−26.0 퍼센트 포인트), 층화된 제거 실험은 분포가 일치하는 예제조차도 성능을 향상시키지 못했음을 확인하여 형태론적 간섭 가설을 지지했습니다.
• 비용 효율성: 라우팅된 앙상블 (분류용 Llama 4 Maverick, 결과 예측용 Nemotron, 추출용 Llama 3.3 사용) 은 Nemotron 단독 사용보다 37% 낮은 비용으로 더 높은 통합 점수 (85.1) 를 달성했습니다.

의의 및 주장
본 논문은 우크라이나어와 같은 형태론적으로 풍부하고 키릴 문자를 사용하는 언어에 기초 모델을 배포하는 실무자들에게 "모델이 클수록 좋다"거나 "퓨샷이 항상 우수하다"는 표준 휴리스틱은 유효하지 않다고 주장합니다. 저자들은 다음과 같이 주장합니다:

1. 불필요한 비용 상승과 컨텍스트 창 감소를 피하기 위해 모델 선택에 앞서 토크나이저 분석이 선행되어야 합니다.
2. 우크라이나어의 풍부한 형태론으로 인해 퓨샷 예제가 모델 성능을 적극적으로 방해할 수 있으므로, 우크라이나어 법률 작업의 기본 기준선은 제로샷 프롬프팅이어야 합니다.
3. 모델 선택은 작업별로 구체화되어야 합니다. 단일 모델이 모든 법률 NLP 작업을 지배하지는 않으며, 서로 다른 모델의 특정 강점 (예: 간단한 분류에는 저렴하고 효율적인 모델 사용, 복잡한 추론에는 더 강력한 모델 사용) 을 활용하는 라우팅 전략이 품질과 비용의 최적 균형을 제공합니다.
4. 종합적이고 언어별 벤치마킹은 가능하고 저렴하며, 이 광범위한 평가 (제거 실험 포함) 의 총 비용은 약 60 달러에 불과했습니다.

본 연구는 영어 중심의 벤치마크와 파라미터 수가 비영어권 법률 도메인의 성능을 위한 불충분한 대리 변수임을 결론지으며, 배포 전에 도메인 특화적이고 언어 인식적인 평가를 우선시할 것을 커뮤니티에 촉구합니다.