Can Small Models Reason About Legal Documents? A Comparative Study

1. 연구 배경 및 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 법률 분야에서 뛰어난 성능을 보이지만, 실제 배포 시에는 다음과 같은 실용적 한계가 존재합니다.

• 비용 및 지연 시간: 최첨단 모델 (Frontier models) 의 API 사용 비용은 쿼리 양에 비례하여 급증하며, 응답 지연 시간 (Latency) 이 생산 시스템에 부적합할 수 있습니다.
• 데이터 프라이버시: 민감한 법률 문서를 처리할 때 폐쇄형 (Proprietary) 모델 사용은 데이터 유출 위험을 내포합니다.
• 연구 공백: 기존 연구들은 주로 대규모 모델에 집중하거나, 단일 데이터셋/단일 프롬프트 전략만 평가하여, **10B 미만의 소규모 모델 (Sub-10B)**이 다양한 법률 추론 작업에서 어떻게 작동하는지, 그리고 프롬프트 전략과 모델 아키텍처 간의 상호작용에 대한 체계적인 분석이 부족했습니다.

이에 따라 연구자는 다음과 같은 4 가지 핵심 연구 질문 (RQ) 을 설정했습니다:

1. 10B 미만의 모델이 상업적 API 모델과 법률 추론 작업에서 경쟁 가능한가?
2. 프롬프트 전략의 효과는 법률 작업 유형에 따라 어떻게 달라지는가?
3. 법률 추론을 위한 최소 viable 모델 크기는 무엇이며, 아키텍처 (예: MoE) 가 파라미터 수보다 중요한가?
4. 검색 증강 생성 (RAG) 이 소규모 모델의 성능을 향상시키며, 검색 방법 (BM25 vs. Dense) 은 중요한가?

2. 연구 방법론 (Methodology)

이 연구는 3 개의 법률 벤치마크와 5 가지 프롬프트 전략을 사용하여 9 개의 모델을 평가한 대규모 비교 실험입니다.

• 평가 대상 모델 (9 개):
  • 오픈 가중치 모델 (7 개): Together AI 를 통해 제공되며, 파라미터 수는 3B~9B 범위 (Llama 3.2/3.1, Qwen 2.5/3, Mistral, Gemma, Nemotron 포함).
    • 특이점: Qwen3-A3B는 총 30B 파라미터 중 토큰당 3B 만 활성화하는 Mixture-of-Experts (MoE) 아키텍처를 사용합니다.
  • 상업적 API 모델 (2 개): GPT-4o-mini (OpenAI), Claude 3.5 Haiku (Anthropic).
• 벤치마크 데이터셋 (3 개):
  1. CONTRACTNLI: 계약 조항에 대한 자연어 추론 (NLI) 작업.
  2. CASEHOLD: 판례에서 법적 holding(판단 근거) 식별을 위한 5 지선다형 작업.
  3. ECTHR: 유럽인권재판소 사건에 대한 다중 레이블 분류 작업 (11 개 조항 중 위반 조항 예측).
• 프롬프트 전략 (5 가지):
  1. Direct (Zero-shot): 직접 질문.
  2. Chain-of-Thought (CoT): 단계별 추론 유도.
  3. Few-shot (3-shot): 학습 데이터에서 추출한 3 개의 예시 포함.
  4. BM25 RAG: 희소 검색 (Sparse) 을 통한 검색 증강.
  5. Dense RAG: 밀집 검색 (Dense, sentence-transformers) 을 통한 검색 증강.
• 실험 설계:
  • 총 405 회 실험 (9 모델 × 5 전략 × 3 데이터셋 × 3 시드).
  • 클라우드 인퍼런스 API(Together AI, OpenAI, Anthropic) 를 사용하여 총 $62의 비용으로 수행 (GPU 인프라 불필요).
  • 통계적 유의성 검증을 위해 부트스트랩 (Bootstrap) 신뢰구간 및 McNemar 검정 사용.

3. 주요 결과 및 발견 (Key Results)

A. 모델 성능 및 아키텍처의 중요성

• MoE 의 효율성: Qwen3-A3B(활성화 파라미터 3B) 는 평균 정확도에서 GPT-4o-mini(47.2% vs 46.5%) 와 대등한 성능을 보였으며, Few-shot 전략을 사용한 CASEHOLD 작업에서는 오히려 GPT-4o-mini(71.2% vs 67.9%) 를 능가했습니다. 이는 아키텍처 효율성 (MoE) 이 raw 파라미터 수를 대체할 수 있음을 시사합니다.
• 크기보다 아키텍처와 훈련 품질: 가장 큰 모델인 Nemotron-9B(9B) 는 평균 정확도 17.7% 로 가장 낮은 성능을 기록했습니다. 이는 파라미터 수만 많다고 성능이 보장되지 않으며, 훈련 방법론과 아키텍처 설계가 더 중요함을 보여줍니다.

B. 프롬프트 전략의 작업 의존성 (Task-Dependence)

• Chain-of-Thought (CoT) 의 양면성:
  • CONTRACTNLI (계약 추론): CoT 는 성능을 8.5%p 향상시켰습니다 (논리적 추론이 필요하기 때문).
  • CASEHOLD (선다형 판례 식별): CoT 는 성능을 16.0%p 저하시켰습니다. 복잡한 추론 과정이 정답 선택을 방해하고 형식 준수 (Format fidelity) 를 해쳤기 때문입니다.
  • ECTHR: CoT 는 다중 레이블 분류 성능을 저하시켰습니다.
• Few-shot 의 일관성: 모든 작업과 모델에서 가장 일관되게 효과적인 전략으로 나타났습니다.
• RAG 의 한계: BM25 와 Dense 검색 간 성능 차이는 거의 없었습니다 (0.3%p 차이). RAG 는 CONTRACTNLI 에는 도움이 되었으나 CASEHOLD 에는 오히려 해가 되었습니다. 이는 검색의 질보다 검색된 문맥을 LLM 이 어떻게 활용하는지가 핵심 병목임을 시사합니다.

C. 파싱 오류 (Parse Errors)

• Nemotron-9B 와 같은 일부 모델은 지시 사항을 따르지 못해 유효한 레이블로 변환되지 않는 출력 (Parse error) 이 빈번하게 발생하여 성능 저하의 주요 원인이 되었습니다. 반면 GPT-4o-mini 와 Qwen2.5-7B 는 거의 0% 에 가까운 오류율을 보였습니다.

4. 주요 기여 (Key Contributions)

1. 소규모 모델의 실용성 입증: 10B 미만의 오픈 소스 모델 (특히 MoE 아키텍처) 이 고비용의 상업적 API 모델과 법률 추론 작업에서 경쟁력 있는 성능을 낼 수 있음을 실증했습니다.
2. 프롬프트 전략의 맥락적 중요성 규명: "CoT 가 항상 좋다"는 통념을 깨고, 작업 유형 (추론 vs 선다형) 에 따라 CoT 가 오히려 해가 될 수 있음을 체계적으로 증명했습니다.
3. 비용 효율적인 평가 프레임워크: 전용 GPU 없이 클라우드 API 를 활용하여 $62 라는 극히 낮은 비용으로 405 회 실험을 수행하고 재현 가능한 방법론을 제시했습니다.
4. 검색 방법론에 대한 통찰: 법률 도메인에서 BM25 와 Dense 검색의 성능 차이가 미미하므로, 복잡한 임베딩 모델 대신 경량화된 BM25 를 사용할 수 있음을 제안했습니다.

5. 의의 및 시사점 (Significance)

• 실무적 가이드라인: 법률 AI 실무자에게 Qwen3-A3B를 비용 대비 성능이 가장 좋은 모델로, Few-shot 프롬프팅을 기본 전략으로, BM25를 RAG 전략으로 권장합니다.
• 접근성 확대: 고가의 GPU 인프라나 대규모 모델 없이도 소규모 모델을 통해 법률 NLP 도구를 구축할 수 있음을 보여줌으로써, 자원이 제한된 연구자나 기관의 접근성을 높였습니다.
• 향후 연구 방향: 파인튜닝 (Fine-tuning) 과 프롬프팅의 비교, 다양한 법률 작업 (법률 요약, 판결 예측) 및 다국어/다법역으로의 확장 필요성을 제기했습니다.

이 논문은 법률 AI 분야에서 "더 큰 모델이 항상 더 좋은 것은 아니며, 올바른 아키텍처와 전략 선택이 비용 효율적인 고성능 솔루션의 핵심"임을 강력하게 주장합니다.