LegalBench-BR: A Benchmark for Evaluating Large Language Models on Brazilian Legal Decision Classification

1. 문제 정의 (Problem Statement)

• 배경: 영어 기반의 법률 NLP 벤치마크 (LegalBench 등) 는 활발히 연구되고 있으나, 브라질의 대륙법 체계 (Civil Law) 와 포르투갈어 법률 텍스트를 다루는 벤치마크는 전무한 상태입니다. 브라질은 91 개 법원에 8,000 만 건 이상의 활성 사건을 보유한 세계 최대 규모의 사법 시스템을 운영 중이지만, 법률 문서 자동 분류를 위한 표준화된 평가 프레임워크가 부재합니다.
• 핵심 질문: 범용 대규모 언어 모델 (General-purpose LLMs) 이 브라질 법률 텍스트 분류 작업에서 도메인 특화 모델을 대체할 만큼 충분히 성능이 우수한가?
• 현실적 필요성: 법률 사무소, LegalTech 스타트업, 사법부 등은 사건 라우팅, 업무량 분배, 분석을 위해 자동화된 사건 분류가 시급히 필요하나, 현재 데이터 (CNJ 의 DataJud API) 에 대한 LLM 성능 평가 기준이 없습니다.

2. 방법론 (Methodology)

2.1 데이터셋 구축 (LegalBench-BR)

• 데이터 수집: Santa Catarina 주 법원 (TJSC) 의 DataJud API 를 통해 3,678 건의 항소 사건을 수집했습니다.
• 불균형 해소: 초기 데이터는 상업/민사법 (Cível) 위주 (97%) 였으나, 형사, 행정, 세법 등 소외된 법률 분야를 대상으로 쿼리를 확장하여 1,454 건을 추가 수집했습니다.
• 주석 (Annotation) 파이프라인:
  1. LLM 분류: Claude 3.5 Haiku 를 사용하여 구조화된 프롬프트로 라벨링 (신뢰도 < 0.7 인 데이터 제거).
  2. 휴리스틱 보정: 법원 관할 구역 (예: 형사부 → 형사법), 절차적 분류 (예: 세금 집행 → 세법) 등 메타데이터 규칙을 적용하여 LLM 의 오류 (약 6.3%) 를 수정.
• 레이블 정의: 최종 5 개 클래스로 통합 (민사 cível, 소비자 consumidor, 세법 tributário, 행정 administrativo, 형사 penal). 노동법과 가족법은 관할권 또는 데이터 부족으로 제외.
• 균형 잡기 (Class Balancing):
  • 학습용: 소수 클래스를 오버샘플링하여 클래스당 363 개 (총 1,815 개) 로 균일화.
  • 검증/테스트용: 다수 클래스를 언더샘플링하여 클래스당 21 개 (총 105 개) 로 균일화. (편향된 정확도 평가 방지)

2.2 실험 설정

• 비교 모델:
  1. BERTimbau + LoRA: bert-base-portuguese-cased 기반. LoRA 를 적용하여 전체 파라미터의 0.3% 만 학습. (Google Colab T4 GPU 에서 5 epochs 학습)
  2. Claude 3.5 Haiku: 제로샷 (Zero-shot) 분류.
  3. GPT-4o mini: 제로샷 분류.
• 평가 지표: 정확도 (Accuracy), Macro-averaged F1 점수, 지연 시간 (Latency), 비용.

3. 주요 기여 (Key Contributions)

1. LegalBench-BR 출시: 브라질 법률 텍스트 분류를 위한 최초의 공개 포르투갈어 NLP 벤치마크 (HuggingFace 공개). 5 개 법률 분야에 대한 균형 잡힌 클래스 구성 포함.
2. 성능 격차 입증: 경량화된 파인튜닝 모델 (BERTimbau-LoRA) 이 상용 LLM 보다 정확도 22%p, F1 28%p 이상 우월함을 증명. 특히 가장 어려운 클래스인 '행정법'에서 F1 점수 격차가 91%p 에 달함.
3. 시스템적 편향 발견: 제로샷 LLM 들이 불확실한 경우 다수 클래스인 '민사법 (cível)'으로 편향적으로 분류하는 'cível default' 편향을 규명. 이는 LLM 이 법률적 특징보다는 데이터 분포 빈도를 학습했음을 시사.
4. 재현 가능한 파이프라인: DataJud API 수집부터 주석, 학습, 평가까지의 전체 프로세스를 공개하여 다른 브라질 법원에도 적용 가능한 방법론 제시.

4. 실험 결과 (Results)

• 클래스별 성능:
  • 행정법 (Administrativo): GPT-4o mini 는 F1=0.00 (전체 오분류), Claude 는 F1=0.08 인 반면, LoRA 모델은 F1=0.91을 기록.
  • 소비자법 (Consumidor): 유일하게 Claude 가 LoRA 모델보다 소폭 우세 (0.84 vs 0.81). 이는 소비자법 특유의 명확한 어휘 ('제품 결함' 등) 를 제로샷 모델이 활용 가능하기 때문으로 분석됨.
  • 형사법 (Penal): 모든 모델이 높은 성능 (F1 ≥ 0.92) 을 보임. (명확한 절차적 분류와 어휘 존재)
• 편향 분석: 두 상용 LLM 모두 '민사법'으로의 오분류 비율이 높음 (실제 분포 20% 대비 38% 할당). 이는 행정법이나 세법 사건을 민사법으로 잘못 라우팅하여 시스템 실패를 초래할 수 있는 치명적 결함.

5. 의의 및 결론 (Significance & Conclusion)

• 도메인 특화 모델의 필수성: 범용 LLM 은 브라질 법률 분류와 같은 도메인 특화 작업에서 도메인 적응 (Domain Adaptation) 된 파인튜닝 모델을 대체할 수 없음을 실증함. 특히 행정법과 같은 모호한 클래스에서는 제로샷 LLM 이 사실상 무용지물임.
• 경제적 및 규제적 이점:
  • 비용: LoRA 모델은 추론 비용이 0 이며, 상용 API 대비 월 10,000 건 처리 시 약 $150 의 비용 절감 효과.
  • 보안: 브라질 변호사 협회 (OAB) 윤리 규정 및 LGPD(개인정보보호법) 에 따라 사건 데이터를 외부 서버로 전송하지 않는 로컬 실행이 필수적인데, LoRA 모델이 이를 충족함.
• 평가 방법론의 중요성: 불균형 데이터셋 (민사법 78%) 으로 평가할 경우 LLM 의 정확도가 94.5% 로 과장되지만, 균등한 데이터셋으로 평가하면 65.7% 로 급감. 이는 법률 NLP 연구에서 클래스 균형 잡힌 벤치마크의 중요성을 강조함.
• 향후 과제: 다른 주 법원 (TJSP, TJRJ 등) 으로 확장, 더 복잡한 작업 (판결 예측, 요약) 추가, 더 큰 포르투갈어 모델 평가 등.

결론적으로, 이 연구는 브라질 법률 NLP 의 공백을 메우는 첫 번째 벤치마크를 제시하며, 상용 LLM 의 한계를 지적하고 소규모 GPU 에서도 학습 가능한 경량 파인튜닝 모델이 실제 법률 기술 (LegalTech) 적용에 훨씬 효과적이고 안전함을 입증했습니다.