CLARIN-PT-LDB: An Open LLM Leaderboard for Portuguese to assess Language, Culture and Civility

1. 문제 정의 (Problem)

• 유럽 포르투갈어 (PT-PT) 평가의 부재: 현재 대규모 언어 모델 (LLM) 평가 리더보드와 벤치마크는 영어에 집중되어 있으며, 포르투갈어 변형 중에서도 특히 **유럽 포르투갈어 (European Portuguese)**를 위한 전용 리더보드가 존재하지 않았습니다.
• 기존 벤치마크의 한계:
  • 영어 벤치마크는 이미 포화 상태 (Saturation) 에 이르렀으며, 데이터 오염 (Test set leakage) 및 스푸리어스 단서 (Spurious cues) 문제로 인해 신뢰도가 떨어질 수 있습니다.
  • 기존 포르투갈어 벤치마크 (예: Open Portuguese LLM Leaderboard) 는 주로 **브라질 포르투갈어 (PT-BR)**에 초점을 맞추고 있습니다.
  • **문화적 정렬 (Cultural Alignment)**과 **모델 안전장치 (Safeguards)**를 평가하는 벤치마크가 포르투갈어 (유럽/브라질 모두) 에 존재하지 않았습니다.
• 평가 방식의 비호환성: 많은 기존 평가가 로짓 (Logits) 기반의 순위 매기기를 사용하는데, 이는 폐쇄형 모델이나 API 를 통한 배포 모델에는 적용하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 유럽 포르투갈어용 오픈 LLM 리더보드인 CLARIN-PT-LDB를 개발하고, 이를 평가하기 위해 10 개의 벤치마크 세트를 구성했습니다.

A. 벤치마크 구성 (10 개)

1. Tuguesice-PT (신규, 문화 정렬):
   • 목적: 모델이 포르투갈 문화에 얼마나 잘 정렬되어 있는지 평가.
   • 특징: 기존 번역이 아닌, 포르투갈 문화 (사회, 지리, 역사, 정치, 요리, 스포츠 등) 에 대한 암묵적 지식을 요구하도록 0 부터 새로 작성된 327 개의 질문 - 답변 쌍.
   • 평가: 생성된 답변에 정답 (Gold answer) 이 포함되어 있는지 확인 (Case-insensitive).
2. DoNotAnswer-PT (신규, 안전장치):
   • 목적: 유해한 요청 (폭력, 차별, 불법 등) 을 거부하는 모델의 능력 평가.
   • 특징: 영어 벤치마크 'Do-Not-Answer'를 유럽 포르투갈어로 자동 번역 후 수동 큐레이션을 거쳐 939 개의 요청으로 구성.
   • 평가: 정답 매칭이 불가능하므로 **Judge Model (Llama 3.3 70B Instruct)**을 사용하여 답변을 분류 (거부, 반박, 면책 조항 등).
3. MuSR (Chain-of-Thought 추론):
   • 영어 MuSR 벤치마크를 유럽 포르투갈어로 번역 (Google Cloud Advanced Translation API 사용).
   • 756 개의 사례로 구성되며, 서술형 텍스트와 논리적 추론을 요구하는 질문을 포함.
4. NLU Q&A 벤치마크 (자동 번역):
   • AA-Omniscience-Public: 지식 및 환각 (Hallucination) 평가 (600 개). Judge Model (Gemini 2.5 Flash) 사용.
   • GPQA Diamond: 대학원 수준의 과학/공학 객관식 문제 (198 개).
   • MMLU: 57 개 주제에 대한 객관식 문제 (14,042 개).
   • MMLU Pro: MMLU 보다 난이도가 높고 선택지가 10 개인 문제 (12,032 개).
5. PORTULAN ExtraGLUE (기존):
   • CoPA (추론), MRPC (문장 유사성), RTE (함축) 벤치마크를 유럽 포르투갈어 버전에서 차용.

B. 평가 방식 (Purely Generative)

• 생성 중심 평가: 모든 벤치마크에서 모델이 정답을 텍스트로 직접 생성하도록 요구합니다.
• 이유:
  1. 로짓 (Logits) 접근이 필요 없어 폐쇄형 모델/API 모델도 평가 가능.
  2. 닫힌 정답 집합과 열린 정답 집합 모두에 적용 가능.
  3. 실제 챗봇 배포 환경 (프롬프트 - 답변 텍스트 상호작용) 과 일치.
• 정확도 측정: 생성된 텍스트와 정답 (또는 정답 포함 여부) 을 매칭하여 정확도 (Accuracy) 를 산출합니다.

C. 기술 인프라

• 백엔드: Eleuther의 LM Evaluation Harness를 커스텀하여 사용. YAML 설정 파일을 통해 프롬프트 템플릿, 출력 처리, 생성 파라미터 등을 관리.
• 하드웨어: PORTULAN CLARIN 연구 인프라 지원 하에 NVIDIA L40S (10 개 GPU) 및 RTX Pro 6000 (96GB GPU) 노드集群 사용.
• 프론트엔드: HuggingFace Spaces 를 기반으로 한 웹 인터페이스 제공.

3. 주요 기여 (Key Contributions)

1. 유럽 포르투갈어 전용 리더보드 최초 공개: HuggingFace Spaces 를 통해 공개된 최초의 PT-PT 전용 LLM 리더보드 (CLARIN-PT-LDB).
2. 새로운 평가 차원 도입:
   • 문화적 정렬 (Cultural Alignment): Tuguesice-PT 를 통해 모델이 해당 문화권의 암묵적 지식을 가지고 있는지 평가.
   • 안전장치 (Safeguards): DoNotAnswer-PT 를 통해 포르투갈어 유해 콘텐츠에 대한 모델의 거부 능력을 평가.
3. 포괄적인 벤치마크 세트: 추론, 자연어 이해 (NLU), 지식, 안전, 문화 등 다양한 능력을 측정하는 10 개의 벤치마크 통합.
4. 재현성 및 접근성: 오픈 소스 코드와 공개된 리더보드를 통해 연구의 재현성을 보장하고, 누구나 모델을 제출하여 평가받을 수 있도록 함.

4. 결과 (Results)

• 평가된 모델: Gervásio (PT-PT 파인튜닝 모델), Llama (Base), Mistral 등 다양한 크기의 모델 (8B, 24B, 70B) 이 평가됨.
• 주요 발견:
  • 모델 크기 효과: 모델 크기가 커질수록 (8B → 70B) 전반적인 성능이 향상됨.
  • 파인튜닝의 효과: 유럽 포르투갈어 데이터로 파인튜닝된 Gervásio는 베이스 모델인 Llama에 비해 **Tuguesice-PT (문화 정렬)**에서 훨씬 높은 점수를 기록하여, 문화적 맥락 학습의 중요성을 입증함.
  • 벤치마크 난이도: MMLU Pro 가 MMLU 보다 더 어려운 과제로 작용함을 확인.
• 현재 점수 (예시): Gervásio 70B 는 DoNotAnswer-PT 에서 86.9%, Tuguesice-PT 에서 39.76% 등의 점수를 기록함.

5. 의의 및 결론 (Significance)

• 언어적 다양성 증진: 영어 중심의 LLM 평가 생태계에서 비영어권, 특히 유럽 포르투갈어의 중요성을 부각시키고 평가 기준을 마련했습니다.
• 문화적 민감성 강조: 단순히 언어 능력뿐만 아니라 문화적 정렬과 윤리적 안전장치가 LLM 평가의 필수 요소임을 강조했습니다.
• 지속 가능한 연구 기반: PORTULAN CLARIN 인프라를 통해 지속적인 벤치마킹과 모델 비교가 가능한 생태계를 조성하여, 유럽의 언어 기술 발전에 기여할 것으로 기대됩니다.

이 논문은 유럽 포르투갈어 LLM 의 성능을 종합적으로 평가할 수 있는 표준을 제시함으로써, 해당 언어권에서의 AI 기술 발전과 적용에 중요한 이정표가 됩니다.