La Leaderboard: A Large Language Model Leaderboard for Spanish Varieties and Languages of Spain and Latin America

이 논문은 스페인어권 커뮤니티의 언어적·문화적 다양성을 반영한 생성형 대규모 언어 모델 (LLM) 의 평가 표준을 확립하기 위해 바스크어, 카탈로니아어, 갈리시아어 및 다양한 스페인어 변종을 포함한 66 개의 데이터셋과 50 개의 모델을 평가한 최초의 오픈소스 리더보드인 'La Leaderboard'를 소개합니다.

핵심

이 논문은 **"LA LEADERBOARD(라 리더보드)"**이라는 새로운 프로젝트에 대해 설명합니다. 이 프로젝트를 쉽게 이해할 수 있도록 일상적인 비유와 이야기로 풀어보겠습니다.

🌍 1. 왜 이 프로젝트가 필요한가요? (기존의 문제점)

지금까지 인공지능 (LLM) 의 실력을 측정하는 '시험지'나 '순위표'는 대부분 영어로만 만들어져 있었습니다. 마치 전 세계 학생들의 실력을 측정할 때, 오직 영어 시험지만 주고 "영어 점수가 낮으면 지능이 낮은 거야"라고 판단하는 것과 비슷합니다.

스페인어는 전 세계 6 억 명 이상이 사용하는 거대한 언어이지만, 그 안에도 스페인, 멕시코, 아르헨티나, 우루과이 등 지역마다 사투리가 다르고, 스페인 내에서는 카탈로니아어, 바스크어, 갈리시아어 같은 다른 언어도 공존합니다.

기존의 시험지는 이 다양한 언어와 문화를 제대로 반영하지 못했습니다. 기계 번역으로 만든 문제들은 문화적 뉘앙스를 놓치고, 실제 현지인이 만든 데이터가 부족했습니다. 그래서 **"스페인어권 사람들의 진짜 실력을 제대로 측정할 수 있는 공정한 시험지가 필요하다!"**는 목소리가 나왔습니다.

🏆 2. LA LEADERBOARD 란 무엇인가요? (해결책)

이 논문은 바로 그 공정한 시험지를 만든 이야기를 담고 있습니다.

• 커뮤니티가 만든 운동: 한 두 명의 연구자가 만든 게 아니라, 13 개의 연구팀이 힘을 합쳐 오픈소스 (누구나 볼 수 있고 참여할 수 있는) 리더보드를 만들었습니다.
• 다양한 언어를 아우름: 스페인어뿐만 아니라 스페인의 공식 언어인 카탈로니아어, 바스크어, 갈리시아어까지 총 4 가지 언어를 평가합니다.
• 66 가지의 다양한 시험: 단순히 문법만 묻는 게 아니라, 의학, 법률, 농담 이해, 뉴스 요약, 윤리적 판단 등 현실에서 쓰이는 66 가지의 다양한 과제를 포함합니다.

비유: 기존의 리더보드가 "영어만 잘하는 학생만 뽑는 입시"였다면, LA LEADERBOARD 는 "스페인어권 각 지역의 사투리와 문화를 모두 이해하는 학생을 찾아내는 종합 스포츠 대회"와 같습니다.

📝 3. 어떻게 시험을 치나요? (방법론)

이 프로젝트는 단순히 점수를 매기는 것을 넘어, 환경과 효율성까지 고려합니다.

• 적은 예제 (Few-shot): 보통 인공지능은 시험을 볼 때 많은 예제 (문제 풀이 샘플) 를 보여주고 학습시킵니다. 하지만 이 프로젝트는 환경 오염 (에너지 소비) 을 줄이고 더 많은 연구자가 참여할 수 있도록 예제 수를 줄였습니다. 마치 "긴 설명 없이 핵심만 빠르게 테스트하는 것"과 같습니다.
• 문화적 정확성: 기계 번역이 아닌, 현지 원어민이 직접 검토하고 수정한 데이터를 사용했습니다. 이는 문화적 뉘앙스를 놓치지 않기 위함입니다.

📊 4. 어떤 결과가 나왔나요? (결과 분석)

50 개의 다양한 인공지능 모델을 이 리더보드에 투입해 평가했습니다.

• 강자 (Top Models): 구글의 Gemma, 메타의 Llama, 알리바바의 Qwen 시리즈가 전반적으로 높은 점수를 받았습니다. 특히 모델 크기가 큰 것들이 좋았습니다.
• 지역 특화 모델: 하지만 스페인이나 유럽 연구진이 만든 Salamandra나 EuroLLM 같은 모델들은 특정 언어 (바스크어, 갈리시아어) 에서 매우 뛰어난 성능을 보였습니다. 이는 "전 세계적으로 큰 모델도 좋지만, 자신의 언어와 문화에 맞춰 훈련된 모델이 특정 영역에서는 더 잘할 수 있다"는 것을 보여줍니다.
• 에너지 소비: 모델이 크고 성능이 좋을수록 전기를 많이 먹습니다. 하지만 연구팀은 이 에너지 소비량도 측정하여, 성능과 환경 부담 사이의 균형을 고민하게 만들었습니다.

🚀 5. 앞으로의 목표 (미래)

이 리더보드는 끝이 아닙니다.

• 더 많은 언어 추가: 현재는 스페인어권 언어가 주를 이루지만, 향후 라틴아메리카의 원주민 언어 (과라니어, 나와틀어 등) 도 포함할 계획입니다.
• 지속적인 발전: 새로운 데이터가 기부되면 계속 업데이트되며, 누구나 자신의 모델을 제출해 순위를 확인할 수 있습니다.

💡 요약: 이 논문이 우리에게 주는 메시지

이 논문은 **"인공지능은 전 세계 모든 언어와 문화를 공정하게 이해해야 한다"**는 메시지를 전달합니다.

마치 **"모든 학생이 영어 시험만 보는 게 아니라, 각자의 모국어와 문화적 배경을 존중하는 시험을 봐야 진정한 실력을 알 수 있다"**는 뜻입니다. LA LEADERBOARD 는 스페인어권 커뮤니티를 위한 첫걸음이자, 전 세계 다른 언어권에도 영감을 주는 공정한 인공지능 평가의 새로운 기준이 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

대규모 언어 모델 (LLM) 의 평가는 영어 중심의 벤치마크에 치중되어 있으며, 스페인어권 (스페인 및 라틴아메리카) 의 언어적, 문화적 다양성을 충분히 반영하지 못하고 있습니다.

• 언어적 다양성 부재: 기존 리더보드는 주로 영어나 소수의 고자원 언어에 집중되어 있습니다. 스페인어는 전 세계 6 억 명 이상이 사용하며, 스페인 내에서는 카탈로니아어, 바스크어, 갈리시아어와 공존하고, 라틴아메리카에서는 수백 개의 원주민 언어와 혼합된 다양한 방언이 존재합니다.
• 데이터의 한계: 기존 스페인어 평가 데이터셋은 기계 번역에 의존하거나, 문화적 뉘앙스를 반영하지 못해 실제 언어 사용 환경을 제대로 평가하지 못합니다.
• 평가 표준 부재: 스페인어권 커뮤니티의 요구에 부응하는 오픈 소스 리더보드가 존재하지 않아, 해당 지역을 위한 문화적 인식을 갖춘 LLM 개발이 지연되고 있습니다.

2. 방법론 (Methodology)

이 논문은 스페인어권 언어와 방언을 평가하기 위한 최초의 오픈 소스 리더보드인 LA LEADERBOARD를 제안하며, 커뮤니티 주도형 방법론을 채택했습니다.

A. 데이터 수집 및 구성

• 데이터셋: 총 66 개의 평가 데이터셋을 포함하며, 스페인어 (스페인, 멕시코, 아르헨티나, 칠레, 우루과이 방언), 카탈로니아어, 바스크어, 갈리시아어로 구성되었습니다.
• 출처: 13 개 연구 그룹으로부터 기증받은 데이터와 7 개 (AQuAS, ClinTreatES 등) 의 신규 생성 데이터셋을 포함합니다.
• 품질 관리: 데이터는 원어민이 주석하거나 검토한 것만 포함하며, 기계 번역된 데이터는 원어민이 철저히 검토한 경우에만 포함됩니다. 이는 문화적 뉘앙스와 언어적 정교함을 보존하기 위함입니다.
• 작업 유형: 단순 선택지 질문 (MCQA) 뿐만 아니라 텍스트 생성 (요약, 장문 QA), 반박문 생성, 윤리적 편향 평가 등 다양한 과제를 포함합니다.

B. 평가 설정 및 효율성

• Few-shot 전략: 기존 문헌보다 적은 수의 퓨샷 (few-shot) 예시를 사용하여 환경 영향을 줄이고 재현성을 높였습니다.
  • MCQA 작업에서는 모델의 인지 편향을 줄이기 위해 모든 정답 옵션이 포함된 4-shot 설정을 사용하거나, 작업 복잡도에 따라 0~3 shot 을 적용했습니다.
  • 컨텍스트 윈도우 제한을 고려하여 최대 2,048 토큰 이내로 제한했습니다.
• 지표: MCQA 에는 로그 확률 (LOGPROBS) 을, 텍스트 생성에는 BLEU, ROUGE, Semantic Answer Similarity (SAS) 및 LLM 기반 자동 평가자 (Judge-LLM) 를 사용합니다.
• 에너지 효율성 측정: 평가 시 GPU 사용 시간, 에너지 소비량 (kWh), 그리고 이를 기반으로 한 CO2 배출량을 측정하여 모델의 환경적 영향을 분석했습니다.

C. 기술적 구현

• 백엔드: LM Evaluation Harness 를 기반으로 하며, 무작위 베이스라인을 보정한 정규화된 점수를 제공합니다.
• 프론트엔드: Hugging Face 리더보드 템플릿과 Gradio 를 사용하여 언어별 결과를 시각화하고, 커뮤니티가 모델을 제출할 수 있도록 개방했습니다.
• 라이선스: Apache 2.0 라이선스를 사용하여 오픈 소스 생태계 확장을 장려합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 오픈 소스 스페인어 리더보드: 스페인과 라틴아메리카의 언어 및 방언을 평가하는 최초의 커뮤니티 주도형 오픈 소스 리더보드를 구축했습니다.
2. 확장 가능한 프레임워크: 다양한 언어와 언어 변종을 점진적으로 포함할 수 있는 확장 가능한 아키텍처를 제시했습니다.
3. 효율적이고 재현 가능한 평가 프로토콜: 환경 영향을 줄이고 접근성을 높이기 위해 퓨샷 설정을 최적화하고 에너지 소비를 측정하는 방법을 제시했습니다.
4. 포괄적인 분석: 스페인어, 카탈로니아어, 바스크어, 갈리시아어에 대한 50 개의 최신 LLM 에 대한 성능, 에너지 효율성, 훈련 데이터 전략별 분석을 제공했습니다.

4. 평가 결과 (Evaluation Results)

50 개의 오픈 가중치 모델 (1B~32B 파라미터) 을 평가한 결과는 다음과 같습니다.

• 성능 상위 모델:
  • 전반적으로 Gemma-2-9B (Base 및 Instruct), Meta-Llama-3.1-8B-IT, Qwen2.5 (14B, 32B 양자화 버전) 가 모든 언어에서 상위권을 차지했습니다.
  • EuroLLM-9B와 Salamandra-7B는 투명성과 특정 언어 (갈리시아어, 바스크어) 에 최적화된 모델로서 경쟁력 있는 성능을 보였습니다.
  • 리소스 제약 환경에서는 Salamandra-2B와 Qwen2.5-1.5B가 우수한 성능을 발휘했습니다.
• 작업별 성능:
  • 자연어 추론 (NLI) 과 상식 추론 작업에서는 상대적으로 좋은 성능을 보였으나, 요약 (Summarization) 및 수학 추론 작업에서는 점수가 낮았습니다.
  • 갈리시아어는 전반적으로 점수가 낮았으며, 바스크어는 추론 작업에서는 우수했으나 질문 답변 (QA) 에서는 상대적으로 낮았습니다.
• 훈련 전략의 영향:
  • 대규모 다국어 코퍼스로 처음부터 사전 훈련 (Pre-training) 한 모델 (Qwen, Llama) 이 가장 일관된 성능을 보였습니다.
  • 특정 언어에 집중하여 추가 사전 훈련 (Continuous Pre-training) 한 모델 (Latxa 등) 은 해당 언어에서 최고 성능을 기록했습니다.
  • 단순히 파인튜닝 (Fine-tuning) 만 수행한 모델은 유창성은 개선되었으나 추론 능력 향상은 미미했습니다.
• 에너지 효율성:
  • 모델 크기와 에너지 소비는 강한 상관관계를 보였으나, Instruction-tuned 모델은 Base 모델보다 덜 verbose 하여 에너지 효율이 더 높았습니다.
  • 요약 작업과 같은 텍스트 생성 작업이 가장 많은 에너지를 소모했습니다.

5. 의의 및 향후 과제 (Significance & Future Work)

• 문화적 인식 AI 의 표준: 언어적 능력뿐만 아니라 문화적 맥락을 이해하는 LLM 개발을 촉진하는 새로운 평가 표준을 제시했습니다.
• 커뮤니티 참여 유도: 오픈 소스 리더보드를 통해 연구자와 개발자가 제한된 컴퓨팅 자원으로도 최신 모델과 비교할 수 있게 하여, 스페인어권 NLP 생태계의 성장을 도모합니다.
• 환경적 책임: 평가 과정에서의 에너지 소비와 탄소 배출량을 투명하게 공개하여, 지속 가능한 AI 개발의 중요성을 강조했습니다.
• 향후 계획:
  • 라틴아메리카의 원주민 언어 (과라니, 나와틀 등) 평가 데이터셋 추가.
  • 더 큰 규모의 오픈 모델 및 상용 모델 평가 포함.
  • 각 스페인어권 국가별 문화적 적절성을 측정하는 해커톤 개최.

이 논문은 스페인어권 언어의 다양성을 존중하고, 보다 포용적이고 문화적으로 적합한 AI 시스템을 구축하기 위한 중요한 이정표로 평가됩니다.