기술 요약: OpenCompass: 대규모 언어 모델을 위한 범용 평가 플랫폼

문제 정의

작업 특화형 소형 모델에서 범용 시스템으로 빠르게 진화하는 대규모 언어 모델 (LLM) 의 발전은 객관적이고 정량적이며 포괄적인 평가에 대한 절실한 필요성을 창출했습니다. 학술계와 산업계가 모델 능력을 평가하기 위해 정적 벤치마크 데이터셋 (예: MMLU, HLE, GPQA) 에 의존하고 있지만, 현재 평가 환경은 심각한 단편화에 직면해 있습니다. 주요 과제는 다음과 같습니다:

• 다양성과 불일치: 작업 유형의 광범위한 다양성과 서로 다른 벤치마크 간의 일관성 없는 평가 기준은 통합 관리를 어렵게 만듭니다.
• 워크플로우 단편화: 데이터 전처리, 모델 추론, 결과 평가는 종종 이질적인 도구와 워크플로우를 수반합니다. 평가 방법은 정규식 매칭 대 ROUGE 점수 대 모델 기반 점수 등 다양하게 적용되며, 결과는 프롬프트 엔지니어링에 매우 민감합니다.
• 확장성 문제: 수십 개 또는 수백 개의 벤치마크에 걸쳐 포괄적인 평가를 수행하는 것은 대규모 모델 추론의 높은 오버헤드로 인해 계산 비용이 많이 들고 시간이 많이 소요됩니다.

기존의 정적 방법은 도메인 간 대규모 모델 평가를 효율적으로 지원하기 어려워, 후속 최적화에 필요한 모델의 강점과 약점을 정확하게 식별하는 것을 방해합니다.

방법론

이러한 과제를 해결하기 위해 저자들은 OpenCompass를 제안합니다. 이는 원스톱, 확장 가능하며 고동시성을 지원하는 범용 LLM 평가 플랫폼입니다. 이 시스템은 모듈화와 구성 요소 분리라는 설계 철학에 기반하여 구축되었으며, 다섯 가지 핵심 구성 요소로 구성된 계층적 논리 아키텍처를 제공합니다:

1. 구성 시스템: MMEngine 과 OpenICL 을 기반으로 구축된 이 모듈은 Python 구성 파일 또는 CLI 를 통해 입력을 받습니다. 이 모듈은 이질적인 구성을 구문 분석하여 전역 통합 평가 객체를 구성합니다. Few-shot(검색기 모듈을 통해), Zero-shot, Rich 프롬프트 구조 (ChatML 템플릿에 매핑됨) 를 포함한 유연한 프롬프트 구성 메커니즘을 지원합니다.
2. 분할 및 병렬화 (Partitioner & Runner): 직렬 평가의 선형 시간 복잡도를 완화하기 위해 OpenCompass 는 작업을 독립적인 원자 단위로 분해합니다.
   • Partitioner는 평가 요구 사항을 모델 - 데이터셋 조합의 데카르트 곱에 매핑하고, 작업자 수나 데이터셋 크기 등의 기준에 따라 이를 분할합니다.
   • Runner는 평가 로직과 로컬, 알리바바 클라우드, 볼크엔진 (Volcengine) 과 같은 하위 클러스터 관리 시스템 간의 적응형 추상화 계층 역할을 합니다. 이는 리소스 스케줄링, 작업 제출, 수명 주기 관리를 처리하여 이질적인 멀티 GPU 클러스터 간 분산 병렬 실행을 가능하게 합니다.
3. 작업 실행 단위 (Tasks): 시스템은 두 가지 주요 작업 유형을 실행합니다:
   • OpenICLInferTask: 모델 인스턴스화 (HuggingFace, vLLM, LMDeploy 및 API 지원), 프롬프트 구성, 그리고 예측 생성을 위한 추론을 처리합니다.
   • OpenICLEvalTask: 참조 레이블과 예측을 로드하고, 후처리 (형식 정규화, 필터링) 를 적용한 후 점수를 계산합니다.
4. 평가자 (Evaluators): OpenCompass 는 다양한 평가 패러다임을 통합합니다:
   • 규칙 기반 평가자: 논리 규칙, 정규식 또는 고전적인 NLP 지표 (BLEU, ROUGE, F1) 를 사용하여 경량화된 객관적 점수를 수행합니다.
   • LLM-as-a-Judge 평가자: 금표준이 없는 개방형 또는 복잡한 작업을 평가하기 위해 판사 모델 (Judge Model) 을 활용하여 일관성, 유창성, 지시 준수 등의 차원을 평가합니다.
   • 캐스케이드 평가자: 비용과 정확도의 균형을 맞추기 위해 규칙 기반 사전 필터링과 LLM 판단을 결합하거나, 허용도를 높이기 위해 두 가지를 병렬로 실행합니다.
5. 시각화 (Summarizer): 결과를 집계하고 지표를 계산하며 맞춤형 보고서를 생성합니다. 하위 데이터셋을 그룹화하고 결과를 데이터셋 식별자에 매핑하여 정교한 시각화를 지원합니다.

워크플로우는 구성 구성, 추론, 평가, 시각화의 네 단계로 진행됩니다.

주요 기여

• 통합 플랫폼: OpenCompass 는 지식, 추론, 계산, 과학, 언어, 코드, 장문 처리 등 다양한 도메인의 100 개 이상의 주요 데이터셋을 지원하는 단일 오픈소스 프레임워크를 제공하여 LLM 커뮤니티의 단편화된 평가 워크플로우를 통합합니다.
• 고동시성 및 확장성: 작업 분할 메커니즘과 분산 리소스를 관리할 수 있는 Runner 를 도입함으로써, 대규모 데이터셋에 대한 전체 규모 평가에 소요되는 시간을 크게 단축합니다.
• 유연성 및 호환성: 이 플랫폼은 다양한 모델 유형 (HuggingFace, 가속 엔진, API) 을 지원하며, 전처리, 후처리 및 평가 로직의 사용자 정의 등을 포함한 유연한 평가 전략을 제공합니다.
• 포괄적인 평가자 지원: 규칙 기반, LLM-as-a-Judge, 그리고 캐스케이드 평가 방법을 통합하여 사용자가 객관적 및 주관적 작업 시나리오 모두에 적응할 수 있도록 합니다.

결과 및 벤치마크

본 논문은 100 개 이상의 데이터셋에 대한 지원을 나열함으로써 OpenCompass 의 능력을 입증합니다.

• 지식: MMLU, GPQA, SimpleQA.
• 추론: BBH, HellaSwag, HLE.
• 계산: MATH, 경쟁형 문제 (AIME, HMMT).
• 과학: PHYSICS, ClimaQA, SmolInstruct.
• 언어: MMMLU, PMMEval.
• 코드: LiveCodeBench, BigCodeBench.
• 장문: Ruler, LongBench.

본 논문은 이러한 데이터셋에 대한 주요 모델들의 평가 결과를 포함하는 "OpenCompass 학술 리더보드"를 언급하고 있지만, 제공된 텍스트에는 구체적인 수치 결과가 상세히 기술되어 있지 않으며, 프로젝트 문서 및 부록 A 에서 확인할 수 있는 것으로 명시되어 있습니다.

중요성 및 주장

저자들은 OpenCompass 를 LLM 능력을 정확하게 식별하기 위해 학술계와 산업계 모두에게 필수적인 도구로 위치시킵니다. 현재 평가 프로세스의 단편화와 표준화 과제를 해결함으로써, 이 플랫폼은 다음과 같은 기능을 가능하게 합니다:

• 효율적인 대규모 평가: 다양한 도메인에 걸친 모델 평가 사이클 시간을 획기적으로 단축합니다.
• 표준화된 비교: 서로 다른 벤치마크에 걸친 모델들의 공정한 일관된 비교를 가능하게 하는 통합 환경을 제공합니다.
• 최적화 지침: 연구자와 개발자가 후속 파인튜닝 및 최적화를 안내하기 위해 특정 모델 약점을 파악하는 데 도움을 줍니다.

본 논문은 파이프라인 병렬화 (데이터셋 간) 강화 및 현재 단일 모드 평가에 국한된다는 한계를 인정하면서, 멀티모달 및 멀티턴 대화 평가 지원 확장을 포함한 향후 작업을 요약하며 결론을 맺습니다.