DEP: A Decentralized Large Language Model Evaluation Protocol

이 논문은 LLM 평가의 일관성, 재현성 및 데이터 유출 문제를 해결하기 위해 벤치마크와 정답을 서버 측에 격리하여 모듈형 플러그 앤 플레이 평가를 가능하게 하는 탈중앙화 평가 프로토콜 (DEP) 과 이를 구현한 툴킷을 제안합니다.

핵심

🚀 DEP: AI 평가의 '공유된 시험장'을 만든 혁신적인 방법

이 논문은 최근 급격히 발전하고 있는 거대 언어 모델 (LLM, AI) 을 어떻게 공정하고 안전하게 평가할 것인가에 대한 새로운 해결책을 제시합니다.

기존 방식의 문제점과 DEP 가 제안하는 새로운 방식을 일상적인 비유로 설명해 드리겠습니다.

---

1. 왜 새로운 방식이 필요할까요? (기존의 문제점)

지금까지 AI 를 평가할 때는 마치 **"각자 다른 규칙을 가진 시험을 치르는 상황"**과 비슷했습니다.

• 문제 1: 규칙이 제각각이라서 번거롭습니다.
  • 비유: 수학 시험을 치르는데, A 학교는 연필로만 써야 하고, B 학교는 컴퓨터로만 써야 하며, C 학교는 답안을 제출할 때 특정 형식의 봉투를 써야 합니다. AI 개발자들은 각 시험 (벤치마크) 마다 새로운 규칙을 배우고 코드를 다시 짜야 해서 매우 귀찮고 시간이 많이 걸립니다.
• 문제 2: 정답이 유출될 위험이 있습니다.
  • 비유: 시험지가 공개된 책장에 꽂혀 있다면, AI 가 시험을 보기 전에 미리 정답을 외워버릴 수 있습니다. 이렇게 되면 AI 가 실제로 얼마나 똑똑한지 알 수 없게 됩니다.
• 문제 3: 중앙 집중식 시스템은 무겁습니다.
  • 비유: 모든 시험을 관리하는 거대한 '중앙 시험청' 하나만 있는데, 새로운 시험이 나올 때마다 그 청의 규칙에 맞춰 모든 것을 다시 만들어야 합니다. 유연성이 떨어집니다.

---

2. DEP 는 무엇인가요? (해결책)

저자들은 DEP(분산형 평가 프로토콜) 라는 새로운 시스템을 만들었습니다. 이를 "공유된 시험관 (매칭 서버)" 시스템이라고 생각하시면 됩니다.

🏫 핵심 아이디어: "시험지는 서버에, 학생은 클라이언트에"

DEP 는 세 가지 역할을 명확히 나눕니다.

1. 시험지 관리자 (서버):

   • 역할: 문제 (데이터) 와 정답 (Ground Truth) 을 완전히 숨겨서 보관합니다.
   • 비유: 마치 시험 감독관이 시험지를 가지고 있고, 학생은 절대 시험지를 볼 수 없는 상황입니다. 학생이 답을 적어내면, 감독관이 정답과 비교해서 점수를 매겨줍니다.
   • 장점: AI 가 정답을 미리 볼 수 없으니, 사기 (데이터 오염) 를 원천 차단합니다.

2. 학생 (AI 모델):

   • 역할: 문제를 받아서 답을 적어내면 됩니다.
   • 비유: 어떤 학교 (모델) 가 오든, 어떤 연필을 쓰든 상관없이 "문제지"만 받으면 됩니다.

3. 통제실 (클라이언트/DEP 툴킷):

   • 역할: 학생들을 관리하고, 답을 받아서 서버로 보내며, 점수표를 정리합니다.
   • 비유: 시험을 진행하는 총괄 감독관입니다. "누가 몇 번 문제까지 풀었는지", "중간에 끊겼으면 다시 이어 붙이는 것 (중단 이어서 실행)" 등을 자동으로 처리합니다.

---

3. DEP 의 놀라운 장점들

✅ "플러그 앤 플레이" (Plug-and-Play)

• 비유: 새로운 시험지를 만들 때, 기존에 쓰던 시험지 형식을 뜯어고칠 필요가 없습니다. 그냥 **"시험지 파일"**을 서버에 꽂아두면, DEP 시스템이 알아서 "아, 이건 수학 문제구나, 저건 영어 문제구나" 하고 맞춰줍니다.
• 효과: 연구자들은 자신의 데이터를 그대로 유지하면서 AI 평가에 참여할 수 있어 매우 편리합니다.

✅ "보안 강화" (데이터 격리)

• 비유: 시험 감독관 (서버) 이 정답을 가지고 있는데, 학생 (AI) 은 답안지만 제출합니다. 감독관이 점수를 매겨서 결과만 알려줄 뿐, 정답 자체는 학생에게 절대 보여주지 않습니다.
• 효과: AI 가 정답을 외워버리는 '시험지 유출' 사고를 막을 수 있습니다.

✅ "자동화 & 효율성"

• 비유: 시험이 중간에 끊기거나 인터넷이 느려도, DEP 툴킷이 알아서 "어디까지 풀었지?"를 기억했다가 다시 이어줍니다. 또한, 한 번에 수천 명의 학생 (AI) 을 동시에 시험치게 하되, 서버가 붕괴되지 않도록 적절히 줄을 서게 합니다.
• 효과: 개발자들은 복잡한 코드 작성 없이, 몇 줄의 명령어만으로 대규모 평가를 할 수 있습니다.

---

4. 실제 성과는 어땠나요?

저자들은 이 DEP 시스템을 이용해 2026 년 2 월 기준 **60 개 이상의 다양한 시험 (벤치마크)**을 준비했고, 12 개의 다양한 AI 모델을 평가했습니다.

• 결과: 기존 방식보다 훨씬 쉽고 빠르게 평가를 진행할 수 있었습니다.
• 발견: 큰 AI 모델일수록 복잡한 문제 (수학 등) 를 잘 풀지만, 윤리나 안전성 측면에서는 작은 모델과 큰 차이가 없기도 했습니다. (이런 미묘한 차이를 DEP 로 정확하게 잡아냈습니다.)

---

📝 한 줄 요약

DEP 는 "AI 평가"를 위한 공유된 시험 감독관 시스템입니다. 정답은 감독관만 가지고 있고, 학생 (AI) 은 답안만 제출하게 함으로써 사기를 막고, 누구나 쉽게 새로운 시험을 추가할 수 있게 만들어 AI 평가의 표준을 제시합니다.

이제 AI 개발자들은 복잡한 코드 작성에 시간을 낭비하지 않고, 진짜 AI 의 실력에 집중할 수 있게 되었습니다!

기술 요약

1. 문제 제기 (Problem)

대규모 언어 모델 (LLM) 의 급속한 발전과 함께 수많은 벤치마크가 등장했으나, 기존 평가 체계에는 다음과 같은 근본적인 한계가 존재합니다.

• 표준화 부재 및 재현성 문제: 대부분의 벤치마크가 독립적으로 출시되어 데이터 형식, 추론 파이프라인, 평가 스크립트가 이질적입니다. 이로 인해 평가 결과의 일관성과 재현성을 보장하기 어렵고, 모델 개발자가 커스텀 스크립트를 직접 구현해야 하는 시간 비용이 발생합니다.
• 중앙집중식 프레임워크의 한계: 기존 평가 프레임워크 (예: LM Evaluation Harness 등) 는 데이터셋, 추론 로직, 평가 메트릭을 단일 플랫폼에 통합하는 중앙집중식 구조를 취합니다. 이는 높은 결합도 (High Coupling) 로 인해 확장성이 떨어지고, 새로운 벤치마크를 지원하기 위해 데이터 형식을 재구성해야 하는 번거로움이 있습니다.
• 데이터 오염 및 유출 위험: 중앙집중식 프레임워크는 평가를 위해 정답 (Ground Truth) 을 서버에 보관해야 하므로, 테스트 세트가 유출되거나 모델이 학습 단계에서 정답을 간접적으로 접하게 되어 평가의 신뢰성이 훼손될 위험이 있습니다.

2. 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 **탈중앙화 평가 프로토콜 (DEP)**을 제안했습니다. DEP 는 벤치마크와 평가 클라이언트를 분리하여 모듈형, 플러그앤플레이 (Plug-and-Play) 평가를 가능하게 하는 아키텍처입니다.

핵심 아키텍처 (3 가지 구성 요소)

1. LLM 어댑터 (LLM Adapter):
   • 다양한 LLM 의 추론 API 및 인터페이스 차이를 숨기기 위한 통일된 호출 인터페이스를 제공합니다.
   • JSON 기반의 통일된 통신 프로토콜과 표준화된 상태 코드 (Status Codes) 를 사용하여, 클라이언트가 특정 모델 유형을 인지하지 않고도 스케줄링과 평가를 수행할 수 있게 합니다.
2. 클라이언트 (Client):
   • LLM 어댑터와 벤치마크 서버 간의 조정 계층 역할을 수행합니다.
   • 작업 생명주기 관리 (실행, 일시정지, 완료, 실패), 동시성 제어, 트래픽 제어 (Congestion Control) 를 담당합니다.
   • 디렉토리를 스캔하여 벤치마크와 모델을 자동으로 탐지 (Auto-discovery) 하는 기능을 제공합니다.
3. 벤치마크 서버 (Benchmark Server):
   • 핵심 특징: 평가 로직과 정답 (Ground Truth) 이 오직 서버 측에만 존재합니다.
   • 클라이언트는 서버와 프로토콜로 정의된 표준 인터페이스를 통해만 통신하며, 실제 데이터나 정답에 접근할 수 없습니다.
   • 기존 벤치마크의 원본 데이터 형식 (Parquet, JSONL 등) 을 변경하지 않고도 서버 스크립트만 작성하면 DEP 에 통합할 수 있습니다.
   • 원격 배포 시 정답 유출을 원천 차단하여 데이터 격리 (Data Isolation) 를 실현합니다.

DEP 툴킷 (DEP Toolkit)

• DEP 프로토콜을 구현한 평가 클라이언트 도구로, 대규모 LLM 평가에 필요한 기능을 제공합니다.
• 주요 기능:
  • 중단 지점 재개 (Breakpoint Resume): 외부 중단 시 Evaluation ID 를 기반으로 작업을 재개하여 토큰 낭비를 방지합니다.
  • 동시 요청 및 혼잡 제어: 토큰 버킷 알고리즘 (Token Bucket Algorithm) 기반의 혼잡 제어를 통해 API 속도 제한 (Rate Limit) 을 우회하지 않고 안정적으로 요청을 분산합니다.
  • 다양한 평가 지원: 자동 평가, LLM-as-a-Judge, 커스텀 메트릭, Hugging Face Evaluate 등 다양한 평가 방식을 지원합니다.

3. 주요 기여 (Key Contributions)

1. 탈중앙화 평가 프로토콜 (DEP) 도입: 벤치마크와 평가 클라이언트를 분리하여 제로 코드 (Zero-code) 편의성, 재현 가능한 평가, 데이터 프라이버시 보호, 커뮤니티 기반 공유를 실현했습니다.
2. 유연한 벤치마크 통합: 벤치마크 작성자가 원본 데이터 형식을 변경할 필요 없이 기존 스크립트를 서버로 패키징하여 통합할 수 있게 했습니다.
3. DEP 툴킷 공개: 대규모 평가를 위한 중단 지점 재개, 동시성 제어, 로깅 시스템 등을 포함한 포괄적인 툴킷을 오픈소스로 공개했습니다.
4. 커뮤니티 생태계 조성: 2026 년 2 월 기준 60 개 이상의 벤치마크를 DEP 에 적응시켰으며, 지속적인 커뮤니티 공동 구축을 통해 다양한 작업과 도메인에 걸친 통일된 평가를 지향합니다.

4. 실험 결과 (Results)

저자들은 2026 년 1 월, 12 개의 오픈소스 및 폐쇄소스 LLM 을 대상으로 10 개의 벤치마크를 통해 DEP 툴킷을 검증했습니다.

• 평가 성능 및 통찰:
  • 전통적 벤치마크의 포화: ARC, BoolQ 등 기존 벤치마크에서는 대부분의 LLM 간 성능 격차가 작아 평가의 변별력이 떨어지는 경향을 보였습니다.
  • 복잡한 작업의 중요성: 수학 추론 (GSM8K) 등 복잡한 작업에서는 모델 크기에 따른 성능 차이가 뚜렷하게 나타났으며, 이는 SOTA 모델 구분에 핵심 지표임을 확인했습니다.
  • 스케일링 효과: Qwen3 시리즈는 파라미터 수 증가 (0.6B~32B) 에 따라 거의 모든 작업에서 일관된 성능 향상을 보였습니다.
  • 윤리 및 안전성: 모델 크기가 커진다고 해서 반드시 윤리적 정렬 (Ethical Alignment) 이나 안전성에서 소규모 모델 (SLM) 보다 우월한 것은 아니라는 점을 발견했습니다.
• 사용자 연구 (User Study):
  • 8 명의 참가자를 대상으로 벤치마크 적응에 소요된 시간과 코드 라인 수 (LoC) 를 비교했습니다.
  • 결과: 수동 구현 (45 분, 109 LoC) 이나 기존 프레임워크 적응 (92 분, 215 LoC) 에 비해, **DEP 서버를 재사용하는 경우 (3 분, 0 LoC)**는 비용과 노력이 극적으로 감소했습니다. 이는 DEP 가 평가 통합 비용을 획기적으로 낮춘다는 것을 입증했습니다.

5. 의의 및 의의 (Significance)

• 표준화된 평가 생태계 구축: DEP 는 벤치마크의 이질성을 해결하고, 평가 프로세스를 표준화하여 연구 커뮤니티 전체의 효율성을 높입니다.
• 데이터 보안 강화: 중앙집중식 정답 보관의 위험을 제거하고, 아키텍처 수준에서 정답 격리를 실현함으로써 평가 결과의 신뢰성을 높입니다.
• 지속 가능성: 모듈형 구조와 커뮤니티 기반의 공유 메커니즘을 통해 새로운 벤치마크가 빠르게 등장하는 환경에서도 지속 가능한 평가 체계를 제공합니다.
• 확장성: 현재는 LLM 평가에 집중되어 있으나, 향후 에이전트 평가 (Docker 환경 등 복잡한 외부 상호작용) 로의 확장을 목표로 하고 있습니다.

이 논문은 LLM 평가의 현재 직면한 비효율성과 보안 문제를 해결하기 위한 실용적이고 확장 가능한 프로토콜을 제시했다는 점에서 의의가 큽니다.