🤖 AI

InfiCoEvalChain: A Blockchain-Based Decentralized Framework for Collaborative LLM Evaluation

본 논문은 기존 LLM 평가 방식의 불확실성과 불투명성을 해결하기 위해, 블록체인 기반의 분산형 프로토콜을 활용하여 다양한 하드웨어 환경에서 다수의 검증자가 협력함으로써 평가의 안정성과 신뢰성을 높이는 탈중앙화된 평가 프레임워크인 'InfiCoEvalChain'을 제안합니다.

원저자: Yifan Yang, Jinjia Li, Kunxi Li, Puhao Zheng, Yuanyi Wang, Zheyan Qu, Yang Yu, Jianmin Wu, Ming Li, Hongxia Yang

게시일 2026-02-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yifan Yang, Jinjia Li, Kunxi Li, Puhao Zheng, Yuanyi Wang, Zheyan Qu, Yang Yu, Jianmin Wu, Ming Li, Hongxia Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 현재의 문제점: "운 좋게 맞춘 건지, 진짜 실력인지 모르겠어!" 🎲

지금까지 AI의 실력을 측정하는 방식은 마치 '한 명의 선생님이, 한 번의 시험으로, 특정 교실에서만' 시험을 보는 것과 같습니다. 여기에는 세 가지 큰 문제가 있어요.

운의 요소 (Stochasticity): AI는 매번 대답할 때마다 미세하게 말투나 내용이 바뀝니다. 마치 수학 문제를 풀 때, 어떤 날은 계산 실수를 하고 어떤 날은 완벽하게 푸는 것과 같죠. 어제는 90점이었는데 오늘은 70점이 나올 수 있다는 뜻입니다.
환경의 차이 (Hardware Variance): 시험을 보는 컴퓨터(하드웨어)의 성능에 따라 AI의 속도나 결과가 미세하게 달라질 수 있습니다.
깜깜이 채점 (Opacity): 대기업이 만든 시험지는 그 과정이 공개되지 않아, AI가 시험 문제 자체를 미리 외워서(데이터 오염) 점수만 높게 받는 건 아닌지 의심스러울 때가 많습니다.

논문의 충격적인 발견: 연구팀이 확인해보니, AI 모델의 순위를 매기는 점수 차이보다, 똑같은 AI에게 시험을 여러 번 쳤을 때 발생하는 점수 변동폭이 더 컸습니다. 즉, 지금의 AI 순위표는 '실력'이 아니라 '운'에 의해 뒤바뀔 수 있는 아주 불안정한 상태라는 거죠.

2. 해결책: InfiCoEvalChain – "전 세계가 함께하는 집단 지성 시험장" 🌍🤝

연구팀은 이 문제를 해결하기 위해 **'InfiCoEvalChain'**이라는 시스템을 제안합니다. 이것은 마치 **'전 세계의 수만 명의 선생님이 각자의 교실에서 동시에 시험을 치르고, 그 결과를 블록체인에 기록해 합치는 시스템'**과 같습니다.

💡 핵심 작동 원리 (비유로 보기)

다양한 시험 환경 (Decentralized Evaluation):
한 명의 선생님이 아니라, 전 세계의 개인 연구자, 대학, 기업들이 각자 가진 다양한 컴퓨터(GPU)를 사용해 AI 시험을 치릅니다. 환경이 다양해지니 특정 컴퓨터의 오류나 운의 영향을 받지 않고, AI의 '진짜 평균 실력'을 뽑아낼 수 있습니다.
블록체인이라는 '절대 조작 불가능한 채점표' (Blockchain):
시험 결과는 블록체인에 기록됩니다. 블록체인은 한 번 적으면 아무도 지우거나 고칠 수 없는 '디지털 장부'입니다. 따라서 대기업이 점수를 조작하거나, 누군가 몰래 답안지를 고치는 것이 불가능합니다.
보상과 벌칙 (Incentivization):
시험을 치르는 사람들에게는 '보상(토큰)'을 줍니다. 하지만 아무렇게나 점수를 적어내는 '가짜 채점자'를 막기 위해, '집단 지성(Schelling Point)' 원리를 이용합니다. 대부분의 채점자가 내놓은 결과와 비슷한 정직한 점수를 적으면 상을 주고, 너무 엉뚱한 점수를 적으면 벌을 줍니다. 마치 "모두가 정답이라고 생각하는 지점으로 모여라!"라고 유도하는 게임과 같습니다.

3. 결과: "흔들리지 않는 단단한 성적표" 📈

이 시스템을 적용해봤더니 놀라운 결과가 나왔습니다.

불안정성 감소: 기존 방식에서는 AI 점수가 요동쳤는데, 이 시스템을 쓰니 점수의 변동폭(표준편차)이 엄청나게 줄어들었습니다. (예: 1.67 $\rightarrow$ 0.28)
진짜 실력 확인: 이제는 AI가 운 좋게 높은 점수를 받은 건지, 아니면 정말 똑똑해서 높은 점수를 받은 건지 통계적으로 확실하게 구분할 수 있게 되었습니다.

요약하자면! 📝

**"지금의 AI 성적표는 바람 불면 흔들리는 모래성 같지만, InfiCoEvalChain은 전 세계 사람들이 블록체인이라는 단단한 바닥 위에서 함께 채점함으로써, 어떤 바람에도 흔들리지 않는 거대한 바위 같은 성적표를 만들겠다!"**는 것이 이 논문의 핵심입니다.

[기술 요약] InfiCoEvalChain: 협업적 LLM 평가를 위한 블록체인 기반 탈중앙화 프레임워크

1. 문제 정의 (Problem Statement)

현재 대규모 언어 모델(LLM)의 성능을 측정하는 중앙 집중식 평가 방식은 다음과 같은 세 가지 핵심적인 한계를 가집니다.

통계적 취약성 (Statistical Fragility): 생성형 모델의 본질적인 확률적 특성(Stochasticity)과 하드웨어 구성의 차이로 인해, 동일 모델을 반복 테스트하더라도 결과값의 변동성(Variance)이 매우 큽니다. 논문에 따르면 HumanEval 벤치마크에서 10회 반복 실행 시 발생하는 표준편차(1.67)가 상위 10개 모델 간의 성능 격차(0.91)보다 커서, 현재의 리더보드 순위가 통계적으로 신뢰하기 어렵습니다.
평가 생태계의 '회색 지대' (Gray Areas): 학습 데이터에 벤치마크 데이터가 포함되는 데이터 누수(Data Leakage), 특정 벤치마크 형식에 대한 과적합(Overfitting) 등의 문제가 발생하며, 이는 모델의 실제 성능과 벤치마크 점수 사이의 괴리를 만듭니다.
권력의 집중 (Centralization): 소수의 대기업이 모델 개발과 평가를 독점함으로써 AI 시스템의 편향성이 증가하고 평가 과정의 투명성이 결여됩니다.

2. 제안 방법론 (Methodology)

본 논문은 이러한 문제를 해결하기 위해 블록체인 기술을 결합한 탈중앙화 평가 프레임워크인 CoEvalChain을 제안합니다.

A. 프레임워크 구조 (Two-Layer Architecture)

협업 계층 (Collaborative Layer): 개인 연구자부터 대형 기관까지 다양한 컴퓨팅 자원(Heterogeneous compute nodes)을 연결하여 대규모 벤치마킹을 수행합니다. 다양한 GPU(H800, A800, RTX 5090 등)와 다양한 추론 파라미터(Temperature, Top-P 등)를 활용하여 환경적 노이즈를 상쇄합니다.
블록체인 기반 기초 계층 (Blockchain-based Foundational Layer): P2P 네트워크를 통해 평가 과정의 투명성과 공정성을 보장합니다.

B. 핵심 메커니즘

통계적 안정화: 중심한계정리(CLT)를 기반으로, 독립적인 평가자 수( $n$ )를 충분히 확보하여 생성적 불확실성을 수학적으로 최소화합니다.
합의 알고리즘 (Schelling Point Game Theory): 평가자들이 서로 통신하지 않고도 '진실(정답)'에 수렴하도록 유도하는 셸링 포인트 게임 이론을 적용합니다.
Commit-Reveal 스킴: 평가자가 점수를 직접 공개하지 않고 해시값(Commit)을 먼저 기록한 뒤, 나중에 실제 값(Reveal)을 공개하게 함으로써 타인의 점수를 베끼는 행위(Free-riding)를 방지합니다.
인센티브 및 처벌 메커니즘: 중앙값(Median)을 기준으로 가우시안 감쇠 함수(Gaussian decay function)를 사용하여, 다수의 합의된 결과와 유사한 점수를 제출한 노드에게는 보상을, 크게 벗어난 노드(Outliers)에게는 처벌을 부여합니다.

3. 주요 기여 (Key Contributions)

최초의 시도: 생성형 모델 평가를 위해 블록체인을 기반으로 한 탈중앙화 메커니즘을 공식적으로 정의하고 제안한 첫 번째 연구입니다.
안정성 입증: 다양한 벤치마크(수학, 코딩, 일반 지식)를 통해 탈중앙화 방식이 하드웨어 및 생성적 노이즈를 효과적으로 완화함을 증명했습니다.
실행 가능한 플랫폼: 이론에 그치지 않고 실제 작동하는 블록체인 기반 프로토타입 플랫폼을 구현하였습니다.

4. 실험 결과 (Results)

변동성 감소: 기존 중앙 집중식 평가 방식에서 HumanEval의 표준편차가 1.67이었던 반면, CoEvalChain을 통한 탈중앙화 평가에서는 0.28로 대폭 감소했습니다.
정밀도 향상: GSM8K 벤치마크의 경우, 표준편차가 0.91에서 0.13으로 줄어들었으며, 95% 신뢰 구간(CI) 또한 매우 좁아져 모델의 실제 능력을 훨씬 정밀하게 추정할 수 있음을 보여주었습니다.
난이도 높은 작업에서의 효과: GPQA-Diamond나 LiveCodeBench와 같이 추론 경로가 복잡하여 변동성이 큰 '어려운' 작업일수록 탈중앙화 방식의 안정화 효과가 더욱 극명하게 나타났습니다.
데이터 분할 검증: 제안된 층화 추출(Stratified sampling) 전략을 통해 데이터셋을 나누어도 모델 성능이 일정하게 유지됨을 확인하여 데이터 분할의 유효성을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

InfiCoEvalChain은 LLM 평가의 패러다임을 **"중앙 집중식 블랙박스(Centralized Black Box)"**에서 **"탈중앙화된 승인 생태계(Decentralized Endorsement Ecosystem)"**로 전환합니다.

이 프레임워크는 단순히 점수를 매기는 도구를 넘어, 전 세계 연구자들이 참여하여 투명하고 신뢰할 수 있는 AI 성능 지표를 구축하는 공공 인프라로서의 역할을 수행합니다. 이를 통해 개발자들은 환경적 노이즈가 아닌 실제 모델의 구조적 개선 사항을 정확히 식별할 수 있게 되며, AI 발전의 민주화와 신뢰성 확보에 기여할 것으로 기대됩니다.