Token Arena: A Continuous Benchmark Unifying Energy and Cognition in AI Inference

"Token Arena: AI 추론에서 에너지와 인지를 통합하는 연속적 벤치마크"에 대한 상세 기술 요약입니다.

1. 문제 제기

이 논문은 대규모 언어 모델 (LLM) 평가의 현재 환경에서 중요한 격차를 지적합니다. 공개 벤치마크는 모델 또는 제공자 수준에서 모델을 비교하는 반면, 실제 배포 결정은 엔드포인트 수준에서 이루어집니다. 엔드포인트는 (제공자, 모델, SKU, 정밀도, 디코딩 전략, 지역)의 특정 튜플로 정의됩니다.

저자들은 현재 리더보드가 다음 세 가지 구조적 불투명성에 시달린다고 주장합니다:

1. 엔드포인트 정체성: 다른 제공자가 서빙하거나 다른 SKU(예: FP8 대 BF16, Turbo 대 Reference) 로 제공되는 동일한 모델 이름 (예: Llama 3.3 70B) 은 행동, 속도, 품질에서 크고 종종 공개되지 않는 변이를 보입니다. 제공자 수준에서 집계하면 이러한 차이를 숨깁니다.
2. 작업 부하 정체성: 표준 가격 벤치마크는 종종 고정된 3:1 입력 - 출력 비율 (채팅의 전형적인 비율) 을 가정합니다. 그러나 생산 작업 부하는 다양하게 변합니다 (예: RAG 는 20:1, 추론은 1:5). 3:1 가격 모델은 다양한 생산 작업의 실제 비용을 반영하지 못합니다.
3. 신뢰성과 에너지 불가시성: 기존 지표는 생산에 영향을 미치는 '긴 꼬리 (long tail)' 지연을 무시하고 중앙값 처리량이나 가동 시간에 초점을 맞춥니다. furthermore, 에너지가 업계의 구속적 제약 조건이 되고 있음에도 불구하고, 주요 공개 리더보드는 정답당 에너지 비용을 추적하지 않습니다.

2. 방법론: Token Arena 프레임워크

Token Arena 는 에너지와 인지를 통합하는 연속적이고 엔드포인트 수준의 벤치마킹 프레임워크를 도입합니다.

A. 분석 단위: 엔드포인트

이 프레임워크는 모델이 아닌 엔드포인트를 주요 분석 단위로 취급합니다. 12 개 모델 패밀리와 33 개 제공자에 걸쳐 78 개의 서로 다른 엔드포인트를 측정합니다.

B. 핵심 지표 및 복합 점수

이 프레임워크는 5 가지 핵심 축을 세 가지 주요 복합 지표로 종합합니다:

1. 5 가지 핵심 요소:

   • 출력 속도 ($S$): 초당 토큰 수 (스트리밍).
   • 첫 번째 토큰 도달 시간 ($T$): 지연 시간 (P50, P95, P99), 추론 모델의 경우 첫 번째 가시적 토큰 도달 시간을 포함합니다.
   • 혼합 가격 ($P_\pi$): 구성 가능한 입력:출력 비율 (예: RAG 의 경우 20:1) 에 기반한 작업 부하 인식 가격.
   • 유효 컨텍스트: 긴 컨텍스트 검색 작업에서 $\ge$90% 정확도를 유지하는 최대 컨텍스트 길이.
   • 품질 ($Q$): 엔드포인트에 직접 실행되는 실시간 벤치마크 스위트 (MMLU-Pro, AIME 2025, HumanEval+ 등) 의 성능.
   • 엔드포인트 충실도 ($R$): 은밀한 양자화 또는 가중치 치환을 감지하기 위해 1 차 참조와의 출력 분포 유사성을 측정한 지표.

2. 주요 복합 지표:
   이 프레임워크는 두 가지 주요 효율성 지표와 하나의 충실도 지표를 계산합니다:

   • 정답당 줄 (Joules per Correct Answer, JCA): $JCA = \frac{j_e \cdot T_e}{A_e}$ (성공적인 작업당 에너지 비용).
   • 정답당 달러 (Dollars per Correct Answer, CCA): $CCA = \frac{p_e \cdot T_e}{A_e}$ (성공적인 작업당 금전적 비용).
   • 엔드포인트 충실도: 엔드포인트의 출력 분포와 고품질 참조 간의 대칭 KL 발산에 기반한 점수.

3. 에너지 모델링:
   직접 계량이 불가능하므로, 공개 데이터를 사용하여 에너지를 모델링합니다: 열 설계 전력 (TDP), 활용률, 전력 사용 효율 (PUE), 지역 그리드 강도 (ElectricityMaps). 이 모델은 분산에 대한 보수적인 하한을 제공하기 위해 에너지 소비에 대한 가정을 높게 설정합니다.

C. 데이터 파이프라인

• 프로빙 (Probing): 지연 시간, 처리량, 오류율을 측정하는 지속적인 지리 분산 프로브 (US-East, EU-Central, APAC).
• 평가: 모든 엔드포인트에 대한 오염되지 않은 평가 스위트 (예: AIME 2025, LiveCodeBench) 의 일일 및 주간 실행.
• 지문 인식 (Fingerprinting): 은밀한 양자화 (예: FP8 대 BF16) 를 감지하기 위해 "1 차" 참조와 출력 분포를 비교합니다.

3. 주요 기여

1. 측정 프레임워크: 엔드포인트를 분석 단위로 정의하고, 원시 처리량이 아닌 효율성 (정답당 줄/달러) 에 초점을 맞춘 주요 지표를 포함하는 새로운 방법론.
2. 연속 데이터 플레인: 오염을 방지하기 위한 회전 평가 분할과 은밀한 모델 드리프트를 감지하기 위한 지문 인식을 특징으로 하는 78 개 엔드포인트를 포괄하는 실시간 시스템.
3. 실증 분석:
   • 엔드포인트 분산: AIME 2025 에서 정확도가 최대 12.5 점까지, 에너지 효율성이 6.2 배까지 다른 엔드포인트에서 동일한 모델이 변이됨을 입증.
   • 지문 감지: 품질 저하가 사용자에게 명확하기 전에 출력 분포 편차 (99.5% 충실도 임계값) 를 통해 은밀한 양자화 (FP8 Turbo SKU) 를 성공적으로 식별.
   • 작업 부하 인식 재순위화: 입력:출력 비율 변경 (예: 채팅 3:1 에서 RAG 20:1 로) 이 리더보드를 완전히 재배열하여 상위 10 개 목록의 중복이 30–40% 에 불과함을 보여줌.
4. 공개 릴리스: CC BY 4.0 하에 스키마, 프로브/평가 하네스, 에너지 모델, v1.0 리더보드 스냅샷 전체를 공개.

4. 주요 결과

• 엔드포인트 수준의 변이: 19 개 엔드포인트에 걸친 gpt-oss-120B 모델의 경우:
  • 처리량: 12 배 변이.
  • 가격: 3.3 배 변이.
  • 정확도 (AIME 2025): 9.5 점 변이 (41.5% 에서 51.0%).
  • 에너지 효율성: 정답당 줄로 6.2 배 변이.
• 양자화 감지: FP8/Turbo SKU 는 BF16 참조 대비 충실도가 약 92% 로 하락하여, 표준 "스모크 테스트" 벤치마크 (MMLU 등) 에서 격차가 없음을 보였음에도 수학/코드 벤치마크에서 5–9 점 하락과 상관관계를 보임.
• 작업 부하 민감도:
  • 채팅 (3:1): 빠르고 저렴한 오픈 가중치 모델을 선호.
  • 추론 (1:5): "정답당 비용"을 계산할 때 높은 정확도가 높은 토큰 비용을 상쇄하므로 프런티어 폐쇄형 모델 (예: Claude Opus, GPT-5.5) 을 격상.
  • RAG(20:1): 공격적인 입력 가격을 제공하는 제공자 (예: DeepSeek, 할인 서버리스 제공자) 를 선호.
• 안정성: 민감도 분석은 상위 순위가 가중치 교란 ($\pm$10%) 에 대해 견고하며, 각 프리셋의 리더는 불변임을 보여줌.

5. 의의

Token Arena 는 AI 평가의 패러다임을 **"이 모델이 벤치마크를 해결하는가?"**에서 **"이 특정 엔드포인트가 특정 작업 부하에 대해 에너지와 돈을 정답으로 얼마나 효율적으로 전환하는가?"**로 전환합니다.

• 실무자를 위해: 마케팅 주장이 아닌 실제 생산 제약 (지연 시간 꼬리, 에너지 비용, 특정 작업 부하 비율) 에 기반하여 추론 제공자를 선택할 수 있는 데이터 기반 방법을 제공.
• 업계를 위해: AI 의 "에너지 병목"을 강조하고, 지능의 에너지 비용을 정량화하는 최초의 공개 프레임워크를 제공.
• 투명성을 위해: 은밀한 양자화 및 모델 치환과 같은 "침묵하는" 관행을 노출하여 제공자가 SKU 차이에 대해 더 투명하도록 강제.

이 논문은 AI 추론이 지배적인 비용 동인이 되고 에너지가 구속적 제약 조건이 됨에 따라, 평가는 엔드포인트 수준, 작업 부하 인식, 에너지 포함 방식으로 진화해야 한다고 결론 내립니다. Token Arena 는 이를 달성하기 위한 방법론과 인프라를 제공합니다.