Every Eval Ever: A Unifying Schema and Community Repository for AI Evaluation Results
이 논문은 통일된 JSON 스키마를 수립하고, 다양한 소스로부터의 자동 변환기를 제공하며, 현재 22,000개 이상의 모델과 2,000개의 벤치마크 데이터를 집계하고 있는 허깅페이스(Hugging Face)상의 크라우드소싱 저장소를 통해 AI 평가 결과의 파편화 문제를 해결하는 커뮤니티 관리 이니셔티브인 "Every Eval Ever"를 소개한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
인공지능(AI)의 세계를 거대하고 혼란스러운 스포츠 리그라고 상상해 보십시오. 매일 다양한 팀들(연구자 및 기업들)이 자신들의 선수들(AI 모델들)을 다양한 장애물 코스(벤치마크)에 통과시켜 누가 가장 빠르고 강한지 겨룹니다.
문제는 무엇일까요? 모두가 점수를 기록하는 방식이 제각각이라는 점입니다.
어떤 팀은 공책에 결과를 적고, 어떤 팀은 화이트보드에, 어떤 팀은 스프레드시트를 사용하며, 또 다른 팀은 그저 트위터에 숫자 하나만 툭 던져놓기도 합니다. 어떤 팀은 선수가 "85점"을 기록했다고 말하지만, 그들이 스톱워치를 사용했는지 모래시계를 사용했는지, 혹은 선수가 러닝머신 위에서 달렸는지 트랙 위에서 달렸는지는 알려주지 않습니다. 이 무질서함 때문에, 팀 X의 선수 A와 팀 Y의 선수 B를 진정으로 비교하는 것은 불가능합니다.
**"Every Eval Ever" (EEE)**는 이 혼돈을 해결하려는 프로젝트입니다. EEE는 AI 세계 전체를 위한 범용 번역기이자 공식 기록원이라고 생각하시면 됩니다.
이 프로젝트가 어떻게 작동하는지 쉽게 나누어 설명해 드리겠습니다.
1. 범용 점수표 (스키마)
EEE 이전에는 두 AI 모델을 비교하려면, 점수가 어떻게 계산되었는지 알아내기 위해 논문, 블로그 포스트, 코드 로그 등을 찾아다니는 탐정 역할을 해야 했습니다.
- EEE의 솔 solution: 그들은 단일한 표준 "점수표"(JSON 스키마라는 특정 형식)를 만들었습니다.
- 비유: 모든 스포츠 리그가 동일한 통계 시트를 사용하기로 합의했다고 상상해 보십시오. 단순히 "85점"이라고 적는 대신, 이 시트에는 반드시 다음 내용이 포함되어야 합니다: "누가 테스트를 수행했는가? 어떤 규칙을 따랐는가? 실내 온도는 어떠했는가? 스톱워치를 사용했는가, 아니면 타이머를 사용했는가?"
- 중요한 이유: 이제 점수를 볼 때, 그 점수의 의미를 정확히 알 수 있으며, 출처가 다르더라도 다른 점수와 공정하게 비교할 수 있습니다.
2. 마법의 번역기 (컨버터)
여러분은 이렇게 생각할 수도 있습니다. "하지만 모두가 이미 자신만의 엉망인 점수표를 가지고 있잖아요. 그걸 어떻게 고치죠?"
- EEE의 솔루션: 그들은 "컨버터(변환 도구)"를 만들었습니다. 이것은 마치 마법 같은 번역 도구와 같습니다.
- 비유: 프랑스어로 된 손편지, 독일어로 된 스프레드시트, 스페인어로 된 음성 메모를 가져와도 즉시 완벽하게 표준화된 영어 문서로 바꿔주는 번역기를 상상해 보십시오.
- 작동 방식: 이 프로젝트는 인기 있는 AI 테스트 소프트웨어(HELM이나 lm-eval 등)와 리더보드의 결과물을 가져와서, 즉시 새로운 표준 점수표 형식으로 재구성하는 도구들을 구축했습니다.
3. 커뮤니티 라이브러리 (저장소)
점수가 번역되면 어디로 갈까요?
- EEE의 솔루션: 그들은 Hugging Face라는 플랫폼에 호스팅되는 거대한 공공 라이브러리를 구축했습니다.
- 비유: 누구나 자신의 표준화된 점수표를 제출할 수 있는 거대한 공공 기록 보관소라고 생각하십시오. 이곳은 단순히 승자를 나열하는 곳이 아니라, 세부 사항을 깊이 있게 파고드는 곳입니다.
- 규모: 현재 이 라이브러리는 22,000개 이상의 서로 다른 AI 모델에 대한 결과와 2,200개의 서로 다른 도전 과제에 대한 결과를 보유하고 있습니다. 이는 이토록 방대한 데이터를 컴퓨터가 실제로 읽고 비교할 수 있는 방식으로 한곳에 모은 첫 번째 사례입니다.
4. 이것이 게임의 판도를 바꾸는 이유 (사례 연구)
논문은 이 새로운 시스템이 연구자들이 이전에는 볼 수 없었던 것들을 어떻게 보여주는지 네 가지 구체적인 방법을 제시합니다.
- 비용 대비 정확도: "AI 에이전트"(업무를 수행하는 로봇)의 세계에서, EEE는 어떤 설정들이 비용은 많이 들면서 실제 성능은 더 낫지 않다는 것을 보여주었습니다. 이는 페라리를 운전하는 데 하루 500달러가 들지만, 토요타로도 같은 목적지에 도착할 수 있다는 사실을 깨닫는 것과 같습니다.
- "퍼플렉시티(Perplexity)"의 함정: 연구자들은 모델이 텍스트를 얼마나 잘 예측하는지 보기 위해 '퍼플렉시티'라는 지표를 자주 사용합니다. EEE는 서로 다른 두 컴퓨터 프로그램이 '퍼플렉시티'를 약간씩 다른 방식으로 계산하여, 실제로는 서로 비교할 수 없음에도 불구하고 숫자가 비교 가능한 것처럼 보이게 만든다는 점을 밝혀냈습니다. EEE는 이러한 차이를 표시하여 아무도 속지 않도록 합니다.
- 기계 속의 "유령": 연구자들이 오래된 테스트를 로컬 환경에서 다시 실행했을 때, 공식 결과에는 데이터(빈 답변 등)가 누락되어 있는 경우가 있다는 것을 발견했습니다. EEE는 눈에 보이지 않던 곳에 숨어 있던 이러한 "유령" 오류들을 찾아내는 데 도움을 주었습니다.
- 난이도 등급: 단순한 최종 점수가 아니라 개별 질문을 살펴봄으로써, EEE는 연구자들이 문항 반응 이론(Item Response Theory)이라는 통계적 방법을 사용하여 어떤 질문이 너무 어렵거나 너무 쉬운지를 정확히 파악할 수 있게 해주었습니다.
결론
"Every Eval Ever"는 새로운 AI 모델이 아니며, 직접 테스트를 수행하지도 않습니다. 대신, 이 프로젝트는 이미 수행되고 있는 테스트들을 이해할 수 있게 만드는 인프라입니다.
이 프로젝트는 혼란스럽고 호환되지 않는 메모 더미를 명확하고 조직적이며 공정한 데이터베이스로 바꿉니다. 이를 통해 연구자들은 "그들이 나와 같은 방식으로 측정했는가?"라고 묻는 대신, "이것이 AI의 발전에 대해 실제로 무엇을 말해주는가?"라고 질문할 수 있게 됩니다.
이 프로젝트는 AI가 개선되기 위해서는 우리가 성능에 대해 이야기할 때 모두가 같은 언어를 사용해야 한다고 믿는 연구자, 기업, 대학들의 연합에 의해 운영됩니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.