One-Eval: An Agentic System for Automated and Traceable LLM Evaluation

이 논문은 자연어 평가 요청을 실행 가능하고 추적 가능한 워크플로우로 자동 변환하여 대규모 언어 모델의 평가 과정을 간소화하고 재현성을 높이는 에이전트 기반 시스템 'One-Eval'을 제안합니다.

핵심

🍳 비유: "요리 평가 시스템"을 상상해 보세요

지금까지 AI 모델을 평가하는 과정은 마치 요리사가 새로운 요리를 만들었을 때, 비평가들이 직접 재료를 사고, 레시피를 찾아보고, 맛을 보고 점수를 매기는 과정과 비슷했습니다.

1. 기존의 문제점 (수동 평가):

   • 비평가 (개발자) 는 "이 요리를 평가해 줘"라고 말하면, 직접 재료를 사러 가고 (데이터셋 찾기), 레시피를 번역하고 (코드 설정), 맛을 보고 점수를 매겨야 했습니다.
   • 만약 재료가 없거나 레시피가 복잡하면 평가 자체가 불가능해지거나, 실수로 점수가 틀어질 수 있었습니다.
   • 결과물은 단순히 "맛있음 8 점" 같은 숫자 하나뿐이라, "왜 맛이 없었는지?"를 알기 어려웠습니다.

2. One-Eval 의 등장 (자동화 에이전트 시스템):

   • One-Eval 은 이제 **"요리 평가 전문가 (에이전트)"**가 되어버렸습니다.
   • 개발자가 **"이 요리의 맛을 평가하고, 왜 맛있는지/맛없는지 구체적인 피드백을 줘"**라고 말하기만 하면 됩니다.
   • 전문가 AI 는 알아서 재료를 구하고, 레시피를 준비하고, 맛을 보고, "소금이 너무 짜요"라는 구체적인 이유까지 알려줍니다.

---

🛠️ One-Eval 이 어떻게 작동할까요? (3 단계 과정)

이 시스템은 크게 세 가지 단계로 나뉩니다.

1 단계: 의도 파악과 메뉴 선정 (NL2Bench)

• 비유: 손님이 "오늘은 가볍고 건강한 요리를 먹고 싶어"라고 말하면, 요리사 (AI) 가 "아, 그럼 샐러드와 구운 생선 메뉴를 추천해 드릴게요"라고 대답하는 단계입니다.
• 작동: 개발자가 자연어로 "수학 추론 능력을 평가해 줘"라고 말하면, 시스템이 그 의도를 파악하고 가장 적합한 평가 기준 (벤치마크) 을 찾아냅니다.
  • 예: "수학"이라고 하면 GSM8K, MATH 같은 유명한 수학 문제집을 자동으로 찾아옵니다.

2 단계: 재료 준비와 설정 (BenchResolve)

• 비유: 선정된 메뉴에 맞춰 재료를 사오고, 각 재료의 특성에 맞춰 칼질을 하고, 오븐 온도를 설정하는 단계입니다.
• 작동: 찾은 평가 기준들이 실제로 실행 가능한지 확인하고, 데이터 형식을 통일합니다.
  • 예: 어떤 데이터는 '질문 - 답' 형식이고, 어떤 것은 '지문 - 답' 형식인데, 이걸 모두 시스템이 알아서 통일된 형식으로 바꿔서 실행 준비를 합니다. 만약 데이터가 없으면 자동으로 다운로드도 해줍니다.

3 단계: 평가 실행과 상세 보고서 (Metrics & Reporting)

• 비유: 요리를 다 만들고, 단순히 "맛있음/맛없음"이 아니라 "소금기, 식감, 향"별로 분석한 상세 리포트를 작성하는 단계입니다.
• 작동: 모델을 테스트하고 점수를 매긴 뒤, 단순히 숫자만 주는 게 아니라 **"어떤 부분에서 실패했는지", "왜 실패했는지"**에 대한 구체적인 분석 리포트를 만들어줍니다.
  • 예: "수학 문제 중 '단순 계산'은 잘하지만, '복잡한 논리'에서는 실수가 많았습니다."

---

✨ 이 시스템의 핵심 장점

1. 사람의 개입 최소화 (자동화):
   • 개발자가 복잡한 코드 설정이나 데이터 찾기를 할 필요가 없습니다. "평가해 줘"라고 말만 하면 끝납니다.
2. 투명성과 추적 가능 (Traceable):
   • AI 가 어떤 기준으로 평가했는지, 어떤 데이터를 썼는지 모든 과정이 기록됩니다. 나중에 "왜 이 점수가 나왔지?"라고 질문하면, AI 가 그 과정을 보여줄 수 있습니다.
3. 사람과 AI 의 협업 (Human-in-the-loop):
   • AI 가 모든 것을 결정하지만, 중요한 단계에서는 개발자가 "잠깐, 이 평가 기준은 내 목적에 맞지 않아. 고쳐줘"라고 수정할 수 있습니다. 마치 요리사가 손님의 취향을 물어보며 메뉴를 조정하는 것과 같습니다.
4. 실무에 도움이 되는 보고서:
   • 단순히 점수만 주는 게 아니라, "이 모델을 출시해도 될까?", "어떤 부분을 고쳐야 할까?"에 대한 실질적인 조언을 줍니다.

💡 결론

One-Eval은 AI 모델을 평가하는 일을 "수동으로 하는 고된 일"에서 "자연어로 명령하면 알아서 해주는 스마트한 서비스"로 바꾼 것입니다.

앞으로 기업이나 연구실에서는 복잡한 설정 없이, **"이 AI 가 우리 서비스에 쓸 만한지 평가해 줘"**라고 말하기만 하면, AI 가 알아서 모든 준비를 하고 상세한 진단서를 가져와 줄 것입니다. 이는 AI 개발 속도를 훨씬 빠르게 하고, 더 안전한 AI 를 만드는 데 큰 도움이 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 개발과 배포 과정에서 신뢰할 수 있는 평가는 필수적이지만, 실제 산업 현장에서는 다음과 같은 심각한 비효율성과 어려움에 직면해 있습니다.

• 높은 수동 비용: 적절한 벤치마크를 식별하고, 이질적인 평가 코드베이스를 재현하며, 데이터셋 스키마를 매핑하고, 집계된 지표를 해석하는 데 상당한 인력이 필요합니다.
• 유연성 부족: 기존 평가 프레임워크 (예: lm-eval-harness, OpenCompass) 는 주로 미리 정의된 태스크와 벤치마크에 의존하며, 사용자의 구체적인 평가 의도 (Intent) 를 자연어로 입력받아 실행 가능한 파이프라인으로 변환하는 기능이 부재합니다.
• 결과의 단편성: 평가 결과가 단순한 스칼라 점수 (Scalar scores) 에 그쳐, 실제 배포 결정이나 모델 개선에 필요한 심층적인 통찰 (예: 실패 원인 분석, 특정 도메인별 성능) 을 제공하지 못합니다.
• 재현성 및 감사성 부재: 평가 과정의 중간 단계가 기록되지 않아 디버깅이나 감사 (Audit) 가 어렵습니다.

2. 방법론 (Methodology)

One-Eval 은 자연어 평가 요청을 실행 가능하고 추적 가능하며 사용자 정의가 가능한 평가 워크플로우로 변환하는 에이전트 기반 (Agentic) 시스템입니다. 시스템은 크게 세 가지 주요 단계 (모듈) 로 구성됩니다.

가. NL2Bench (의도 구조화 및 벤치마크 계획)

• 기능: 사용자의 자연어 요청을 구조화된 의도 (Intent) 로 변환하고, 사용자의 목표에 부합하는 벤치마크를 추천합니다.
• 작동 원리:
  • 의도 구조화: 평가 도메인, 명시된 벤치마크, 실행 제약 조건 등을 추출하여 구조화된 표현으로 만듭니다.
  • 후보 검색: 로컬에 큐레이션된 77 개의 벤치마크 갤러리와 HuggingFace Hub 의 실시간 검색을 결합하여 후보를 찾습니다. (임베딩 기반 및 TF-IDF 기반 검색 병행)
  • 해석 및 정규화: 이질적인 데이터셋을 일관된 내부 스키마로 변환하고, 실행 가능한 벤치마크 식별자 (Canonical ID) 로 매핑합니다.
  • Human-in-the-Loop: 사용자가 벤치마크 계획을 검토하고 수정하거나 커스텀 벤치마크를 추가할 수 있는 인터럽트 지점을 제공합니다.

나. BenchResolve (벤치마크 해결 및 설정 구성)

• 기능: NL2Bench 에서 생성된 명목상의 계획을 실행 가능한 구성 (Configuration) 으로 변환합니다.
• 작동 원리:
  • 계층적 해결 전략: 자주 사용되는 벤치마크는 로컬 레지스트리의 검증된 설정을 우선 적용하고, 그렇지 않은 경우 HuggingFace 에서 동적으로 해결합니다.
  • 데이터셋 자동 다운로드 및 스키마 정규화: 이질적인 데이터셋의 컬럼 매핑 (예: question → input, answer → target) 을 자동화하여 일관된 입력 - 출력 인터페이스를 생성합니다.
  • 실행 가능성 보장: 누락된 분할 (Split) 이나 호환되지 않는 스키마를 사전에 검증하여 실행 오류를 방지합니다.

다. Metrics & Reporting (지표 추천 및 보고)

• 기능: 실행 결과를 단순 점수가 아닌 의사결정 지원이 가능한 구조화된 보고서로 변환합니다.
• 작동 원리:
  • 이중 트랙 지표 추천: (1) 벤치마크 메타데이터에 명시된 고정 지표를 우선 적용하고, (2) 명시되지 않은 태스크의 경우 에이전트가 데이터셋 컨텍스트를 분석하여 동적으로 적합한 지표를 추천합니다.
  • 계층적 진단 보고서:
    • Macro View: 능력 프로파일링을 위한 레이더 차트 등.
    • Diagnostic View: 실패 모드 (할루시네이션, 지시 따르기 실패 등) 분석 및 실수 원인 추적.
    • Micro View: 개별 사례 (Case Study) 기반의 상세 분석.
  • 추적성: 모든 중간 결과, 설정, 데이터셋 캐시 경로를 아티팩트로 저장하여 감사와 재현을 가능하게 합니다.

3. 주요 기여 (Key Contributions)

1. 자연어 기반 엔드 - 투 - 엔드 평가 파이프라인: 사용자가 벤치마크 식별, 설정 구성, 결과 해석을 수동으로 수행할 필요 없이, 자연어 요청만으로 실행 가능한 평가 워크플로우를 자동 생성합니다.
2. 이질적 데이터셋의 자동 정규화: 다양한 소스의 벤치마크를 자동으로 다운로드하고, 스키마를 일관된 형식으로 변환하여 실행 환경을 표준화합니다.
3. 의사결정 중심의 보고 체계: 단순 점수 제공을 넘어, 모델의 강점과 약점, 실패 원인을 분석하는 다차원적 진단 보고서를 생성합니다.
4. 검증 가능한 추적성 (Traceability): 평가 과정의 모든 단계 (의도 해석, 벤치마크 선택, 설정, 실행 결과) 를 기록하여 산업 현장에서의 감사 (Audit) 와 디버깅을 지원합니다.
5. Human-in-the-Loop 통합: 자동화 효율성을 유지하면서도, 중요한 의사결정 지점에서 사용자의 검토와 수정을 허용하여 신뢰성을 높입니다.

4. 실험 결과 (Results)

• 실행 성공률: 100 개의 다양한 자연어 평가 요청을 대상으로 한 실험에서, **99%**의 요청이 벤치마크 검색 및 계획 수립에 성공했으며, **84%**의 요청이 수동 개입 없이 실행 가능한 완전한 계획 (Full Plan) 을 생성했습니다.
• 효율성: 평균 약 13 분 (중앙값 11.4 분) 내에 자연어 요청에서 실행 가능한 평가 계획까지 도달했습니다.
• 기능 비교: 기존 프레임워크 (lm-eval-harness, OpenCompass, HELM) 와 비교하여 커스텀 벤치마크 지원, 자동화, 벤치마크 추천, 지표 추천 등 4 가지 핵심 기능에서 One-Eval 만이 모두 지원함을 확인했습니다.
• 사례 연구: 수학 추론 및 일반 상식 평가 등 실제 사례를 통해 시스템이 실패 원인을 분석하고 실행 가능한 통찰을 제공하는 것을 입증했습니다.

5. 의의 및 결론 (Significance)

One-Eval 은 LLM 평가의 패러다임을 **'수동 구성 중심'에서 '에이전트 주도 자동화'**로 전환합니다.

• 산업적 적용성: 복잡한 평가 설정을 간소화하여 개발자가 평가에 집중할 수 있게 하며, 재현 가능하고 감사 가능한 평가 프로세스를 제공합니다.
• 신뢰성 향상: 단순한 점수 비교를 넘어 모델의 구체적인 행동 패턴과 실패 원인을 파악함으로써, 모델 배포 및 개선에 대한 더 나은 의사결정을 지원합니다.
• 확장성: 모듈식 설계로 인해 새로운 벤치마크, 도메인, 평가 지표가 추가되더라도 시스템 전체를 변경하지 않고 유연하게 통합할 수 있습니다.

이 시스템은 오픈소스로 공개되어 (GitHub: OpenDCAI/One-Eval) 연구 및 산업계에서 보다 효율적이고 투명한 LLM 평가 생태계를 구축하는 데 기여할 것으로 기대됩니다.