Xpertbench: Expert Level Tasks with Rubrics-Based Evaluation

LLM 의 전문성 평가를 위한 새로운 벤치마크인 XpertBench 는 80 개 전문 분야의 1,346 개 과제를 포함하며, 전문가가 작성한 상세한 평가 기준과 Few-shot 예시를 활용한 ShotJudge 를 통해 현재 최첨단 모델조차 진정한 전문가 수준의 역량을 달성하지 못함을 규명했습니다.

핵심

1. 왜 새로운 시험이 필요했을까요? (기존의 문제점)

지금까지 AI 를 평가할 때는 주로 "수능이나 자격증 시험" 같은 방식을 썼습니다.

• 비유: "사과와 배 중 어떤 것이 과일인가요?" 같은 객관식 문제를 많이 내서 점수를 매겼죠.
• 문제점: AI 는 이런 문제를 풀면 점수가 100 점에 가깝게 나오지만, 막상 실제 세상에 나가면 엉뚱한 짓을 하거나 전문가의 도움을 못 줍니다. 마치 "수학 문제를 다 풀지만, 실제 건축물을 지을 때는 벽이 무너뜨리는" 상황과 비슷합니다.

2. XpertBench 는 무엇인가요? (새로운 시험지)

이 논문은 **"실제 전문가들이 매일 겪는 진짜 업무"**를 모아서 시험지로 만들었습니다.

• 1,346 개의 진짜 업무: 금융, 법률, 의료, 교육 등 80 가지 분야에서 실제 전문가들이 하루에 하는 일 (예: "두 회사의 재무제표를 비교해서 투자 의견을 내라", "환자의 증상을 보고 진단서를 작성하라") 을 모았습니다.
• 출제자: 이 문제는 AI 가 아니라, 실제 의사, 변호사, 금융 전문가, 교수님 1,000 여 명이 직접 내주셨습니다. 그래서 "AI 가 풀기엔 너무 어렵고, 현실적인 난이도"를 자랑합니다.

3. 어떻게 채점하나요? (ShotJudge: 전문가의 눈)

기존에는 AI 가 AI 를 채점하거나, 단순히 정답이 맞는지 틀린지만 봤습니다. 하지만 이 시험은 전문가처럼 생각해야 합니다.

• 비유: 학교 시험에서 "정답만 맞으면 100 점"이 아니라, **"풀이 과정이 논리적인가? 전문 용어를 잘 썼는가? 위험 요소는 고려했는가?"**를 15~40 가지 항목으로 나누어 꼼꼼히 채점합니다.
• ShotJudge(샷저지): 이 복잡한 채점을 AI 가 하되, **실제 전문가가 작성한 '모범 답안과 해설'**을 보여주고 "너도 이렇게 생각해서 채점해라"라고 가르쳐서 (Few-shot learning) 채점의 정확도를 높였습니다.

4. 결과는 어땠나요? (현실적인 충격)

최고급 AI 모델 12 개를 이 시험에 풀어보게 했더니 놀라운 결과가 나왔습니다.

• 점수: 최고의 AI 가 얻은 점수는 최대 66 점 정도였습니다. (평균은 55 점대)
  • 비유: "수능 만점자"라고 자부하는 AI 들도, 실제 전문가 업무에서는 아직 초보 수준이라는 뜻입니다.
• 편향된 능력: AI 는 분야마다 천차만별이었습니다.
  • 어떤 AI 는 금융 분야에서는 84 점으로 압도적이지만, 공학/수학 분야에서는 42 점으로 떨어졌습니다.
  • 또 다른 AI 는 법률/인문학은 잘하지만, 교육 분야에서는 뒤처졌습니다.
  • 결론: "모든 일을 다 잘하는 만능 전문가 AI"는 아직 존재하지 않습니다.

5. AI 가 왜 실패했나요? (주요 실패 원인)

전문가 업무에서 AI 가 자주 하는 실수는 단순한 지식 부족이 아니었습니다.

1. 정보 과부하 (검색 중독): 인터넷을 너무 열심히 찾아보다가 핵심에서 벗어난 잡다한 정보에 혼란을 겪었습니다.
2. 원칙 착각 (할루시네이션): 문제의 시작 부분에서 기본 개념을 잘못 이해하면, 그 뒤로 이어지는 모든 논리가 엉망이 되어버렸습니다. (예: "약이 A 라는 성분이 없다"고 잘못 알고 시작하면, 그 뒤의 모든 치료 계획이 무너짐)
3. 전문성 부족: 단순히 사실을 나열하는 것은 잘하지만, 상황에 맞춰 유연하게 판단하거나 복잡한 계획을 세우는 능력은 부족했습니다.

6. 요약: 이 연구가 우리에게 주는 메시지

이 논문은 **"AI 는 이제 '지식만 있는 학생'에서 '실무 능력을 갖춘 동료'로 넘어가야 한다"**고 말합니다.

• 기존: "이게 정답인가요?" (지식 테스트)
• 새로운 방향: "이 복잡한 문제를 어떻게 해결할 건가요?" (실무 능력 테스트)

XpertBench 는 AI 가 단순히 시험 점수를 잘 받는 것을 넘어, 실제 우리 사회의 전문가들과 함께 일할 수 있는지를 가늠하는 중요한 기준이 될 것입니다. 아직 AI 는 전문가의 반열에 오르지 못했지만, 이 새로운 시험지를 통해 어디가 부족하고 어떻게 발전해야 할지 정확한 지도를 얻게 되었습니다.

기술 요약

XpertBench: 전문가 수준 태스크 및 루브릭 기반 평가

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 성능이 기존 벤치마크 (MMLU, GPQA 등) 에서 정체기에 접어들면서, 진정한 **전문가 수준의 인지 능력 (Expert-level Cognition)**을 평가하는 데 새로운 과제가 대두되었습니다.

• 기존 벤치마크의 한계:
  • 폐쇄형 질문 의존: 단순 지식 회상이나 정답이 명확한 '시험 형식' 문제에 치중하여, 실제 전문가의 업무처럼 불확실성이 높고 구조화되지 않은 (ill-structured) 문제를 해결하는 능력을 측정하지 못함.
  • 영역의 편향: 특정 분야 (의료, 법률 등) 에만 국한되거나, 일반적 태스크에 머무르는 경우가 많음.
  • 평가의 왜곡: 자동화된 LLM 평가자 (LLM-as-a-Judge) 는 자기 강화 편향 (self-rewarding bias) 을 보이거나, 전문적인 세부 사항을 놓치는 경향이 있음.
• 필요성: 단순한 정보 검색이나 사실 확인을 넘어, 복잡한 제약 조건을 해결하고 전문적 판단을 내리는 종단간 (End-to-End) 실제 전문가 워크플로우를 평가할 수 있는 고충실도 (High-fidelity) 벤치마크가 절실함.

2. 방법론 (Methodology)

가. 데이터셋 구성 (XpertBench Dataset)

• 규모 및 범위: 80 개 이상의 세부 카테고리에 걸친 1,346 개의 정교하게 큐레이션된 태스크로 구성됨.
• 주요 도메인: 금융, 의료, 법률, 교육, STEM(이공계), 인문사회과학 (HSS), 컴퓨터과학 등 7 가지 핵심 전문 분야를 아우름. 특히 교육 (24.4%) 과 인문사회과학 (8.6%) 과 같이 기존에 소외되었으나 중요한 분야를 포함하여 일반적 전문가 능력을 포괄적으로 평가.
• 전문가 기반 수집: 1,000 명 이상의 엘리트 전문가 (985/211 대학 연구자, CFA, CPA, 의사, 변호사 등) 가 실제 업무에서 발생하는 시나리오를 기반으로 태스크를 작성.
• 태스크 특성:
  • 오픈 엔디드 & 장기적 (Long-Horizon): 단일 정답이 없는 복잡한 연구 및 문제 해결 과정 요구.
  • 생태적 타당성 (Ecological Validity): 실제 전문가의 업무 흐름을 반영.

나. 평가 체계 (Rubrics-Based Evaluation)
각 태스크는 15~40 개의 세분화된 체크포인트로 구성된 상세한 루브릭 (Rubric) 을 통해 평가됨.

• 이중 가중치 (Dual Weighting):
  • 정성적: 필수 (Essential), 중요 (Important), 선택 (Optional) 으로 분류.
  • 정량적: 1~10 점의 가중치 부여.
• 객관성 확보: 각 체크포인트는 '참/거짓'으로 명확히 판별 가능한 객관적 진술로 작성됨.

다. ShotJudge 평가 프레임워크
자동화된 평가의 신뢰성을 높이기 위해 개발된 새로운 평가 패러다임.

• 핵심 아이디어: LLM 평가자 (Judge) 가 전문가의 사고 방식을 모방하도록 **Few-shot (소수 예시)**으로 보정 (Calibration) 함.
• 프로세스:
  1. 전문가 앵커링 (Expert Anchoring): 전문가들이 기준 모델 (Baseline) 의 답변을 루브릭에 따라 평가하고 상세한 논거 (Rationale) 를 작성.
  2. 메타 평가 (Meta-Evaluation): 시니어 전문가들이 초기 평가를 검증하여 편향을 제거.
  3. One-Shot Calibrated Scoring: LLM 평가자에게 태스크, 루브릭, 그리고 **전문가가 작성한 기준 답변과 평가 논거 (예시)**를 제공하여, 전문가의 평가 기준을 학습하고 후보 모델의 답변을 점수화.
• 성공 지표: 인간 전문가와의 일치도 (CDR, Consistency minus Discordance Rate) 가 52.0% 로, 기존 제로샷 LLM 평가자보다 월등히 높음.

3. 주요 기여 (Key Contributions)

1. 고충실도 벤치마크 (XpertBench): 전문가 워크플로우를 반영한 1,346 개의 태스크와 80 개 이상의 카테고리를 포함하는 최초의 대규모 다도메인 벤치마크 출시.
2. 강건한 평가 파이프라인: 전문가 기반 태스크 큐레이션, 이중 가중치 루브릭, 그리고 ShotJudge를 통한 인간과 정렬된 (Human-aligned) 자동 평가 표준 정립.
3. 최첨단 모델의 진단적 통찰: 현재 LLM 들이 전문가 수준에서 겪는 근본적인 한계 (도메인 특화 편향, 검색 간섭, 원리 환각 등) 를 규명.

4. 실험 결과 (Results)

최첨단 12 개 LLM 을 XpertBench-Gold 서브셋 (N=245) 에서 평가한 결과:

• 성능 천장 (Performance Ceiling): 최상위 모델 (Claude-Opus-4.6-thinking, GPT-5.4-high) 도 평균 66% 정도의 성공률에 그쳤으며, 평균 점수는 약 55% 수준. 이는 전문가 업무 수행에 여전히 큰 격차가 있음을 시사.
• 도메인별 편향 (Domain-Specific Divergence):
  • GPT-5.4-high: 금융 (84.65%) 에서 압도적 우위, 하지만 STEM(42.84%) 은 상대적으로 낮음.
  • Claude-Opus-4.6-thinking: 법률 (65.54%) 과 인문사회 (83.02%) 에서 강세.
  • 결론: 단일 '만능 전문가 모델'은 존재하지 않으며, 도메인에 따라 최적 모델이 다름.
• 실패 모드 분석:
  • 검색 간섭 (Retrieval Interference): 웹 검색 시 불필요한 노이즈가 핵심 분석 경로를 방해.
  • 원리 환각 (Principle Hallucination): 초기 개념적 오류가 전체 추론 체인을 무너뜨리는 연쇄 반응 발생.
  • 논리 vs 생성: STEM 분야에서는 엄격한 논리/계산 능력이, 인문 분야에서는 언어적 종합 능력이 각각 중요하게 작용.

5. 의의 및 시사점 (Significance)

• AI 평가 패러다임의 전환: 단순 지식 테스트에서 실제 전문가 협업 (Professional Co-pilot) 능력을 평가하는 방향으로의 전환을 주도.
• 현실적 한계 규명: 현재 AI 가 '일반 비서'를 넘어 '전문가'가 되기 위해서는 추론의 일관성, 도메인 특화 지식의 통합, 그리고 검색/정보 처리 능력의 개선이 필수적임을 증명.
• 미래 연구 방향: 특정 도메인에 특화된 모델 개발의 필요성과, 인간 전문가의 판단을 정확히 모방할 수 있는 평가 및 학습 방법론의 중요성을 강조.

이 논문은 LLM 이 진정한 전문가 수준의 작업을 수행할 수 있는지 검증하기 위한 새로운 표준 (Gold Standard) 을 제시하며, AI 의 실용적 가치 평가에 있어 중요한 이정표가 됩니다.