💬 NLP

OccuBench: Evaluating AI Agents on Real-World Professional Tasks via Language World Models

이 논문은 언어 세계 모델을 활용해 100 개의 실제 전문 업무 시나리오를 시뮬레이션하는 'OccuBench'를 소개하며, 다양한 산업 분야와 환경적 결함 조건 하에서 AI 에이전트의 능력을 체계적으로 평가하고 모델별 성능 차이와 결함 유형별 난이도 등을 분석한 결과를 제시합니다.

원저자: Xiaomeng Hu, Yinger Zhang, Fei Huang, Jianhong Tu, Yang Su, Lianghao Deng, Yuxuan Liu, Yantao Liu, Dayiheng Liu, Tsung-Yi Ho

게시일 2026-04-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xiaomeng Hu, Yinger Zhang, Fei Huang, Jianhong Tu, Yang Su, Lianghao Deng, Yuxuan Liu, Yantao Liu, Dayiheng Liu, Tsung-Yi Ho

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

OCCUBENCH: AI 의 '직업 시험'을 위한 새로운 기준

이 논문은 **"AI 에이전트 (스마트 로봇 비서)"**가 실제로 우리 사회의 다양한 전문 직업 (의사, 엔지니어, 세관원 등) 을 수행할 수 있는지 평가하기 위해 만든 새로운 시험지, OCCUBENCH에 대해 설명합니다.

기존의 AI 평가 방식은 마치 "컴퓨터로 웹서핑하기"나 "코드 짜기" 같은 아주 단순한 게임만 테스트하는 것과 같았습니다. 하지만 실제 세상에서는 병원 응급실 환자를 분류하거나, 원자로 안전을 감시하거나, 세관 통관 업무를 처리하는 등 훨씬 복잡하고 중요한 일들이 많습니다. 문제는 이런 중요한 일들을 AI 가 할 수 있는지 테스트할 환경이 없었다는 것입니다.

이 논문은 그 문제를 해결하기 위해 **"언어 세계 모델 (Language World Model)"**이라는 기술을 이용해, 실제 환경이 없어도 AI 가 업무 능력을 발휘할 수 있는 가상 시뮬레이션 세상을 만들어냈습니다.

1. 왜 새로운 시험지가 필요할까요? (기존의 한계)

기존의 AI 시험지는 마치 **"운전 면허 시험"**을 생각하면 쉽습니다.

기존 시험: 차가 다니는 도로 (웹사이트) 만 있고, 주차장 (데스크톱) 만 있습니다.
현실: 우리는 AI 에게 "화재 진압", "수술 보조", "공장 가동" 같은 일을 시키고 싶어 합니다. 하지만 이런 일들을 테스트할 실제 소방서나 병원, 공장은 공개되어 있지 않습니다.

그래서 연구팀은 **"가상의 시뮬레이션"**을 만들었습니다. 마치 비디오 게임처럼, AI 가 업무를 수행할 때 필요한 모든 상황 (환자 상태, 공장 기계 상태, 세관 서류 등) 을 AI 가 스스로 만들어내게 한 것입니다. 이를 **언어 세계 모델 (LWM)**이라고 부릅니다.

2. OCCUBENCH 는 어떻게 작동할까요?

이 벤치마크는 100 가지 실제 직업 시나리오를 포함하고 있습니다.

10 개 산업군: 의료, 금융, 교육, 물류, 농업 등.
65 개 전문 분야: 응급실 간호사, 원자로 감시관, 세관 심사관 등.

핵심 아이디어:

"실제 병원이 없어도, AI 가 '가상의 병원'을 만들어 환자를 진료하게 하면, 그 과정에서 AI 가 얼마나 똑똑한지 알 수 있지 않을까?"

이 시스템은 AI 가 업무를 수행하는 과정에서 **3 가지 종류의 '고장'**을 의도적으로 넣어 테스트합니다.

명확한 고장 (Explicit): "에러! 서버가 꺼졌습니다!"라고 큰 소리로 외치는 경우. (AI 는 retry 를 하면 됨)
숨겨진 고장 (Implicit): "데이터가 잘려서 절반만 왔어요."라고 말하지 않고, 보이는 그대로 정상인 척하는 경우. (AI 가 스스로 "아, 데이터가 부족하군!" 하고 알아차려야 함)
혼합 고장: 위 두 가지가 섞인 경우.

3. 주요 발견 사항 (재미있는 결과들)

이 시험지를 통해 15 가지 최신 AI 모델들을 시험해 보니 놀라운 결과들이 나왔습니다.

① "만능 천재"는 없다

어떤 AI 가 모든 일을 다 잘하는 것은 아닙니다.

GPT-5.2는 과학과 공학 분야에서 천재였지만, 상업 (쇼핑) 분야에서는 평범했습니다.
Claude Opus 4.6은 물류와 운송 분야에서 가장 잘했지만, 상거래 분야에서는 약했습니다.
Qwen 3.5 Plus는 의료와 농업 분야에서 매우 뛰어났습니다.

비유: 마치 "축구 선수 A 는 골키퍼는 못 하지만 스트라이커는 최고"인 것과 같습니다. 회사에서는 어떤 일을 시킬지에 따라 다른 AI 를 써야 합니다.

② "눈에 보이지 않는 함정"이 가장 무섭다

AI 가 가장 어려워하는 것은 명확한 에러 메시지가 아니라, 데이터가 잘려서 정상인 척하는 경우였습니다.

명확한 고장: "에러!"라고 하면 AI 는 다시 시도합니다.
숨겨진 고장: "데이터가 15 개 중 2 개만 왔는데, AI 는 '아, 원래 2 개만 있는구나'라고 착각하고 계산을 해버립니다."

비유: 요리사가 "양파가 10 개 필요해"라고 했는데, 손님이 2 개만 줬을 때 "아, 2 개면 충분해"라고 생각하고 요리를 해버리는 것과 같습니다. AI 는 이 데이터의 결함을 스스로 발견하는 능력이 아직 부족합니다.

③ "생각할 시간"을 주면 더 잘한다

AI 에게 "생각할 시간 (Reasoning Effort)"을 더 주면 성능이 크게 향상되었습니다.

GPT-5.2 는 생각할 시간을 최대로 주면 점수가 27.5 점이나 올랐습니다.

비유: 수학 문제를 풀 때, "바로 답을 말해"라고 하면 실수하지만, "잠시 생각해보고 답을 말해"라고 하면 훨씬 정확해지는 것과 같습니다.

④ "잘하는 학생"이 "잘한 시험지"를 만들지는 않는다

흥미롭게도, 가장 똑똑한 AI (GPT-5.2) 가 만든 가상 시뮬레이션 (시험지) 은 가장 엉망이었습니다.

AI 가 시험지를 만들 때, "방이 비어있지 않는데 비어있다고 하거나", "사람이 없는데 있다고 하는" 사실과 다른 상황을 만들어내는 실수를 했습니다.

비유: 수학 천재가 시험지를 출제했는데, 정답이 아닌 문제를 정답으로 만들어버린 꼴입니다. 따라서 시험지 (시뮬레이션) 를 만든 AI 의 능력도 꼼꼼히 확인해야 합니다.

4. 결론: AI 는 이제 '직업'을 가질 준비가 되었을까?

이 논문은 AI 가 단순히 "챗봇"을 넘어, 실제 직장에서 일할 수 있는가를 평가하는 첫 번째 체계적인 기준을 제시했습니다.

교훈 1: 모든 AI 가 다 똑똑한 건 아닙니다. 할 일에 맞는 AI 를 골라야 합니다.
교훈 2: AI 는 "에러"가 명확할 때는 잘하지만, 데이터가 부실하거나 숨겨진 문제를 발견하는 데는 아직 약합니다.
교훈 3: AI 를 평가할 때는 시뮬레이션 (시험지) 의 질이 매우 중요합니다. 엉터리 시험지로는 똑똑한 학생도 떨어뜨릴 수 있습니다.

이 연구는 AI 가 우리 사회의 중요한 직업 (의사, 엔지니어, 관리자 등) 을 수행하기 위해 넘어야 할 마지막 관문을 어떻게 설계하고 평가할지에 대한 중요한 지도를 제공합니다. 이제 AI 는 단순한 도구가 아니라, 진짜 직원을 채용하는 기준으로 평가받기 시작했습니다.

1. 문제 정의 (Problem)

기존의 AI 에이전트 벤치마크는 웹 브라우징 (WebArena), 데스크톱 운영 (OSWorld), 코드 저장소 (SWE-bench) 등 공개된 환경이 존재하는 소수의 도메인에 국한되어 있습니다. 그러나 AI 에이전트가 가장 큰 가치를 발휘할 것으로 예상되는 분야는 의료 (응급실 분류), 금융 (감사), 법률, 제조, 에너지, 물류 등 기업 내부 시스템에 종속되어 공개 API 가 없거나 실제 환경 접근이 불가능한 전문 직업 영역입니다.

이러한 영역은 다음과 같은 이유로 기존 벤치마크로 평가할 수 없습니다:

테스트 불가능한 대다수 (Untestable Majority): 실제 환경이 없어 시뮬레이션이 필수적이지만, 이를 구축하는 엔지니어링 비용이 너무 큽니다.
확장성 부족: 새로운 도메인을 추가하려면 전체 애플리케이션을 배포하거나 수동으로 시뮬레이터를 작성해야 하므로 수십~수백 개의 도메인으로 확장하기 어렵습니다.
강건성 평가 부재: 기존 벤치마크는 '행복한 경로 (Happy Path)'만 평가하며, API 타임아웃, 데이터 누락 등 실제 환경에서 발생하는 **노이즈와 장애 (Faults)**에 대한 에이전트의 대응 능력을 체계적으로 평가하지 못합니다.

2. 방법론 (Methodology)

A. 언어 세계 모델 (Language World Models, LWMs)

이 연구의 핵심 혁신은 LLM 을 환경 시뮬레이터로 활용하는 것입니다.

정의: LWM 은 시스템 프롬프트, 도구 스키마 (Tool Schema), 초기 상태, 상태 설명으로 구성된 설정 ( $c$ ) 을 기반으로 에이전트의 행동 (도구 호출) 에 대해 상태 전이와 관측값 (Tool Response) 을 생성하는 함수입니다.
작동 원리: LLM 은 사전 학습된 도메인 지식 (예: 병원 프로토콜, 네트워크 규칙) 을 바탕으로 도구 응답을 생성합니다. 이는 환경 구축을 '엔지니어링 문제'에서 '설정 (Configuration) 문제'로 전환하여, LLM 이 이해할 수 있는 모든 도메인을 시뮬레이션할 수 있게 합니다.

B. 멀티 에이전트 합성 파이프라인 (Multi-Agent Synthesis Pipeline)

평가 인스턴스를 자동 생성하는 파이프라인을 구축했습니다.

프로세스: 세계 모델 (World Model) 로서 Gemini-3-Flash-Preview 를 사용하여 환경 설정, 작업 지시, 도구 정의, 해결 계획, 검증 기준 (Rubric) 을 생성합니다.
품질 보증: 생성된 작업은 '해결 가능성 (Solvability)', '검증 가능성', '구별력 (Difficulty Calibration)', '다양성'을 만족하도록 여러 에이전트와 검증자를 통해 반복 실행 및 수정됩니다.
데이터셋: 10 개 산업 카테고리, 65 개 전문 도메인, 100 개의 실제 직업 시나리오 (응급실 간호사, 운영 엔지니어 등) 를 포함하며, 총 382 개의 평가 인스턴스로 구성됩니다.

C. 평가 차원 (Evaluation Dimensions)

작업 완료 (Task Completion): 10 개 산업 카테고리 전반에 걸친 다단계 의사결정 능력 평가.
환경 강건성 (Environmental Robustness): 제어된 장애 주입 (Fault Injection) 하에서의 성능 평가.
- E0 (Clean): 장애 없음.
- E1 (Explicit Faults): 명확한 오류 신호 (HTTP 500, Timeout 등) 발생.
- E2 (Implicit Faults): 명시적 오류 없이 데이터가 잘리거나 누락되는 등 데이터 저하 (Data Degradation) 발생 (가장 어려움).
- E3 (Mixed): 명시적 및 암시적 장애가 혼합됨.

3. 주요 기여 (Key Contributions)

OCCUBENCH 벤치마크 출시: 100 개의 실제 전문 직업 시나리오를 다루는 최초의 체계적인 산업 간 (Cross-Industry) 평가 벤치마크.
LWM 기반 평가 프레임워크: 실제 인프라 없이도 LLM 을 통해 다양한 전문 도메인의 환경을 시뮬레이션하고 평가할 수 있는 방법론 제시.
강건성 평가 체계: 명시적 오류뿐만 아니라, 에이전트가 스스로 데이터 품질 저하를 감지해야 하는 **암시적 장애 (Implicit Faults)**에 대한 평가 도입.
시뮬레이터 품질의 중요성 증명: 강력한 에이전트 모델이 반드시 강력한 시뮬레이터는 아니며, 평가의 신뢰성을 위해 시뮬레이터의 품질 검증이 필수적임을 규명.

4. 주요 결과 (Key Results)

15 개의 최첨단 모델 (8 개 모델 패밀리) 을 평가한 결과는 다음과 같습니다.

단일 모델의 지배 부재: 어떤 모델도 모든 산업을 지배하지 않습니다.
- GPT-5.2: 전반적으로 최고 (79.6%), 특히 농업 (84%), 비즈니스 (86%), 과학 (94%) 에서 강세.
- Gemini 3.1 Pro: 교육 (84%), 과학 (81%) 에서 우수.
- Claude Opus 4.6: 교통 (77%), 비즈니스 (78%) 에서 강세.
- Qwen 3.5 Plus: 의료 (81%), 상거래 (81%) 에서 우수.
- 결론: 각 모델은 고유한 직업 능력 프로파일을 가지며, 단일 도메인 벤치마크로는 이러한 차이를 포착할 수 없습니다.
암시적 장애 (Implicit Faults) 의 난이도:
- 명시적 오류 (E1) 보다 암시적 오류 (E2, 데이터 누락/잘림) 가 훨씬 어렵습니다.
- 평균 성능은 E0(67.5%) → E1(62.6%) → E2(53.4%) 순으로 급격히 하락합니다.
- 이유: 암시적 오류는 명확한 오류 신호가 없어 에이전트가 스스로 데이터의 불완전성을 감지하고 재요청해야 하는데, 대부분의 모델이 이 능력을欠缺하고 있습니다.
스케일링과 추론 노력의 효과:
- 더 큰 모델, 더 최신 세대, 더 높은 추론 노력 (Reasoning Effort) 은 일관되게 성능을 향상시킵니다.
- GPT-5.2는 추론 노력 'None'에서 'xHigh'로 변경 시 점수가 27.5 포인트 상승했습니다.
에이전트 vs 시뮬레이터:
- 강력한 에이전트 (GPT-5.2) 가 반드시 좋은 시뮬레이터는 아닙니다. GPT-5.2 를 시뮬레이터로 사용할 때 에이전트들의 평균 점수는 29.3% 로 급락했으나, Gemini Flash 를 사용할 때는 67.9% 였습니다.
- 적절한 시뮬레이터를 사용하면 모델 간 순위 일치율이 85.7% 에 달해 평가의 신뢰성이 입증되었습니다.

5. 의의 및 결론 (Significance)

OCCUBENCH 는 AI 에이전트가 실제 세계의 복잡한 전문직 업무에 적용되기 위해 필요한 **다차원적 평가 (산업별 전문성, 환경 강건성)**의 새로운 패러다임을 제시합니다.

실용적 함의: 조직은 특정 산업에 맞는 에이전트 모델을 선택해야 하며, 단순한 종합 점수만으로는 판단할 수 없습니다.
기술적 함의: LLM 기반의 세계 모델 (LWM) 은 실제 환경 인프라 없이도 고도화된 에이전트 평가와 훈련을 가능하게 하여, '테스트 불가능했던 대다수'의 전문 도메인을 평가 가능하게 만들었습니다.
향후 과제: LWM 시뮬레이션의 정확도 한계 (실제 데이터 값 대신 생성된 값 사용) 를 인지하고, 정밀한 수치 계산이 필요한 분야에서는 실제 환경 테스트와 병행해야 함을 강조합니다.

이 연구는 AI 에이전트가 단순한 자동화를 넘어, 의료, 금융, 물류 등 고위험·고도화된 전문 분야에서 인간을 보조하거나 대체할 수 있는지에 대한 엄밀한 검증의 토대를 마련했습니다.