🤖 AI

World of Workflows: A Benchmark for Bringing World Models to Enterprise Systems

이 논문은 기업용 시스템의 복잡한 워크플로우와 숨겨진 상태 변화를 평가하기 위해 ServiceNow 기반의 새로운 벤치마크인 'World of Workflows(WoW)'를 제안하며, 기존 LLM 에이전트들이 시스템의 연쇄적인 부수 효과를 예측하지 못하는 '역학적 맹목성(dynamics blindness)' 문제를 지적하고 이를 해결하기 위한 세계 모델링의 필요성을 강조합니다.

원저자: Lakshya Gupta, Litao Li, Yizhe Liu, Sriram Ganapathi Subramanian, Kaheer Suleman, Zichen Zhang, Haoye Lu, Sumit Pasupalak

게시일 2026-02-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Lakshya Gupta, Litao Li, Yizhe Liu, Sriram Ganapathi Subramanian, Kaheer Suleman, Zichen Zhang, Haoye Lu, Sumit Pasupalak

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제 상황: "눈 가리고 아웅 하는 신입 사원" 🙈

지금까지의 AI들은 아주 똑똑한 신입 사원 같았습니다. "이 서류 정리해줘", "이 메일 보내줘" 같은 단순한 업무는 기가 막히게 잘하죠. 하지만 이 사원들에게 **'진짜 회사 업무'**를 맡기면 큰 문제가 생깁니다.

왜 그럴까요? 회사는 단순히 서류만 있는 게 아니라, **'보이지 않는 규칙(Workflow)'**들이 얽혀 있기 때문입니다.

비유: 신입 사원에게 "A 고객에게 노트북을 지급해"라고 시켰습니다. 사원은 노트북을 전달하고 "업무 완료!"라고 보고합니다. 하지만 사원은 몰랐습니다. 회사의 숨겨진 규칙 중에 **'노트북을 3개 이상 가진 직원은 보안 등급이 자동으로 낮아진다'**라는 규칙이 있었던 거죠.
결국, 사원이 노트북을 준 순간 직원의 보안 등급이 깎였고, 그 때문에 그 직원이 가지고 있던 다른 중요한 문서들에 접근할 권한이 사라져버렸습니다. 사원은 "성공했다"고 좋아하지만, 실제로는 회사의 시스템을 엉망으로 만든 **'조용한 재앙'**을 일으킨 셈입니다.

이 논문은 바로 이 지점, 즉 **"AI가 자기가 한 행동이 불러올 연쇄 반응(Side Effects)을 예측하지 못한다"**는 문제를 꼬집고 있습니다.

2. 새로운 시험대: "WoW (World of Workflows)" 🎢

연구진은 AI의 실력을 제대로 테스트하기 위해 **'WoW'**라는 아주 까다로운 가상 회사 환경을 만들었습니다. 이 회사는 4,000개가 넘는 규칙과 55개의 복잡한 업무 흐름이 얽혀 있는, 아주 매운맛 버전의 회사입니다.

이 시험의 핵심은 두 가지입니다.

결과만 보지 마라: "업무 완료"라는 메시지만 보지 말고, 그 과정에서 데이터베이스의 다른 곳이 어떻게 변했는지(연쇄 반응)를 맞혀봐라!
규칙을 지켜라: 단순히 일을 끝내는 게 아니라, 숨겨진 규칙을 어기지 않으면서 일을 끝낼 수 있는가?

3. 실험 결과: "AI는 아직 '세상 물정'을 모른다" 📉

최신 AI(GPT, Gemini, Claude 등)들을 이 회사에 투입해봤더니 충격적인 결과가 나왔습니다.

눈먼 행동: AI들은 눈앞의 업무(도구 사용)는 잘 수행하지만, 그 행동이 가져올 **'보이지 않는 파장'**을 예측하는 능력은 거의 0에 가까웠습니다.
규칙 위반: "성공했다"고 보고는 하지만, 실제로는 회사의 중요한 보안 규칙을 수없이 깨뜨리고 있었습니다. 마치 "방 청소 다 했어요!"라고 말하면서, 사실은 청소기 돌리느라 거실의 비싼 화분을 깨뜨려 놓은 것과 같습니다.

4. 해결책: "AI에게 '세상 모델(World Model)'을 심어주자" 🧠

연구진은 AI가 단순히 명령을 수행하는 '기계'를 넘어, **'세상이 어떻게 돌아가는지 이해하는 모델'**이 되어야 한다고 주장합니다.

비유: 신입 사원에게 단순히 "이거 해"라고 말하는 대신, **"네가 이걸 하면, 회사의 규칙에 따라 이런 일이 벌어질 수도 있어. 미리 머릿속으로 시뮬레이션해봐!"**라고 가르쳐야 한다는 것입니다.
즉, AI가 행동하기 전에 **'내가 이 버튼을 누르면 데이터베이스의 A, B, C 칸이 어떻게 변할까?'**를 머릿속으로 미리 그려보는 '세상 모델링(World Modeling)' 능력을 키워줘야 한다는 것이 이 논문의 핵심 결론입니다.

요약하자면! 📝

이 논문은 **"AI가 똑똑해 보이는 건 겉모습일 뿐, 실제 복잡한 회사 시스템의 '인과관계'를 이해하는 능력은 아직 턱없이 부족하다"**는 것을 증명했습니다. 앞으로의 AI는 단순히 말을 잘 듣는 것을 넘어, **자신의 행동이 불러올 나비효과를 예측할 줄 아는 '눈치 빠른 전문가'**로 진화해야 한다는 이정표를 제시하고 있습니다.

[기술 요약] World of Workflows (WoW): 기업용 시스템을 위한 월드 모델 벤치마크

1. 문제 정의 (Problem Statement)

현재의 최첨단 거대언어모델(LLM) 기반 에이전트들은 일반적인 소비자용 작업에서는 뛰어난 성능을 보이지만, 복잡한 기업용 시스템(Enterprise Systems) 환경에서는 매우 취약합니다. 기존 벤치마크들이 간과하고 있는 기업 환경의 핵심 난제는 다음과 같습니다:

제한된 관측 가능성 (Limited Observability): 에이전트가 받는 도구 응답(API 결과 등)은 표면적인 성공/실패 여부만 알려줄 뿐, 시스템 내부에서 일어나는 변화를 모두 보여주지 않습니다.
숨겨진 워크플로우와 연쇄 효과 (Hidden Workflows & Cascading Effects): 하나의 데이터 수정 작업이 보이지 않는 비즈니스 규칙(Business Rules)이나 워크플로우를 트리거하여, 다른 테이블의 데이터를 변경하거나 제약 조건을 위반하는 '연쇄적인 부작용(Side effects)'을 일으킵니다.
방대한 상태 공간 (Large State Space): 수천 개의 테이블과 방대한 레코드가 얽혀 있어, 에이전트가 전체 데이터베이스 상태를 파악하는 것이 사실상 불가능합니다.

결과적으로, 에이전트는 당장 눈앞의 작업은 성공시킨 것처럼 보이지만, 실제로는 시스템의 제약 조건을 깨뜨리거나 데이터 무결성을 해치는 **'침묵하는 위반(Silent violations)'**을 초래합니다.

2. 방법론 (Methodology)

2.1 WoW 환경 구축

연구진은 실제 기업용 플랫폼인 ServiceNow를 기반으로 고충실도(High-fidelity) 환경인 WoW를 구축했습니다.

구성: 4,000개 이상의 비즈니스 규칙과 55개의 활성 워크플로우가 내장되어 있습니다.
상호작용: 에이전트는 MCP(Model Context Protocol) 도구를 통해 환경과 상호작용합니다.
관측 모드 이원화:
1. Standard Observation ( $O_{tool}$ ): 도구 실행 결과(API 응답)만 제공 (현실적인 설정).
2. Oracle Observation ( $O_{audit}$ ): 도구 응답과 함께 데이터베이스의 변경 사항을 기록한 '테이블 감사 로그(Table Audits)'를 함께 제공 (에이전트의 추론 능력을 측정하기 위한 대조군).

2.2 WoW-bench 설계

에이전트의 '월드 모델링(시스템 역학 이해)' 능력을 평가하기 위해 4가지 카테고리의 234개 태스크를 설계했습니다:

Constraint Understanding (제약 조건 이해): 숨겨진 워크플로우로 인해 발생하는 제약 조건 위반을 감지할 수 있는가?
Agentic Task Completion (에이전트 작업 수행): 장기적인 목표를 달성하면서 제약 조건을 준수하며 작업을 완수하는가?
Audit Prediction (감사 예측 - Forward Dynamics): 특정 행동을 했을 때 시스템 상태가 어떻게 변할지(Side effects) 예측할 수 있는가?
Action Prediction (행동 예측 - Inverse Dynamics): 발생한 상태 변화를 보고 어떤 행동이 수행되었는지 역으로 추론할 수 있는가?

3. 주요 기여 (Key Contributions)

새로운 벤치마크 제시: 단순 작업 완수를 넘어, 기업 시스템의 복잡한 역학(Dynamics)을 이해해야만 풀 수 있는 WoW 환경과 WoW-bench를 최초로 공개했습니다.
역학적 격차(Dynamics Gap) 규명: 에이전트의 실패가 단순한 명령 불이행이 아니라, 시스템의 인과 관계를 모델링하지 못하는 '월드 모델의 부재'에서 기인함을 증명했습니다.
오픈 소스 기여: 연구자들이 환경을 설정하고 평가할 수 있도록 GitHub를 통해 코드를 공개했습니다.

4. 주요 결과 (Key Results)

제약 조건 준수 능력의 붕괴: 최첨단 모델(GPT-5.1, Gemini-3-Pro 등)은 작업 성공률(TSR)은 어느 정도 유지하지만, 제약 조건을 준수하며 성공하는 비율(TSRUC)은 0%에 가깝게 급락했습니다. 이는 에이전트가 눈에 보이지 않는 부작용을 전혀 예측하지 못함을 의미합니다.
관측 가능성의 중요성: 감사 로그( $O_{audit}$ )를 제공했을 때 작업 성공률이 최대 7배까지 향상되었습니다. 이는 현재 에이전트의 무능력이 지능의 문제뿐만 아니라 정보의 부재(Observability gap)와도 밀접함을 보여줍니다.
월드 모델링 능력의 한계: 모델들의 상태 예측(Audit Prediction) 및 행동 예측(Action Prediction) 정확도가 매우 낮았습니다. 특히, 인간이 읽기 쉬운 이름(Username)과 시스템 고유 식별자(sys_id)를 혼동하는 **'표상 격차(Representation Gap)'**가 두드러졌습니다.
인과 관계 추론 실패: 에이전트는 즉각적인 보상에만 집중하는 '탐욕적 플래너(Greedy planner)'의 모습을 보였으며, 여러 단계에 걸쳐 발생하는 연쇄적인 인과 관계(Causal rollout)를 추적하지 못했습니다.

5. 의의 및 시사점 (Significance)

본 논문은 기업용 AI 에이전트 개발의 패러다임 전환을 촉구합니다.

단순 텍스트 생성을 넘어선 상태 추상화: 에이전트는 단순한 토큰 시퀀스가 아니라, 엔티티 간의 관계와 속성을 추적하는 **구조화된 정신적 모델(Structured mental representation)**을 가져야 합니다.
모델 기반 강화학습(Model-Based RL)의 필요성: 에이전트가 행동하기 전에 시스템의 변화를 미리 시뮬레이션하고, 실제 결과와 예측 사이의 차이를 통해 자신의 내부 모델을 업데이트하는 능력이 필수적입니다.
능동적 탐색(Active Epistemics): 정적인 환경을 가정하는 것이 아니라, 시스템의 규칙을 파악하기 위해 의도적으로 탐색적 질문(Probe actions)을 던지는 전략이 필요합니다.

결론적으로, 이 논문은 기업용 에이전트가 진정으로 신뢰받기 위해서는 단순한 '도구 사용자'를 넘어, 시스템의 보이지 않는 물리 법칙을 이해하는 '월드 모델'로 진화해야 함을 역설하고 있습니다.