기술 요약: 엔터프라이즈 시스템은 학습된 세계 모델이 필요한가?

문제 정의

엔터프라이즈 시스템은 전이 동역학이 고정되지 않고 배포마다 다르며 시간에 따라 진화하는 테넌트별 구성 아티팩트(비즈니스 규칙, 워크플로우, 승인 정책) 로 정의된다는 점에서 로봇공학이나 비디오 게임과 같은 전통적인 환경과 근본적으로 다릅니다. 이러한 환경에서 상태 $s_t$ 에 적용된 동일한 행동 $a_t$ 는 활성 인스턴스 구성 $c$ 에 따라 다른 결과 $s_{t+1}$ 을 낳을 수 있습니다.

이 논문은 세계 모델 연구 분야에서 중요한 질문을 다룹니다: 환경을 지배하는 규칙이 추론 시에 읽을 수 있고 접근 가능할 때, 에이전트는 여전히 이를 내부적으로 학습해야 할까요?

기존 접근법은 과거 전이 데이터에서 동역학을 내부화한 학습된 세계 모델에 의존합니다. 그러나 저자들은 오직 과거 전이 데이터만으로 훈련된 모델이 배포 변화(구성 또는 테넌트 로직의 변경) 하에서 취약해진다고 주장합니다. 규칙이 시스템 구성에 명시적으로 존재한다면, 정적이고 내부화된 표현에 의존하는 것은 불필요한 근사 오차를 도입하고 견고성을 저하시킬 수 있습니다.

방법론

1. 형식화: 문맥적 전이 모델

저자들은 엔터프라이즈 동역학을 문맥적 전이 모델로 형식화합니다:
$$s_{t+1} \sim P(s_{t+1} | s_t, a_t, c)$$
여기서 $c$ 는 특정 인스턴스의 명시적이고 읽을 수 있는 구성입니다. $c$ 가 고정되어 있고 알려지지 않은 표준 세계 모델과 달리, 엔터프라이즈의 $c$ 는 변경 가능하고 검사 가능합니다. 논문은 전이 복잡성을 세 가지 수준으로 구분합니다:

• 티어 1 (스키마 결정론적): 데이터 사전의 기본값과 제약 조건에 의해 결정되는 효과.
• 티어 2 (규칙 조합 가능): 비즈니스 규칙의 연쇄 (캐스케이드) 에 의해 결정되는 효과.
• 티어 3 (실행 추론형): 정적 아티팩트에 완전히 노출되지 않은 엔진 내부 동작 (예: 실행 순서, 레이스 컨디션) 에 의존하는 효과.

2. 벤치마크: CascadeBench

통제된 구성 및 배포 변화 하에서 에이전트를 평가하기 위해 저자들은 CascadeBench를 도입합니다.

• 구축: 6 개 산업의 1,596 개 비즈니스 규칙 패턴 카탈로그에서 생성된 합성 스키마 (실제 테이블 구조의 암기 방지) 를 기반으로 구축됨.
• Ground Truth: 실제 ServiceNow 인스턴스(시뮬레이션이 아님) 에서 행동을 실행하여 데이터를 수집하며, 상태 차이와 캐스케이드 경로를 기록하기 위해 실제 감사 로그 ($sys\_audit$) 를 캡처함.
• 평가: 모델은 현재 상태 ($s_t$) 와 행동 ($a_t$) 을 기반으로 필드 수준의 상태 변화 ($s_{t+1}$) 를 예측해야 함. 벤치마크는 문맥 (스키마, 규칙) 을 제공하거나 withhold 하여 추론을 매개변수적 암기로부터 분리함.

3. 제안된 접근법: 엔터프라이즈 디스커버리 에이전트

이 논문은 훈련 중 동역학을 내부화하지 않는 엔터프라이즈 디스커버리 에이전트를 제안합니다. 대신 다음과 같이 작동합니다:

1. 검색 (Retrieve): 추론 시, 관련 전이 로직을 복원하기 위해 라이브 인스턴스 구성 $c$(예: 비즈니스 규칙, 현재 레코드 상태, SLA 정의) 를 쿼리합니다.
2. 추론 (Reason): 검색된 부분집합 $\tilde{c}$ 에 대해 고정된 언어 모델을 사용하여 다음 상태를 예측합니다.
3. 반복 (Iterate): 다단계 롤아웃의 경우, 에이전트는 각 단계에서 시스템을 재쿼리하여 예측을 현재 상태에 기반하도록 하여 오류 누적 (error compounding) 을 완화합니다.

4. 비교 베이스라인

이 연구는 세 가지 접근법을 비교합니다:

• 프롬프트 베이스라인: 정적 문맥 (제공된 비즈니스 규칙 유무 포함) 으로부터 전이를 예측하는 고정된 LLM.
• 학습된 엔터프라이즈 세계 모델: 동역학을 내부화하기 위해 과거 $(s_t, a_t, s_{t+1})$ 튜플로 미세 조정 (LoRA 를 통해) 된 모델.
• 디스커버리 에이전트: 위에서 설명한 검색 기반 접근법.

주요 결과

1. 내부화 vs 검색

• 분포 내 성능: 미세 조정된 세계 모델은 훈련 세트와 동일한 분포에서 추출된 데이터에서 매우 우수한 성능을 발휘합니다 (예: Gemma-4-31B 의 분포 내 IoU 91.6%).
• 분포 외 저하: 배포 변화 (합성 스키마와 보이지 않는 구성) 하에서 미세 조정된 모델은 성능이 크게 저하되어 프롬프트 베이스라인과 유사한 수준 (~40% IoU) 으로 떨어집니다.
• 디스커버리 견고성: 런타임에 규칙을 검색하는 디스커버리 에이전트는 변화 전반에 걸쳐 견고한 성능을 유지합니다. 이들은 일관되게 프롬프트 베이스라인을 능가하며, 티어 1 및 티어 2 전이에서 모든 규칙을 프롬프트에 제공받은 "오라클" 모델의 성능과 일치합니다.

2. 비즈니스 규칙의 영향

• 규칙 의존성: 프롬프트에서 비즈니스 규칙을 제거하면 모든 모델 클래스에서 성능이 균일하게 붕괴됩니다 (~40% IoU 에서 ~10% IoU 로). 이는 엔터프라이즈 동역학이 사전 훈련된 지식이 아닌 규칙에 의해 주도됨을 확인시켜 줍니다.
• 검색 vs 암기: 최첨단 모델의 경우, 런타임 검색은 대상 인스턴스에 대한 훈련 없이도 "오라클" 신호의 상당 부분을 복원합니다 (중간 20 대에서 낮은 30 대 IoU 도달), whereas 내부화만으로는 일반화에 실패합니다.

3. 다단계 예측

• 오류 누적: 다단계 롤아웃 (수평선 $k=1$ 부터 $5$) 에서 깊이가 증가함에 따라 모든 방법의 성능이 저하됩니다.
• 기반 (Grounding) 우위: 디스커버리 에이전트는 모든 수평선에서 프롬프트 베이스라인을 일관되게 능가합니다. 각 단계에서 라이브 인스턴스를 재쿼리할 수 있는 능력은 모델의 구성 뷰를 새로고침하여 오직 이전 예측 상태에만 의존할 때 발생하는 오류 누적을 줄여줍니다.

4. 티어별 계층 분석

• 티어 1 및 2: 디스커버리 에이전트는 숨겨진 규칙과 캐스케이드를 효과적으로 복원하여 오라클에 근접한 성능을 달성합니다.
• 티어 3: 구성에 완전히 노출되지 않은 엔진 내부 동작에 결과가 의존하는 티어 3(실행 추론형 동역학) 에서는 여전히 성능 격차가 존재합니다. 이는 구성만으로부터 복원할 수 있는 것에는 구조적 한계가 있음을 시사합니다.

의의 및 주장

이 논문은 엔터프라이즈 세계 모델링이 고정된 내부화된 동역학에만 의존해서는 안 된다고 주장합니다. 대신, 전이 로직이 읽을 수 있는 구성 가능한 환경에서는 에이전트가 런타임 디스커버리 메커니즘을 통합해야 합니다.

• 상호 보완성: 디스커버리 에이전트는 학습된 세계 모델을 대체하는 것이 아니라 필수적인 보완재입니다. 저자들은 학습된 사전 지식(효율성과 패턴 인식을 위해) 과 런타임 검색(구성 변화에 대한 견고성을 위해) 을 결합하는 하이브리드 미래를 제안합니다.
• 패러다임 전환: 이 연구는 환경 동역학이 전통적인 의미에서 "학습"되어야 한다는 가정에 도전합니다. 엔터프라이즈 환경에서 "세계 모델"은 부분적으로 외부화될 수 있으며, 에이전트는 정적 시뮬레이터가 아닌 라이브 시스템 구성에 대한 동적 추론자로 작용합니다.
• 한계점: 저자들은 디스커버리가 규칙의 검사 가능성 (접근 제어는 성능을 프롬프트 베이스라인 수준으로 저하시킬 수 있음) 과 기반 모델의 도구 사용 능력에 의존한다고 지적합니다. 또한 티어 3 동역학은 여전히 과제로 남아 있으며, 이는 엔터프라이즈 행동의 일부 측면이 정적 구성 아티팩트로부터 완전히 복원될 수 없음을 나타냅니다.

결론적으로, 이 논문은 엔터프라이즈 시스템의 경우 런타임 디스커버리를 통해 활성 시스템 인스턴스에 예측을 기반하는 것이 오프라인 훈련된 내부화된 세계 모델에 의존하는 것보다 배포 변화에 더 견고함을 입증합니다.