Specification-Driven Generation and Evaluation of Discrete-Event World Models via the DEVS Formalism

이 논문은 자연어 명세에서 DEVS 형식론을 기반으로 한 단계적 LLM 생성 파이프라인을 통해 장기적 일관성과 검증 가능성을 갖춘 이산 사건 세계 모델을 자동 생성하고 평가하는 새로운 접근법을 제시합니다.

핵심

이 논문은 **"인공지능 (AI) 이 복잡한 세상을 스스로 이해하고 시뮬레이션할 수 있게 해주는 새로운 방법"**을 소개합니다.

기존의 AI 는 두 가지 극단적인 방식 중 하나를 선택해야 했습니다.

1. 수작업 시뮬레이터: 인간이 직접 코드를 짜서 만든 정교한 게임 같은 것. (정확하지만, 새로운 상황을 만들려면 인간이 다시 코드를 짜야 해서 너무 느리고 비쌈)
2. 암묵적 AI 모델: AI 가 과거 데이터를 보고 미래를 예측하는 것. (유연하지만, 시간이 길어지면 엉뚱한 일을 하거나 논리가 깨지기 쉬움)

이 논문은 이 두 가지의 장점을 합친 제 3 의 길을 제안합니다. 바로 **"자연어 (사람이 쓰는 말) 로 지시하면, AI 가 바로 실행 가능한 시뮬레이터를 만들어주는 것"**입니다.

이 내용을 이해하기 쉽게 세 가지 핵심 비유로 설명해 드리겠습니다.

---

1. 핵심 아이디어: "레고 블록으로 세상을 조립하라"

이 연구는 세상을 **DEVS(이산 사건 시스템)**라는 특별한 레고 블록으로 봅니다.

• 기존 방식의 문제점:

  • 수작업 시뮬레이터: 매번 새로운 도시를 만들려면, 인간이 벽돌 하나하나를 손으로 붙여야 합니다. (비효율적)
  • 암묵적 AI: AI 가 머릿속으로 "아마도 이런 도시가 될 거야"라고 상상합니다. 하지만 100 번 상상하면 99 번은 엉뚱한 도시가 나옵니다. (불안정)

• 이 논문의 해결책 (DEVS-Gen):

  • 사용자가 **"은행 창구가 있고, 고객이 오면 번호표를 뽑고 대기하다가 은행원이 서비스를 해주는 시스템이야"**라고 말만 하면 됩니다.
  • AI 는 이 말을 듣고 **레고 블록 (컴포넌트)**들을 알아서 분류합니다.
    • '고객'이라는 블록
    • '번호표 기계'라는 블록
    • '은행원'이라는 블록
  • 그리고 이 블록들이 어떻게 연결될지 **설계도 (구조)**를 먼저 그립니다.
  • 그 다음, 각 블록의 **작동 원리 (행동)**를 하나씩 채워 넣습니다.
  • 결과물: 즉시 실행 가능한 시뮬레이션 프로그램이 완성됩니다.

2. 과정: "건축가, 설계사, 시공팀"의 협업

이 과정을 건물을 짓는 과정에 비유해 볼까요?

1. 설계사 (Structural Synthesis):

   • 사용자의 말 ("은행 시스템") 을 듣고 건물의 뼈대를 그립니다.
   • "여기엔 고객 대기실이 필요하고, 저기엔 창구가 있어야 해"라고 블록의 종류와 연결 관계만 정합니다. (실제 벽돌을 쌓는 건 아직 아닙니다.)
   • 이때 중요한 건, **블록끼리 어떻게 연결될지 (인터페이스)**를 명확히 정해둔다는 점입니다.

2. 시공팀 (Behavioral Synthesis):

   • 설계도가 나오면, 각 블록을 담당하는 **시공팀 (AI 에이전트)**들이 동시에 일을 시작합니다.
   • "고객 블록" 팀은 "고객이 오면 번호를 뽑고 5 분 기다려야 해"라고 코드를 짭니다.
   • "은행원 블록" 팀은 "고객이 오면 2 분 동안 업무를 처리해"라고 코드를 짭니다.
   • 중요한 점: 각 팀은 서로의 일을 방해받지 않고 병렬로 (동시에) 일하기 때문에, 복잡한 시스템도 아주 빠르게 만들 수 있습니다.

3. 감리사 (Trace-Based Evaluation):

   • 건물이 다 지어지면, 감리사가 와서 검사를 합니다.
   • 하지만 이 감리사는 "이 벽돌이 원래 설계도랑 똑같은가?"를 보는 게 아닙니다.
   • **"고객이 왔을 때, 번호표가 잘 나오고, 은행원이 잘 서비스하는가?"**라는 **실제 행동 (이벤트 기록)**을 봅니다.
   • 만약 "고객이 왔는데 번호표가 안 나온다"는 기록이 나오면, AI 는 "아, 이 블록의 연결이 잘못됐구나"라고 바로 찾아서 고칩니다.

3. 왜 이것이 중요한가? "예측 가능한 미래"

이 방식의 가장 큰 장점은 신뢰성입니다.

• 기존 AI 시뮬레이션: "내일 비가 올지 안 올지"를 AI 가 예측하면, "아마 비가 올 거야"라고 말하지만, 10 일 뒤에는 "아, 사실은 안 왔어"라고 말을 바꿀 수 있습니다. (논리가 깨짐)
• 이 논문의 방식: "내일 비가 오면 우산을 챙겨야 해"라는 규칙을 시뮬레이션에 심어두면, 언제나 그 규칙대로 움직입니다.
  • 시간이 지나도 일관성이 유지됩니다.
  • 문제가 생기면 어디서 문제가 생겼는지 (어떤 블록이 잘못됐는지) 정확히 찾아낼 수 있습니다.

요약

이 논문은 **"AI 가 복잡한 세상 (은행, 교통, 공장 등) 을 이해할 때, 막연하게 상상하는 대신, 레고 블록처럼 명확한 규칙과 구조를 가지고 직접 시뮬레이터를 만들어내게 하자"**는 것입니다.

• 사용자: "이런 시스템을 만들어줘." (자연어)
• AI: "알겠습니다. 블록을 분류하고, 연결하고, 작동 원리를 채워 넣겠습니다. 그리고 작동 기록을 남기겠습니다."
• 결과: 오류가 적고, 수정이 쉽고, 시간이 지나도 믿을 수 있는 시뮬레이션이 탄생합니다.

이는 AI 가 단순히 대화를 나누는 것을 넘어, 실제 세상을 계획하고 실행하는 '주인공'이 될 수 있는 토대를 마련해 줍니다.

기술 요약

이 논문은 DEVS (Discrete Event System Specification) 형식주의를 기반으로 자연어 명세에서 **이산 사건 세계 모델 (Discrete-Event World Models)**을 생성하고 평가하는 새로운 프레임워크를 제안합니다. 에이전트 시스템의 계획 및 평가를 위한 세계 모델의 필요성은 증가하고 있지만, 기존 접근법은 수동으로 설계된 시뮬레이터 (유연성 부족) 와 암시적 신경망 모델 (검증 및 디버깅 어려움) 사이에서 극단적으로 나뉘어 있었습니다. 이 연구는 두 가지의 장점을 결합한 "원칙적인 중간 지점"을 제시합니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 기존 접근법의 한계:
  • 수동 설계 시뮬레이터: 일관성과 재현성이 뛰어나지만, 새로운 환경에 적응하거나 온라인 실행 중 수정하는 데 비용과 노력이 많이 듭니다.
  • 암시적 신경망 모델 (LLM 기반): 유연하고 적응력이 좋지만, 장기적인 시뮬레이션에서 오류가 누적되고, 시간적 인과관계가 암묵적이며, 검증과 디버깅이 어렵습니다.
• 목표: 자연어 명세로부터 생성 가능하며, 장기 실행 (long-horizon) 동안 일관성을 유지하고, 관찰 가능한 행동으로부터 검증 가능하며, 온라인 실행 중에도 필요에 따라 합성 (synthesis) 될 수 있는 세계 모델을 만드는 것.
• 대상 환경: 큐잉 (대기열), 서비스 운영, 물체 기반 작업 계획, 메시지 기반 다중 에이전트 조정 등 이산 사건의 순서, 타이밍, 인과관계에 의해 동역학이 결정되는 환경.

2. 방법론 (Methodology)

논문은 DEVS 형식주의를 사용하여 자연어 명세를 실행 가능한 시뮬레이션 코드로 변환하는 단계별 LLM 기반 생성 파이프라인을 제안합니다.

A. DEVS 기반 표현 (Representation)

• 시스템을 원자적 (Atomic) 및 결합된 (Coupled) 구성 요소의 계층적 조합으로 정의합니다.
• 각 구성 요소는 명시적인 상태, 전이 함수, 타이밍 의미론을 가지며, 이벤트 메시지를 통해 상호작용합니다.
• 이는 시뮬레이션의 상태 이동을 구조화하고, 장기 실행 중 발생하는 무한한 드리프트 (drift) 를 방지합니다.

B. 생성 파이프라인 (Generation Pipeline)

생성은 두 단계로 나뉘어 구조적 추론과 구성 요소 수준의 논리를 분리합니다.

1. 구조적 합성 (Structural Synthesis):
   • LLM 에이전트 (Classifier, Splitter, Formulator) 가 자연어 명세를 분석하여 구성 요소 계층 구조, 포트 스키마, 상호작용 그래프를 추출합니다.
   • 이를 PlanTree라는 구조화된 계획으로 변환하여 각 구성 요소의 인터페이스 계약을 정의합니다.
2. 행위 합성 (Behavioral Synthesis):
   • 정의된 인터페이스 계약을 기반으로 각 원자적 구성 요소의 상태 전이 로직과 타이밍 규칙을 병렬로 생성합니다.
   • 적응형 결합 (Adaptive Coupling): 하위 구성 요소의 실제 구현 코드를 분석하여 "Ground Truth" 인터페이스를 추출한 후, 상위 결합 모델을 생성합니다. 이는 초기 계획과 실제 구현 간의 미세한 불일치를 방지합니다.

• 최종 산출물은 표준화된 CLI 인터페이스를 가진 실행 가능한 시뮬레이터이며, 구조화된 **이벤트 트레이스 (Event Trace)**를 JSONL 형식으로 출력합니다.

C. 트레이스 기반 평가 (Trace-Based Evaluation)

단일 정답 (Ground Truth) 이 없는 상황에서 생성된 모델을 평가하기 위해 명세 기반 검증을 도입합니다.

• 생성된 시뮬레이터는 표준화된 이벤트 트레이스를 출력합니다.
• 검증 오라클 (Verification Oracle): 명세에서 유도된 시간적 및 의미적 제약 조건 (선행 관계, 응답 시간, 안전 속성 등) 을 정의합니다.
• 평가 지표:
  • 운영 성공 점수 (OSS): 시뮬레이션이 충돌 없이 실행되고 I/O 계약을 준수하는지 확인.
  • 행위 준수 점수 (BCS): 출력된 이벤트 트레이스가 명세 기반의 제약 조건을 만족하는지 확인 (구성 요소 수준 및 시스템 수준).

3. 주요 기여 (Key Contributions)

1. DEVS 기반 세계 모델 생성 프레임워크: 자연어 명세에서 실행 가능한 이산 사건 시뮬레이터를 자동으로 합성하는 첫 번째 체계적인 접근법 중 하나입니다.
2. 구조와 행위의 분리: 구조적 합성과 행위 합성을 분리함으로써 생성의 안정성을 높이고, 병렬 처리를 통해 확장성을 확보했습니다.
3. 명세 기반 트레이스 평가: 참조 구현 없이도 관찰 가능한 행동 (이벤트 트레이스) 을 통해 모델의 정확성을 검증하는 새로운 평가 벤치마크와 메트릭을 제시했습니다.
4. 실용적 타당성 증명: 다양한 도메인 (금융, 교통, 네트워크, 물류 등) 에서 실험을 통해 기존 반복적 에이전트 (Iterative Agents) 대비 효율성과 정확성을 입증했습니다.

4. 실험 결과 (Results)

7 가지 시나리오 (IOBS, OTrain, SEIRD, FileTransfer, ABP, StratAirlift, Barbershop) 에서 OpenHands, SWE-Agent 등 기존 소프트웨어 엔지니어링 에이전트와 비교 평가했습니다.

• 효과성 (Effectiveness):
  • DEVS-Gen 은 코드 실행 및 자기 수정 (self-correction) 기능이 없는 단일 통과 (single-pass) 방식임에도 불구하고, 반복적 디버깅을 수행하는 기존 에이전트들과 유사하거나 더 나은 **행위 준수 점수 (BCS)**와 **운영 성공 점수 (OSS)**를 기록했습니다.
  • 특히 작은 규모의 LLM (Small Models) 에서 DEVS-Gen 은 훨씬 더 안정적인 성능을 보였습니다 (예: GLM-4.7-Flash 기준 OSS 0.48 vs SWE-Agent 0.13).
• 효율성 (Efficiency):
  • 토큰 비용: 반복적 디버깅 루프로 인한 과도한 토큰 소모를 피하여, 대규모 모델 기준 약 10 배, 소규모 모델 기준 10 배 이상 적은 토큰을 사용했습니다.
  • 실행 시간: "도미 루프 (doom loops, 실패한 디버깅의 반복)"에 빠지는 기존 에이전트들과 달리, DEVS-Gen 은 선형적으로 성공하거나 빠르게 실패하여 전체 실행 시간을 단축했습니다.
• 확장성 (Scalability):
  • 모듈식 설계 덕분에 시스템 복잡도가 증가해도 합성 시간이 선형 (O(N)) 이 아닌 로그 (O(log N)) 수준으로 증가하여 대규모 시스템에 적합함을 보였습니다.

5. 의의 및 결론 (Significance)

이 연구는 명세 기반 (Specification-Driven) 접근법을 통해 세계 모델의 **신뢰성 (Explicitness)**과 유연성 (Flexibility) 사이의 균형을 성공적으로 찾았습니다.

• 검증 가능성: 암시적 모델의 "블랙박스" 문제를 해결하고, 관찰 가능한 이벤트 트레이스를 통해 시스템의 인과관계와 타이밍을 명확하게 검증할 수 있게 했습니다.
• 온라인 적응: 필요에 따라 세계 모델을 동적으로 생성하거나 수정할 수 있어, 복잡한 다중 에이전트 협업이나 실시간 의사결정 시스템에 적용 가능성이 큽니다.
• 하이브리드 시스템의 기초: 추후 LLM 을 DEVS 구성 요소 내에 임베드하여, 자연어로 지정된 사회적/조직적 시뮬레이션이나 복잡한 다중 에이전트 시스템을 합성하는 토대를 마련했습니다.

요약하자면, 이 논문은 자연어 명세를 통해 검증 가능하고, 효율적이며, 확장 가능한 이산 사건 세계 모델을 생성하는 새로운 패러다임을 제시하며, 에이전트 시스템의 장기 계획 및 평가 분야에서 중요한 진전을 이루었습니다.