FactorSmith: Agentic Simulation Generation via Markov Decision Process Decomposition with Planner-Designer-Critic Refinement

FactorSmith 는 자연어 명세로부터 실행 가능한 게임 시뮬레이션을 생성하기 위해, 상태 변수를 최소화하는 팩터링된 POMDP 분해와 계획가 - 설계자 - 비평가로 구성된 계층적 에이전트 워크플로우를 결합하여 컨텍스트 제한을 해결하고 코드 품질을 반복적으로 개선하는 프레임워크를 제안합니다.

핵심

이 논문은 **"FactorSmith"**라는 새로운 도구를 소개합니다. 이 도구의 핵심 역할은 사람이 쓴 자연어 설명 (예: "공이 떨어지는 게임을 만들어줘") 을 받아서, 바로 실행 가능한 컴퓨터 게임 코드로 바꿔주는 것입니다.

기존의 인공지능 (LLM) 은 코드가 너무 길고 복잡해지면 헛소리를 하거나 (할루시네이션), 중요한 부분을 놓치는 문제가 있었습니다. FactorSmith 는 이 문제를 해결하기 위해 두 가지 똑똑한 전략을 섞어서 사용합니다.

이걸 이해하기 쉽게 거대한 성을 짓는 건축 프로젝트에 비유해 볼까요?

---

1. 기존 방식의 문제점: "한 번에 다 짓기"

예전에는 건축가 (AI) 에게 "성 전체를 그려줘"라고 말하면, 그는 한 번에 모든 벽, 지붕, 문, 창문을 다 그리려고 했습니다. 하지만 성이 너무 크면 건축가는 머리가 복잡해져서:

• "벽돌이 없는데 벽을 짓자"라고 헛소리를 하거나,
• "지붕은 2 층에 있어야지"라고 실수를 하거나,
• "아까 만든 문은 어디 갔지?"라고 잊어버립니다.

2. FactorSmith 의 첫 번째 전략: "작은 블록으로 나누기" (팩터 POMDP 분해)

FactorSmith 는 "한 번에 다 짓지 마!"라고 말합니다. 대신 성을 **작은 블록 (모듈)**으로 쪼개서 짓게 합니다.

• 전략: "먼저 1 층 바닥만 짓고, 그다음 2 층 벽만 짓고, 그다음 지붕만 짓자."
• 효과: 건축가 (AI) 는 지금 짓고 있는 '1 층 바닥'에만 집중하면 됩니다. 성 전체의 복잡한 구조를 다 기억할 필요가 없으니, 실수가 훨씬 줄어듭니다.
• 비유: 거대한 퍼즐을 한 번에 맞추려 하지 않고, 작은 조각 하나씩만 집중해서 맞추는 것과 같습니다.

3. FactorSmith 의 두 번째 전략: "세 명의 전문가 팀" (플래너 - 디자이너 - 비평가)

작은 블록으로 나누는 것만으로는 부족합니다. 작은 블록을 지을 때도 실수가 날 수 있으니까요. 그래서 FactorSmith 는 작업할 때마다 세 명의 전문가 팀을 투입합니다.

1. 디자이너 (Designer): "자, 이제 1 층 바닥을 어떻게 지을지 아이디어를 내고 코드를 짭니다."
2. 비평가 (Critic): "잠깐! 이 바닥은 너무 약해. 그리고 문이 없잖아? 점수를 매겨보자. (예: 완성도 6 점, 안전성 4 점)"
   • 중요한 점: 비평가는 단순히 "잘못됐어"라고만 하지 않고, 구체적인 점수와 피드백을 줍니다.
3. 플래너 (Planner): "음, 점수가 6 점이라서 아직 부족하네. 디자이너야, 비평가의 말을 듣고 다시 고쳐봐. 만약 고친 게 더 나빠지면, 아까의 상태로 되돌려 (롤백)!"

이 세 사람은 수십 번을 오가며 "고쳐라 -> 평가하라 -> 더 고쳐라"를 반복합니다. 점수가 오를 때까지 멈추지 않고, 실수가 발견되면 바로 이전의 안전한 상태로 되돌립니다.

---

4. 두 전략의 만남: "FactorSmith"의 마법

이제 이 두 가지가 만나면 어떤 일이 일어날까요?

• 작은 블록 (분해) 덕분에 AI 는 집중할 범위가 좁아졌습니다. (전체 성이 아니라 1 층 바닥만 봄)
• 세 명의 팀 (에이전트) 덕분에 그 좁은 범위에서도 최고의 품질을 뽑아냅니다. (디자이너가 실수하면 비평가가 잡아주고, 플래너가 되돌려줌)

이게 바로 FactorSmith 의 핵심입니다. "작게 나누고, 꼼꼼하게 다듬는다."

5. 실험 결과: 실제로 효과가 있을까?

연구진은 이 방식을 8 가지 다른 2D 게임 (플래피 버드, 뱀 게임 등) 을 만들어보며 테스트했습니다.

• 결과: 기존 방식들보다 게임이 더 잘 작동했고, 코드가 더 깔끔했으며, 실수가 훨씬 적었습니다.
• 특히 게임의 규칙이 복잡할수록 FactorSmith 의 효과가 컸습니다. (복잡한 게임일수록 AI 가 혼란스러워하기 쉽기 때문입니다.)

요약

FactorSmith 는 거대한 코딩 작업을 작은 조각으로 나누어 관리하고, 각 조각마다 디자이너, 비평가, 감독이 팀을 이루어 꼼꼼히 검토하는 방식으로, 인공지능이 자연어로 게임을 만들 때 겪는 실수를 획기적으로 줄여주는 혁신적인 방법입니다.

마치 거대한 성을 지을 때, 한 명의 거인이 무작정 짓는 게 아니라, 작은 팀이 하나씩 블록을 쌓고 전문가들이 하나하나 검수하며 완성해 나가는 방식이라고 생각하시면 됩니다.

기술 요약

1. 문제 정의 (Problem Statement)

자연어 명세 (Natural Language Specifications) 로부터 실행 가능한 시뮬레이션 (예: 게임 코드) 을 생성하는 작업은 대규모 언어 모델 (LLM) 에게 여전히 큰 도전 과제입니다. 주요 병목 현상은 다음과 같습니다.

• 맥락 한계 (Context Limitation): LLM 은 방대하고 상호 연결된 코드베이스를 처리할 때 추론 능력이 제한됩니다.
• 할루시네이션 및 오류: LLM 은 존재하지 않는 함수를 생성하거나, 명세의 일부를 무시하거나, 현재 작업과 무관한 코드를 수정하는 등 오류를 범하기 쉽습니다.
• 기존 접근법의 한계:
  • FactorSim: 시뮬레이션을 모듈화된 단계로 분해하여 맥락을 줄이는 '팩토 POMDP' 방식을 사용하지만, 각 단계에서 한 번의 생성 (Single-shot) 만 수행하므로 오류 발생 시 자가 수정 (Self-correction) 메커니즘이 부족합니다.
  • SceneSmith: 3D 장면 생성을 위해 '기획자 - 디자이너 - 비평가 (Planner-Designer-Critic)' 에이전트 삼인조를 도입했으나, 코드 기반 시뮬레이션의 구조적 속성을 활용한 맥락 축소에는 적용되지 않았습니다.

2. 방법론 (Methodology)

FactorSmith 는 팩토 POMDP 분해 (Factored POMDP Decomposition) 와 계층적 에이전트 워크플로우 (Hierarchical Agentic Workflow) 를 결합하여 두 접근법의 장점을 통합합니다.

A. 핵심 아키텍처: Planner–Designer–Critic 삼인조

각 생성 단계 (Step) 마다 세 명의 에이전트가 상호작용하며 품질을 반복적으로 개선합니다.

1. 기획자 (Planner): 워크플로우를 조율하고, 점수 추이를 모니터링하며, 수정 요청, 수락, 또는 체크포인트 롤백 (Rollback) 을 결정합니다.
2. 디자이너 (Designer): 주어진 맥락 (Context) 을 바탕으로 코드 아티팩트 (함수 구현 등) 를 제안합니다.
3. 비평가 (Critic): 제안된 코드를 도메인 특화 평가 기준 (정확성, 완전성, 상태 사용 등) 에 따라 구조화된 점수 (Structured Scoring) 와 자연어 피드백으로 평가합니다.

B. 팩토 POMDP 분해 기반 맥락 축소

시뮬레이션을 부분 관측 마르코프 결정 과정 (POMDP) 으로 모델링하고, 상태 공간을 팩토화 (Factored) 합니다.

• 맥락 선택 (Context Selection): 각 생성 단계 $q_k$ 에서는 전체 코드베이스가 아닌, 해당 단계와 관련된 최소한의 상태 변수 집합 ($S[Z_k]$) 만 LLM 에게 제공합니다.
• MVC 패턴 적용: 각 단계는 입력 처리 (Controller), 상태 전이 (Model), 렌더링 (View) 의 세 가지 하위 함수로 분해되어 처리됩니다.

C. 워크플로우 프로세스

1. 고수준 분해: 자연어 명세를 Chain-of-Thought 를 통해 모듈화된 단계 시퀀스로 변환합니다.
2. 팩토 단계 실행: 각 단계 내에서 상태 변수 식별, 쿼리 분해, MVC 구성 요소 (입력, 로직, UI) 생성을 수행합니다.
3. 에이전트 반복 개선: 각 하위 단계에서 디자이너가 코드를 생성하면 비평가가 평가하고, 점수가 임계값을 만족하지 못하거나 점수가 하락하면 기획자가 이전 체크포인트로 롤백하거나 수정을 요청합니다.
4. 조립 및 검증: 모든 단계가 완료되면 생성된 함수와 상태 변수를 통합하여 실행 가능한 시뮬레이션을 만듭니다.

3. 주요 기여 (Key Contributions)

1. 통합 프레임워크 제안: 팩토 POMDP 기반의 생성 파이프라인 각 단계에 Planner–Designer–Critic 에이전트 워크플로우를 내장한 새로운 프레임워크를 정식화했습니다.
2. 수학적 분석: 에이전트 개선 (Agentic Refinement) 이 팩토 맥락 선택 (Factored Context Selection) 과 어떻게 조화되는지 수학적으로 증명하고, 계산적 트레이드오프를 분석했습니다.
   • 품질 단조성 (Quality Monotonicity): 롤백 메커니즘을 통해 승인된 출력의 총점수가 반복적으로 감소하지 않음을 보장합니다.
3. 오픈소스 구현: OpenAI Agents SDK 와 SQLite 기반 세션 관리, 구조화된 점수 시스템을 갖춘 구현체를 공개했습니다.
4. 실험적 검증: PyGame 학습 환경 (PLE) 벤치마크를 통해 기존 방법론 대비 성능 향상을 입증했습니다.

4. 실험 결과 (Results)

PyGame Learning Environment (PLE) 벤치마크 (Flappy Bird, Snake, Pong 등 8 개 게임) 에서 다음과 같은 결과를 도출했습니다.

• 성능 향상: FactorSmith 는 모든 베이스라인 (Vanilla, Self-Debug, FactorSim, AgentCoder 등) 을 능가했습니다. 특히 복잡한 상태 상호작용이 필요한 게임 (Catcher, Waterworld, Pong) 에서 FactorSim 대비 7~8%p 의 시스템 테스트 통과율 향상을 보였습니다.
• 오류 감소: 런타임 오류가 적고, 프롬프트 정렬 (Prompt Alignment) 이 개선되었으며, 코드 품질이 높아졌습니다.
• 애블레이션 연구 (Ablation Study):
  • 비평가 제거: 성능이 7%p 하락하여 반복적 평가의 중요성을 입증.
  • 롤백 제거: 일관된 성능 저하 발생 (안전 장치의 가치 입증).
  • 팩토화 제거 (전체 맥락 사용): 가장 큰 성능 저하 (-12%p) 발생. 이는 맥락 축소가 가장 영향력 있는 기술임을 보여줍니다.
• 토큰 효율성: FactorSim 보다 토큰 사용량이 많지만 (약 1.7 배), CoT + Self-Debug 방식보다는 적습니다. 구조화된 점수를 통해 불필요한 반복을 줄여 효율성을 확보했습니다.

5. 의의 및 결론 (Significance & Conclusion)

FactorSmith 는 분해 (Decomposition) 와 개선 (Refinement) 이 상호 보완적임을 입증했습니다.

• 분해는 LLM 이 거대한 맥락에 압도되지 않도록 하여 할루시네이션을 방지합니다.
• 에이전트 개선은 잘 정의된 작은 맥락 내에서 발생하는 세부 오류 (오프바이원 오류, 누락된 엣지 케이스 등) 를 잡아냅니다.
• 구조화된 평가: 생성된 테스트 케이스에 의존하는 기존 에이전트 방식과 달리, 도메인 특화 구조화된 점수 (Structured Scoring) 를 사용하여 더 안정적이고 노이즈가 적은 피드백 루프를 구축했습니다.

이 연구는 LLM 기반 시뮬레이션 생성 분야에서 구조적 분해와 다중 에이전트 협업을 결합한 새로운 패러다임을 제시하며, 향후 로봇 공학용 3D 시뮬레이션 생성이나 실행 기반 피드백 통합 등으로 확장될 수 있는 기초를 마련했습니다.