Generative Models in Decision Making: A Survey

이 논문은 제어로서의 추론 (Control as Inference) 프레임워크를 기반으로 생성적 의사결정 모델을 제어자, 모델러, 최적화자, 평가자라는 네 가지 기능적 역할로 분류하는 체계적인 분류법을 제시하고, 이를 embodied AI, 자율주행, 과학 AI 등 고위험 도메인에서의 적용 사례와 한계를 분석하여 일반적 물리 지능 (Generalist Physical Intelligence) 의 발전 방향을 제시합니다.

핵심

이 논문은 **"생성형 AI(Generative AI) 가 어떻게 의사결정을 바꾸고 있는가?"**에 대한 거대한 지도를 그려낸 연구 보고서입니다.

기존의 AI 는 "어떤 행동을 하면 점수가 가장 많이 나올까?"라고 계산하는 수학 문제처럼 접근했습니다. 하지만 이 논문은 AI 가 이제 "사람들이 실제로 어떻게 행동하는지 그 패턴과 다양성을 완벽하게 흉내 내는 예술가"가 되었다고 말합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 핵심 개념: "정답 하나"에서 "다양한 가능성"으로

🚗 예전 방식 (기존 강화학습): "최고의 운전사"
과거의 AI 는 마치 경주용 드라이버 같았습니다. "가장 빠른 길" 하나만 찾아서 그 길로만 달렸습니다. 만약 도로 상황이 조금만 달라져도 (예: 갑자기 비가 오거나, 다른 차가 끼어들면) 당황해서 멈추거나 사고를 냈습니다. 오직 '하나의 정답'만 믿었기 때문입니다.

🎨 새로운 방식 (생성형 의사결정): "유연한 택시 기사"
이제 AI 는 유능한 택시 기사가 되었습니다. 목적지는 같지만, 상황에 따라 "가장 빠른 길", "가장 안전한 길", "가장 편안한 길" 등 수십 가지의 다양한 경로를 동시에 상상할 수 있습니다. 비가 오면 우회로를 찾고, 교통체증이 생기면 다른 길을 선택하죠. AI 가 단순히 '정답'을 외우는 게 아니라, 세상 모든 가능한 상황 (데이터) 을 학습해서 유연하게 대응하는 것입니다.

---

2. 새로운 분류법: AI 의 역할 4 가지 (우주선 조종사 팀)

이 논문은 기존의 "어떤 기술 (Transformer, Diffusion 등) 을 썼는가"로 나누는 대신, **"AI 가 어떤 역할을 하는가"**로 4 가지 팀으로 나눕니다. 마치 우주선을 조종하는 팀원들처럼요.

1. 조종사 (Controller - 컨트롤러)

   • 역할: "지금 당장 핸들을 어떻게 돌릴까?"
   • 비유: 운전석에 앉아 실시간으로 핸들을 조작하는 실전 조종사입니다. 과거의 데이터 (사람들이 어떻게 운전했는지) 를 보고 "이런 상황에서는 보통 이렇게 운전하더라"라고 바로 행동합니다.
   • 특징: 매우 빠르고 즉각적인 반응이 필요합니다.

2. 예측자 (Modeler - 모델러)

   • 역할: "앞으로 어떤 일이 일어날까?"
   • 비유: 우주선 창밖을 보며 **"만약 저기서 엔진이 터지면 어떻게 될까?"**라고 상상하는 예측 전문가입니다. 실제로 사고를 겪지 않아도 머릿속으로 시뮬레이션을 돌려 미래를 예측합니다. 이를 통해 실제 위험을 줄입니다.

3. 계획가 (Optimizer - 옵티마이저)

   • 역할: "최고의 경로를 다시 짜보자."
   • 비유: 지도를 보며 "저길 갈까, 이길 갈까?" 고민하다가 최고의 경로를 찾아내는 기획자입니다. 한 번에 결정하지 않고, 여러 번 시뮬레이션을 돌려서 "아, 이 경로가 가장 안전하고 빠르구나"라고 수정합니다. 시간이 좀 걸리지만 가장 정확합니다.

4. 심사위원 (Evaluator - 평가자)

   • 역할: "이 행동이 안전한가?"
   • 비유: 조종사가 제안한 행동을 보고 **"이건 위험해! 하지 마!"**라고 경고하는 안전 관리자입니다. AI 가 엉뚱한 짓 (예: 벽으로 돌진) 을 하려 하면 이를 막아줍니다.

---

3. 현실 세계의 적용과 위험 (비행기 타기)

이 기술은 로봇, 자율주행차, 과학 연구 등에 쓰이지만, 위험도가 있습니다.

• 로보틱스 (Embodied AI): 로봇이 사람처럼 손발을 움직여 물건을 잡을 때, AI 는 다양한 시도를 해볼 수 있습니다. 하지만 가끔 **현실과 다른 환상 (Hallucination)**을 볼 수도 있습니다. "벽이 투명한 줄 알고 통과하려다 부딪히는" 일이 생길 수 있죠.
• 자율주행 (Autonomous Driving): 자율주행차는 평소엔 잘 가지만, **드문 경우 (Corner Case)**에 어떻게 반응할지 모를 수 있습니다. AI 가 "이건 안전해"라고 믿고 위험한 행동을 할 수 있으니, **안전 장치 (방어막)**가 꼭 필요합니다.
• 과학 발견 (Scientific Discovery): 새로운 약을 만들 때 AI 가 "이런 분자 구조가 약이 될 거야"라고 제안할 수 있습니다. 하지만 실제로는 독극물일 수도 있죠. AI 가 만들어낸 것이 진짜로 안전한지 검증하는 과정이 필수적입니다.

---

4. 결론: 앞으로의 미래

이 논문은 **"생성형 AI 가 의사결정의 미래를 바꿀 것이다"**라고 말합니다.

• 과거: "정답 하나를 찾아라." (단단하지만 깨지기 쉬움)
• 미래: "모든 가능성을 상상하고, 그중에서 가장 안전하고 좋은 것을 선택하라." (유연하고 강력함)

하지만 이 강력한 힘을 쓰기 위해서는 **신뢰성 (Safety)**과 **빠른 계산 속도 (Efficiency)**를 해결해야 합니다. 마치 초고속 비행기를 만들 때, 속도가 빨라지는 만큼 안전장치를 더 튼튼하게 해야 하는 것과 같습니다.

한 줄 요약:

"이제 AI 는 딱딱한 수학 문제를 푸는 기계가 아니라, 세상의 다양한 가능성을 상상하고 가장 현명한 선택을 하는 유연한 파트너가 되었습니다. 다만, 그 힘을 안전하게 다룰 수 있는 '안전장치'를 만드는 것이 지금 가장 중요한 과제입니다."

기술 요약

1. 문제 정의 (Problem)

기존의 강화학습 (RL) 및 최적 제어 알고리즘은 주로 스칼라 보상 (scalar reward) 의 누적 합을 최대화하는 점 추정 (point estimate) 방식에 의존해 왔습니다. 그러나 이러한 접근법은 다음과 같은 근본적인 한계에 직면해 있습니다.

• 표현력의 한계: 기존 정책 (Policy) 은 주로 단봉형 (unimodal) 가우시안 분포를 가정합니다. 이는 인간 행동이나 복잡한 환경 데이터에 내재된 다중 모드 (multi-modal) 특성을 포착하는 데 실패하며, 모드 붕괴 (mode collapse) 를 초래합니다.
• 샘플 비효율성: 모델 프리 (Model-free) RL 에서 동역학 모델링과 정책 최적화가 얽혀 있어, 실제 물리적 상호작용에 대한 샘플 효율성이 낮습니다.
• 개방형 환경의 부재: 잘 정의된 시뮬레이션 밖의 오픈 월드 (open-world) 고차원 작업으로 확장될 때, 기존의 '시행착오 (trial-and-error)' 패러다임은 표현력과 견고성 측면에서 한계에 부딪힙니다.

이에 따라, 생성 모델 (Diffusion, Transformer, GFlowNets 등) 을 도입하여 의사결정 문제를 단일 최적 경로 탐색이 아닌, 고품질 궤적 분포 (trajectory distribution) 의 정합 (matching) 문제로 재정의할 필요성이 대두되었습니다.

---

2. 방법론 및 핵심 프레임워크 (Methodology)

이 논문은 기존 연구들을 아키텍처 (Diffusion vs. Transformer 등) 중심이 아닌, 확률적 추론으로서의 제어 (Control as Inference) 프레임워크에 기반한 기능 중심 (Function-Centric) 분류 체계를 제안합니다.

2.1 이론적 기반: 궤적 사후분포의 분해

목표는 최적성 (Optimality) 변수 $O$가 주어졌을 때의 궤적 $\tau$의 사후분포 $p(\tau|O)$를 추론하는 것입니다. 베이즈 정리와 마르코프 성질을 이용해 이를 다음과 같이 4 가지 기능적 역할로 분해합니다:

$$p(\tau|O) \propto \underbrace{p(\tau)}_{\text{Prior}} \cdot \underbrace{p(O|\tau)}_{\text{Likelihood}}$$

여기서 $p(\tau)$는 동역학 (Modeler) 과 정책 (Controller) 의 곱이며, $p(O|\tau)$는 가치 (Evaluator) 를 나타냅니다.

2.2 제안된 4 가지 기능적 역할 (Functional Roles)

저자는 생성 모델이 의사결정 루프 내에서 수행하는 4 가지 핵심 역할을 정의합니다:

1. Controller (정책 추론자):
   • 역할: 상태 $s$에서 행동 $a$를 직접 생성하는 분포 $\pi(a|s)$를 근사 (Amortized Inference).
   • 특징: 단봉형 가우시안을 넘어선 복잡한 다중 모드 행동 분포를 표현 (예: Diffusion Policy, GAIL).
2. Modeler (동역학 사전지식):
   • 역할: 환경의 전이 확률 $p(s'|s, a)$를 학습하여 물리적 제약을 부과.
   • 특징: 월드 모델 (World Model) 로서 상상 (Imagination) 을 통한 계획 가능. 고차원 시각적 동역학 시뮬레이션 가능 (예: Dreamer, Genie).
3. Evaluator (평가자):
   • 역할: 궤적의 최적성 확률 $p(O|\tau)$ 또는 에너지 함수를 근사.
   • 특징: 희소한 보상 대신 밀집된 그래디언 신호 제공 또는 안전성 검증 (OOD 감지) 수행 (예: EBM, Discriminator).
4. Optimizer (최적화 엔진):
   • 역할: 사후분포 $p(\tau|O)$를 직접 탐색하는 반복적 추론 과정.
   • 특징: 테스트 시간 (Test-time) 에 반복적 샘플링 (Denoising 등) 을 통해 궤적을 정제. 장기적 일관성 확보 (예: Diffuser, GFlowNets).

---

3. 주요 기여 (Key Contributions)

1. 통합된 기능 중심 분류 체계 (Unified Function-Centric Taxonomy):

   • 아키텍처 중심의 기존 리뷰를 넘어, 'Control as Inference' 이론에 기반하여 모든 생성 모델 (GAN, VAE, Diffusion, Flow, GFlowNet 등) 을 4 가지 기능적 역할로 체계화했습니다.
   • 하나의 모델이 여러 역할을 수행할 수 있음을 인정하고, 추론 시의 행동에 따라 분류합니다 (예: Diffuser 는 정책처럼 보이지만 반복적 최적화 과정이므로 Optimizer 로 분류).

2. 방법론의 비판적 종합 (Critical Synthesis):

   • 각 생성 모델 계열 (One-step, Autoregressive, Iterative, Amortized) 이 특정 의사결정 역할에서 가지는 장단점 (속도, 다중 모드 커버리지, 훈련 안정성 등) 을 정량적/정성적으로 분석했습니다.
   • Table 4 와 Figure 5 를 통해 다양한 생성 메커니즘의 트레이드오프를 시각화했습니다.

3. 안전성 및 위험 분석 (Safety & Risk Analysis):

   • 고위험 도메인 (Embodied AI, 자율주행, 과학적 발견) 에서의 배포 시 발생할 수 있는 시스템적 위험을 식별했습니다.
   • 주요 위험: 물리 법칙 위반 (Dynamics Hallucination), 대리 보상 악용 (Proxy Exploitation), OOD(Out-of-Distribution) 상황에서의 고신뢰성 오류.
   • 대응 전략: 계층적 안전 장치 (Hierarchical Safeguards), Conformal Prediction, 기계적 망각 (Machine Unlearning) 등을 제안했습니다.

4. 미래 방향 제시:

   • Physical Foundation Models (PFM): 특정 도메인을 넘어 물리적 세계의 연속적 동역학을 모델링하는 범용 모델의 필요성 강조.
   • 신뢰할 수 있는 AI: 추론 효율성, 안전성 검증, 인과적 추론 (Causal Reasoning) 의 통합을 향후 과제로 제시.

---

4. 결과 및 통찰 (Results & Insights)

• 패러다임의 전환: 의사결정은 단순한 점 최적화 (Point Optimization) 에서 분포 추론 (Distribution Inference) 으로 이동하고 있습니다. 이는 인간 행동의 다양성을 포착하고 오프라인 데이터에서 견고한 학습을 가능하게 합니다.
• 모델 선택 가이드:
  • 실시간 제어 (High-frequency): GAN/VAE 기반의 One-step Controller 가 적합 (낮은 지연 시간).
  • 고정밀 오프라인 모방: Diffusion 기반 Controller 가 우수 (다중 모드 정밀도).
  • 장기 계획 및 시뮬레이션: Transformer 기반 Modeler 또는 Latent World Models (Dreamer) 가 효과적.
  • 조합적 최적화 (과학 발견 등): GFlowNets 가 다중 모드 탐색에 최적.
• 안전성: 생성 모델의 확률적 특성으로 인해 '할루시네이션' 위험이 존재하므로, 생성 모델은 창의적인 제안자 (Proposal) 로만 사용되고, 결정적 검증기 (Safety Filter) 를 통해 필터링되는 Generate-then-Filter 아키텍처가 필수적입니다.

---

5. 의의 (Significance)

이 논문은 생성형 AI 와 의사결정 시스템의 융합을 체계적으로 정리한 최초의 포괄적인 가이드라인 중 하나입니다.

1. 이론적 통합: 다양한 생성 모델들을 하나의 확률적 프레임워크 (Control as Inference) 아래에서 통합함으로써, 연구자들이 특정 문제에 적합한 모델을 선택하고 새로운 알고리즘을 설계하는 데 명확한 나침반을 제공합니다.
2. 실용적 안전성 강조: 단순히 성능 향상뿐만 아니라, 실제 물리적 세계 (로봇, 자율주행, 의료 등) 에 적용할 때의 안전성과 신뢰성 문제를 핵심 주제로 다루어, 생성 모델의 상용화를 위한 필수적인 조건을 제시합니다.
3. 차세대 AI 비전: "Generalist Physical Intelligence (범용 물리적 지능)"의 실현을 위한 핵심 요소로, 생성 모델이 단순한 콘텐츠 생성을 넘어 물리적 세계의 동역학을 이해하고 행동하는 Physical Foundation Models의 발전 방향을 제시합니다.

결론적으로, 이 논문은 생성 모델이 강화학습의 한계를 극복하고, 더 다양하고 견고하며 안전한 의사결정 에이전트를 구축하는 데 있어 필수적인 패러다임 전환을 주도하고 있음을 보여줍니다.