🤖 machine learning

Reinforcement Learning with Discrete Diffusion Policies for Combinatorial Action Spaces

본 논문은 복잡한 조합 행동 공간에서 안정적이고 최첨단 성능을 달성하며 우수한 샘플 효율성을 확보하기 위해 정책 미러 강하를 통해 훈련된 이산 확산 모델을 활용하는 새로운 강화 학습 프레임워크를 소개한다.

원저자: Haitong Ma, Ofir Nabati, Aviv Rosenberg, Bo Dai, Oran Lang, Craig Boutilier, Na Li, Shie Mannor, Lior Shani, Guy Tenneholtz

게시일 2026-05-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haitong Ma, Ofir Nabati, Aviv Rosenberg, Bo Dai, Oran Lang, Craig Boutilier, Na Li, Shie Mannor, Lior Shani, Guy Tenneholtz

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

만약 로봇이 압도적인 선택지가 존재하는 세계에서 결정을 내리도록 가르친다고 상상해 보세요. "왼쪽" 또는 "오른쪽" 중 하나를 고르는 대신, 로봇은 100 개의 서로 다른 버튼 중 특정 조합을 선택하거나, 50 곡으로 구성된 플레이리스트를 구성하거나, 심지어 11 명의 축구 선수들의 움직임을 정확히 동시에 조율해야 할 수도 있습니다. 연구자들은 이를 **결합 행동 공간 (combinatorial action space)**이라고 부릅니다.

기존의 강화 학습 (RL) 은 한 번에 하나의 답을 추측하며 학습하는 학생과 같습니다. 수십억 개의 가능한 조합이 존재하는 세계에서 이 학생은 시험을 끝내지 못할 것입니다. 그들은 막히게 되고, 혼란스러워하며, 비효율적이게 됩니다.

이 논문은 RL-D2(Discrete Diffusion 을 활용한 강화 학습) 라는 새로운 방법을 소개합니다. 이를 struggling student(고군분투하는 학생) 를 "Diffusion"이라는 특수 기술을 사용하는 마스터 셰프로 교체하는 것으로 생각하세요.

핵심 아이디어: "흐림 제거" 셰프

혁신을 이해하기 위해 "Diffusion" 부분이 어떻게 작동하는지 살펴보겠습니다.

지저분한 주방 (문제): 완벽한 맛있는 식사 (이상적인 결정) 가 있다고 상상해 보세요. 이제 누군가 무작위 재료 한 줌을 그 위에 던져 요리를 흐리게 만들고, 결국 소음 덩어리만 남게 한다고 가정해 보세요.
셰프의 기술 (Diffusion 모델): Diffusion 모델은 이 과정을 역전시키는 연습을 한 셰프와 같습니다. 그들은 소음 덩어리를 보고, 단계별로 "소음"을 제거하여 그 아래에 있는 완벽한 식사를 드러낼 수 있습니다. 그들은 처음부터 식사를 추측하는 것이 아니라, 혼란에서 시작해 질서로 다듬어냅니다.
반전: 보통 셰프 (AI 모델) 는 직선적으로 작동합니다. 재료를 하나 고르고, 다음 것을 고르고, 그 다음 것을 고르는 식입니다. 이를 "자기회귀 (autoregressive)"라고 부릅니다. 하지만 복잡한 상황 (예: 축구 경기) 에서는 무엇을 선택하는 순서보다 최종 조합이 더 중요합니다. Diffusion 셰프는 전체 지저분한 덩어리를 보고 "먼저 이것, 그다음 저것"이라는 엄격한 규칙을 따르도록 강요받지 않고 여러 가지를 동시에 수정할 수 있습니다.

비장의 무기: "거울" 전략

이 논문의 가장 큰 돌파구는 단순히 이 "흐림 제거 셰프"를 사용하는 것이 아닙니다. 바로 셰프에게 "완벽한 식사"가 어떻게 보여야 하는지 가르치는 방법입니다.

보통 AI 를 가르칠 때 "지난번보다 더 잘해라"라고 말합니다. 이는 AI 가 너무 많은 것을 너무 빠르게 바꾸려다 혼란을 겪거나 충돌하게 되는 결과를 초래합니다.

저자들은 **Policy Mirror Descent(PMD)**라는 수학적 트릭을 사용합니다.

비유: 안개가 낀 산에서 가장 높은 지점을 찾으려 한다고 상상해 보세요. 무작위로 한 걸음 위로 올라가는 대신, 마법 거울을 들어 올리세요. 이 거울은 지금까지 가진 지도를 바탕으로 정상에 도달하기 위해 해야 할 완벽한 경로를 보여줍니다.
목표: AI 의 역할은 산을 추측하는 것이 아닙니다. 그 역할은 단순히 거울에 비친 반사상을 복사하는 것입니다. AI 는 거울에 표시된 "이상적인" 선택과 정확히 일치하도록 자신의 선택을 만들려고 노력합니다.

"최고의 경로 찾기"(거울이 수행) 와 "이동 방법 학습"(Diffusion 모델이 수행) 을 분리함으로써, 학습은 놀라울 정도로 안정적이고 빨라집니다.

두 가지 학습 방식: "탐험가" 대 "완벽주의자"

이 논문은 AI 를 "거울 이미지"에 맞추는 두 가지 다른 방식을 테스트했으며, 이들은 두 가지 다른 성격 유형처럼 행동합니다.

FKL(빠른 탐험가): 이 버전은 유망해 보이는 모든 것을 시도하고 싶어 하는 학생과 같습니다. 초기에는 매우 빠르게 학습하며 시간이나 데이터가 많지 않을 때 탁월합니다. 그러나 신중한 튜닝 없이 너무 세게 밀어붙이면 고착화되어 ("붕괴"되어) 새로운 아이디어를 탐험하는 것을 멈출 수 있습니다.
RKL(차분한 완벽주의자): 이 버전은 더 신중합니다. 단일 최선의 움직임을 찾고 그것에 집중하는 데 초점을 맞춥니다. 처음에는 조금 더 느리게 학습하지만 훨씬 더 안정적이며, 결국 매우 어려운 작업에서 더 높은 성능의 정점에 도달합니다.

어디에서 테스트했나요?

연구자들은 이론만 논의한 것이 아니라, 세 가지 매우 다른 "경기장"에서 그들의 방법을 시험대에 올렸습니다.

DNA 시퀀싱 (생물학 실험실): 특정 단백질을 더 많이 생성하도록 세포를 유도하는 DNA 시퀀스를 생성해 보았습니다. 그들의 방법은 이전 방법들보다 더 빠르게 더 나은 시퀀스를 생성하여, 본질적으로 더 나은 생물학을 "설계"했습니다.
비디오 게임 (아케이드): 그들은 고전 아타리 게임 (Breakout과 Space Invaders 등) 을 플레이했지만, 한 가지 변형이 있었습니다. 버튼을 하나 누르는 대신, AI 는 4 개 또는 8 개의 움직임을 한 번에 계획해야 했습니다. 표준 방법은 시퀀스가 길어지면 실패했지만, 그들의 "흐림 제거 셰프"는 복잡성을 쉽게 처리하여 최상위 AI 플레이어들을 능가했습니다.
축구 (팀 스포츠): Google Research Football 게임을 플레이했습니다. 여기서 AI 는 11 명의 선수를 동시에 조종해야 했습니다. "거울" 전략은 팀이 완벽하게 조율하도록 도와주어, 특히 가장 어려운 시나리오에서 다른 최상위 AI 팀들보다 더 많은 경기를 승리했습니다.

결론

이 논문은 다음과 같은 주요 문제를 해결합니다: AI 가 압도당하지 않고 복잡한 다중 부분 결정을 내리도록 어떻게 가르칠 수 있는가?

그들은 다음을 통해 이를 달성했습니다:

경직된 순서에 강요받지 않고 지저분하고 복잡한 조합을 처리할 수 있는 Diffusion 모델( "흐림 제거" 셰프) 사용.
AI 가 맹목적으로 추측하게 하는 대신, 안정적이고 완벽한 복사 대상을 제공하는 거울 전략(Policy Mirror Descent) 사용.

그 결과, AI 는 더 빠르게 학습하고, 방대한 수의 선택지를 더 잘 처리하며, 생물학부터 비디오 게임에 이르기까지 모든 분야에서 최상위 성능을 발휘합니다.

기술 요약: 조합적 행동 공간을 위한 이산 확산 정책과 강화 학습

1. 문제 제기

강화 학습 (RL) 은 계층적 계획의 매크로 액션, 다중 에이전트 조정, 추천 시스템의 슬레이트 추천 등 실제 응용 분야에서 널리 존재하는 대규모 조합적 이산 행동 공간으로 확장될 때 심각한 도전에 직면합니다. 표준 RL 알고리즘은 행동 공간 크기의 기하급수적 증가로 인해 이러한 공간에서 어려움을 겪으며, 이는 매우 효율적인 정책 파라미터화와 탐색 전략을 요구합니다.

이전 접근법들은 차원 축소, 계층적 학습, 또는 특정 구조적 속성을 가정함으로써 이 복잡성을 완화하려 시도했습니다. 더 최근에는 자동회귀 모델이 조합적 행동에 적용되었으나, 순차적 생성으로 인한 추론 시 높은 계산 비용과 정책의 표현력을 제한할 수 있는 인위적인 인과적 행동 순서를 부과한다는 단점이 있습니다. 반면 확산 모델은 연속 제어 및 이산 생성 작업에서 가능성을 보여주었으나, 온라인 RL 을 통한 이산 확산 정책 학습을 위한 원칙적이고 효율적인 프레임워크는 아직 탐구되지 않았습니다.

2. 방법론: RL-D2

저자들은 조합적 행동 공간의 정책으로 이산 확산 모델을 학습시키기 위한 새로운 프레임워크인 RL-D2를 소개합니다. 핵심 혁신은 RL 목적 함수 최적화와 복잡한 표현 학습 작업을 분리하는 효율적인 온라인 학습 과정에 있습니다.

2.1. 정책 미러 강하 (PMD) 목표

이 프레임워크는 정책 업데이트를 분포 매칭 문제로 재정의합니다. RL 목적 함수를 직접 최적화하는 대신, 이 방법은 **정책 미러 강하 (PMD)**를 사용하여 이상적인 정규화된 목표 정책 분포 ( $\pi_{MD}$ ) 를 정의합니다. 현재 정책 $\pi_{old}$ 와 이점 함수 $A_{\pi_{old}}$ 가 주어졌을 때, 목표 분포는 분석적으로 유도됩니다:
$\pi_{MD}(a|s) \propto \pi_{old}(a|s) \exp(A_{\pi_{old}}(s, a)/\lambda)$
여기서 $\lambda$ 는 온도 매개변수입니다. 그런 다음 표현력이 풍부한 확산 모델이 이 안정적인 목표 분포를 복제하도록 학습됩니다.

2.2. 발산 최소화

정책 업데이트는 확산 정책 ( $\pi_\theta$ ) 과 PMD 목표 ( $\pi_{MD}$ ) 간의 발산을 최소화함으로써 달성됩니다. 이 논문은 쿨백 - 라이블러 (KL) 발산을 기반으로 두 가지 구체적인 변형을 분석합니다:

순방향 KL (FKL): $d_{KL}(\pi_{MD}, \pi_\theta)$ 를 최소화합니다. 이 "평균 추구" 행동은 정책이 목표 분포의 모드 (mode) 를 커버하도록 장려하여 탐색을 촉진합니다. 저자들은 이 목적을 위한 계산 가능한 가중 ELBO 손실을 유도하여 오프-폴리시 학습을 가능하게 하고, 샘플링된 행동을 그 이점 값에 따라 재가중치합니다.
역방향 KL (RKL): $d_{KL}(\pi_\theta, \pi_{MD})$ 를 최소화합니다. 이 "모드 추구" 행동은 최고 가치 행동에 초점을 맞추며 이론적으로 원래 PMD 최적화와 동일합니다. 확산 가능도의 계산 불가능성으로 인해, 저자들은 계산 가능한 중요도 샘플링 비율을 유도하기 위해 확장된 MDP 를 구성하고 PPO 스타일의 클리핑 메커니즘을 사용하여 목적 함수를 최적화합니다.

2.3. 온-폴리시 확산 학습

학습 분포를 추론 분포와 정렬하기 위해, 저자들은 온-폴리시 확산 학습을 제안합니다. 깨끗한 행동에서 시작하는 고정된 순방향 과정에서 노이즈가 있는 행동을 생성하는 대신, 확산 궤적은 현재 정책이 학습한 역과정에서 샘플링함으로써 온-폴리시 방식으로 생성됩니다. 이는 안정성과 샘플 효율성을 향상시킵니다.

3. 주요 기여

RL-D2 프레임워크: 조합적 행동 공간의 RL 에서 정책으로 이산 확산 모델을 사용하기 위한 새로운 효율적인 온라인 학습 프레임워크. PMD 목표를 사용하여 정책 업데이트를 분포 매칭 문제로 재정의합니다.
이론적 유도: PMD 목표에 대한 순방향 및 역방향 KL 발산을 최소화하는 두 가지 실용적인 정책 개선 방법의 유도 및 분석.
실증적 검증: 세 가지 까다로운 도메인에서 수행된 광범위한 실험을 통해 최첨단 결과를 입증:
- DNA 시퀀스 생성: 이산 확산 모델의 보상 기반 미세 조정.
- 장기 RL: MinAtar 및 Atari 환경에서의 매크로 액션 계획.
- 다중 에이전트 RL: Google Research Football 도메인에서의 협력 학습.

4. 실험 결과

이 논문은 모든 테스트된 도메인에서 우수한 성능과 샘플 효율성을 보고합니다:

DNA 시퀀스 생성: RL-D2 는 생성된 시퀀스의 높은 로그 가능도 (자연스러움) 를 유지하면서 최첨단 보상 점수를 달성했습니다. DRAKES 기준과 비교하여 GPU 메모리 소비를 66.4GB 에서 10.6GB 로, 학습 시간을 268 분에서 97 분으로 줄여 상당한 계산 효율성을 입증했습니다.
Atari (매크로 액션): RL-D2 는 56 개의 Atari 환경 중 36 개에서 강력한 기준 (DQN, IMPALA, R2D2, PPO) 을 능가했습니다. 특히 Breakout, Space Invaders와 같은 장기 전략이 필요한 작업에서 두드러진 강점을 보였습니다. 이 방법은 매크로 액션 길이가 16 까지 증가함에 따라 성능을 유지하는 확장성을 입증한 반면, DQN-Macro 와 같은 기준들은 행동 공간의 기하급수적 증가로 인해 실패했습니다.
Google Research Football: 최대 11 대 11 의 협력 다중 에이전트 작업에서 이산 확산 정책은 평균 승리율을 가장 높게 기록하여 자동회귀 기준 (MAT, MAPPO) 을 능가했고, 제한적인 분해 없이 복잡한 에이전트 간 의존성을 포착할 수 있는 능력을 입증했습니다.

실증적 트레이드오프: FKL 대 RKL

저자들은 두 가지 발산 변형 간의 주요 트레이드오프를 강조합니다:

FKL: 데이터 제약이 있는 시나리오 (예: Atari) 에 적합하도록 뛰어난 샘플 효율성과 빠른 초기 수렴을 보여줍니다. 그러나 덜 안정적이며 붕괴를 방지하기 위해 온도 조정이 신중하게 필요합니다.
RKL: 안정적인 학습을 보장하고 충분한 데이터가 있는 까다로운 작업 (예: Google Football) 에서 더 높은 점근적 성능을 달성하지만, 초기 학습 속도는 약간 느립니다.

5. 중요성과 주장

이 논문은 RL-D2 가 대규모 조합적 행동 공간에서의 RL 의 오랜 도전 과제에 대한 확장 가능하고 고성능의 해결책을 제공한다고 주장합니다. 이산 확산 모델의 표현력을 활용하고 PMD 기반 분포 매칭을 통해 학습을 안정화함으로써, 이 프레임워크는 기존 방법들이 종종 실패하는 복잡한 의사결정 문제를 효과적으로 처리합니다.

저자들은 그들의 접근 방식이 정적 목적 함수를 처음부터 최적화하는 대신 전이 역학을 활용하고 보지 못한 상태로 일반화되는 상태 조건부 정책을 학습함으로써 진화 알고리즘과 같은 표준 이산 블랙박스 솔버에 비해 뚜렷한 이점을 제공한다고 강조합니다. 또한, 이 방법의 분리된 특성은 학습 과정을 안정화시켜 복잡하고 비구조화된 이산 공간에서 성능을 크게 향상시킵니다.