기술적 요약: 오프라인 RL 을 위한 엔트로피 정규화 어드저인트 매칭

문제 정의

본 논문은 흐름 매칭 모델과 같은 표현력 있는 생성 정책을 활용할 때 오프라인 강화학습 (RL) 에 내재된 지지 결합 딜레마 (Support-Binding Dilemma, SBD) 를 다룹니다. 어드저인트 매칭 (QAM) 과 같은 연속 시간 프레임워크는 불안정한 솔버 역전파를 우회하여 정책 최적화를 안정화하지만, 오프라인 데이터셋의 고정된 행동 분포 ($\pi_\beta$) 에 엄격하게 종속됩니다. 이러한 의존성은 두 가지 중요한 한계를 초래합니다:

1. 인기 편향 (밀도 프론트): 최적화는 행동 사전 ($\pi^* \propto \pi_\beta \exp(Q/\tau)$) 에 대한 곱셈적 의존성에 의존합니다. 데이터셋에서 최적 행동이 희귀할 경우, 소멸하는 $\pi_\beta$ 항이 보상 신호를 억제합니다. 이를 극복하려면 공격적인 온도 스케일링이 필요하며, 이는 비평가 근사 오차를 증폭시키고 에이전트가 안정성을 유지하기 위해 비최적이지만 고빈도 행동을 수락하도록 강제합니다.
2. 영지지 함정 (기하학적 프론트): 최적 행동이 행동 데이터의 지지 영역 밖에 위치하면 $\pi_\beta = 0$이 됩니다. 이러한 구조적 제약은 에이전트가 이러한 영역에 도달하는 것을 영구히 차단하여, 보상 신호와 관계없이 새로운 행동의 발견을 중단시킵니다.

잔류 가우시안 정책 (예: QAM-Edit) 을 추가하여 에이전트를 데이터 다양체 (manifold) 에서 벗어나게 하는 기존 우회 방법들은 종종 연속 상미분방정식 (ODE) 형식을 깨뜨립니다. 이러한 휴리스틱들은 일관된 벡터장 궤적을 방해하는 구조적 패치 역할을 하며, 단봉 분포와 관련된 표현력 병목 현상을 다시 도입합니다.

방법론: 최대 엔트로피 어드저인트 매칭 (ME-AM)

저자들은 SBD 를 연속 흐름 형식 내에서 완전히 해결하는 통합 프레임워크인 **최대 엔트로피 어드저인트 매칭 (ME-AM)**을 제안합니다. ME-AM 은 두 가지 주요 메커니즘을 통합합니다:

1. 보상 유도 혼합 사전 (기하학적 확장)

연속 ODE 를 깨지 않고 고립된 데이터 클러스터 간의 기하학적 간극을 메우기 위해, ME-AM 은 훈련 중 행동 데이터셋을 확장합니다.

• 메커니즘: 데이터셋 행동의 일부 $\epsilon$을 보조 가우시안 에이전트 ($\pi_\omega$) 가 생성한 합성 목표로 대체합니다. 이 에이전트는 상태와 경험적 행동을 조건으로 높은 보상 행동을 예측하도록 Soft Actor-Critic(SAC) 스타일 목적 함수로 훈련됩니다.
• 효과: 기본 흐름은 혼합 분포 $\pi_{mix} = (1-\epsilon)\pi_\beta + \epsilon\pi_\omega$에 대해 훈련됩니다. 이는 유효한 기하학적 지지를 본질적으로 확장하여, 모델이 구조적으로 건전한 연속 ODE 를 유지하면서 분포 외 (OOD) 모드에 노이즈를 운반하는 법을 학습할 수 있게 합니다.

2. 미러 디센트를 통한 밀도 평탄화 (엔트로피 최대화)

인기 편향을 완화하기 위해 ME-AM 은 어드저인트 시스템 내에서 미세 조정된 정책의 미분 엔트로피를 직접 최대화합니다.

• 메커니즘: 계산적으로 prohibitive 한 명시적 밀도 평가 대신, **함수적 미러 디센트 (MD)**를 사용합니다. 엔트로피 최대화를 위한 함수적 기울기는 음의 스코어 함수 ($-\nabla \log \pi$) 로 단순화됩니다.
• 구현: 음의 스코어는 값 기울기와 함께 어드저인트 ODE 의 말단 경계 조건에 직접 주입됩니다. 말단 경계 ($t \to 1$) 에서의 수치적 불안정성을 피하기 위해 경량 보조 스코어 네트워크 ($S_\psi$) 가 분산 가중치 탈노이즈 목적 함수로 훈련됩니다.
• 효과: 이 과정은 확장된 지지 영역 전반에 걸쳐 뾰족한 행동 밀도를 평탄화하여, 에이전트가 극단적이고 오차를 증폭시키는 엄격한 온도 스케일링의 대비 없이도 고보상 행동을 강조할 수 있게 합니다.

이론적 형식화

통합 목적 함수는 정적 혼합 기반과 느리게 이동하는 목표 앵커 사이의 균형을 이루는 보간된 참조 흐름 ($v_{ref}$) 과 미세 조정된 벡터장을 정렬합니다. 저자들은 (정리 2) 최적 정상 정책이 다음에 수렴함을 증명합니다:
$$\pi^*(a|s) \propto (\pi_{mix}(a|s))^{\delta(s)} \exp\left( \frac{1}{\kappa(s)} Q_\phi(s, a) \right)$$
여기서 $\delta(s) \in (0, 1)$은 사전 밀도의 평탄화를 수학적으로 보장하며 탐색을 경험적 데이터 빈도에서 분리하는 상태 의존 지수입니다.

주요 기여

1. 통합 프레임워크: ME-AM 은 ODE 구조를 깨는 단절된 편집이나 사후 처리 휴리스틱 없이 연속 흐름 형식 내에서 지지 결합 딜레마를 완전히 해결한 최초의 방법입니다.
2. 기하학적 및 밀도 해결: 학습 가능한 비평가 유도 혼합 사전 을 통해 영지지 함정을 해결하고, 함수적 미러 디센트 엔트로피 최대화를 통해 인기 편향을 동시에 해결합니다.
3. 이론적 보장: 연속 시간 목적 함수가 목표하는 밀도 평탄화 정상 정책으로 정확히 수렴함을 입증하는 증명을 제공합니다.
4. 견고한 구현: 말단 경계에서 분석적 스코어의 수치적 폭발을 우회하기 위해 분리된 보조 스코어 파라미터화를 사용하여 안정적인 훈련을 보장합니다.

실험 결과

저자들은 희소 보상과 복잡하며 다중 모드 행동을 특징으로 하는 OGBench(puzzle-4x4 및 cube-triple) 의 두 가지 도전적인 도메인에서 ME-AM 을 평가했습니다.

• 오프라인 성능: ME-AM 은 QAM, FEdit, CGQL, ReBRAC 을 포함한 다양한 최첨단 (SOTA) 방법들과 비교하여 경쟁력 있거나 우수한 성능을 보여주었습니다. puzzle-4x4 도메인에서 ME-AM 은 집계 기준 **56%**의 글로벌 성공률을 달성하여, 다음으로 가장 좋은 방법 (QAM-E, 37%) 보다 크게 우위를 점했습니다.
• 애블레이션 연구:
  • 기하학적 확장: 행동 지지 ($\epsilon=0$) 만에 의존하는 경우 희소 도메인에서 전체 성능이 붕괴되어 혼합 사전의 필요성을 확인했습니다.
  • KL 정규화: 기하학적 확장 중 확률성이 도입될 때 훈련을 안정화하기 위해 명시적 KL 경로 제약이 필수임이 밝혀졌습니다.
  • 노이즈 바닥: 더 큰 평가 노이즈 바닥 ($\sigma_{min} = 0.3$) 은 특정 작업에서 성능을 향상시켰으며, 공간적 평활화 인자로 작용했습니다.
• 오프라인에서 온라인 미세 조정: ME-AM 은 범용 QAM 에 비해 온라인 성능을 크게 향상시켰으며, 추가적인 편집 정책 없이도 QAM-edit 와 동등한 결과를 달성하여 온라인 탐색을 위한 추가 편집 정책의 필요성을 제거했습니다.
• 효율성: 보조 네트워크로 인해 훈련 시간이 약간 증가하지만, 보조 구성 요소가 배포 전에 계산 그래프에서 분리되므로 추론 속도 (0.14 ms/스텝) 는 표준 흐름 매칭 정책과 일치합니다.

중요성 및 주장

본 논문은 ME-AM 이 보상 최대화와 분포 외 외삽 회피 사이의 근본적인 긴장 관계를 해결함으로써 오프라인 RL 에서 구조적 진보를 이루었다고 주장합니다. 유효한 행동 다양체를 확장하고 단일 일관된 연속 시간 프레임워크 내에서 경험적 행동 밀도를 평탄화함으로써, ME-AM 은 에이전트가 이전 휴리스틱 접근법의 불안정성이나 표현력 한계 없이 희소 오프라인 데이터셋에서 견고하고 최적의 정책을 추출할 수 있게 합니다. 저자들은 이 접근법이 데이터 지지 영역이 부재한 곳에서 새로운 행동을 발견하면서도 연속 최적 제어의 수학적 보장을 유지할 수 있게 한다고 강조합니다.