🤖 machine learning

DADiff: Diffusion-Driven Cross-Domain Policy Adaptation for Reinforcement Learning

DADiff는 생성적 궤적 불일치를 통해 역학적 불일치를 추정함으로써 효과적인 보상 수정 또는 데이터 선택을 가능하게 하여, 상당한 도메인 변화가 있는 환경에서 기존 방법들을 능가하는 온라인 교차 도메인 정책 적응을 위한 확산 기반 프레임워크이다.

원저자: Hanyang Chen, Anirudh Satheesh, Longchao Da, Hua Wei

게시일 2026-07-20

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Hanyang Chen, Anirudh Satheesh, Longchao Da, Hua Wei

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇 개에게 마라톤을 달리는 법을 가르치려 한다고 상상해 보세요. 로봇을 곧바로 실제 세상에 던져버릴 수는 없습니다. 넘어지거나, 다치거나, 값비싼 부품을 부술 수도 있기 때문입니다. 그래서 당신은 로봇 개가 두려움 없이 수백만 번 연습할 수 있는 비디오 게임 시뮬레이터를 만듭니다. 이것이 바로 에이전트가 결정을 내리기 위해 시행착오를 거치며 학습하는 인공지능의 한 분야인 **강화 학습(Reinforcement Learning, RL)**의 세계입니다. 목표는 이 안전한 "소스(source)" 세계(시뮬레이터)에서 에이전트를 훈련시킨 다음, 그 기술을 "타겟(target)" 세계(실제 환경)로 전이시키는 것입니다.

하지만 여기 함정이 있습니다. 시뮬레이터는 결코 완벽할 수 없습니다. 게임 속 지면은 약간 미끄러울 수도 있고, 로봇의 다리는 실제보다 아주 조금 더 길 수도 있습니다. 이러한 작은 차이를 **역학적 불일치(dynamics mismatches)**라고 부릅니다. 만약 완벽한 얼음 위에서 훈련받은 로봇을 젖은 풀밭에 떨어뜨린다면, 로봇은 미끄러져 처참하게 실패할 것입니다. 이 분야의 핵심 질문은 이것입니다: 어떻게 하면 로봇이 수백만 번의 새로운 연습 과정 없이도 실제 세계의 이러한 특이점에 적응할 수 있도록 로봇의 뇌를 고칠 수 있을까요? 이 논문은 바로 그 문제를 다루며, 실제 세계가 시뮬레이션과 정확히 어떻게 다른지 측정하는 영리한 새로운 방법을 제안하고, 그 정보를 사용하여 로봇을 더 똑똑하게 가르치는 방법을 제시합니다.

문제점: 물리학의 "불쾌한 골짜기"

로봇을 훈련시키는 것을 아이에게 자전거 타기를 가르치는 것에 비유해 보세요. 당신은 아이에게 조용하고 평평한 주차장(소스 도메인)에서 연습하게 할 수 있습니다. 하지만 아이가 마침내 울퉁불퉁하고 바람 부는 거리(타겟 도메인)에서 자전거를 타려고 할 때, 물리 법칙은 달라집니다. 바람은 아이를 밀치고, 요철은 몸을 흔들며, 타이어의 접지력도 달라집니다. 만약 아이가 주차장에서 배웠던 것과 똑같은 균형 감각을 사용하려 한다면, 아이는 넘어질 것입니다.

AI의 세계에서 연구자들은 "도메인 분류기(domain classifiers, '이봐, 너 지금 잘못된 세계에 있어!'라고 외치는 심판 역할을 하는 것)"를 사용하거나 나쁜 연습 데이터를 걸러내는 방식으로 이 문제를 해결하려 노력해 왔습니다. 하지만 이 논문의 저자인 한양 첸(Hanyang Chen)과 동료들은 이러한 방식들이 다소 투박하다고 느꼈습니다. 그들은 단순히 실수가 일어난 순간만이 아니라, 실수로 향하는 전체 여정을 보고 싶었습니다. 그들은 이렇게 질문했습니다: 만약 우리가 로봇이 실제 세계에서 갔을 "유령 경로(ghost path)"와 시뮬레이터에서 실제로 간 경로를 단계별로 비교할 수 있다면 어떨까?

해결책: DADIFF와 "디퓨전" 탐정

DADIFF(Diffusion-Driven Cross-Domain Policy Adaptation)를 소개합니다. 이를 이해하기 위해, 로봇의 미래 움직임을 사진으로 찍은 뒤, 마치 신호가 끊기는 오래된 TV처럼 그 사진을 서서히 노이즈로 변하게 만드는 마법 카메라를 상상해 보세요. 이것을 **디퓨전 모델(diffusion model)**이라고 합니다. 보통 이 모델들은 예술 작품을 생성하는 데 사용되지만, 여기에서 연구자들은 이를 "만약에(what-if)" 시나리오를 생성하는 데 사용합니다.

핵심 아이디어는 로봇이 지점 A에서 지점 B로 이동할 때, 단순히 점프하는 것이 아니라 숨겨진 단계별 궤적을 따른다는 것입니다. 시뮬레이터에서의 이 경로는 하나이고, 실제 세계에서의 경로는 또 다른 것입니다. DADIFF는 디퓨전 모델을 사용하여 이러한 숨겨진 경로를 재구성합니다. 모델은 다음과 같이 묻습니다: "만약 로봇이 시뮬레이터에서 이 행동을 했다면, 매 아주 작은 단계마다 실제 세계는 어떤 모습이었을까?"

시뮬레이터의 "유령 경로"와 실제 세계의 "유령 경로"를 비교함으로써, DADIFF는 **생성적 궤적 편차(generative trajectory deviation)**를 측정할 수 있습니다. 이는 마치 GPS의 두 가지 서로 다른 경로를 비교하는 것과 같습니다. 한 경로는 매끄러운 고속도로(시뮬레이터)를 지나고, 다른 경로는 구멍이 숭숭 난 뒷길(실제 세계)을 지납니다. DADIFF는 단순히 "이것들은 다르다"라고 말하는 데 그치지 않습니다. 그것은 도로가 정확히 어디서, 그리고 얼마나 많이 갈라지는지를 계산합니다.

로봇을 고치는 두 가지 방법

DADIFF가 세계가 얼마나 다른지 정확히 알게 되면, 로봇의 뇌를 고치기 위한 두 가지 창의적인 방법을 제시합니다.

"미세 조정" 접근법 (DADIFF-modify): 로봇이 달리기를 해서 점수를 얻는 비디오 게임을 하고 있다고 상상해 보세요. 만약 로봇이 실제 세계에서는 충돌로 이어질 법한 발걸음을 뗀다면(설령 시뮬레이터에서는 괜찮더라도), DADIFF-modify는 "벌점 버튼"을 누릅니다. 이는 해당 행동에서 점수를 뺍니다. 마치 엄격한 코치가 "그 동작은 하지 마. 실제 세계라면 넘어졌을 거야, 그러니 그 동작을 시도한 것에 대해 감점이야"라고 말하는 것과 같습니다. 이는 로봇의 동기를 변화시켜, 시뮬레이터에서는 좋아 보이지만 실제로는 위험한 행동을 피하도록 가르칩니다.
"큐레이터" 접근법 (DADIFF-select): 때로는 로봇에게 벌을 주는 것만으로는 부족합니다. 대신 DADIFF-select는 엄격한 편집자 역할을 합니다. 로봇이 시뮬레이터에서 수집한 모든 연습 데이터 중에서 "나쁜" 사례들, 즉 시뮬레이터와 실제 세계가 매우 다른 경로를 취했을 법한 사례들을 찾아내어 버립니다. 시뮬레이터가 실제 세계를 충실히 복제했던 "좋은" 데이터만을 남깁니다. 그러면 로봇은 오직 이 고품질의 신뢰할 수 있는 사례들로부터만 학습합니다.

결과: 새로운 챔피언

저자들은 가상 체육관에서 개미, 호퍼(hopper), 하프 치타(half-cheetah), 워커(walker)라는 네 가지 로봇 동물을 대상으로 자신들의 방법을 테스트했습니다. 그들은 중력을 바꾸거나, 로봇의 다리를 짧게 만들거나, 바닥을 매우 미끄럽게 만드는 등 물리 법칙을 극단적으로 조작했습니다.

결과는 인상적이었습니다. 대부분의 까다로운 시나리오에서 DADIFF는 다른 모든 방법을 능가했습니다. 다른 기술들은 특정 작업에서는 잘 작동했지만 다른 작업에서는 처참하게 실패하기도 했지만, DADIFF는 강력하고 일관된 모습을 유지했습니다.

"뒷다리 허벅지가 부서진 하프 치eta" 작업에서, 보상 수정 버전인 DADIFF는 베이스라인 대비 무려 **42.3%**의 성능 향상을 보였습니다.
테스트한 16가지의 모든 작업 전체에서, 이 방법은 평균 **8.7%**의 성능 향상을 기록했습니다.

흥미롭게도, 두 가지 버전의 DADIFF는 서로 다른 강점을 가졌습니다. "미세 조정" 접근법(보상 수정)은 대부분의 작업에서 뛰어났지만, "큐레이터" 접근법(데이터 선택)은 로봇이 "다리가 없거나" "머리가 큰" 경우처럼 보상 체계가 혼란을 겪는 특정 상황에서 빛을 발했습니다. 그런 경우에는 단순히 혼란스러운 데이터를 걸러내는 것이 로봇에게 벌을 주는 것보다 더 효과적이었습니다.

이것이 중요한 이유

이 논문은 문제를 "생성적 궤적(generative trajectories)"의 관점, 즉 움직임의 시작과 끝뿐만 아니라 숨겨진 전체 경로를 보는 관점으로 바라보는 것이 적응을 위한 훨씬 더 날카로운 도구를 제공한다는 점을 시사합니다. 이전의 방법들이 세계 사이의 차이를 추측하려 했다면, DADIFF는 여정 전체의 발산을 측정합니다.

저자들은 또한 자신들의 방법이 실제 세계가 노이즈가 많고 예측 불가능할 때도 견고하다는 것을 보여주었으며, 이는 다른 방법들이 자주 넘어지는 지점이기도 합니다. 그들은 이 문제가 영원히 해결되었다고 주장하지는 않았지만, 디퓨전 모델을 사용하여 물리 법칙의 커튼 뒤를 엿보는 것이 로봇이 시뮬레이터에서 실제 세계로 건너가는 과정을 훨씬 더 잘 생존하게 해줄 수 있음을 보여주었습니다. 이는 우리의 디지털 훈련장이 실제 기계를 만드는 데 실제로 유용한 곳이 되도록 만드는 한 단계입니다.

DADIFF 기술 요약: 강화 학습을 위한 확산 기반 교차 도메인 정책 적응 (Diffusion-Driven Cross-Domain Policy Adaptation for Reinforcement Learning)

문제 정의

본 논문은 강화 학습(RL)에서의 온라인 역학 적응(online dynamics adaptation) 문제를 다룹니 다. 많은 실제 시나리오에서, 물리적 로봇과 같은 타겟 도메인에서 직접 학습하는 것은 안전성, 비용, 제한된 상호작용 예산으로 인해 제약을 받습니다. 결과적으로, 정책은 소스 도메인(예: 시뮬레이터)에서 학습된 후 타겟 도메인으로 전이됩니다. 그러나 소스 및 타겟 전이 함수( $P_{src}$ 및 $P_{tar}$ ) 사이의 **역학 불일치(dynamics mismatch)**는 종종 심각한 성능 저하를 초래합니다.

도메인 무작위화(domain randomization), 메타 학습(meta-learning), 또는 도메인 분류기 및 가치 가이드 필터링(value-guided filtering)에 의존하는 기존 방식들은 복잡하거나 확률적인 도메인에서 미세하고 분포적인 방식으로 역학 차이를 포착하는 데 어려움을 겪는 경우가 많습니다. 본 논문은 기존 접근 방식들이 역학 불일치를 생성 과정(generative processes)의 차이로 모델링하는 메커니즘이 부족하다고 주장합니다.

방법론: DADIFF

저자들은 **확산 확률 모델(DDPM)**을 활용하여 생성적 관점에서 도메인 적응에 접근하는 프레임워크인 DADIFF를 제안합니다.

1. 이론적 기초: 생성적 궤적 편차 (Generative Trajectory Deviation)
핵심적인 이론적 기여는 **생성적 궤적(generative trajectory)**의 정의입니다. 상태 전이 $s' = P(s, a)$ 를 단일 단계로 보는 대신, 저자들은 전이 역학을 초기 잠재 상태 $s'_K$ 에서 다음 상태 $s'_0$ 로 이어지는 $K$ 개의 잠재 상태 $\{s'_k\}_{k=1}^K$ 의 마르코프 체인으로 분해합니다.

**정리 4.2(Theorem 4.2)**는 소스 및 타겟 도메인 간의 기대 보상 차이가 생성적 궤적 편차에 의해 제한됨을 보여주는 성능 경계(performance bound)를 확립합니다.
구체적으로, 성능 격차는 소스 및 타겟 도메인의 잠재 상태 전이 분포 간의 쿨백-라이블러(KL) 발산에 의해 제어됩니다. 궤적이 유사하다면 성능 차이는 작아집니다.

2. 역학 불일치 추정
DADIFF는 이 편차를 추정하기 위해 DDPM의 역과정(reverse process)을 활용합니다.

도메인 $M$ 에서의 전이 역학은 노이즈 모델 $\epsilon_M$ 에 의해 매개변수화된 가우시안 분포를 따르는 잠재 상태가 디노이징(denoising) 과정을 거치는 것으로 모델링됩니다.
편차 $d(s, a, s')$ 는 소스 및 타겟 잠의 상태 전이 간의 KL 발산의 합으로 계산됩니다.
실질적으로, 이는 순방향 과정에서 잠재 상태를 생성하는 데 사용된 실제 노이즈 $\epsilon$ 와 타겟 도메인 학습 노이즈 모델 $\epsilon_{tar}^\theta$ 에 의해 예측된 노이즈를 비교함으로써 추정됩니다.
편차는 다음과 같이 계산됩니다:
$d(s, a, s') = \sum_{k=1}^K \frac{\beta_k}{2(1-\bar{\alpha}_{k-1})\alpha_k} \|\epsilon - \epsilon_{tar}^\theta(\sqrt{\bar{\alpha}_k}s'_0 + \sqrt{1-\bar{\alpha}_k}\epsilon, s, a, k)\|^2$

3. 적응 변형 (Adaptation Variants)
이 편차 지표를 사용하여 정책을 타겟 도메인에 적응시키기 위해, 저자들은 Soft Actor-Critic (SAC) 알고리즘을 기반으로 하는 두 가지 상호 보완적인 변형을 개발했습니다.

DADIFF-modify (보상 수정): 계산된 편차 $d(s, a, s')$ 는 소스 도메인 보상 함수를 수정하는 페널티 항으로 사용됩니다: $r_{mod} = r - \lambda d(s, a, s')$ . 이는 정책이 높은 역학 불일치를 보이는 전이를 피하도록 유도합니다.
DADIFF-select (데이터 선택): 이 방법은 소스 도메인 데이터를 필터링하여 편차가 가장 낮은(특정 분위수 $\xi\%$ 미만) 전이만을 유지합니다. 이는 가치 함수가 타겟 역학과 잘 일치하는 소스 데이터에 의해 주로 업데이트되도록 보장합니다.

주요 기여

역학 불일치에 대한 생성적 관점: 본 논문은 역학 불일치를 단순한 정적 분류기 문제나 가치 예측 오류가 아닌, 생성적 궤적의 차이로 해석하는 새로운 관점을 도입했습니다.
이론적 성능 경계: 저자들은 정책 성능 차이가 생성적 궤적 편차에 의해 제한됨을 증명하는 이론적 분석(정리 4.2)을 제공합니다. 또한 기존 연구인 PAR이 궤적 길이 $K=1$ 인 본 프레임워크의 특수한 사례임을 입증했습니다.
확산 기반 추정: 이 방법은 확산 모델의 다단계 샘플링 특성을 활용하여, 단순히 국소적인 상태 비교에 의존하는 대신 전체 전이 궤적에 걸쳐 미세하고 분포적인 차이를 포착합니다.
이중 적응 전략: 보상 수정과 데이터 선택이라는 두 가지 변형의 개발을 통해, 작업 특성에 따라 방법을 유연하게 적용할 수 있도록 했습니다.

실험 결과

저자들은 네 가지 유형의 변화(운동학적, 형태학적, 마찰, 중력)가 있는 네 가지 MuJoCo 환경(Ant, Hopper, HalfCheetah, Walker)에서 DADIFF를 평가했습니다.

성능: DADIFF는 16개의 다양한 작업에서 베이스라인(DARC, VGDF, PAR, SAC-IW, SAC-tune) 대비 우수하거나 매우 경쟁력 있는 성능을 보였습니다. 특히 보상 수정 베이스라인들이 실패한 작업에서 기존 방법들을 지속적으로 능가했습니다.
확률성(Stochasticity): 행동에 노이즈를 추가한 확률적 역학 실험에서, DADIFF-modify는 견고한 성능을 유지한 반 반면, PAR 베이스라인은 성능이 크게 저하되었습니다. 저자들은 이를 PAR이 일대일 표현 가정에 의존하는 반면, DADIFF는 이를 회피하기 때문이라고 설명합니다.
효율성: DADIFF-modify가 잠재 상태 생성으로 인해 GPU 메모리 사용량이 약간 증가하지만, 훨씬 더 많은 학습 시간을 요구하는 VGDF와 같은 모델 기반 접근 방식에 비해 계산 효율성이 높습니다.
파라미터 민감도: 연구 결과 하이퍼파라미터(페널티 계수 $\lambda$ , 데이터 선택 비율 $\xi$ , 확산 타임스텝 $K$ )는 작업에 따라 달라지며, 일반적으로 적절한 값(예: $K=100$ )에서 최적의 성능을 보였습니다.

의의 및 주장

본 논문은 생성적 궤적의 미세하고 분포적인 특성을 활용하여 DADIFF가 역학 불일치 문제를 효과적으로 해결한다고 주장합니다. 확산 모델의 관점에서 적응 문제를 프레이밍함으로써, 이 방법은 차이가 궤적을 따라 어떻게 누적되는지를 포착하며, 이는 이전 방법들보다 더 견고한 역학 불일치 추정을 제공합니다.

저자들은 자신들의 이론적 분석이 생성적 궤적 편차를 성능 보장과 직접 연결하여 알고리즘 설계에 대한 원칙적인 동기를 제공한다는 점을 강조합니다. 결론적으로, 이 방법은 특히 전통적인 표현 학습이나 분류기 기반 접근 방식이 어려움을 겪는 복잡하거나 확률적인 환경에서 계산 비용과 적응 효과 사이의 우수한 트레이드오프를 제공합니다. 재현성을 높이기 위해 코드는 공개되어 있습니다.