🤖 machine learning

Confounding Robust Continuous Control via Automatic Reward Shaping

이 논문은 관찰되지 않은 혼란 변수(unobserved confounders)가 존재하는 오프라인 데이터셋으로부터 인과적 벨만 방정식(causal Bellman equation)을 활용해 보상 함수를 자동으로 학습함으로써, 연속 제어 문제에서 강건한 성능을 보장하는 보상 형성(reward shaping) 방법을 제안합니다.

원저자: Mateo Juliani, Mingxuan Li, Elias Bareinboim

게시일 2026-02-12

📖 2 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mateo Juliani, Mingxuan Li, Elias Bareinboim

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

1. 문제 상황: "눈 가리고 배우는 요리사" (Confounding Problem)

상상해 보세요. 당신은 최고의 요리사가 되기 위해 **'요리 비법 영상(오프라인 데이터)'**을 보고 연습하려고 합니다. 그런데 이 영상에는 아주 큰 문제가 하나 있습니다.

영상의 요리사들은 모두 **'특수 조리 도구(관찰되지 않은 변수, Confounder)'**를 사용하고 있어요. 예를 들어, 어떤 요리사가 소금을 아주 조금 넣었는데도 맛이 기가 막히게 좋다면, 당신은 "아, 소금을 조금 넣는 게 비법이구나!"라고 생각하겠죠? 하지만 사실 그 요리사는 눈에 보이지 않는 **'특수 향신료'**를 몰래 넣었기 때문에 맛있었던 겁니다.

당신은 그 '특수 향신료'를 볼 수 없기 때문에, 영상만 보고 따라 하다가는 실제 주방에서 요리를 할 때 맛이 하나도 없는 요리를 만들게 됩니다. 이것이 바로 이 논문이 해결하려는 '혼란 변수(Confounding)' 문제입니다. AI가 로봇 팔을 움직일 때, 과거 데이터에는 있었지만 지금은 알 수 없는 센서 정보(예: 관절의 각도 등)가 있을 때 이런 일이 벌어집니다.

2. 해결책: "최악의 상황을 대비하는 똑똑한 가이드" (Causal Reward Shaping)

연구진은 이 문제를 해결하기 위해 **'인과관계 기반의 보상 설계(Causal Reward Shaping)'**라는 방법을 제안했습니다.

이 방법은 마치 요리 연습을 할 때 옆에서 도와주는 **'똑똑한 코치'**와 같습니다. 이 코치는 단순히 "맛있게 만들어!"라고 말하는 게 아니라, 다음과 같이 생각합니다.

*"저 요리사가 소금을 적게 넣어서 성공한 건지, 아니면 우리가 모르는 비법 재료를 써서 성공한 건지 확실하지 않아. 그러니까 **우리가 모르는 비법이 있었다고 가정하고, 가장 보수적이고 안전한 기준(Upper Bound)*을 세워서 연습하자!"

이 코치는 두 가지를 계산합니다.

보이는 것: 영상에서 실제로 일어난 일들.
보이지 않는 것(The road not taken): "만약 저 요리사가 우리가 모르는 비법을 썼다면, 혹은 다른 행동을 했다면 결과가 어땠을까?"를 수학적으로 추측하여 '최악의 경우'를 대비한 안전 가이드라인을 만듭니다.

이 가이드라인을 **'잠재력(Potential)'**이라고 부르는데, AI가 행동할 때마다 이 가이드라인을 기준으로 "지금 네 행동은 아주 유망해!" 혹은 "그건 위험해!"라고 추가적인 점수(보상)를 줍니다. 이를 통해 AI는 편견에 휘둘리지 않고 진짜 실력을 키울 수 있습니다.

3. 결과: "편견을 깨고 실전으로!"

연구진은 이 방법을 로봇이 걷거나(Hopper), 달리는(HalfCheetah) 복잡한 시뮬레이션에 적용해 보았습니다.

기존 AI: "과거 데이터에선 이렇게 하면 잘 됐는데?"라고 착각하며 엉뚱한 동작을 하다가 넘어지거나 멈춰버립니다.
새로운 AI (Causal PBRS): "과거 데이터가 좀 수상한데? 일단 가장 안전하고 확실한 방향으로 움직여보자!"라고 판단하며, 센서 정보가 부족한 상황에서도 훨씬 더 안정적이고 빠르게 목표를 달성했습니다.

요약하자면:

이 논문은 **"과거의 데이터가 완벽하지 않고, 우리가 모르는 숨겨진 이유 때문에 왜곡되어 있을 때, AI가 그 왜곡을 수학적으로 계산하여 '가장 안전하고 낙관적인 가이드라인'을 스스로 만들게 하는 기술"**에 관한 것입니다.

덕분에 AI는 정보가 부족한 열악한 환경에서도 과거의 경험을 똑똑하게 활용하여 실전에서 더 잘 움직일 수 있게 되었습니다.

[기술 요약] 자동 보상 셰이핑을 통한 혼란 변수(Confounding)에 강건한 연속 제어

1. 문제 정의 (Problem Statement)

강화학습(RL)을 실제 로봇 제어와 같은 연속 제어(Continuous Control) 환경에 적용할 때, 두 가지 주요한 어려움이 존재합니다.

보상 설계의 어려움: 복잡한 작업에서 학습을 가속화하기 위해 보상 셰이핑(Reward Shaping)이 널리 쓰이지만, 효과적인 셰이핑 함수를 설계하는 것은 매우 어렵고 수동적인 노력이 많이 필요합니다.
관측되지 않은 혼란 변수(Unobserved Confounders): 오프라인 데이터셋을 사용하여 사전 학습을 할 때, 데이터 생성 시 사용된 정책(Behavioral Policy)이 온라인 에이전트가 접근할 수 없는 추가적인 센서 정보(Privileged Information)를 사용했다면, 데이터에는 '혼란 변수'가 포함됩니다. 이 경우 표준적인 오프라인 RL 알고리즘은 편향된(Biased) 가치 함수를 학습하게 되어, 온라인 환경에서 성능이 급격히 저하됩니다.

본 논문은 **"관측되지 않은 혼란 변수가 포함된 오프라인 데이터로부터 어떻게 편향되지 않은 유용한 보상 신호를 추출하여 온라인 학습을 가속화할 것인가?"**라는 문제를 다룹니다.

2. 제안 방법론 (Methodology)

저자들은 **인과적 벨만 방정식(Causal Bellman Equation)**과 **잠재 기반 보상 셰이핑(Potential-Based Reward Shaping, PBRS)**을 결합한 새로운 프레임워크를 제안합니다.

① 인과적 벨만 최적 방정식 (Causal Bellman Optimality Equation)

기존의 벨만 방정식은 관측된 데이터만을 기반으로 하지만, 저자들은 혼란 변수로 인한 불확실성을 고려하여 **낙관적 상한선(Optimistic Upper Bound)**을 학습하는 방정식을 유도했습니다.

핵심 아이디어: 데이터에 나타나지 않은 "선택되지 않은 행동(unselected actions)"이 가져올 수 있는 최선의 결과(Best return)를 보정 항(Compensation term)으로 추가합니다.
이를 통해 혼란 변수로 인해 발생할 수 있는 가치 함수의 과소/과대 평가를 방지하고, 실제 최적 정책의 가치 함수에 대한 상한선을 추정합니다.

② 신경망 기반 학습 알고리즘 (Neural Learning Algorithm)

연속적인 상태-행동 공간에서 위 방정식을 풀기 위해 다음과 같은 근사 기법을 사용합니다.

행동 성향 점수(Propensity Score) 근사: 가우시안 정책을 가정하여 행동의 확률 밀도를 계산합니다.
상태 차이 모델링(State Difference Modeling): 행동에 따른 다음 상태의 변화( $\Delta s$ )를 가우시안 분포로 모델링하여, "선택되지 않은 경로"의 상태 변화를 시뮬레이션합니다.
최종 목표: 위 과정을 통해 학습된 상태 가치 상한선( $V_\theta(s)$ )을 **잠재 함수(Potential Function, $\phi(s)$ )**로 사용합니다.

③ 온라인 미세 조정 (Online Fine-tuning with PBRS)

학습된 잠재 함수를 PBRS 프레임워크에 적용하여 보상을 다음과 같이 수정합니다:
$r' = r + \gamma\phi(s') - \phi(s)$
이 방식은 **최적 정책의 불변성(Policy Invariance)**을 보장하므로, 보상을 수정하더라도 원래 해결하려는 작업의 최적해를 해치지 않으면서 학습 속도와 탐색 효율을 높입니다.

3. 주요 기여 (Key Contributions)

이론적 확장: 정지된 무한 시간 지평(Stationary infinite-horizon) CMDP에 적용 가능한 인과적 벨만 방정식을 유도하고, 이것이 최적 가치의 상한선으로 수렴함을 증명했습니다.
연속 제어 적용: 고차원 연속 제어 문제에서 혼란 변수를 고려하여 상태 잠재 함수를 자동으로 학습할 수 있는 신경망 알고리즘을 설계했습니다.
실용적 프레임워크: 학습된 인과적 가치 함수를 PBRS와 결합하여, 기존의 SAC(Soft Actor-Critic) 알고리즘의 성능을 비약적으로 향상시켰습니다.

4. 실험 결과 (Results)

MuJoCo(Hopper, HalfCheetah, Walker2D, Ant) 및 Adroit(Door, Relocate) 환경에서 실험을 진행했습니다.

성능 우위: 제안된 Causal PBRS 방법은 기존의 인과 관계를 고려하지 않은 방식(CQL-Shaping, T-REX-Shaping) 및 재귀 신경망(Recurrent SAC)보다 일관되게 높은 성능을 보였습니다.
혼란 변수 대응력: 특히 특정 관측값(예: 관절 각도, 속도 등)이 누락되어 혼란 변수가 강하게 작용하는 환경에서, 기존 방식들이 성능 저하를 겪을 때 Causal PBRS는 유의미한 성능 회복을 보여주었습니다.
데이터 품질 강건성: 오프라인 데이터의 전문가 수준(Expert, Medium, Simple)이 다르더라도, 제안된 알고리즘은 안정적으로 유용한 잠재 함수를 학습할 수 있음을 확인했습니다.

5. 의의 (Significance)

본 연구는 **인과 추론(Causal Inference)**의 원리를 강화학습의 보상 설계에 결합함으로써, 현실 세계의 불완전한 데이터(센서 제약, 편향된 데이터셋)로부터 신뢰할 수 있는 지식을 추출하는 길을 열었습니다. 이는 향후 로봇 공학에서 오프라인 데이터를 활용한 안전하고 효율적인 온라인 학습을 가능하게 하는 중요한 초석이 될 것입니다.