Partially Equivariant Reinforcement Learning in Symmetry-Breaking Environments

이 논문은 대칭성이 부분적으로 깨지는 실제 환경에서 오차 전파를 방지하면서도 대칭성의 이점을 유지하기 위해, 대칭성이 성립하는 영역과 그렇지 않은 영역에 따라 벨만 백업을 선택적으로 적용하는 '부분적으로 불변 MDP(PI-MDP)' 프레임워크와 이를 구현한 강화학습 알고리즘 (PE-DQN, PE-SAC) 을 제안합니다.

핵심

이 논문은 **"로보틱스나 게임 AI 가 대칭적인 규칙을 배우려다, 현실의 '예외 상황' 때문에 망치는 문제"**를 해결한 새로운 방법을 소개합니다.

간단히 말해, **"대부분의 상황에서는 규칙을 따르되, 예외가 생기면 그 순간 규칙을 버리고 현실을 직시하는 똑똑한 AI"**를 개발했다는 이야기입니다.

이 내용을 일상적인 비유로 풀어서 설명해 드릴게요.

---

1. 문제: "완벽한 규칙"은 현실에서 통하지 않는다

상상해 보세요. 미로 찾기 게임을 한다고 칩시다.

• 대칭적인 규칙 (기존 AI): "미로의 왼쪽 구석에 목표물이 있으면 오른쪽 구석에도 목표물이 있을 거야. 그래서 내가 왼쪽으로 갔을 때의 행동은 오른쪽으로 갔을 때와 똑같이 해도 돼."
• 현실 (Symmetry Breaking): 그런데 미로 한구석에 **예상치 못한 벽 (장애물)**이 생겼다고 해보죠.
  • AI 는 "왼쪽이랑 오른쪽은 똑같으니까"라는 규칙만 믿고 행동합니다.
  • 하지만 오른쪽으로 가면 벽에 부딪혀서 게임 오버가 됩니다.
  • AI 는 "아, 내가 잘못했네"라고 생각하지만, 그 실수가 미로 전체의 지도를 엉망으로 만들어버립니다. (작은 실수가 전체를 망친다는 것)

기존의 AI 는 "모든 것이 대칭이다"라고 맹신하다가, 작은 예외 (벽) 하나 때문에 전체 학습이 망가져버리는 문제가 있었습니다.

2. 해결책: "스마트한 스위치" (PI-MDP)

이 논문은 **"어디서는 규칙을 따르고, 어디서는 현실을 보라"**는 새로운 방식을 제안합니다.

• 비유: "날씨 예보와 우산"
  • 규칙을 따르는 모드 (Equivariant): 날씨가 맑고 평범할 때는 "비 올 확률은 0%"라고 믿고 우산을 안 들고 갑니다. (이때는 효율이 최고입니다.)
  • 현실을 보는 모드 (Standard): 갑자기 구름이 끼거나 빗방울이 떨어지는 특정 지역에 오면, AI 는 "아, 여기는 규칙이 안 통하는구나!"라고 깨닫습니다.
  • 스마트한 스위치: AI 는 **"이곳은 비가 올 것 같다 (벽이 있다)"**는 신호를 감지하자마자, 즉시 "우산 안 들고 가는 모드"에서 **"우산을 챙기는 현실적인 모드"**로 전환합니다.

이 논문이 개발한 **PI-MDP (부분적 대칭 마르코프 결정 과정)**는 바로 이 스마트한 스위치를 자동으로 작동시키는 기술입니다.

3. 어떻게 알아내나요? (두 명의 예언자)

AI 가 "여기는 규칙이 깨졌다"는 것을 어떻게 알까요? 논문은 아주 재미있는 방법을 썼습니다.

• 두 명의 예언자 (Predictors) 를 고용합니다.

  1. 규칙을 믿는 예언자 (Equivariant): "전혀 변하지 않아! 모든 게 대칭이야!"라고 예측합니다.
  2. 현실주의 예언자 (Unconstrained): "어디서든 뭐가 생길지 몰라. 그냥 데이터만 봐."라고 예측합니다.

• 싸움을 감시합니다.

  • 평범한 곳에서는 두 예언자의 말이 똑같습니다. (규칙이 통하니까)
  • 하지만 벽이 있는 곳에서는 두 예언자의 말이 완전히 다릅니다. (하나는 "벽 없어"라고 하고, 다른 하나는 "벽 있어"라고 하니까)
  • AI 는 이 **말이 안 맞는 정도 (불일치)**를 보고, "아! 여기는 규칙이 깨진 곳이다!"라고 판단하고 스위치를 켭니다.

4. 결과: 왜 이 방법이 좋은가요?

• 효율성: 규칙이 통하는 90% 의 상황에서는 기존 AI 처럼 빠르고 효율적으로 학습합니다. (우산을 안 들고 가는 게 편하니까)
• 견고함: 규칙이 깨지는 10% 의 상황에서는 실수를 반복하지 않고 현실에 맞춰 행동합니다. (벽을 피해서)
• 종합: 기존 방법들은 "규칙을 너무 믿다가 망하거나", "아예 규칙을 안 믿어서 느리게 학습하거나" 하는 단점이 있었는데, 이 방법은 두 장점을 모두 챙겼습니다.

5. 요약

이 논문은 **"완벽한 대칭을 믿는 AI 는 현실에서 무너지기 쉽다"**는 사실을 지적하고, **"대부분은 규칙을 따르되, 예외가 보이면 즉시 현실을 직시하는 AI"**를 만들었습니다.

마치 자율주행 자동차가 평소에는 정해진 도로 규칙을 따르다가, 갑자기 공사 구간이나 사고가 나면 그 순간 규칙을 무시하고 현장의 상황을 가장 먼저 파악하는 것과 같습니다. 이렇게 하면 데이터를 적게 쓰면서도 (효율성), **어떤 상황에서도 잘 작동 (견고성)**하는 똑똑한 AI 를 만들 수 있습니다.

기술 요약

부분적 공변 강화학습 (Partially Equivariant Reinforcement Learning) 기술 요약

이 논문은 ICLR 2026에 발표된 "Partially Equivariant Reinforcement Learning in Symmetry-Breaking Environments"으로, 강화학습 (RL) 에서 대칭성 (Symmetry) 기반의 공변성 (Equivariance) 이 가지는 장점과 실제 환경에서의 대칭성 파괴 (Symmetry-breaking) 문제를 해결하기 위한 새로운 프레임워크를 제안합니다.

---

1. 문제 정의 (Problem)

• 대칭성의 이점과 한계: 군 대칭성 (Group symmetries) 은 RL 에 강력한 귀납적 편향 (inductive bias) 을 제공하여, 대칭적인 상태와 행동 간 일반화를 효율적으로 수행하게 합니다. 그러나 실제 로봇 제어 및 물리 환경에서는 동역학, 구동 한계, 보상 설계 등으로 인해 **완전한 군 불변 MDP (Group-invariant MDP)**가 성립하지 않는 경우가 대부분입니다.
• 대칭성 파괴의 전파 효과: 실제 환경에서는 국소적 (local) 으로만 대칭성이 깨지는 경우가 많습니다. 기존 연구들은 이러한 대칭성 파괴가 있는 경우에도 전역적으로 공변성을 적용하거나, 전체적으로 공변성을 완화 (relax) 하는 방식을 사용했습니다.
  • 핵심 문제: 국소적인 대칭성 위반이 발생하더라도, 군 불변 벨만 백업 (Group-invariant Bellman backup) 을 사용하면 그 오차가 전체 상태 - 행동 공간으로 **전파 (propagate)**되어 전역적인 가치 추정 (Value estimation) 오류를 초래하고, 최적 정책 학습을 방해하거나 실패하게 만듭니다.

2. 방법론 (Methodology)

저자들은 이 문제를 해결하기 위해 부분적 군 불변 MDP (Partially Group-Invariant MDP, PI-MDP) 프레임워크와 이를 구현한 부분적 공변 강화학습 (Partially Equivariant RL, PE-RL) 알고리즘을 제안합니다.

2.1. 부분적 군 불변 MDP (PI-MDP)

• 개념: 상태 - 행동 쌍 (state-action pair) 에 따라 군 불변 MDP(대칭성이 유지되는 영역) 와 실제 MDP(대칭성이 깨지는 영역) 사이를 선택적으로 전환하는 프레임워크입니다.
• 게이팅 함수 (Gating Function): $\lambda(s, a)$라는 게이트 함수를 도입하여, 대칭성이 유지되는 곳에서는 공변적 (equivariant) 업데이트를, 대칭성이 깨지는 곳에서는 표준 (unconstrained) 벨만 업데이트를 수행하도록 합니다.
• 이론적 보장: 이 방식은 국소적 대칭성 위반으로 인한 1 단계 벨만 백업 오차 ($\delta$) 가 전역적으로 전파되는 것을 차단하여, 최적 가치 함수와의 오차 범위를 통제합니다.

2.2. 부분적 공변 강화학습 (PE-RL) 알고리즘

실제 환경에서 PI-MDP 를 구현하기 위해 다음과 같은 구성 요소를 학습합니다.

1. 불일치 기반 게이트 학습 (Disagreement-based Gating):

   • 예측기 (Predictors): 공변적 예측기 ($\hat{P}_E$, 대칭성 제약 있음) 와 비공변적 예측기 ($\hat{P}_N$, 제약 없음) 를 학습합니다.
   • 불일치 점수 (Disagreement Score): 두 예측기의 출력 차이 ($d(s, a)$) 를 계산합니다. 대칭성이 유지되는 곳에서는 두 예측기가 유사하지만, 대칭성이 깨지는 곳에서는 예측 차이가 커집니다.
   • 게이트 학습: 이 불일치 점수가 임계값을 넘는 경우를 '대칭성 파괴'로 간주하여 이진 분류 문제 (Binary Cross-Entropy) 로 게이트 함수 $\lambda_\omega$를 학습합니다.

2. 게이트된 가치 및 정책 혼합:

   • 크리틱 (Critic): $Q_\theta(s, a) = (1-\lambda_\omega)Q_E + \lambda_\omega Q_N$ 형태로, 게이트에 따라 공변적 크리틱 ($Q_E$) 또는 비공변적 크리틱 ($Q_N$) 을 선택합니다.
   • 액터 (Actor): 상태 기반 게이트 $\lambda_\zeta(s)$를 사용하여 정책 $\pi$를 공변 정책 ($\pi_E$) 과 비공변 정책 ($\pi_N$) 의 곱의 전문가 (Product-of-Experts) 형태로 혼합합니다. 이는 SAC(Soft Actor-Critic) 의 정보 투사 (information projection) 원리에 기반합니다.

3. 구현 알고리즘:

   • 이산 제어: PE-DQN
   • 연속 제어: PE-SAC

3. 주요 기여 (Key Contributions)

1. 이론적 분석: 국소적 대칭성 위반이 1 단계 벨만 백업 오차를 통해 어떻게 전역적 가치 오류로 전파되는지를 정량화하고, 선택적 대칭성 활용의 필요성을 명확히 했습니다.
2. PI-MDP 프레임워크: 대칭성이 유지되는 영역에서는 공변성을 유지하고, 깨지는 영역에서는 표준 업데이트로 전환하는 새로운 MDP 정의를 제시했습니다.
3. 실용적 알고리즘 개발: PE-DQN 과 PE-SAC 를 통해 이산 및 연속 제어 환경에서 공변성의 이점 (샘플 효율성) 과 대칭성 파괴에 대한 강건성을 동시에 달성하는 알고리즘을 제안했습니다.

4. 실험 결과 (Results)

다양한 벤치마크 (Grid-World, MuJoCo locomotion, Manipulation) 에서 기존 방법론 (일반 RL, 완전 공변 RL, 근사 공변 RL) 과 비교 평가되었습니다.

• Grid-World (이산 공간): 장애물 (대칭성 파괴 요인) 의 수를 증가시켰을 때, 완전 공변 DQN 은 성능이 급격히 저하된 반면, PE-DQN 은 장애물이 많아져도 높은 성능을 유지했습니다. 이는 게이트가 대칭성 파괴 영역을 정확히 식별하여 비공변적 업데이트로 전환했기 때문입니다.
• 연속 제어 (Locomotion & Manipulation):
  • Hopper/Ant: PE-SAC 는 샘플 효율성과 최종 성능 면에서 모든 베이스라인을 능가했습니다.
  • Swimmer: 대칭성이 거의 완벽한 환경에서는 완전 공변 방법이 최종 성능이 약간 더 높았으나, PE-SAC 도 경쟁력 있는 성능을 보였습니다.
  • Fetch Reach / UR5e Reach: 로봇 매니퓰레이션 환경 (충돌, 관절 한계 등으로 인한 대칭성 파괴) 에서 완전 공변 및 근사 공변 방법은 학습이 불안정하거나 붕괴되는 반면, PE-SAC 는 안정적으로 학습하고 최상의 보상을 달성했습니다.
• 결론: PE-RL 은 대칭성이 유지되는 영역에서는 공변성의 이점을 누려 학습 속도를 높이고, 대칭성이 깨지는 영역에서는 강건성을 유지하여 전반적인 성능을 극대화했습니다.

5. 의의 및 결론 (Significance)

• 현실 세계 적용 가능성: 실제 로봇 제어 환경은 완전한 대칭성을 갖지 않으므로, 기존 공변 RL 방법론의 적용에는 한계가 있었습니다. 이 논문은 부분적 대칭성 (Partially Symmetric) 환경을 명시적으로 모델링하여, 공변성 기반 RL 이 실제 물리 환경에서도 효과적으로 작동할 수 있음을 입증했습니다.
• 오차 전파 방지: 대칭성 위반으로 인한 오차가 전역적으로 퍼지는 것을 방지함으로써, 학습의 안정성과 수렴성을 크게 개선했습니다.
• 향후 연구: 시각 기반 제어 (Vision-based control) 로의 확장 및 더 복잡한 실제 로봇 작업으로의 적용 가능성을 제시하며, 대칭성 인식 강화학습의 실용성을 한 단계 높였습니다.

요약하자면, 이 논문은 **"대칭성이 부분적으로만 성립하는 환경에서도 공변성의 효율성을 살리면서 대칭성 파괴에 강건한 강화학습"**을 가능하게 하는 이론적 프레임워크와 알고리즘을 제시한 중요한 연구입니다.