기술 요약: 하이브리드 접촉 역학 하에서의 물리 정보 기반 목표 조건부 강화 학습

문제 정의

목표 조건부 강화 학습(Goal-Conditioned Reinforcement Learning, GCRL)은 희소한 피드백을 사용하여 임의의 목표에 대해 일반화되는 정책을 학습하는 것을 목표로 한다. 물리 정보 기반 GCRL(Physics-informed GCRL, Pi-GCRL)은 최적 제어에서 영감을 얻은 유도 편향(특히 편미분 방정식 제약 조건)을 내비게이션 및 객체가 없는 목표 도달에 성공적으로 적용해 왔다. 그러나 이를 **접촉이 빈번한 로봇 조작(contact-rich robotic manipulation)**에 적용하는 것은 여전히 문제가 된다.

접촉이 빈번한 환경에서 시스템 역학은 하이브리드(hybrid) 형태를 띠며, 자유 공간 운동, 접촉 매개 상호작용, 그리고 객체 운송 사이를 교차하며 변화한다. 이러한 전이는 모드 의존적 제어 가능성(mode-dependent controllability)을 유발한다. 즉, 특정 접촉 모드(예: 잡고 있지 않을 때)에서는 특정 상태 좌표(예: 객체의 위치)가 국부적으로 제어 불가능할 수 있다. 저자들은 기존의 Pi-GCRL 방식이 전체 상태에 대해 Eikonal 정규화를 적용하는 경향이 있으며, 이는 하이브리드 시스템에서 문제가 된다고 주장한다. 왜냐하면 Eikonal 방정식의 기본 가정(등방성 및 완전 제어 가능한 역학)이 위배되기 때문이다. 이러한 불일치는 가치 함수(value function)를 왜곡시켜, 유효한 변화가 일어나는 방향에 대해서도 페널티를 부여하게 함으로써 정책 성능을 저하시킨다.

방법론

본 논문은 이러한 실패 모드를 원칙적으로 분석하고, 이를 해결하기 위한 두 가지 상호 보완적인 정식화인 **접촉 인식 정규화(Contact-Aware Regularization)**와 **계층적 분해(Hierarchical Decomposition)**를 제안한다.

1. 이론적 분석: Eikonal 불일치

저자들은 하이브리드 시스템에서 전체 상태 Eikonal 정규화가 실패하는 과정을 정형화한다. 조작 과정을 제어 가능한 좌표 $x$와 국부적으로 제어 불가능한 좌표 $z$(예: 잡고 있지 않을 때의 객체 포즈)로 구성된 상태 $s = (x, z)$를 가진 하이브리드 시스템으로 모델링한다.

• **명제 4.1(Proposition 4.1)**은 최적 비용-투-고(optimal cost-to-go) $d^*$가 국부적으로 제어 불가능한 좌표에 의존할 경우($\nabla_z d^* \neq 0$), 전체 상태 Eikonal 제약 조건($\|\nabla_s d^*\| = 1$)이 국부적 Hamilton-Jacobi-Bellman(HJB) 특성과 모순됨을 입증한다.
• Eikonal 제약 조건은 즉각적인 움직임이 불가능한 방향으로도 잘못된 그래디언트 예산을 할당하는 반면, HJB 방정식은 가능한 방향을 따라서만 그래디언트를 제한한다.

2. 접촉 인식 물리 정보 가치 학습

이 불일치를 해결하기 위해, 저자들은 전체 상태 그래디언트 노름(norm) 제약을 관측된 가용한 전이와 정렬된 **방향성 제약(directional constraint)**으로 대체할 것을 제안한다.

• 전체 그래디�언트 노름에 페널티를 주는 대신, 경험적 전이 벡터 $(s' - s)$를 사용하여 연속 시간 역학의 방향을 근사한다.
• 이를 통해 다음과 같은 접촉 인식 HJB 스타일 잔차(Contact-Aware HJB-style residual)(식 4)를 도출한다:
  $$\mathcal{L}_{CA-HJB} = \mathbb{E} \left[ \left( \nabla_s d_\theta(s, g)^\top \frac{s' - s}{\|s' - s\| + \epsilon} + 1 \right)^2 \right]$$
• 이 정식화는 가치 그래디언트가 실제로 움직임이 관찰된 방향을 따라서만 제약되도록 보장하며, 결과적으로 특정 접촉 모드 동안 제어 불가능한 좌표를 무시한다.

3. 물리 정보 계층적 흐름 (Pi-H-Flow)

저자들은 정규화를 제어 가능성과 더욱 정렬시키기 위해 계층적 프레임워크를 도입한다.

• 상위 수준 정책 ($\pi_{hi}$): 흐름 기반 모델(flow-based model)이 제어 가능한 표현(controllable representation) $X$ 내에서 서브골(subgoal) $x_g$를 생성한다(객체 포즈 좌표 제외). 이는 상위 수준의 객체 중심 추론과 하위 수준의 실행을 분리한다.
• 하위 수준 정책 ($\pi_{lo}$): 현재 상태와 서브골을 원시 행동(primitive actions)으로 매핑하며, 전적으로 제어 가능한 표현 $X$ 내에서 작동한다.
• 정규화: 물리 정보 제약(Eikonal 또는 HJB)은 역학이 완전히 제어 가능하고 등방성 가정이 더 타당한 $X$ 내의 하위 수준에서만 적용된다.
• 상위 수준 흐름은 미래의 제어 가능한 상태를 생성하도록 훈련되며, 하위 수준 학습자는 접촉 인식 HJB 잔차를 사용하여 가치 함수를 학습한다.

주요 기여

1. 원칙적 분석: 본 논문은 단순한 비등방성 역학의 문제를 넘어, 하이브리드 접촉 역학에서 전체 상태 Eikonal 정규화가 구조적으로 불일치함을 증명하였다.
2. 새로운 정식화:
   • 가치 그래디언트를 실제 가능한 전이 방향을 따라서만 제약하는 접촉 인식 잔차.
   • 물리 정보 기반 정규화를 위해 제어 가능한 역학을 격리하고 객체 중심 상태 변수와 분리하는 계층적 분해.
3. 실험적 검증: 시뮬레이션(OGBench)과 실제 UR5e 로봇을 이용한 오프라인 목표 조건부 조작 작업에서 제안된 방식을 검증하였다.

실험 결과

제안된 방법들은 OGBench 제품군(Double, Triple, Quadruple cube rearrangement 작업)과 실제 pick-and-place 작업에서 평가되었다.

• 시뮬레이션 (OGBench):

  • 베이스라인의 실패: 표준 Eikonal 정규화 방식(Eik-GCIVL, Eik-QRL)은 안정적으로 수렴하지 못했으며, 이는 이론적 불일치를 확인시켜 주었다.
  • 접촉 인식 개선: 접촉 인식 HJB 변형(HJB-GCIVL)은 특히 복잡한 다중 객체 시나리오에서 전체 상태 Eikonal 방식보다 크게 우수한 성능을 보였다.
  • 계층적 이점: 계층적 프레임워크(Pi-H-Flow-HJB-GCIVL)가 가장 높은 성공률과 빠른 수렴 속도를 달로했다.
  • 절제 연구(Ablation): 하위 수준에서 "Joints+Contacts" 제어 가능한 표현을 사용하는 것이 전체 상태를 사용하는 것보다 성능을 지속적으로 향상시켰으며(성공률 10~20% 증가), 이는 상태 분해의 이점을 입증한다.

• 실제 환경 실험:

  • 스크립트 기반 MPC 정책으로부터 수집된 약 6만 단계의 오프라인 데이터셋으로 훈련되었다.
  • 제안된 Pi-H-Flow-HJB-GCIVL은 75%(10cm 임계값), 60%(5cm), 50%(3cm)의 성공률을 기록하며, 물리 정보가 없는 베이스라인과 계층 구조가 없는 물리 정보 기반 변형 모델들을 모두 능가하였다.
  • 정성적 결과는 정책이 어긋난 파지(grasp)로부터 회복하거나 대안적인 상호작용 모드(예: 물체 미끄러뜨리기)를 활용할 수 있음을 보여주었다.

의의 및 주장

본 논문은 접촉이 빈번한 조작으로 Pi-GCRL을 확장하기 위한 원칙적인 단계를 제공한다고 주장한다. Eikonal 제약과 하이브리드 역학 사이의 기하학적 불일치를 분석함으로써, 저자들은 물리 정보 기반 편향을 무분별하게 적용하는 것이 오히려 해로울 수 있음을 보여준다.

이 연구의 의의는 다음과 같다:

1. 이론적 결함 수정: Lipschitz 연속성(Eikonal 제약에 의해 강제됨)이 하이브리드 시스템에는 불충분하며, 제약 조건이 국부적 제어 가능성을 존중해야 함을 입증하였다.
2. 실용적 프레임워크: 흐름 기반 서브골 생성과 접촉 인식 가치 학습을 결합한 확장 가능한 계층적 아키텍처를 제시한다.
3. 실제 적용 가능성: 이러한 이론적 통찰이 제한된 오프라인 데이터를 사용하여 물리적 로봇의 성능을 개선할 수 있음을 입증하였다.

저자들은 현재 알고리즘이 여전히 많은 데이터를 필요로 하며, HJB 정규화가 본질적으로 안전성을 보장하거나 액추에이터 제한을 준수하지는 않는다는 점을 언급하며 한계점에 대해 겸허한 태도를 유지하였다. 향-후 연구에서는 더 명시적인 물리 모델과 안전 제약 조건을 통합해야 한다고 제언하였다.