기술 요약: 기호적 계획 및 잔차 연산자 학습을 통한 역방향 조작 (Inverse Manipulation)

문제 정의

본 논문은 로봇 조작에서의 스킬 역전(skill inversion), 즉 물리적 환경을 실행 전의 상태로 복구하는 능력에 관한 과제를 다룹다. 저자들은 단순히 모터 궤적을 역재생하는 것만으로는 많은 작업, 특히 로봇이 물체를 잡지 않는 비파악적 상호작용(예: 밀기)이 포함된 경우를 해결하기에 불충분하다고 주장한다. 기호적 계획(Symbolic planning)은 역방향 시퀀스를 생성할 수 있지만, 제한된 액션 프리미티브와 정밀도 요구사항으로 인해 연속적인 물리적 상태를 완전히 복구하는 데 실패하는 경우가 많다. 반대로, 순수 궤적 역전(pure trajectory reversal)은 물리적으로 적용 불가능한 경우가 많다. 핵심 문제는 고수준의 기호적 복구 목표와 저수준의 연속 제어 사이의 간극을 메워 물리적으로 근거 있는 역방향 스킬을 달성하는 것이다.

방법론

제안된 프레임워크는 기호적 계획과 잔차 강화 학습(Residual Reinforcement Learning, RL)을 결합한 하이브리드 시스템이다. 프로세스는 다음과 같은 세 가지 주요 단계로 작동한다.

1. 기호적 연산자 추출 (Symbolic Operator Extraction)

시스템은 순방향 스킬 시연을 분석하여 STRIPS 형식론(Fikes and Nilsson 1971)에 따른 기호적 연산자를 자동으로 추출한다.

• 소프트 술어(Soft Predicates): 사전 정의된 술어 목록(예: AT POSE, GRIPPER OPEN)은 부호가 있는 마진 $m_p(s)$를 기반으로 한 미분 가능한 기하학적 술어를 통해 장면 그래프(scene graph) 위에 접지(grounding)된다. 이는 $V_p(s) \in [0, 1]$의 연속적인 점수를 산출한다.
• 연산자 정의: 연산자 $o = \langle Pre, Add, Del \rangle$는 시연의 시작 및 종료 상태를 분석하여 구성된다. 높은 시작 점수를 가진 술어는 전제 조건($Pre$) 집합을 형성하며, 점수의 변화는 추가($Add$) 및 삭제($Del$) 효과를 결정한다.

2. 역방향 목표 생성 및 기호적 계획 (Inverse Target Generation and Symbolic Planning)

역방향 목표는 시간 역전이 아닌 복구 문제로 정의된다. 목표 상태 $I(o)$는 원래의 전제 조건을 만족하고, 삭제된 효과를 복구하며, 추가된 효과를 부정하도록 구성된다:
$$I(o) = Pre \cup Del \cup \neg Add$$
너비 우선 탐색(BFS) 플래너는 제한된 스크립트 액션 프리미티브(예: PICK, PLACE)를 사용하여 $I(o)$를 만족시키려고 시도한다.

3. 잔차 연산자 학습 (Residual Operator Learning)

기호적 플래너가 역방향 목표를 부분적으로만 만족시킬 수 있으므로, 시스템은 남은 목표를 다음과 같이 분할한다:

• 펜스 집합 (Fence Set, $F$): 기호적 계획($\pi_{sym}$)에 의해 이미 만족되었으나 반드시 유지되어야 하는 술어들.
• 활성 잔차 집합 (Active Residual Set, $A$): 잔차 목표를 구성하는, 아직 해결되지 않은 술어들.

잔차 RL 정책($\pi_{res}$)은 펜스 집합($F$)을 유지하면서 활성 집합($A$)을 만족시키도록 학습된다.

• 보상 함수: 보상은 기호적 계획의 술어로부터 직접 유도된다.
  • 활성 술어($A$)의 경우: 복구를 위해 경계가 있는 보상을 제공하는 부호가 있는 정규화된 $\tanh$ 마진을 사용한다.
  • 펜스 술어($F$)의 경우: 위반에 대해 페널티를 부여하되 "아무것도 하지 않는" 행동에 보상을 주지 않도록 $\min(0, \cdot)$를 사용하는 일방향 페널티를 사용한다.
• 실행: 최종 역방향 스킬은 기호적 시퀀스 $\pi_{sym}$과 학습된 잔차 정책 $\pi_{res}$의 연결로 이루어진다.

주요 기여

본 논문은 세 가지 주요 기여를 명시한다:

1. 하이브리드 정식화: 역방향 스킬을 단순한 시간 역전 가정이 아닌, 시연으로부터 추출된 기호적 순방향 연산자로부터 역방향 목표를 도출하는 하이브리드 기호-연속 복구 문제로 다룬다.
2. 잔차 연산자 학습 프레임워크: 기호적 계획이 역방향 목표를 완전히 충족하지 못할 때만 RL이 활성화되는 메커즘을 도입하여, 작업의 "잔차" 부분을 효과적으로 처리한다.
3. 술어 유도 보상: 각 특정 작업마다 수동으로 보상을 설계할 필요 없이, 기호적 계획의 연산자 효과로부터 RL 보상 신호를 직접 유도한다.

실험 결과

프레임워크는 Franka Panda 매니퓰레이터를 사용하여 ManiSkill3 PushCube 작업을 통해 평가되었다. 순방향 스킬은 큐브를 목표 위치로 미는 것이었으며, 역방향 작업은 큐브를 원래의 소스 위치로 복구하는 것이었다.

• 성능: 하이브리드 접근 방식(Symbolic + RL)은 1cm 허용 오차 내에서 90%의 성공률을 달과, 평균 정밀도는 1.4 mm를 기록했다.
• 비교:
  • 기호적 접두사만 사용 (Symbolic Prefix Only): 10%의 성공률만을 기록했으며, 평균 잔차 거리는 16.6 mm였다.
  • 기호적 + 무작위 액션 (Symbolic + Random Action): 높은 편차(평균 18.8 mm)와 함께 50%의 성공률을 보였는데, 이는 무작위 탐색이 우연히 성공할 수는 있으나 신뢰성이 부족함을 나타낸다.
  • 순수 궤적 역전 (Pure Trajectory Inverse): 순방향 푸시의 비파악적 특성 때문에 적용 불가능한 것으로 간주되었다.
• 절제 연구 (Ablation Studies): 펜스 술어에 대해 일방향 $\tanh$ 페널티를 사용하는 것이 매우 중요하다는 것을 실험을 통해 확인했다. 페널티를 제거하면 에이전트가 가만히 머물러 있게 되었고(보상 포화), $\tanh$ 함수 자체를 제거하면 가치 함수가 발산하고 큰 보상 드리프트가 발생했다.

의의 및 주장

본 논문은 **술어 유도 잔차 제어(predicate-derived residual control)**가 근사적인 기호적 역방향을 물리적으로 근거 있는 역방향 스킬로 변환할 수 있다고 주장한다. 역방향 스킬을 고유한 복구 목표를 가진 별도의 기호적 연산자로 취급함으로써, 시스템은 기존 연구(예: Nair et al. 2020; Edwards et al. 2018)에서 발견되는 시간 역전 가정의 한계를 극적으로 극복한다.

저자들은 이 연구를 인간-로봇 협업 및 조립-분해 라인에서 "취소(undo)" 능력이 필수적인 환경을 가능하게 하는 단계로 위치시킨다. 그들은 현재 시스템이 수동으로 설계된 술어와 스크립트된 저수준 프리미티브에 의존하고 있다는 점을 인정하면서도, 역방향 스킬이 계획 문제와 그에 따른 잔차 RL 문제로서 효과적으로 해결될 수 있음을 결과로 보여준다.