기술 요약: ReSYNC – 관계적 개념의 회복 주도형 합성 (Recovery-Driven Synthesis of Relational Concepts)

1. 문제 정의

복잡한 "거대 세계(big worlds)"에서 작동하는 지능형 로봇은 필연적으로 실패(예: 얼음 위에서 미끄러짐, 진흙에 갇힘, 또는 폐쇄(occlusion)로 인해 물체를 잡는 데 실패함)를 경험하게 된다. 특정 실패 상태에서 벗어나기 위한 반응적 회복 기술(reactive recovery skills)을 학습하는 기존 방식들은 확장성 측면에서 한계가 있다. 모든 개별적인 실패 모드마다 별도의 정책을 학습하는 것은 비효율적이며, 순수하게 반응적인 방법들은 실패를 공유된 구조적 패턴을 활용하는 것이 아니라 고립된 사건으로 취급한다.

본 연구가 다루는 핵심 과제는 로봇이 단순히 실패로부터 회복하는 것을 넘어, 향후 이러한 실패를 방지하는 데 필요한 **추상적 지식(개념 및 기술)**을 어떻게 자율적으로 습득할 수 있게 할 것인가 하는 점이다. 구체적으로, 본 논문은 수동으로 설계된 추상화나 명시적인 감독 없이도, 실패-회복 경험으로부터 **관계적 개념(predicates)**과 **기술(skills)**을 공동으로 학습함으로써 국소적인 반응적 회복과 전역적인 선제적 계획(proactive planning) 사이의 간극을 메우고자 한다.

2. 방법론: ReSYNC

저자들은 실패-회복 경험으로부터 상태 추상화를 점진적으로 발견하고 정교화하는 프레임워크인 **ReSYNC(Recovery-Driven Synthesis of Relational Concepts)**를 제안한다. ReSYNC는 실패를 유도하도록 설계된 단계별 학습 커리큘럼을 통해 두 가지 단계의 증분적 이중 학습 프로세스를 수행한다.

2.1 핵심 구성 요소

• 관계적 팩터드 MDP (Relational Factored MDP): 환경은 연속적인 특징을 가진 타입화된 객체들로 팩터화된 관계적 팩터드 마르코프 결정 과정(Relational Factored MDP)으로 모델링된다.
• 이중 학습 루프 (Dual-Learning Loop): ReSYNC는 커리큘럼의 각 단계에서 다음 두 단계를 교대로 수행한다:
  1. 기술 학습 (회복): 로봇은 강화 학습(RL)을 사용하여 시스템을 원래의 플래너가 재개할 수 있는 상태로 전이시키는 회복 기술($\pi_{C_N}$)을 학습한다.
  2. 개념 학습 (추상화): 로봇은 새로운 관계적 술어($\Psi$)를 발견하고, 학습된 회복 동작을 설명할 수 있도록 추상적 계획 모델(연산자/operators)을 정교화하여, 플래너가 새로운 맥락에서도 해당 기술을 재사용할 수 있게 한다.

2.2 주요 기술 메커니즘

A. 실패 마이닝 및 기술 학습

• 마이닝 (Mining): 실패가 발생하면, ReSYNC는 실패 객체($o_F$)와 관련 객체($o_R$)를 식별한다. 이들의 상대적 상태에 대해 쌍별 가우시안 분포(pairwise Gaussian distributions)를 적합시켜 실패 시나리오를 재샘플링함으로써, 관찰된 소수의 실패 사례를 더 큰 데이터셋($D_F$)으로 확장한다.
• RL 학습: 원래의 심볼릭 플래너가 성공할 수 있는 상태에 도달하는 것을 목표로 하는 회복 MDP를 구축한다. PPO를 사용하여 로봇은 관계적 회복 정책과 종단 함수(terminal function)를 학습한다. 이 새로운 기술은 라이브러리에 추가되지만, 초기에는 심볼릭한 설명이 결여되어 있다.

B. "꿈꾸기(Dreaming)"를 통한 개념 학습

새로운 기술을 심볼릭 플래너가 사용할 수 있게 하려면, ReSYNC는 기술을 접지(grounding)할 술어(예: IsOpen)와 연산자를 발견해야 한다.

• 데이터 격차 (The Data Gap): 표준적인 회복 궤적은 오직 원래의 실패 맥락(예: 망치를 잡기 위해 서랍을 당기는 상황)에서만 기술이 사용되는 모습만을 보여준다. 여기에는 기술이 다른 맥락에서 재사용되는 사례(예: 물체를 놓기 위해 서랍을 당기는 상황)가 부족하다.
• 꿈꾸기 (Dreaming): ReSYNC는 "꿈꾸기"라고 불리는 자기 지도 학습 기반의 데이터 생성 프로세스를 채택한다. 이는 새로운 참조 객체에 대해 실패 객체를 재샘형하여 역사실적(counterfactual) 과업을 생성한다. 로봇은 이러한 역사실적 과업 내에서 계획을 세우고, 실패 시 학습된 회복 기술을 호출하며, 성공적인 전이를 기록한다. 이를 통해 시스템은 일반적인 개념(예: IsOpen)과 특정하고 우연한 상태(예: HammerInOpenDrawer)를 구별할 수 있는 다양한 데이터를 생성한다.
• IVNTR 통합: 시스템은 IVNTR 프레임워크(이중 레벨 학습 방식)를 사용하여 술어 기호를 공동으로 발견하고, 꿈을 통해 생성된 데이터를 사용하여 이들의 신경망 분류기를 학습한다.

C. 점진적 학습 및 정교화

• 조합적 꿈꾸기 (Compositional Dreaming): 학습이 진행됨에 따라 꿈꾸기 과정은 조합적으로 변하며, 이전 단계의 실패 객체와 상태 분포를 결합하여 점점 더 다양한 궤적을 생성한다.
• 개념 미세 조정 (Concept Fine-tuning): 모든 개념을 처음부터 다시 학습하는 대신, ReSYNC는 이전에 학습된 술어를 유지하면서 라이브러리를 점진적으로 확장한다. 결정적으로, 새로운 기술이 상태 분포를 변화시켜 기존 술어를 부정확하게 만드는 "의미적 표류(semantic drift)"를 방지하기 위해 기존 개념의 분류기를 **미세 조정(fine-tuning)**한다.

3. 주요 기여

1. 기술과 개념의 최초 공동 학습: ReSYNC는 명시적인 감독 없이 task-driven 상호작용으로부터 기술과 관계적 개념을 직접 합성하는 최초의 접근 방식으로, 고정된 기술 라이브러리나 수동 설계된 개념을 요구했던 기존 연구의 가정을 완화한다.
2. 회복 주도형 추상화: 회복 기술을 일반화하는 추상적 술어를 발견함으로써, 국소적인 반응적 회복 경험을 전역적인 선제적 계획 능력으로 전환하는 메커니즘을 도입한다.
3. 자기 지도형 "꿈꾸기": 온라인 기술 학습에 내재된 데이터 부족 문제를 해결하기 위해, 역사실적 시나리오를 생성하여 재사용 가능한 개념 발견을 가능하게 하는 새로운 데이터 생성 기법("Dreaming")을 제안한다.
4. Sim-to-Real 전이: 본 프레임워크는 실제 하드웨어에서 입증되었으며, 학습된 비파지(non-prehensile) 조작 기술과 추상적 계획 능력을 물리적 로봇으로 성공적으로 전이시켰다.

4. 실험 결과

저자들은 네 가지 시뮬레이션 도메인(Icy Transport, Blocked Stacking, Cluttered Drawer, Rearrange)과 두 가지 실제 세계 도메인(Cornered Insertion-S 및 L)에서 ReSYNC를 평가하였다.

• 일반화 (Generalization): 조합적 신규 과업(unseen test distributions)에서 ReSYNC는 평균 **70%**의 성공률을 달 기록하였으며, 이는 강력한 베이스라인들(Recovery Chaining, Deep Skill Graphs, VLM planners, hierarchical RL)보다 20–70% 더 높은 성능이다.
• 샘플 효율성 (Sample Efficiency): ReSYNC는 TTRL 베이스라인에 비해 약 22배 적은 에피소드만으로 학습 과업을 해결하여, 심볼릭 추론을 위해 학습된 개념을 재사용하는 효율성을 입증했다.
• 점진적 학습 (Progressive Learning): 시스템은 여러 커리큘럼 단계로부터 성공적으로 학습하며, 새로운 복잡성에 적응하면서도 이전 과업에 대한 높은 성능을 유지하며 파괴적 망각(catastrophic forgetting) 없이 작동했다.
• 실제 세계 성능 (Real-World Performance): 실제 실험에서 ReSYNC는 비파지 회복 기술(끼인 블록을 재배치하는 기술)을 학습하고, 발견된 술어를 통해 새로운 시나리오로 일반화하였으며, 예측 불가능한 실패를 대비하지 못하는 반응적 베이스라인들보다 뛰어난 성능을 보였다.

5. 의의 및 주장

본 논문은 ReSYNC가 물리적 세계에서 확장 가능한 실패 인지형 계획을 위해 로봇이 자율적으로 추상화를 습득하는 데 있어 중요한 진전임을 주장한다.

• 반응적 모델에서 선제적 모델로의 전환: 실패를 발견의 기회로 취급함으로써, 로봇이 단순한 반응적 회복을 넘어 추상적 계획을 통한 선제적 실패 방지로 나아갈 수 있다고 주장한다.
• 확장성 (Scalability): 모든 실패에 대해 개별적인 정책을 학습하는 대신 관계적 개념을 학습함으로써, 실패 구성이 조합적으로 폭발하는 "거대 세계"에서 로봇 지능을 확장할 수 있는 경로를 제공한다.
• 자율성 (Autonomy): 시스템은 기술과 개념에 대한 수동 엔지니어링의 필요성을 줄이고, 로봇 자신의 상호작용 이력에 의존하여 계획 모델을 구축한다.

저자들은 실패 유도를 위한 사용자 지정 커리큘럼에 대한 의존도와 상태 샘플링을 위한 가우시안 분포 사용 등의 한계를 인정하며, 향히 커리큘럼 설계를 자동화하고 상태 샘플링을 위한 고급 생성 모델을 활용하는 후속 연구를 제안한다.