Iterative Compositional Data Generation for Robot Control

1. 문제 정의 (Problem Statement)

• 데이터 수집의 비효율성: 다중 객체, 다중 로봇, 다중 환경이 결합된 복잡한 로봇 조작 작업의 경우, 가능한 작업 공간이 조합적으로 매우 크기 때문에 모든 작업에 대한 전문가 시연 (demonstration) 데이터를 수집하는 것은 비용과 시간이 너무 많이 들어 비현실적입니다.
• 기존 생성 모델의 한계: 최근의 생성 모델 (Generative Models) 은 개별 작업을 위한 데이터를 합성할 수 있지만, 로봇 도메인의 구성적 구조 (Compositional Structure) 를 활용하지 못합니다. 따라서 훈련된 데이터에 포함되지 않은 새로운 작업 조합 (Unseen Task Combinations) 에 대한 일반화 능력이 부족합니다.
• 핵심 질문: 로봇 학습 시스템이 미지의 작업을 해결하기 위해, 자기 개선 (Self-improving) 생성 모델을 통해 해당 작업에 대한 인공 훈련 데이터를 반복적으로 생성하고 이를 통해 학습할 수 있을까?

2. 방법론 (Methodology)

저자들은 의미론적 구성 확산 트랜스포머 (Semantic Compositional Diffusion Transformer) 와 반복적 자기 개선 루프를 결합한 새로운 프레임워크를 제안합니다.

A. 의미론적 구성 확산 트랜스포머 (Semantic Compositional Diffusion Transformer, DiT)

• 작업 그래프 모델링: 각 로봇 조작 작업은 로봇, 객체, 장애물, 목표 (Objective) 와 같은 기본 요소들의 조합으로 정의됩니다. 기존 연구에서는 이러한 구조를 하드코딩했으나, 이 논문은 트랜스포머를 그래프 신경망 (GNN) 으로 해석하여 데이터로부터 구조를 학습합니다.
• 팩터별 토큰화 (Factor-specific Tokenization): 각 구성 요소 (예: 특정 로봇 암, 특정 객체) 마다 별도의 인코더 - 디코더 쌍을 할당합니다.
  • 입력 상태, 다음 상태, 행동, 보상, 종료 신호 등을 구성 요소별로 분해하여 토큰으로 변환합니다.
  • 크로스 어텐션 (Cross-attention): 확산 (Diffusion) 과정에서 각 요소 토큰이 다른 요소 토큰에 어텐션하여 상호작용을 학습합니다. 이는 작업 요소 간의 의존 관계를 자동으로 발견하게 합니다.
• 조건부 생성: 특정 작업 (Task ID) 을 조건으로 주어, 훈련된 데이터에 없는 새로운 작업 조합에 대한 고품질의 전이 데이터 (Transition Data) 를 제로샷 (Zero-shot) 으로 생성합니다.

B. 반복적 자기 개선 절차 (Iterative Self-Improvement Procedure)

1. 초기 훈련: 제한된 수의 실제 전문가 데이터 (Real Expert Data) 로 확산 모델을 훈련합니다.
2. 데이터 생성: 훈련되지 않은 미지의 작업 (Unseen Tasks) 에 대해 합성 데이터를 생성합니다.
3. 검증 (Offline RL): 생성된 데이터로 TD3-BC 등의 정책을 훈련하고, 실제 환경에서 온라인 평가를 수행하여 성공률 (Success Rate) 을 측정합니다.
4. 필터링 및 재훈련:
   • 성공률이 임계값 ($\tau$) 을 초과하는 경우, 해당 합성 데이터를 훈련 세트에 추가합니다.
   • 성공률이 낮은 데이터는 폐기하거나 임계값을 조정하여 다음 라운드에서 재평가합니다.
   • 이 과정을 반복하여 생성 모델이 더 나은 데이터를 생성하도록 개선하고, 이를 통해 더 많은 미지의 작업을 해결할 수 있게 됩니다.

3. 주요 기여 (Key Contributions)

1. 학습 기반 구성적 아키텍처 제안: 하드코딩된 구조 대신, 트랜스포머의 어텐션 메커니즘을 통해 데이터로부터 작업 요소 간의 구성적 구조를 자동으로 학습하는 확산 모델을 설계했습니다.
2. 제로샷 데이터 생성 및 정책 학습: 제한된 실제 데이터만으로 훈련된 모델이, 새로운 작업 조합에 대한 고품질 훈련 데이터를 생성하여 해당 작업의 제어 정책을 학습할 수 있음을 입증했습니다.
3. 반복적 자기 개선 루프: 생성된 데이터의 품질을 오프라인 RL 로 검증하고 이를 다시 학습에 활용하는 폐쇄 루프 (Closed-loop) 시스템을 구축하여, 추가적인 실제 데이터 수집 없이도 성능을 지속적으로 향상시켰습니다.
4. 표상 분석: 학습된 모델이 로봇 암 정보가 다른 요소 (보상, 목표 등) 에 가장 큰 영향을 미친다는 등, 인간이 설계한 구조와 다른 의미 있는 구성적 의존 관계를 자동으로 발견했음을 어텐션 맵을 통해 분석했습니다.

4. 실험 결과 (Results)

실험은 CompoSuite 벤치마크 (4 개의 로봇, 4 개의 객체, 4 개의 장애물, 4 개의 목표로 구성된 256 가지 작업) 에서 수행되었습니다.

• 데이터 설정: 64 가지 작업 중 14 가지 (약 20%) 만 훈련 데이터로 사용하고, 나머지 50 가지 중 32 가지를 테스트 세트로 설정했습니다.
• 성능 비교:
  • 제로샷 일반화: 제안된 '의미론적 구성 DiT'는 하드코딩된 구성 RL 기반선 (Mendez et al., 2022) 보다 성공률을 약 2 배 향상시켰습니다.
  • 반복적 개선: 4 회 반복 개선 후, 제안된 방법은 모든 다른 아키텍처 (단일 구조 Monolithic, 표준 DiT 등) 를 압도하며, 약 55% 의 성공률을 달성했습니다.
  • 작업 커버리지: 4 회 반복 후, 제안된 방법은 거의 모든 테스트 작업을 최소 한 번 이상 성공시켰으며, 훈련 풀에 포함된 신뢰할 수 있는 합성 데이터의 비율 (Coverage) 이 단일 구조 모델보다 훨씬 높았습니다.
• 희귀 성공 데이터의 유용성: 성공 확률이 매우 낮은 (8~12%) 합성 데이터조차도, 온라인 RL (RLPD) 의 초기화 데이터로 사용될 경우, 처음부터 학습하는 것보다 훨씬 빠르게 (50 만 스텝 이내) 작업을 해결하는 데 기여함을 확인했습니다.
• 환경 상호작용 효율성: 제안된 방법은 20,000 건의 환경 상호작용 (평가용) 만으로 100,000 건의 상호작용을 사용하는 기존 온라인 RL (RLPD) 보다 훨씬 높은 성공률을 기록했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 데이터 효율성 극대화: 로봇 조작 분야에서 데이터 수집의 병목 현상을 해결할 수 있는 강력한 접근법을 제시합니다. 소수의 실제 데이터로부터 다양한 작업 조합에 대한 훈련 데이터를 생성함으로써, 로봇이 새로운 환경과 작업에 적응하는 능력을 획기적으로 향상시킵니다.
• 구조 학습의 자동화: 사전 지식에 의존하지 않고 데이터로부터 작업의 구성적 구조를 학습하여, 더 유연하고 확장 가능한 로봇 제어 시스템을 가능하게 합니다.
• 자율적 학습 사이클: 생성 모델과 강화 학습을 결합한 자기 개선 루프는 실제 로봇이 스스로 데이터를 확보하고 학습 능력을 향상시키는 미래 지향적인 패러다임을 보여줍니다.

이 연구는 로봇이 제한된 경험으로부터 복잡한 조합적 작업을 해결하기 위해 생성적 AI 와 강화 학습을 통합하는 새로운 방향성을 제시하며, 실제 로봇 적용을 위한 시뮬레이션 기반 검증의 중요성을 강조합니다.