RoboGene: Boosting VLA Pre-training via Diversity-Driven Agentic Framework for Real-World Task Generation

1. 연구 배경 및 문제 정의 (Problem)

• 데이터 부족의 본질적 한계: 범용 로봇 조작 (General-purpose robotic manipulation) 을 위한 VLA(Vision-Language-Action) 모델의 발전은 방대한 데이터에 의존하지만, 로봇 데이터는 텍스트나 이미지와 달리 물리적 상호작용을 통한 수집이 필요하여 비용이 매우 높고 비효율적입니다.
• 기존 방법의 한계:
  • 수동 데이터 수집: 인간 전문가가 직접 작업을 설계하는 방식은 확장성이 부족하며, 인간은 단순하고 반복적인 작업 (예: 사과 잡기, 블록 밀기) 에 편향되어 복잡한 다단계 작업이나 희귀한 객체/기술을 포함하지 않는 긴 꼬리 (Long-tail) 분포 문제를 야기합니다.
  • 기존 LLM 기반 생성: 대규모 언어 모델 (LLM) 을 활용한 자동 생성은 확장성은 제공하지만, 물리적 현실성 (Physical Grounding) 을 이해하지 못해 존재하지 않는 객체를 언급하거나 로봇의 운동학적 제약 (Kinematic constraints) 을 위반하는 할루시네이션 (Hallucination) 이 빈번하게 발생합니다. 또한, 실제 실행 피드백을 반영하지 않는 개방 루프 (Open-loop) 방식입니다.
• 핵심 질문: 어떻게 자동화되고, 다양하며, 물리적으로 실행 가능한 조작 작업을 대규모로 생성하여 VLA 모델의 사전 학습 효율성을 극대화할 수 있을까요?

2. 제안 방법론: RoboGene (Methodology)

RoboGene는 단일 암, 듀얼 암, 모바일 로봇을 아우르는 다양성 중심의 에이전트 프레임워크로, 다음 세 가지 핵심 구성 요소를 통해 폐쇄 루프 (Closed-loop) 방식으로 작동합니다.

가. 다양성 주도 샘플링 (Diversity-Driven Sampling)

• 최소 사용 빈도 (LFU) 전략: 시나리오, 객체, 기술 (Skill) 에 대한 사용 빈도 카운터를 유지하며, 가장 덜 사용된 (Least Frequently Used) 요소를 우선적으로 선택합니다.
• 계층적 샘플링: 먼저 사용 빈도가 낮은 시나리오를 선택한 후, 해당 시나리오와 의미적으로 유사한 객체 및 기술 후보군을 필터링하여 LFU 전략으로 샘플링합니다. 이를 통해 데이터셋의 긴 꼬리 분포 문제를 해결하고 모든 영역을 균일하게 커버합니다.

나. 자기 성찰 및 생성 (Self-Reflection and Task Generation)

생성된 작업 제안은 3 가지 전문 평가자 (Evaluator) 를 통해 엄격하게 검증되고 수정됩니다.

1. 물리적 실행 가능성 평가자 (Physical Feasibility Evaluator): 로봇의 운동학적 범위, 작업 공간 중첩, 물리 법칙 (중력, 마찰 등) 을 준수하는지 검증합니다.
2. 새로성 평가자 (Novelty Evaluator): 작업의 복잡성, 정밀도, 시간적 깊이, 환경의 비구조화 정도를 평가하여 단순 반복을 방지합니다.
3. 제약 준수 평가자 (Constraint Adherence Evaluator): 샘플링된 객체와 기술 목록을 벗어나지 않고 할루시네이션이 없는지 확인합니다.

• 자기 성찰 리파이너 (Refiner): 위 평가자들의 피드백을 종합하여 작업을 수정하고 최적화합니다.

다. 인간 - 루프 통합 및 장기 기억 (Human-in-the-Loop & Long-Term Memory)

• 피드백 통합: 실제 로봇 실행 중 발생한 실패나 수정 사항에 대한 인간의 자연어 피드백을 수집합니다.
• 기억 강화 (RAG): 수집된 피드백을 의미적 임베딩으로 변환하여 장기 기억 (Long-Term Memory) 모듈에 저장합니다. 이후 새로운 작업 생성 시, 유사한 실패 사례와 해결책을 검색하여 (Retrieval-Augmented Generation) 생성 품질을 지속적으로 향상시킵니다.

3. 주요 기여 (Key Contributions)

1. 문제 인식: 작업 생성의 다양성 부재와 물리적 현실성 결여가 범용 정책 학습의 근본적 장벽임을 규명했습니다.
2. RoboGene 프레임워크 제안: 다양성 샘플링 (LFU), 자기 성찰 (Self-reflection), 기억 통합 (Memory consolidation) 을 결합한 자동화 에이전트 프레임워크를 개발했습니다.
3. 대규모 실증 데이터: 1200 개의 고유한 작업과 18,000 개 이상의 궤적 (Trajectories) 으로 구성된 대규모 실세계 데이터셋을 구축했습니다.
4. 새로운 평가 지표: 개별 작업의 물리적 실행 가능성과 전체 데이터셋의 객체/기술 다양성을 정량화하는 새로운 메트릭을 도입했습니다.

4. 실험 결과 (Results)

• 작업 품질 평가 (900 개 작업 기준):
  • 물리적 실행 가능성 (Physical Feasibility): RoboGene은 **98.99%**의 성공률을 기록하여 GPT-4o(74.67%), Gemini 2.5 Pro(67.90%), 인간 설계 (94.78%) 를 모두 능가했습니다.
  • 할루시네이션 감소: 객체 및 기술 커버리지가 기존 LLM 기반 방법보다 훨씬 높았으며 (객체 커버리지는 63.2% vs GPT-4o 31.0%), 존재하지 않는 객체를 생성하는 오류를 크게 줄였습니다.
• 데이터 다양성 분석:
  • 시나리오 균형: 인간이나 GPT-4o 가 가정/주방 위주로 편향된 반면, RoboGene은 의료, 산업 등 8 가지 시나리오를 균일하게 분포시켰습니다.
  • 기술 및 객체 다양성: 118 가지 기술 중 **91.5%**를 커버했으며, 1,137 개 객체 중 **719 개 (63.2%)**를 사용했습니다. 이는 기존 방법들보다 약 1.7 배 더 많은 객체를 포함합니다.
• 실세계 VLA 모델 성능 (Pre-training 및 Generalization):
  • 미세 조정 (Fine-tuning) 성능: RoboGene 데이터로 사전 학습된 $\pi_0$ 모델은 unseen 작업에서 인간 데이터나 다른 LLM 데이터로 학습된 모델보다 훨씬 높은 성공률을 보였습니다.
  • 일반화 능력: 새로운 객체, 배경 변화, 조명 변화, 지시어 변경 등 다양한 환경 변화 하에서 RoboGene 기반 모델이 가장 강력한 일반화 성능 (평균 29% 성공률, Gemini 대비 3 배 이상) 을 입증했습니다.

5. 의의 및 결론 (Significance)

• 데이터 품질의 패러다임 전환: 단순히 데이터 양을 늘리는 것을 넘어, 다양성과 물리적 실행 가능성을 동시에 확보하는 고품질 데이터 생성 자동화 파이프라인을 제시했습니다.
• 할루시네이션 해결: LLM 의 할루시네이션 문제를 다중 평가자와 인간 피드백 기반의 자기 성찰 메커니즘을 통해 효과적으로 해결했습니다.
• 범용 로봇 학습의 가속화: RoboGene을 통해 생성된 데이터는 VLA 모델이 실제 세계의 복잡하고 예측 불가능한 환경에서도 견고하게 작동할 수 있는 기반을 제공하며, 범용 체화된 인공지능 (Embodied AI) 실현을 위한 중요한 디딤돌이 됩니다.

이 연구는 로봇 학습의 핵심 병목 현상인 '고품질 데이터 부족'을 해결하기 위해, 에이전트 기반의 자동화 프레임워크가 어떻게 인간 전문가의 편향을 넘어선 다양하고 실행 가능한 데이터를 생성할 수 있는지를 성공적으로 증명했습니다.