기술 요약: RoboFlow4D

문제 정의

실제 3D 환경에서의 로봇 조작은 효과적으로 계획하고 행동할 수 있는 능력을 요구합니다. 최근 학습 기반 접근법들은 성공적으로 종단간(end-to-end) "관측 - 행동" 패러다임을 정립했으나, 알려지지 않은 실패에 취약하고 실행 전 강력한 계획 수립이 부족하다는 한계를 보입니다. 계획을 포함하는 기존 솔루션들은 일반적으로 3D 운동 흐름을 도출하기 위해 비디오 생성, 깊이 추정, 포인트 추적 등 여러 서브 모델을 적층하는 모듈식 파이프라인에 의존합니다. 이러한 모듈식 접근법은 다음과 같은 문제점을 겪습니다:

1. 높은 계산 오버헤드: 여러 전문가 모듈을 적층하면 상당한 지연 시간과 메모리 부담이 발생하여 실시간 배포가 비현실적입니다.
2. 제한된 3D 인식: 많은 접근 방식이 2D 픽셀 수준의 흐름이나 의사 3D 흐름 (2D + 깊이) 에 의존하는데, 이는 3D 공간에서 충돌을 피하거나 물리적 실현 가능성을 보장하는 데 필요한 기하학적 이해가 부족합니다.
3. 비효율성: 최신 흐름 플래너들은 대규모 비디오 생성 전문가에 대한 의존성으로 인해 단일 계획을 생성하는 데 수 분이 소요되는 경우가 많습니다.

방법론

저자들은 지각과 계획을 통합하도록 설계된 경량 종단간 흐름 세계 모델인 RoboFlow4D를 제안합니다. 이 시스템은 실시간 성능을 달성하기 위해 느림 - 빠름 (slow-fast) 이중 시스템 아키텍처 내에서 작동합니다.

1. RoboFlow4D (플래너)

RoboFlow4D 는 RGB 이미지와 텍스트 지시사항으로부터 다중 프레임 3D 흐름 (4D 시공간 궤적) 을 직접 예측하여 적층된 전문가 모듈의 필요성을 우회하는 통합 네트워크입니다.

• 입력: 과거 RGB 이미지 시퀀스, 선택적 2D 쿼리 포인트 (예: 그리퍼 위치), 텍스트 작업 지시사항.
• 아키텍처:
  • 인코더: 토큰을 추출하기 위해 비전 (DINO v2, SigLip), 포인트, 텍스트 인코더를 사용합니다.
  • 3D Perceiver: 2D 관측치에서 3D 기하학적 인식을 주입하기 위해, 모델은 Resampler 와 정렬 손실 (alignment loss) 을 사용하여 사전 훈련된 3D 기반 모델 (VGGT) 로부터 지식을 증류합니다. 이를 통해 3D 인식 조건 특징을 생성합니다.
  • FlowDiT: 조건부 탈노이즈를 수행하는 확산 기반 트랜스포머 (DiT) 입니다. 이는 다중 모달 특징과 시간 단계 정보를 받아 미래 3D 흐름 궤적을 예측합니다.
• 출력: 적응형 시간 범위에서 키포인트 (예: 그리퍼) 의 운동을 나타내는 3D 흐름 시퀀스.

2. 흐름 조건부 정책 학습

예측된 3D 흐름은 하류 행동 정책에 대한 명시적 안내 신호로 작용합니다.

• 흐름은 인코딩되어 글로벌 흐름 조건으로 집계됩니다.
• 이 조건은 기본 상태 (비전, 언어, 고유감각) 와 연결되어 행동 정책을 조절합니다 (Diffusion Policy 및 Diffusion Transformer Policy 로 테스트됨).
• RoboFlow4D 모델은 정책 학습 중 동결되어 안정적인 흐름 계획을 보장합니다.

3. 폐루프 제어 (느림 - 빠름 협업)

이 프레임워크는 폐루프 제어 전략을 구현합니다:

• 느린 플래너 (RoboFlow4D): 낮은 주파수로 작동합니다. 현재 관측을 기반으로 전체 원자 작업 (또는 상당한 시간 범위) 에 대한 목표 지향적 계획을 생성합니다.
• 빠른 실행기 (행동 정책): 높은 주파수로 작동합니다. 플래너가 제공하는 단일 단계 흐름 계획에 조건부인 여러 행동 청크를 실행합니다.
• 재계획: 작업이 완료되지 않거나 오류가 발생하면 루프가 재설정되고 RoboFlow4D 가 수정 흐름을 재계획하여 실패 (예: 잘못된 그리핑) 에서 복구할 수 있게 합니다.

4. 훈련 및 데이터

• 데이터 생성: 모델은 실제 환경과 시뮬레이션 환경의 데이터로 훈련됩니다. 파이프라인은 고정된 그리퍼의 3D 흐름을 추적하고 비디오를 원자 작업으로 분할하는 과정을 포함합니다.
• 목적: 세 가지 손실 구성 요소와 함께 조건부 탈노이즈 확산 모델로 훈련됩니다:
  1. 확산 탈노이즈 손실: 물리적으로 타당한 궤적을 복원하기 위함.
  2. 정렬 손실: 2D 에서 3D 로의 지각을 VGGT 기반 모델과 정렬하기 위함.
  3. 부드러움 손실: 예측된 궤적의 시간적 일관성을 보장하기 위함.

주요 기여

1. 종단간 흐름 세계 모델: RoboFlow4D 는 통합 네트워크에서 2D 이미지와 텍스트로부터 4D(3D 공간 + 시간) 흐름을 직접 예측함으로써 모듈식 파이프라인의 높은 계산 비용을 제거합니다.
2. 효율적인 플러그 - 앤 - 플레이 패러다임: 표준 행동 정책이 무거운 아키텍처 변경 없이 명시적 3D 운동 사전 지식을 활용할 수 있도록 하는 경량 3D 흐름 안내 정책 학습 방식을 도입합니다.
3. 느림 - 빠름 폐루프 조작: 시스템은 목표 지향적 저주파 계획과 고주파 제어를 조율하여 지연 시간을 줄이고 환경 편차에 대한 강인성을 향상시킵니다.
4. 실증적 검증: 광범위한 실험을 통해 시뮬레이션 (LIBERO, ManiSkill3) 및 실제 환경 전반에서 성공률과 효율성의 일관된 개선을 입증했습니다.

실험 결과

시뮬레이션 벤치마크

• LIBERO: RoboFlow4D 는 경량 정책의 성공률을 크게 향상시켰습니다.
  • Diffusion Policy (DP): 평균 6.2% 향상 (공간 작업에서는 최대 8.2% 향상) 을 달성했습니다.
  • Diffusion Transformer (DiT): 평균 4.0% 향상 (긴 작업에서는 최대 6.4% 향상) 을 달성하여 대규모 비전 - 언어 - 행동 (VLA) 모델과 경쟁력 있는 성능에 도달했습니다.
• ManiSkill3: 어려운 단일 뷰 환경에서 RoboFlow4D 는 Push, Pick, Stack 작업 전반에 걸쳐 DP 를 평균 9.7% 향상시키고 DiT 를 11.0% 향상시켰습니다.

실제 환경 실험

• 플랫폼: JODELL 그리퍼가 장착된 6-DOF ROKAE 로봇 팔에서 테스트되었습니다.
• 작업: 픽 - 앤 - 플레이스, 적기, 조립, 서랍 조작 작업.
• 성능:
  • RoboFlow4D 가 안내하는 DP 는 기본 DP 대비 평균 성공률이 12.5% 높았으며, 완료 시간은 1.4 초 단축되었습니다.
  • RoboFlow4D 가 안내하는 DiT 는 평균 성공률 43.8% 를 달성하여 최첨단 $\pi_0$(41.3%) 및 $\pi_0$-Fast 를 능가했습니다.
  • 시스템은 오류 (예: 그리핑 실패) 를 감지하고 작업을 복구하기 위해 수정 흐름을 재계획할 수 있는 능력을 입증했습니다.

효율성

• 지연 시간: 계획을 생성하는 데 수 분이 소요되는 모듈식 파이프라인 (예: Dream2Flow, NovaFlow) 과 달리 RoboFlow4D(0.76B 파라미터) 는 단일 순전파를 통해 1 초 미만에 4D 운동 사전 지식을 예측합니다.
• 가속: 논문은 모듈식 파이프라인 대비 120 배 가속 및 다른 흐름 모델 대비 모델 규모 24% 이상 감소를 주장합니다.

중요성과 주장

이 논문은 RoboFlow4D 가 저비용, 실시간 3D 흐름 안내 계획 인터페이스를 제공함으로써 체화된 인공지능 (embodied intelligence) 분야를 발전시킨다고 주장합니다. 지각과 계획을 단일 경량 모델로 통합함으로써 이전 모듈식 접근법의 지연 시간과 복잡성 장벽을 극복합니다. 저자들은 이 접근 방식이 로봇이 더 높은 성공률과 더 큰 효율성으로 복잡한 조작 작업을 수행할 수 있게 하여 다양한 산업 및 서비스 시나리오에서의 신뢰할 수 있는 로봇 배포를 더 실현 가능하게 만든다고 주장합니다. 이 작업은 2D 궤적이 불충분하거나 모호한 시나리오에서 특히 강인한 조작을 위해 명시적 3D 흐름 계획이 중요함을 강조합니다.