기술 요약: Pegasus – 체화된 지능을 위한 물리적으로 근거한 경험 합성

1. 문제 정의

체화된 AI(Embodied AI)를 발전시키는 데 있어 주요 병목 현상은 모델 아키텍처가 아니라 고품질의 로봇 특화 학습 데이터의 부족입니다. 온라인에는 수십억 개의 인간 조작 비디오가 존재하지만, 로봇은 이를 직접 학습할 수 없습니다. 이는 인간과 로봇 사이의 형태학(morphology), 운동학(kinematics), 그리고 행동 공간(action spaces)의 상당한 차이로 인한 체화 격차(embodiment gap) 때문이며, 이로 인해 시연의 직접적인 전이가 불가능합니다.

기존의 데이터 획득 패러다임은 다음과 같은 뚜렷한 한계에 직면해 있습니다:

• 실제 로봇 수집: 품질은 높지만 비용이 많이 들고 규모를 키우기 어렵습니다.
• 물리 시뮬레이션: 데이터는 무제한이지만, 특히 비전 기반 정책(vision-based policies)에서 심투리얼(sim-to-real) 격차 문제를 겪습니다.
• 인간 비디오로부터의 학습: 풍부한 데이터를 활용할 수 있지만, 일반적으로 실행 가능한 로봇 궤적을 생성하기보다는 시각적 표현(visual representations)을 학습하는 데 그칩니다.

핵심 과제는 원시 픽셀이 아닌 구조화된 경험(태스크 세만틱스, 어포던스, 제약 조건)을 전달함으로써, 인간의 시연으로부터 로봇이 학습 가능한 데이터를 합성하는 것입니다.

2. 방법론: Pegasus 프레임워크

Pegasus는 인간의 1인칭 시점(egocentric) 비디오를 구조화된 그래프 기반 파이프라인을 통해 로봇이 실행 가능한 시연으로 변환하는 저자원 프레임워크입니다. 이 프레임워크는 문제를 외형 생성(appearance generation)에서 **교차 체화 지식 전이(cross-embodiment knowledge transfer)**로 재정의합니다.

이 프레임워크는 5단계의 점진적인 과정으로 작동합니다:

2.1 태스크 그래프 추출 ($V_h \rightarrow G_T$)

Pegasus는 원시 픽셀을 바탕으로 추론하는 대신, 구조화된 비전-언어 파서를 사용하여 인간 비디오로부터 태스크 그래프($G_T$)를 추출합니다.

• 노드(Nodes): 하위 목표($g_i$), 조작 대상 물체($o_j$), 공간 영역($r_k$)을 포함한 세만틱 엔티티를 나타냅니다.
• 엣지(Edges): 시간적 순서, 인과 관계, 공간적 상호작용을 인코딩합니다.
• 이 그래프는 특정 로봇의 형태학에 독립적이면서도 태스크의 토폴로지를 보존합니다.

2.2 계층적 어포던스 잠재 공간 ($G_T \rightarrow Z$)

물체와 체화 형태에 대한 일반화를 처리하기 위해, Pegasus는 계층적 어포던스 잠재 공간(Hierarchical Affordance Latent, $Z = \{Z_s, Z_a, Z_t\}$)을 도입합니다:

1. 물체 상태 레벨 ($Z_s$): 물리적 상태(예: 쥐기, 열기, 이동하기)를 포착합니다.
2. 어포던스 레벨 ($Z_a$): 물체 특유의 관찰을 조작 능력(예: 쥐기 가능성, 담기 가능성, 따르기 가능성)으로 추상화합니다.
3. 태스크 레벨 ($Z_t$): 체화 형태와 무관한 의도(예: 운반하기, 쌓기)를 나타냅니다.
   이 계층 구조는 태스크의 인과적 세만틱스를 보존하면서 체화 특유의 정보를 점진적으로 제거합니다. 대조 학습 목적 함수(contrastive objective)는 공유된 어포던스 공간 내에서 인간과 로봇의 시연을 정렬합니다.

2.3 교차 체화 그래프 변환 ($G_T \rightarrow G_P$)

태스크 그래프는 세 가지 그래프 연산자를 통해 실행 가능한 로봇 계획 그래프($G_P$)로 변환됩니다:

1. 어포던스 그래프: 세만틱 노드에 조작 어포던스를 추가합니다.
2. 제약 조건 그래프: 체화 의존적 타당성(그립 유형, 역운동학, 충돌 제약, 작업 공간 제한)을 통합합니다.
3. 계획 그래프: 실행 가능한 프리미티브(primitives)를 실행 가능한 궤적(모션 웨이포인트 및 시간적 전이)으로 변환합니다.
   이 모듈형 공식은 세만틱 추론과 체화 적응을 분리합니다.

2.4 물리 제약 검증

시각적 그럴듯함만으로는 로봇 공학에 충분하지 않습니다. Pegasus는 다음 사항들에 대해 생성된 궤적을 검증하는 폐쇄 루프 검증 모듈을 사용합니다:

• 역운동학(IK) 해결 가능성
• 관절 한계
• 충돌 회피
• 그립 안정성 및 궤적 매끄러움

제약 조건이 위반될 경우, 구조화된 에러 신호가 계획 모듈로 피드백되어 모든 제약 조건이 충족될 때까지 반복적인 재생성을 수행합니다.

2.5 경험 렌더링

검증된 계획 그래프는 다운스트림 정책 학습에 적합한 세 가지 출력 양식으로 렌더링됩니다:

• 비디오 시연 ($D_{video}$): 비전-언어 정책용.
• 이산 액션 토큰 ($D_{action}$): 자기회귀 액션 모델용.
• 연속 궤적 ($D_{trajectory}$): 고전적 제어 파이프라인용.

3. 주요 기여

1. 전이 공식화: 인터넷의 인간 비디오를 구조화된 교차 체화 지식 전이를 통해 확장 가능한 로봇 학습 데이터 소스로 재구성했습니다.
2. 그래프 구조 프레임워크: 원시 픽셀이나 텍스트 프롬프트 조건화를 넘어, 태스크 세만틱스, 어포던스, 로봇 제약 및 로봇 계획을 명시적으로 모델링하는 새로운 파이프라인을 제시했습니다.
3. 계층적 어포던스 잠재 공간: 데이터를 물체의 정체성이 아닌 물체의 상태, 어포던스, 태스크에 따라 조직함으로써 미학습 물체에 대한 일반화 성능을 향상시켰습니다.
4. 폐쇄 루프 물리 검증: 운동학적 타당성을 강제하여 체화 적응을 제약 조건 만족 문제로 변환하는 반복 메커니즘을 구축했습니다.
5. 경험적 검증: 태스크 정확도, 물리적 실행 가능성 및 다운스트림 정책 학습 측면에서 개선된 성능을 입증하는 종합적인 실험을 수행했습니다.

4. 실험 결과

Pegasus는 GTEA Gaze+, EPIC-KITCHENS-100, 그리고 큐레이션된 인터넷 조작 비디오 세트를 포함한 벤치마크에서 평가되었으며, 다섯 가지 다양한 로봇 체화 형태(예: Franka Panda, xArm 7, UR5e)를 대상으로 했습니다.

4.1 태스크 정확도 및 실행 가능성

• 그래프 조건 생성은 프롬프트 전용 베이스라인보다 태스크 정확도에서 12.3%, 실행 가능성에서 15.7% 더 높은 성능을 보였습니다.
• 다섯 가지 로봇 유형 전체에서, 시스템은 평균 **84.4%**의 태스크 정확도(VLM)와 81.5%(Human), 그리고 **89.6%**의 실행 가능성을 달 기록했습니다.

4.2 다운스트림 정책 학습

생성된 데이터로 정책(OpenVLA 및 ACT)을 학습시킨 결과 유의미한 성과를 얻었습니다:

• 생성된 데이터만 사용했을 때 성공률은 **55.2%**였으며, 이는 50개의 실제 로봇 시연이 달성한 성능(65.9%)의 84% 수준에 해당합니다.
• 50개의 실제 시연에 200개의 생성된 시연을 **추가(augmenting)**했을 때, 실제 데이터만 사용했을 때보다 성공률이 절대치 기준으로 11.3% 향상되었습니다.
• 인간 비디오 특징(R3M/VIP)으로 학습했을 때와 비교하여, 그래프 조건 생성은 성공률에서 **+25.8%**의 개선을 제공했습니다.

4.3 미학습 물체에 대한 일반화

어포던스 잠재 공간은 강력한 제로샷(zero-shot) 능력을 보여주었습니다:

• 물체 정체성 기반 잠재 공간(45.1%)에 비해, 완전히 새로운 물체(예: 수박, 드라이버)에 대해 **78.5%**의 태스크 정확도를 달성했습니다.
• 모델은 어포던스 구성을 바탕으로 필요한 행동(예: "무겁고 깨지기 쉬움" $\rightarrow$ "조심스러운 파워 그립")을 성공적으로 추론했습니다.

4.4 물리적 타당성

폐쇄 루프 검증은 물리적 실행 가능성을 크게 개선했습니다:

• Pass@1 (첫 번째 시도)는 51.2%였으며, Pass@5 (5회 반복 후)는 **94.1%**에 도달했습니다.
• 역운동학(IK) 오차는 93.5% 감소했고, 충돌 발생률은 90.9% 떨어졌습니다.

4.5 절제 연구 (Ablation Studies)

• **제약 조건 그래프(Constraint Graph)**를 제거했을 때 실행 가능성에서 가장 큰 하락(-11.2%)이 발생했습니다.
• **어포던스 그래프(Affordance Graph)**를 제거했을 때 미학습 물체에 대한 태스크 정확도에서 가장 큰 하락(-5.1%)이 발생했습니다.
• 그래프 구조가 밑단의 비디오 생성 모델보다 성능을 견인하는 주요 동인임을 확인했습니다.

5. 의의 및 주장

본 논문은 Pegasus가 로봇 데이터 생성을 하드웨어 수집 문제에서 확장 가능한 저자원 지식 전이 문제로 성공적으로 재정의했다고 주장합니다.

• 경험 수준의 전이: 본 연구는 체화 격차를 픽셀 수준이 아닌 경험 수준(목표, 상태 전이, 어포던스)에서 메워야 한다고 주장합니다. 이를 통해 대규모 3D 에셋 구축 없이도 인간 비디오의 다양성과 현실성을 활용할 수 있습니다.
• 확장성: 태스크 세만틱스를 로봇의 형태학으로부터 분리함으로써, 단일 소스인 인간 데이터로부터 이종 플랫폼을 위한 로봇 학습 가능 시연을 합성할 수 있게 합니다.
• 실용성: 태스크 지식과 어포던스 구조를 명시적으로 모델링하면 인간 조작 비디오를 로봇 학습을 위한 효과적인 감독(supervision) 자료로 활용할 수 있음을 결과로 보여주며, 이는 모든 시연을 물리적 하드웨어에서 직접 수집해야 하는 문제에 대한 실질적인 대안을 제시합니다.

저자들은 VideoLLM에 대한 의존성, 완전한 접촉 역학(contact dynamics)보다는 운동학적 일관성에 집중한 점, 현재 단일 뷰 생성에 국한된 점 등의 한계를 인정합니다. 그러나 이 프레임워크는 구조화된 교차 체화 표현 학습을 위한 새로운 패러다임을 구축합니다.