CoEnv: Driving Embodied Multi-Agent Collaboration via Compositional Environment

1. 문제 정의 (Problem)

기존의 단일 에이전트 로봇 시스템은 상당한 진전을 이루었으나, 복잡한 장기적 (long-horizon) 작업 수행을 위해서는 여러 개의 물리적 로봇 에이전트 간의 협력이 필수적입니다. 그러나 다중 에이전트 embodied 시스템은 다음과 같은 핵심적인 난제에 직면해 있습니다:

• 공간적 조정 및 충돌 회피: 공유 작업 공간에서 여러 로봇이 동시에 움직일 때 발생하는 공간적 충돌을 방지해야 합니다.
• 시간적 추론: 하위 작업 (sub-tasks) 간의 순차적 의존성과 동기화를 정확히 추론해야 합니다.
• 공유 작업 공간 인식: 한 에이전트의 행동이 다른 에이전트나 환경에 미치는 영향을 실시간으로 파악해야 합니다.
• 실제 환경의 제약: 실제 물리 세계에서 실험하는 것은 비용이 많이 들고, 충돌 시 하드웨어 손상의 위험이 있어 안전하고 효율적인 전략 탐색이 어렵습니다.

2. 방법론 (Methodology)

저자들은 인간이 협력할 때 '인지적 계획 (cognitive planning)'과 '물리적 실행 (physical execution)'을 분리하는 방식을 차용하여, **구성형 환경 (Compositional Environment)**이라는 개념을 도입했습니다. 이는 실제 세계와 시뮬레이션 세계를 시너지 있게 통합한 단일 의사결정 공간입니다. 이를 구현한 프레임워크인 CoEnv는 다음 3 단계로 구성됩니다.

A. Real-to-Sim 장면 재구성 (Real-to-Sim Scene Reconstruction)

• 목표: 실제 물리 환경의 관측 데이터를 고충실도 시뮬레이션 환경으로 변환합니다.
• 프로세스:
  • 다중 뷰 RGBD 카메라 데이터를 기반으로 Meshy Model 을 사용하여 3D 메쉬 자산을 생성합니다.
  • Grounded SAM 2로 객체를 탐지 및 분할하고, GPT-5를 활용하여 시각적 맥락 (배치, 상대적 위치) 을 기반으로 유사한 객체들을 구별합니다.
  • FoundationPose를 사용하여 각 객체의 6-DoF 포즈를 추정하고, 다중 뷰 정보를 융합하여 위치 오차를 줄입니다.
  • ManiSkill (SAPIEN 엔진) 기반의 시뮬레이터에서 카메라 보정을 반복적으로 정제하여 실제와 시뮬레이션 간의 공간적 일관성을 확보합니다.

B. 시뮬레이션 기반 행동 합성 (Simulation-Conditioned Action Synthesis)

시뮬레이션 내에서 안전한 전략 탐색을 수행하며, 두 가지 상호 보완적인 실행 모드를 제공합니다:

1. 계층적 작업 계획 (Hierarchical Task Planning): VLM (GPT-5) 이 고수준의 작업을 하위 목표와 실행 계획으로 분해합니다.
   • 적응형 카메라 제어: 로봇이나 객체에 의해 가려진 (occluded) 영역을 확인하기 위해 시뮬레이션 뷰포인트를 동적으로 조정하여 종합적인 공간 이해를 돕습니다.
2. 구현된 실행 (Grounded Execution):
   • 상호작용 모드 (Interactive Mode): VLM 이 실시간 피드백을 기반으로 단계별 실행, 관찰, 검증, 적응 (Execute-Observe-Verify-Adapt) 사이클을 수행합니다. 중요한 지점에서 **체크포인트 (Checkpoint)**를 두어 사전 조건을 검증합니다.
   • 반복 모드 (Iterative Mode): 코드 에이전트 (Claude Code) 가 전체 실행 로직을 포함하는 Python 프로그램을 생성합니다. 실패 시 피드백을 받아 코드를 수정하고 반복하여 최적의 궤적을 찾습니다.

C. 충돌 인지형 Sim-to-Real 전이 (Sim-to-Real Transfer with Collision-Aware Execution)

• 궤적 보간: 시뮬레이션에서 생성된 이산적인 동작을 실제 로봇을 위한 부드러운 궤적으로 보간합니다.
• 충돌 부피 검증: 실제 실행 전, 각 로봇 링크가 통과할 충돌 부피 (Collision Volume) 를 계산하여 모든 로봇 쌍 간의 충돌이 발생하지 않는지 사전에 검증합니다. 충돌 위험이 감지되면 해당 동작은 폐기되고 재계획이 트리거됩니다.

3. 주요 기여 (Key Contributions)

1. 구성형 환경 (Compositional Environment) 개념 정립: 실제 세계와 시뮬레이션을 통합한 단일 의사결정 공간을 제안하여, 다중 에이전트 협업을 위한 안전한 전략 탐색과 검증이 가능하게 했습니다.
2. CoEnv 프레임워크 개발: 시뮬레이션 기반 계획과 다양한 VLM 기반 에이전트 (상호작용 모드 및 반복 모드) 를 결합하여 협업 조작 전략을 생성, 검증, 배포하는 통합 파이프라인을 제시했습니다.
3. 확장 가능한 데이터 생성 파이프라인: 검증된 궤적을 자동으로 수집하여 다중 에이전트 시스템 학습을 위한 고품질 데이터를 생성할 수 있음을 입증했습니다.
4. 다양한 로봇 환경에서의 검증: 이질적인 로봇 (Franka Research 3, AgileX Piper 등) 을 포함한 최대 3 대의 로봇이 참여하는 복잡한 협업 작업 (큐브 적층, 공 들어 올리기, 물체 전달 등) 에서 높은 성공률을 입증했습니다.

4. 실험 결과 (Results)

• 실험 설정: 2 대 및 3 대의 로봇이 참여하는 5 가지 실제 세계 협업 작업 (Cube Stacking, Ball Pickup, Transfer Cylinder, Place Cucumber, Brush Box) 에서 평가 수행.
• 성능:
  • 전체 작업 성공률 (Overall Success Rate) 은 약 **49%**를 기록했습니다.
  • 가장 성공률이 높았던 작업인 'Cube Stacking'은 **75%**의 성공률을 보였습니다.
  • 가장 어려운 작업인 'Transfer Cylinder' (양손 전달) 는 25% 였으나, 이는 매우 정밀한 공간 정렬이 필요한 작업임을 보여줍니다.
• 모드 비교:
  • 반복 모드 (Iterative): 정밀한 궤적 제어가 필요한 작업 (Cube Stacking, Ball Pickup) 에서 우수했습니다.
  • 상호작용 모드 (Interactive): 실시간 피드백과 적응이 필요한 복잡한 다단계 협업 (Transfer Cylinder, Brush Box) 에서 더 뛰어난 성능을 보였습니다.
• Ablation Study:
  • 적응형 카메라 제어를 제거하면 가려짐 (occlusion) 이 심한 작업에서 성공률이 급격히 하락했습니다.
  • 체크포인트 검증을 제거하면 초기 오류가 누적되어 전체 작업 실패로 이어지는 경우가 많았습니다.

5. 의의 및 결론 (Significance)

이 논문은 다중 에이전트 로봇 협업 분야에서 시뮬레이션을 단순한 훈련 장소를 넘어 '인지적 매체 (cognitive medium)'로 활용하는 새로운 패러다임을 제시합니다.

• 안전성과 효율성: 실제 하드웨어의 손상 위험 없이 시뮬레이션에서 안전하게 전략을 탐색하고 검증할 수 있게 합니다.
• 확장성: 수동 원격 조종 (teleoperation) 없이도 대규모 다중 에이전트 협업 데이터를 자동 생성할 수 있어, 일반화된 다중 에이전트 정책 학습의 병목 현상을 해결할 수 있는 가능성을 보여줍니다.
• 실용성: 이질적인 로봇 간의 협업을 가능하게 하는 체계적인 방법론을 제공하여, 복잡한 물리 세계에서의 로봇 협업 기술 발전에 중요한 기여를 합니다.