1. 문제 정의 (Problem Definition)

기존의 로봇 조작 (Manipulation) 은 물체를 안정적으로 잡아서 (Prehensile, P) 이동시키는 방식에 의존해 왔습니다. 그러나 물체의 형태 (예: 얇은 카드), 환경적 제약 (예: 좁은 공간), 또는 충돌 위험 등으로 인해 직접적인 잡기가 불가능하거나 불충분한 경우가 많습니다. 이러한 상황에서 비잡기 (Non-Prehensile, NP) 조작 (밀기, 찌르기, 미끄러뜨리기 등) 은 로봇의 능력을 확장하는 핵심 요소입니다.

하지만 P(잡기) 와 NP(비잡기) 기술을 통합하는 데에는 다음과 같은 주요 난제가 존재합니다:

• 조합적 복잡성: 다양한 NP 원시 행동 (Push, Rotate 등) 과 P 행동의 순서와 조합을 결정하는 것이 매우 복잡합니다.
• 상황 인식 및 추론: 환경 제약, 물체 특성, 작업 요구사항을 고려하여 언제 NP 기술을 사용해야 하는지, 그리고 P 와 NP 전략을 어떻게 조화롭게 구성할지 추론해야 합니다.
• 물리적 실현 가능성: 의미적으로 타당한 계획이 물리적으로 실행 가능하지 않을 수 있으며, 이를 사전에 검증하고 오류를 수정하는 메커니즘이 부족합니다.

기존 방법들은 단일 작업에 특화되어 있거나, 수동으로 정의된 도메인 지식에 의존하거나, 2D 공간 정보만 사용하여 정밀한 3D 조작 (예: 회전) 을 수행하기 어렵다는 한계가 있었습니다.

2. 제안 방법: AdaptPNP (Methodology)

저자들은 AdaptPNP라는 통합된 작업 및 모션 계획 (Task and Motion Planning, TAMP) 프레임워크를 제안합니다. 이 프레임워크는 비전 - 언어 모델 (VLM) 을 활용하여 P 와 NP 기술을 동적으로 선택하고 조합합니다.

핵심 구성 요소:

1. VLM 기반 작업 계획 및 반성 (Plan Skeleton Generation & Reflection):

   • 작업 계획자 (Task Planner): RGB 이미지와 자연어 지시를 입력받아 P(Grasp, Moveto, Release) 와 NP(Push, Rotate) 원시 행동의 시퀀스 (Plan Skeleton) 를 생성합니다.
   • 반성기 (Reflector): 실행 결과 (성공/실패) 와 새로운 관측 데이터를 기반으로 오류 원인을 분석하고, VLM 에 피드백을 주어 계획을 재수정 (Replanning) 합니다. 이는 의미적으로 타당하지만 물리적으로 불가능한 계획을 걸러내는 폐쇄 루프 (Closed-loop) 메커니즘입니다.

2. 디지털 트윈 기반 6D 포즈 중간 표현 (Digital-Twin based Sub-goal Pose Generation):

   • 고수준 계획과 저수준 실행 사이의 간극을 메우기 위해 **디지털 트윈 (Digital Twin)**을 활용합니다.
   • 계획된 각 행동 원시 (Primitive) 에 대해, 디지털 트윈 내에서 물리적으로 실현 가능한 **6D 물체 타겟 포즈 (6D Object Target Poses)**를 샘플링합니다.
   • VLM 은 렌더링된 후보 포즈 이미지를 보고 의미적, 물리적으로 가장 적합한 포즈를 선택합니다. 이를 통해 2D 포인트가 아닌 정밀한 3D 공간 정보 (위치 + 회전) 를 제공합니다.

3. 저수준 실행 및 피드백 (Low-Level Execution):

   • 선택된 6D 물체 포즈를 기반으로 로봇의 궤적을 생성합니다.
   • 객체 중심 인터페이스: 로봇의 관절 명령이 아닌 '물체의 목표 포즈'만 실행 환경에 전달하여, 시뮬레이션과 실제 환경 간의 물리 차이 (Sim-to-Real Gap) 를 극복하고 다양한 로봇 팔에 적용 가능하도록 합니다.
   • 실행 중 오류 (IK 실패, 충돌 등) 가 발생하면 이를 VLM 반성기에 전달하여 즉각적인 계획 수정을 유도합니다.

3. 주요 기여 (Key Contributions)

1. 적응형 P&NP 통합 프레임워크: 작업 요구사항, 물체 특성, 환경 제약을 기반으로 VLM 이 P 와 NP 기술을 유연하게 조합하고 선택하는 일반화 가능한 프레임워크를 제안했습니다.
2. 물리 정보 기반 6D 포즈 중간 표현: 디지털 트윈을 활용하여 각 행동 단계의 6D 물체 타겟 포즈를 생성함으로써, 고수준 의미 계획과 저수준 물리 실행 간의 간극을 해소하고 정밀한 회전 및 이동 제어를 가능하게 했습니다.
3. 폐쇄 루프 반성 메커니즘: 실행 피드백을 통해 계획을 반복적으로 정제하는 메커니즘을 도입하여, 복잡한 제약 조건 하에서도 물리적으로 실행 가능한 계획을 도출할 수 있음을 입증했습니다.

4. 실험 결과 (Results)

• 시뮬레이션 평가: 8 가지의 다양한 P&NP 혼합 작업 (정렬, 외적 민첩성 활용, 도구 사용 등) 에서 AdaptPNP 는 기존 방법들 (MPC, RL, MoKA, MolmoAct, OpenVLA 등) 보다 월등히 높은 성공률을 기록했습니다. 특히 긴 시간 계획 (Long-horizon) 이나 복잡한 물리 제약이 필요한 작업에서 기존 방법들은 실패한 반면, AdaptPNP 는 높은 성공률 (예: Box 9/10, Edge 6/10 등) 을 보였습니다.
• 실제 환경 평가: 실제 로봇 (UFactory xArm6) 을 이용한 실험에서도 시뮬레이션과 유사한 성능을 유지하며, Zero-shot 설정에서 경쟁 모델들보다 우수한 성능을 보였습니다.
• 애블레이션 연구:
  • 6D 포즈 제거 시: 2D 포인트 기반 접근법으로 변경하면 회전이나 정밀한 배치 작업에서 성능이 급격히 저하되었습니다.
  • 반성 메커니즘 제거 시: 실행 피드백 없이 한 번에 계획을 수행할 경우, 대부분의 복잡한 작업에서 실패했습니다. 이는 폐쇄 루프 피드백이 물리적 실현 가능성을 보장하는 데 필수적임을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

AdaptPNP 는 로봇이 인간과 유사하게 유연하게 물체를 조작할 수 있는 중요한 단계입니다. 단순히 잡기 (Grasping) 에만 의존하지 않고, 밀기나 회전과 같은 비잡기 기술을 상황에 맞게 동적으로 활용함으로써, 잡기가 불가능한 상황에서도 작업을 완수할 수 있는 능력을 확보했습니다.

이 연구는 **시맨틱 추론 (VLM)**과 **물리적 검증 (디지털 트윈)**을 긴밀하게 결합하고, 실행 피드백을 통한 적응적 재계획을 가능하게 함으로써, 구조화되지 않은 다양한 환경에서 일반 목적의 로봇 조작 능력을 한 단계 발전시켰다는 점에서 의의가 큽니다.