1. 문제 정의 (Problem Definition)

기존의 로봇 조작 (Manipulation) 연구는 주로 강체 (Rigid Body) 의 운동 상태 변화 (잡기, 놓기, 열기, 회전 등) 에 집중해 왔습니다. 이러한 작업은 물체의 위치 (Pose) 변화로 진행 상황을 쉽게 파악할 수 있습니다.

하지만 현실 세계의 많은 작업 (예: 바나나를 으깨기, 빵에 잼 바르기, 오이 썰기) 은 물체의 상태 변화 (Object State Change, OSC) 를 요구합니다.

• 특징: 물체의 위치는 변하지 않더라도, 형태, 질감, 색상 등이 점진적으로 변합니다.
• 어려움:
  1. 표현의 한계: 원시 RGB 이미지에서는 물체의 외관 (Appearance) 과 상태 변화 (State Change) 가 혼재되어 있어, 진행 상황을 파악하고 일반화하기 어렵습니다.
  2. 학습의 한계: 기존 강화학습 (RL) 은 성공 여부에만 기반하는 희소 보상 (Sparse Reward) 을 사용하는 경우가 많아, 미세한 진행 단계를 포착하지 못해 탐험 (Exploration) 이 비효율적입니다. 목표 기반 (Goal-conditioned) 보상도 세밀한 공간적 진행을 놓치는 경향이 있습니다.

이 논문은 이러한 점진적인 상태 변화 작업을 수행할 수 있는 로봇 시스템을 개발하는 것을 목표로 합니다.

2. 방법론 (Methodology: SPARTA)

저자들은 SPARTA (Spatial Progress-Aware Robotic object TransformAtion) 라는 통합 프레임워크를 제안합니다. 이 프레임워크의 핵심은 시각적 공간 진행 (Visual Spatial Progress) 을 인식하는 것입니다.

A. 핵심 아이디어: SPOC (Spatially Progressing Object State Change)

컴퓨터 비전 모델인 SPOC 를 로봇 제어에 통합합니다. SPOC 는 변환 중인 물체를 두 가지 영역으로 분할합니다:

1. Actionable (행동 가능 영역): 아직 변환되지 않아 로봇이 작업해야 하는 부분.
2. Transformed (변환 완료 영역): 이미 작업이 완료된 부분.

이 분할 맵 (Segmentation Map) 은 물체의 외관 (색상, 질감 등) 을 제거하고 진행 상황 (Progress) 만 남기는 구조화된 시각 표현을 제공합니다.

B. 시스템 구성 요소

1. SPOC 어포던스 맵 생성:

   • 실시간 RGB 이미지를 기반으로 물체 마스크를 추출합니다.
   • GPT-4o 와 같은 강력한 비전 - 언어 모델 (VLM) 을 사용하여 물체 내의 특정 영역이 'Actionable'인지 'Transformed'인지 분류합니다.
   • 실시간 처리를 위해 DeAOT 를 활용한 마스크 전파 (Propagation) 기법을 사용하여 프레임당 처리 속도를 높였습니다.

2. 두 가지 정책 변형 (Policy Variants):
   동일한 SPOC 표현을 기반으로 두 가지 다른 제어 방식을 지원합니다.

   • SPARTA-L (Reinforcement Learning):
     • 밀집 보상 (Dense Reward) 설계: 각 단계에서 새로 변환된 영역의 면적 비율을 기반으로 보상을 부여합니다. ($R_{spoc}$)
     • 학습 방식: 시뮬레이션이나 인간 시연 없이, 실제 로봇에서 직접 강화학습 (SAC 알고리즘) 을 수행합니다.
     • 장점: 잡음 (Noise) 이 많고 정밀한 제어가 필요한 작업 (예: 얇은 브러시로 바르기) 에 강합니다.
   • SPARTA-G (Greedy Control):
     • 탐욕적 제어: 현재 위치 주변의 'Actionable' 픽셀 밀도가 가장 높은 방향으로 이동합니다.
     • 학습 방식: 학습이 필요 없는 비모수적 (Non-parametric) 방법입니다.
     • 장점: 대형 대칭 도구를 사용하는 작업 (예: 으깨기) 에서 빠르고 가볍게 배포 가능합니다.

3. 주요 기여 (Key Contributions)

1. 첫 번째 통합 프레임워크: 물체의 운동 상태 변화가 아닌, 물체의 상태 변화 (Mashing, Spreading, Slicing 등) 를 다루는 최초의 통일된 로봇 조작 프레임워크를 제시했습니다.
2. 진행 인식 시각 표현 (Progress-Aware Visual Representation): 물체의 외관 변이를 제거하고 '무엇이 변했는지'와 '무엇이 남아있는지'를 구조적으로 표현하는 SPOC 기반 어포던스 맵을 도입했습니다. 이는 다양한 물체와 작업에 대한 일반화를 가능하게 합니다.
3. 시연 없는 실세계 학습: 시뮬레이션이나 인간 시연 (Demonstration) 없이, 오직 시각적 진행 정보를 기반으로 한 밀집 보상을 통해 실제 로봇에서 효율적으로 정책을 학습할 수 있음을 증명했습니다.
4. 유연한 정책 아키텍처: 하나의 표현 체계로 강화학습 (SPARTA-L) 과 탐욕적 제어 (SPARTA-G) 를 모두 지원하여, 작업의 복잡도에 따라 적절한 제어 방식을 선택할 수 있음을 보였습니다.

4. 실험 결과 (Results)

• 평가 환경: 실제 로봇 (Franka Emika Panda) 을 사용하여 3 가지 작업 (바르기, 으깨기, 썰기) 과 10 가지 다양한 실세계 물체 (과일, 채소, 빵 등) 에서 평가했습니다.
• 비교 대상:
  • Random (무작위 행동)
  • Sparse (이진 성공 보상만 사용)
  • LIV (기존 목표 기반 시각 표현 학습)
• 성능:
  • SPARTA-L과 SPARTA-G는 모든 베이스라인을 압도적으로 능가했습니다.
  • 특히 SPARTA-L은 약 1.5~3 시간의 실세계 온라인 학습만으로 60% 이상의 변환 커버리지를 달성했습니다.
  • SPARTA-G는 으깨기 (Mashing) 작업에서 대칭 도구의 특성상 매우 높은 성능을 보였습니다.
  • SPARTA-L은 바르기 (Spreading) 와 썰기 (Slicing) 작업에서 정밀한 방향 제어가 필요할 때 더 우수한 성능을 발휘했습니다.
• 학습 효율성: 밀집 보상 (Dense Reward) 이 학습 곡선을 안정화시키고 샘플 효율성을 극대화하여, 기존 희소 보상 방법들이 수렴하지 못했던 문제를 해결했습니다.

5. 의의 및 결론 (Significance)

이 논문은 로봇 조작의 패러다임을 강체 운동 (Rigid Motion) 에서 물체 상태 변화 (Object State Change) 로 확장하는 중요한 발걸음입니다.

• 실용성: 요리, 청소, 공예 등 일상생활에서 필수적인 비강체 (Non-rigid) 물체 조작 작업을 로봇이 수행할 수 있는 길을 열었습니다.
• 기술적 혁신: 복잡한 물리적 상호작용을 모델링할 필요 없이, 시각적 진행 정보 (Visual Progress) 만으로도 효율적인 학습과 제어가 가능함을 입증했습니다.
• 미래 방향: 다양한 형태의 물체에 대한 일반화 능력 향상과, 작업 중 발생하는 가림 (Occlusion) 문제를 해결하기 위한 지속적인 연구의 필요성을 제시했습니다.

결론적으로 SPARTA 는 진행 상황을 인식하는 시각적 어포던스가 로봇이 복잡한 상태 변화 작업을 학습하고 수행하는 데 있어 강력한 기반이 될 수 있음을 보여줍니다.