🤖 machine learning

Dynamic Object Masks as Goal Representations for Visual Goal-Conditioned Reinforcement Learning

본 논문은 표준 이미지 처리 또는 사전 학습된 탐지기를 사용하여 객체 불가지론적 시각적 단서를 생성함으로써 특권 상태 정보의 필요성을 제거하는, 시각적 목표 조건부 강화 학습을 위한 동적 객체 마스크 기반 목표 표현을 제안하며, 이를 통해 높은 성공률, 미학습 객체에 대한 강력한 일반화, 그리고 로봇 팔에 대한 성공적인 sim-to-real 전이를 달성한다.

원저자: Fahim Shahriar, Cheryl Wang, Alireza Azimi, Gautham Vasan, Hany Hamed, Abhishek Naik, A. Rupam Mahmood, Colin Bellinger

게시일 2026-08-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Fahim Shahriar, Cheryl Wang, Alireza Azimi, Gautham Vasan, Hany Hamed, Abhishek Naik, A. Rupam Mahmood, Colin Bellinger

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇이 특정 장난감을 집어 올리거나 숨겨진 문을 찾는 것과 같이 새로운 기술을 배우려고 노력하는 상황을 상상해 보세요. 로봇이 학습하기 위해서는 무엇이 성공인지 보여주는 명확한 그림, 즉 '목표(goal)'가 필요합니다. 로봇 공학의 세계에서는 이를 **목표 조건부 강화 학습(Goal-Conditioned Reinforcement Learning)**이라고 부릅니다. 이것은 강아지에게 기술을 가르치는 것과 비슷합니다. 단순히 "착하게 굴어"라고 말하는 대신, "앉아" 또는 "공 가져와"라고 명령하는 것이죠. 로봇은 강아지이고, 목표는 명령입니다.

오랫동안 과학자들은 로봇에게 "팔을 X, Y, Z 좌표로 이동시켜라"와 같이 매우 정밀한 수학적 좌표를 제공하여 가르쳐 왔습니다. 이는 강아지에게 GPS 주소를 알려주는 것과 같습니다. 강아지가 슈퍼컴퓨터급 두뇌를 가졌다면 효과적이겠지만, 빛이 변하고 물체가 움직이는 복잡하고 실제적인 방 안에서는 정확한 주소를 얻기가 어렵습니다. 다른 방법들은 로봇에게 최종 결과의 사진을 보여주기도 했지만, 이는 퍼즐이 어떻게 맞춰지는지 설명하지 않은 채 완성된 퍼즐 사진만 강아지에게 보여주는 것과 같습니다. 큰 의문은 이것입니다: 어떻게 하면 비싸고 완벽한 센서 없이도, 실제 세계에서 작동하는 단순하고 시각적인 '타겟'을 로봇에게 줄 수 있을까?

이 논문은 영리한 시각적 해결책인 **동적 객체 마스크(Dynamic Object Masks)**를 제안합니다. 로봇에게 복잡한 숫자나 미래의 전체 사진을 주는 대신, 연구진은 타겟 물체를 강조하는 단순한 흑백 '스티커' 또는 마스크를 제공합니다. 마치 '마루코 폴로(Marco Polo)' 게임을 할 때, 소리를 지르는 대신 당신이 찾고 있는 사람만을 덮는 빛나는 스티커를 들어 올리는 것과 같습니다. 로봇이 목표에 가까워질수록, 로봇의 '시각 화면' 속 스티커는 점점 커집니다. 멀어지면 스티커는 작아집니다. 이 마스크는 목표(타겟)인 동시에 보상 시스템(스티커의 크기가 로봇이 얼마나 잘하고 있는지를 알려줌)의 역할을 합니다.

연구진은 컴퓨터 시뮬레이션과 실험실의 실제 로봇을 사용하여 이 아이디어를 테스트했습니다. 그들은 이 '스티커' 방식이 믿기지 않을 정도로 효과적이라는 것을 발견했습니다. 시뮬레이션에서 로봇은 전통적인 방식보다 더 빠르고 안정적으로 물체를 향해 손을 뻗는 법을 배웠습니다. 더욱 놀라운 점은, 이를 실제 로봇(구체적으로 Franka Panda 암과 UR10e 암)에 적용했을 때도 시스템이 훌륭하게 작동했다는 것입니다. 로봇은 한 번도 본 적 없는 물체를 향해 손을 뻗는 법을 배웠으며, 훈련된 물체와 새로운 물체 모두에 대해 99%의 성공률을 달ien했습니다.

또한 이 논문은 로봇이 작업을 실제로 끝내기 전에 잘하고 있는지 어떻게 알려줄 것인가라는 까다로운 문제를 다루었습니다. 보통 로봇은 작업이 완전히 끝날 때까지 '잘했다'는 보상을 받지 못하며, 이는 학습 속도를 늦춥니다. 저자들은 마스크의 크기가 지속적인 '진행 표시줄(progress bar)' 역할을 할 수 있다는 것을 발견했습니다. 로봇이 가까워질수록 마스크가 커지며 로봇에게 꾸준한 긍정적 피드백을 제공합니다. 이는 로봇이 물체를 집어 올리는 것과 같은 복잡한 과업을 이전보다 훨씬 빠르게 학습하도록 도왔습니다.

이 연구에서 가장 흥兴奋되는 부분 중 하나는 로보트가 인간의 개별적인 움직임 프로그래밍 없이도 실제 세계에서 처음부터 이러한 기술을 배울 수 있다는 점입니다. 그들은 어떤 물체를 보더라도 이 '스티커'(마스크)를 자동으로 생성할 수 있는 사전 훈련된 AI 모델(Detic 및 Grounding DINO와 같은)을 사용했습니다. 하나의 모델(Grounding DINO)은 실제 환경에서 오작동(false alarms) 문제가 있었지만, 또 다른 모델(Detic)은 매우 뛰어난 성능을 보여주어 로봇이 단 60,000단계(실제 시간으로 약 449분) 만에 배를 향해 손을 뻗는 법을 학습할 수 있게 했습니다.

저자들은 이 접근 방식이 중요한 진전이라고 제안하는데, 그 이유는 이것이 실제의 무질서한 환경에서는 얻기 힘든 '특권 정보(privileged information)', 즉 물체의 정확한 3D 좌표 등에 의존하지 않기 때문입니다. 대신, 어떤 카메라라도 볼 수 있는 단순한 시각적 신호에 의존합니다. 하지만 그들은 또한 시스템의 성공 여부가 객체 탐지기의 품질에 달려 있다는 점도 언급했습니다. 만약 탐지기가 물체를 놓치거나 혼동하면 로봇의 성능은 떨어집니다. 그들이 로봇 공학의 모든 문제를 해결한 것은 아니지만, 단순하고 동적인 시각적 마스크가 실제 세계에서 로봇이 보고 손을 뻗도록 가르치는 강력하고 유연한 도구임을 보여주었습니다.

기술 요약: 시각적 목표 조건부 강화 학습을 위한 목표 표현으로서의 동적 객체 마스크

문제 정의

목표 조건부 강화 학습(Goal-Conditioned Reinforcement Learning, GCRL)은 로봇이 다양한 과업을 해결할 수 있는 통합된 프레임워크를 제공하지만, 현재의 방식들은 실제 환경 배포에 있어 상당한 장벽에 직면해 있습니다. 대부분의 기존 접근 방식은 벡터화된 3D 위치, 방향 또는 미래 관측 이미지와 같은 "특권적(privileged)" 목표 표현에 의존합니다. 창고, 농업 또는 실험실과 같은 실질적인 환경에서 로봇은 이러한 특권적 상태, 정밀한 객체 좌표 또는 미래의 관측값에 접근할 수 있는 경우가 드뭅니다. 또한, 3D 목표 위치를 얻는 것은 전문적인 깊이 카메라와 복잡한 프로세싱(예: 특징점 매칭)을 요구하며, 이는 조명, 반사율, 거리와 같은 환경적 요인에 민감합니다.

VAE로 인코딩된 이미지 기반 표현이나 CLIP 임베딩과 같은 텍ền 기반 표현이 대안이 될 수 있지만, 저자들은 이러한 방식들이 에이전트가 새로운 타겟으로 일반화하는 능력을 제한한다고 주장합니다. 또한, GCRL은 에이전트가 과업 완료 시에만 피드백을 받는 "희소 보상(sparse reward)" 문제에 직면하며, 이는 샘플 효율성을 저하시킵니다. 밀집 보상(dense rewards, 예: 목표까지의 거리)이 흔히 사용되지만, 이는 지역 최적점(local optima) 문제를 야기할 수 있으며 여전히 계산하기 어려운 3D 메트릭에 의존합니다.

방법론

본 논문은 시각 기반 내비게이션 및 조작을 위해 설계된 **동적 객체 마스크 기반 목표 표현(Dynamic Object Mask-based Goal Representation)**과 그에 상응하는 마스크 기반 보상 시스템을 제안합니다.

1. 동적 목표 표현

정적인 목표 이미지나 벡터화된 좌표 대신, 이 방법은 매 타임스텝마다 업데이트되는 이진 마스크를 활용합니다.

생성: 각 타임스텝 $t$ $t$ 에서 카메라 이미지 $I_{cam}^t$ $I_{c am}^{t}$ 로부터 마스크 $m_t$ $m_{t}$ 가 생성됩니다. 이는 다음을 통해 수행될 수 있습니다:
- 시뮬레이션에서의 특권적 위치 정보.
- 사전 학습된 오픈 보캐블러리 객체 탐지기 (예: Detic, Grounding DINO).
- 단순한 색상/형태 필터링.
입력 통합: 마스크는 카메라 이미지에 새로운 채널로 추가됩니다. 시간적 역동성을 포착하기 위해 시스템은 현재 및 이전 두 개의 마스크 이미지를 스택으로 쌓습니다 ( $I_t = [I'_t, I'_{t-1}, I'_{t-2}]_C$ ). 결과적으로 12채널 입력(3 RGB + 3 마스크 채널 $\times$ 3 프레임)이 생성됩니다.
객체 불가지론적 특성(Object-Agnostic Nature): 마스크는 특정 객체 클래스에 대한 지식 없이도 공간적 단서를 제공하여, 보지 못한 객체에 대한 일반화를 용이하게 합니다.

2. 마스크 기반 보상 공식화

3D 거리 계산에 의존하지 않고 희소 보상 문제를 해결하기 위해, 저자들은 타겟 마스크의 크기를 밀집 보상 신호로 사용하는 방안을 제안합니다.

메커니즘: 로봇이 (자기 중심적 시야에서) 타겟에 접근함에 따라, 타겟 객체가 카메라 프레임 내에서 차지하는 픽셀 수가 늘어나며 활성화된 마스크의 면적이 증가합니다.
계산:
1. 마스크 내 활성화된 픽셀의 정규화된 비율( $R'$ )을 계산합니다.
2. 스케일링된 시그모이드 함수를 적용합니다: $R_{mask} = \frac{2}{1 + e^{-10 R'}} - 1$ .
3. 이 스케일링은 로봇이 타겟에서 멀리 있을 때(작은 마스크 크기) 피드백을 증폭시켜, 초기 학습 단계에서 더 강력한 그래디언트 신호를 제공합니다.
관심 영역(Region of Interest, ROI): 집기(grasping) 과업의 경우, 타겟 마스크가 그리퍼의 ROI 내에 있을 때만 보상을 계산하여, 단순히 근접하는 것이 아니라 집기를 위한 적절한 정렬을 유도합니다.

3. 학습 아키텍처

이 방법은 두 가지 표준 RL 알고 알고리즘으로 평가됩니다:

Soft Actor-Critic (SAC): 대부분의 실험(시뮬레이션 내 Franka 및 UR10e)에 사용되었습니다. 픽셀 기반 학습을 안정화하기 위해 랜덤 시프트, 앙상블 Q-네트워크, 가중치 클리핑 등의 개선 사항이 포함되었습니다.
Proximal Policy Optimization (PPO): UR10e의 Sim-to-Real 전이를 위해 사용되었습니다. 시뮬레이션 이미지와 실제 세계의 이미지를 혼합하여 시각적 도메인 변화를 완화하는 새로운 **이미지 보간 기술(image interpolation technique)**이 도입되었습니다.

주요 기여

목표 표현으로서의 객체 마스킹: 시각 기반 GCRL에서 동적이고 객체 불가지론적인 마스크를 주요 목표 조건화 전략으로 도입하여, 특권적 3D 상태 정보의 필요성을 제거했습니다.
마스크 기반 밀집 보상: 유클리드 거리를 계산하거나 깊이 센서에 의존하지 않고도 밀집 피드백을 제공하는 새로운 보상 신호를 도출했습니다.
시각적 Pick-and-Place: ROI 기반 마스크를 사용하여 집기 정렬을 유도함으로써 복잡한 집기 과업 학습을 입증했습니다.
실제 환경 검증: 사전 학습된 오픈 보캐블러리 탐지기(Detic, Grounding DINO)를 사용하여 Sim-to-Real 전이(UR10e) 및 제로 베이스 학습(Franka Panda) 과업에서 성공적으로 배치되었습니다.

실험 결과

저자들은 세 가지 시뮬레이션 환경(Franka-MuJoCo, UR10e-MuJoCo, Create3-Isaac Sim)과 두 가지 실제 환경에서 접근 방식을 평가했습니다.

학습 효율성: 시뮬레이션에서 마스크 기반 에이전트는 원-핫 인코딩, CLIP 임베딩, 타겟 상태 이미지보다 더 빠른 수렴을 달ras했습니다. 또한 도달(reaching) 과업에서 3D 위치 기반 에이전트와 대등한 성능을 보였습니다.
일반화: 마스크 기반 에이전트는 시뮬레이션 내에서 훈련된 객체와 새로운(보지 못한) 객체 모두에 대해 99.9%의 평균 도달 정확도를 달성하여, 3D 위치 기반 베이스라인(훈련 98.9%, 테스트 98.8%)을 능가했습니다.
보상 비교: 마스크 기반 보상 시스템은 거리 기반 밀집 보상과 유사한 성능을 보였으나, 더 높은 학습 안정성을 입증했습니다.
복잡한 과업: 집기 과업에서 마스크 기반 GC 및 보상을 사용한 11개 시드 중 9개가 90% 이상의 성공률을 기록한 반면, 3D 위치 기반 GC 및 거리 보상을 사용한 경우는 11개 중 2개만이 성공했습니다. 마스크 기반 접근 방식은 팔이 집기를 위해 타겟과 정렬하도록 성공적으로 유도했습니다.
실제 환경 성능:
- Sim-to-Real (UR10e): Grounding DINO를 사용하여, 시스템은 인-디스트리뷰션(in-distribution) 객체에 대해 96%의 성공률을, 아웃-오브-디스트리뷰션(out-of-distribution) 객체에 대해 **92%**의 성공률을 달성했으며, 시뮬레이션으로부터의 유의미한 성능 저하가 없었습니다.
- 제로 베이스 학습 (Franka): Detic을 사용하여 에이전트는 60,000 스텝 만에 최적의 도달 정책을 학습했습니다. 시스템은 움직이는 보지 못한 객체(플라스틱 바나나)를 성공적으로 추적하여 강건함을 입증했습니다. 참고: Grounding DINO는 오탐(false positives)으로 인해 Franka 제로 베이스 학습 과업에서 어려움을 겪었으며, 이는 탐지기 품질에 대한 의존성을 보여줍니다.

의의 및 주장

본 논문은 동적 객체 마스크가 실제 로봇 공학을 위한 단순하고 효과적이며 실용적인 특권 상태 표현의 대안을 제공한다고 주장합니다. 3D 위치 추정 및 전문화된 깊이 센서에 대한 의존성을 제거함으로써, 이 접근 방식은 구조화되지 않은 환경에 GCRL을 배포하는 데 드는 진입 장벽을 낮춥니다.

저자들은 이 방법이 보지 못한 객체에 대한 강력한 일반화를 가능하게 하며, 물리적 로봇에서 제로 베이스 학습을 지원한다고 강조합니다. 또한 마스크 크기 보상을 거리 기반 셰이핑(shaping)에서 흔히 발생하는 지역 최적점 문제를 피할 수 있는 유효한 솔루션으로 제시합니다. 시스템의 성능은 기초가 되는 객체 탐지기의 품질에 따라 제한될 수 있으나, 저자들은 탐지기가 교체 가능한 구성 요소이므로 프레임워크가 오픈 보캐블러리 탐지 모델의 발전에 직접적인 혜득을 입는다고 언급했습니다.

결론적으로, 이 접근 방식은 로봇이 타겟을 향해 이동하는 **자기 중심적 과업(egocentric tasks)**에 특히 효과적입니다. 마스크가 자연스럽게 크기를 키우면서 지속적인 진행 신호를 제공하기 때문입니다.