💻 computer science

Self Supervised Learning from Automatically Generated Demonstrations for Visual Robotic Manipulation

본 논문은 시뮬레이션에서 자동 생성된 데모를 활용하여 손목 장착형 RGB 이미지로부터 상대 포즈 보정을 수행하는 컨볼루션 네트워크를 학습시킴으로써, UR5e 로봇이 시뮬레이션과 실제 환경 모두에서 설정 노력을 줄이고 평면 정확도를 향상시켜 성공적인 파지(grasp)를 달성할 수 있게 하는 자기 지도 방식의 시각적 조작 방법을 제시한다.

원저자: Andres Rivas, Anselmo R. Cukla, Rodrigo S. Guerra, Bruna V. Guterres, Ricardo B. Grando

게시일 2026-08-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Andres Rivas, Anselmo R. Cukla, Rodrigo S. Guerra, Bruna V. Guterres, Ricardo B. Grando

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 커피 머그컵을 집는 법을 가르치는 상황을 상상해 보십시오. 과거에는 엔지니어들이 수천 줄의 코드를 작성하고, 머그컵의 정확한 모양을 측정하며, 로봇의 눈을 레이저 수준의 정밀도로 보정해야 했습니다. 그것은 마치 누군가에게 자전거 타는 법을 가르치면서, 그냥 올라타서 비틀거려 보라고 하는 대신 타이어 공기압과 공기역학에 관한 매뉴얼을 건네주는 것과 같았습니다. 이 때문에 로봇은 공장 업무에는 뛰어났지만, 우리 집처럼 무질서하고 예측 불가능한 환경을 다루는 데는 서툴렀습니다.

최근 과학자들은 더 나은 방법을 발견했습니다: 바로 "시연으로부터의 학습(Learning from Demonstration)"입니다. 모든 동작을 코딩하는 대신, 인간이 로봇에게 어떻게 하는지 보여주면 로봇이 그것을 보고 배우는 방식입니다. 하지만 문제가 있습니다. 인간이 로봇의 팔을 물리적으로 유도하거나 조이스틱으로 제어하게 하는 것은 느리고, 지루하며, 규모를 키우기 어렵습니다. 만약 로봇이 스스로 학습할 수 있다면 어떨까요? 만약 로봇이 물체를 보고, 어디를 잡아야 할지 추측하고, 자신이 약간 빗나갔음을 깨달은 뒤, 제대로 될 때까지 자신의 실수를 반복해서 수정하며 연습할 수 있다면 어떨까요? 이것이 바로 "자기 지도 학습(Self-Supervised Learning)"의 최전선입니다. 여기서 로봇은 인간이 손을 잡아줄 필요 없이, 스스로 연습 문제를 만들어내며 학생이자 스승의 역할을 동시에 수행합니다.

이 논문은 로봇이 정확히 그렇게 수행하는 영리한 새로운 방법을 소개합니다. 연구진은 손목에 카메라가 달린 로봇이 자동으로 자신만의 "시연(demonstrations)"을 생성하는 시스템을 구축했습니다. 인간이 물체를 잡는 법을 보여주는 대신, 로봇은 무작위 지점에서 시작하여 물체를 바라본 뒤 완벽한 파지 위치로 이동합니다. 그리고 이 움직임을 하나의 교훈으로 기록합니다: "물체를 이런 방식으로 보았을 때, 목표물에 도달하기 위해 저런 방향으로 움직여야 했다." 다양한 물체를 대상으로 이 과정을 수천 번 반복함으로써, 로봇은 단 하나의 인간 레이블이나 복잡한 카메라 보정 없이도 방대한 양의 "이미지-투-무브(image-to-move)" 교훈 라이브러리를 구축합니다.

연구팀은 이 아이디어를 두 가지 방식으로 테스트했습니다. 첫째, 그들은 'Isaac Sim'이라는 고성능 비디오 게임 시뮬레이션에서 실행했습니다. 그들은 로봇이 물체에 대략적으로 접근한 다음 위치를 미세 조정하도록 가르쳤습니다. 결과는 유망했습니다: 로봇의 최종 조준은 훨씬 더 정교해졌습니다. 시뮬레이션에서 로봇이 멈춘 지점의 "퍼짐(spread)"(완벽한 지점에서 얼마나 벗어났는지)은 미세 조정 단계를 거친 후 9.69mm에서 5.38mm로 줄어들었습니다. 이는 마치 다트가 과녁 근처에 떨어지는 수준에서 과녁의 정중앙을 맞히는 수준으로 발전한 것과 같았습니다.

다음으로, 그들은 그리퍼와 표준 USB 카메라가 장착된 UR5e 로봇 팔을 사용하여 실제 환경에서 이 시스템을 테스트했습니다. 그들은 카메라를 보정하기 위해 특수한 자나 레이저 가이드를 사용하지 않았으며, 로봇은 단순히 찍은 사진으로부터 학습했습니다. 그들은 서로 다른 모양과 질감을 가진 세 가지 물리적 물체를 대상으로 테스트했습니다. 로봇은 물체를 회전시키지 않고 잡으려고 시도했으며, 한 물체에 대해서는 66.6%, 다른 물체에 대해서는 63.6%의 성공률을 보였습니다. 여기에 물체를 회전시켜 로봇이 새로운 각도에서 물체를 인식해야 하는 변수를 추가했을 때, 성공률은 떨어졌지만(각각 36.4%와 55.5%), 로봇은 여전히 가끔씩 물체를 잡는 데 성공했습니다.

이 논문은 이 자기 학습 방식이 평평한 표면에서 로봇이 가까이 접근하고 조준을 정교화하는 데는 효과적이지만, 물체의 깊이를 예측(depth prediction)하는 데는 여전히 다소 어려움을 겪으며 물체가 이상한 방향으로 돌아가 있을 때 혼란을 느낀다는 점을 시사합니다. 그러나 핵심 아이디어는 유효합니다: 로봇은 값비싼 인간 교사나 완벽한 실험실 설정 없이도 시각적 조작을 배우기 위해 스스로 훈련 데이터를 생성할 수 있습니다. 이는 로봇이 어지러운 탁자를 보고 컵을 어떻게 잡을지 스스로 판단하며, 인간이 규칙을 써줄 필요 없이 자신의 실수로부터 배울 수 있는 시대를 향한 한 걸음입니다.

기술 요약: 자동 생성된 데몬스트레이션을 활용한 자기 지도 학습 기반 시각적 로봇 조작

문제 정의
비정형 또는 동적 환경에서의 로봇 조작은 객체별 프로그래밍, 수동 데이터 어노테이션, 그리고 정밀하게 교정된 인지 파이프라인에 대한 의존성 때문에 여전히 어려운 과제로 남아 있습니다. 모방 학습(Learning from Demonstration, LfD)은 직접적인 대안을 제공하지만, 전통적인 방식은 시간이 많이 소요되는 인간의 텔레오퍼레이션(teleoperation)이나 키네스틱 티칭(kinesthetic teaching)에 의존하는 경우가 많습니다. 또한, 기존의 많은 시각적 조작 시스템은 명시적인 카메라-로봇 외부 파라미터 교정(extrinsic calibration)을 필요로 하며, 이는 배포 과정을 복잡하게 만듭니다. 본 논문은 데몬스트레이션 수집을 자동화하고, 수동 라벨링을 제거하며, 명시적인 교정 없이도 실세계에서의 견고함을 유지할 수 있는 방법론의 필요성을 다룹니다.

방법론
제안된 프레임워크는 ROS 2를 기반으로 구축된 자기 지도 학습 파이프라인이며, Isaac Sim과 실제 UR5e 협동 로봇 모두에서 검증되었습니다. 핵심 접근 방식은 로봇이 타겟 포즈( $P_0$ ) 주변에서 자동으로 데몬스트레이션을 생성하여, 손목에 장착된 단안 RGB 이미지로부터 상대적인 포즈 보정값을 직접 학습하도록 하는 것입니다.

자동 데이터 생성: 인간의 텔레오퍼레이션 대신, "로봇 커맨더(Robot Commander)" 노드가 참조 포즈 주변의 사전 정의된 궤적을 따라 로봇을 이동시킵니다. 캡처된 모든 RGB 이미지에 대해, 시스템은 tf2를 사용하여 타겟 포즈( $P_0$ )로 돌아가기 위해 필요한 상대적 변환을 계산합니다. 이를 통해 수동 어노테이션이나 명시적인 카메라 교정 없이도 라벨링된 이미지-포즈 쌍을 생성합니다.
데이터셋 복잡도: 서로 다른 기하학적 구조를 가진 세 가지 물리적 객체에 대해 별도의 데이터셋이 생성되었습니다. 데이터 수집에는 난이도를 점진적으로 높이기 위해 네 가지 궤적 패밀리가 사용되었습니다:
- 2-DOF (평면): x-y 평면상의 지그재그 운동.
- 3-DOF (평면 + 회전): 평면 운동 및 평면 내 회전.
- 3-DOF (원뿔): 거친 접근을 위한 수직 변위와 평면 위치의 결합.
- 4-DOF (원뿔 + 회전): 수직 변위와 평면 내 회전의 결합.
시각 정책 학습: 단일 프레임 RGB 관측으로부터 상대적 포즈 보정값(3개의 병진 값 및 4개 구성 요소의 쿼터니언)을 회귀하기 위해 컨볼루션 신경망(Johns [1]의 아키텍처를 따름)을 훈련시킵니다. 손실 함수는 병진 정확도를 우선시하도록 가중치가 부여된 MSE(Mean Squared Error)를 결합합니다 ( $L = MSE_{trans} + 0.01 \cdot MSE_{rot}$ ).
Coarse-to-Fine 제어 전략: 실행 시, 시스템은 두 단계의 컨트롤러를 채택합니다:
- Coarse Approach (거친 접근): 원뿔 기반(3D) 데이터로 훈련된 모델을 사용하여 다양한 높이에서 객체로 접근합니다.
- Planar Refinement (평면 정밀화): 평면 데이터로 훈련된 모델을 사용하여 x-y 평면에서의 최종 정렬을 미세 조정합니다.

주요 기여
본 논문은 네 가지 주요 기여를 설명합니다:

자기 지도 데이터 수집: 수동 라벨링이나 인간의 개입 없이 로봇이 자동으로 데몬스트레이션과 유사한 이미지-포즈 쌍을 생성하는 방법입니다.
교정 불필요 시각 정책: 명시적인 카메라-로봇 외부 파라미터 교정을 요구하지 않고 단안 RGB 관측으로부터 상대적 포즈 보정을 예측하는 학습 모델입니다.
Coarse-to-Fine 제어: 3D 접근과 평면 정밀화를 분리하여 폐루프 실행 시 최종 정렬을 개선하는 전략입니다.
실세계 검증: 그리퍼와 단안 카메라가 장착된 UR5e 로봇을 사용하여 다양한 외관을 가진 여러 물리적 객체에 대해 종합적인 평가를 수행했습니다.

결과
프레임워크는 시뮬레이션과 실제 하드웨어에서 세 가지 서로 다른 객체를 대상으로 평가되었습니다.

시뮬레이션: Coarse-to-fine 전략은 최종 평면 분산을 성공적으로 감소시켰습니다. 최종 위치를 둘러싼 원의 반지름은 coarse 단계 후 9.69 mm에서 refinement 단계 후 5.38 mm로 감소했습니다. 그러나 깊이 예측은 여전히 어려운 과제였으며, 3D 구(sphere)의 반지름은 33.39 mm에서 31.55 mm로만 감소하였고, 일부 궤적에서는 불안정한 높이 추정이 나타났습니다.
실세계 실험: 시스템은 엔드 투 엔드(end-to-end) 파지 시도를 수행했습니다. 성공률은 객체와 조건에 따라 달랐습니다:
- 객체 회전이 없는 경우: 객체 1은 66.6%, 객체 2는 **63.6%**의 성공률을 달 기록했습니다. 객체 3은 **35.2%**로 더 낮은 성공률을 보였습니다.
- 객체 회전이 있는 경우: 전반적으로 성능이 저하되었습니다. 객체 1은 **36.4%**로 떨어졌고, 객체 2는 **55.5%**로 가장 높은 비율을 유지했습니다. 객체 3은 **25.0%**로 하락했습니다.
- 결과는 시스템이 어느 정도의 변동에는 견고하지만, 성능은 객체 의존적이며 객체의 방향이 훈련 분포에서 크게 벗어날 때 저하됨을 나타냅니다.

의의 및 주장
저자들은 자동으로 생성된 데몬스트레이션이 수동 어노테이션과 명시적인 교정의 필요성을 효과적으로 제거하여, 적은 설정 노력으로 실용적인 시각적 조작을 지원할 수 있다고 주장합니다. 본 연구는 자기 지도 데몬스트레이션 생성이 시뮬레이션 또는 저차원 환경에서 실세계의 폐루프 파지 검증을 포함한 시각적 조작으로 확장될 수 있음을 보여줍니다.

그러나 논문은 한계점에 대해 겸허한 어조를 유지합니다. 이 방법이 여전히 깊이 예측, 객체 기하학, 그리고 객체 회전에 민감하다는 점을 인정합니다. 저자들은 이 접근 방식이 실용적인 조작에는 유효하지만, 향후 연구에서 깊이 추정 문제(RGB-D 또는 스테레오 센싱을 통한 해결 가능성)를 해결하고 다양한 객체 방향에 대한 일반화 능력을 개선해야 한다고 결론짓습니다. 이 논문은 모든 일반화 문제를 해결했다고 주장하는 것이 아니라, 시각적 조작 작업을 설정하는 데 드는 엔지니어링 노력을 줄이는 기능적인 파이프라인을 제시하는 데 목적이 있습니다.

기술 요약: 자동 생성된 데몬스트레이션을 활용한 자기 지도 학습 기반 시각적 로봇 조작

유사한 논문