🤖 AI

AxisGuide: Grounding Robot Action Coordinate System in RGB Observations for Robust Visuomotor Manipulation

이 논문은 시각적 이해와 저수준 동작 실행 사이의 간극을 메우기 위해 RGB 관측 내에 로봇 베이스 프레임 기준 동작 좌표를 명시적으로 시각화함으로써 시각-운동 조작 정책의 강건성과 일반화 능력을 향상시키는 경량 방법인 AxisGuide를 소개한다.

원저자: Jiyun Jang, Yujin Sung, Woosung Joung, Daewon Chae, Sangwon Lee, Sohwi Kim, Jinkyu Kim, Jungbeom Lee

게시일 2026-06-08

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiyun Jang, Yujin Sung, Woosung Joung, Daewon Chae, Sangwon Lee, Sohwi Kim, Jinkyu Kim, Jungbeom Lee

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 그릇을 집는 법을 가르친다고 상상해 보세요. 당신은 로봇이 테이블 위의 정확히 같은 위치에서 그릇을 집어 올리는 영상 1,000개를 보여주었습니다. 로봇은 그 패턴을 완벽하게 학습했습니다. 하지만 당신이 그릇을 왼쪽으로 몇 인치만 옮기는 순간, 로봇은 멈춰버리거나 엉뚱한 것을 잡습니다.

왜 이런 일이 발생할까요? AxisGuide라는 논문에 따르면, 이는 로봇이 "멍청해서" 혹은 그릇이 무엇인지 이해하지 못해서가 아닙니다. 로봇이 우리와 같은 방식으로 방향을 이해하지 못하기 때문입니다.

문제점: "눈먼" 로봇

대부분의 현대적인 로로봇은 카메라(RGB 이미지)를 통해 세상을 봅니다. 그들은 픽셀을 봅니다. 움직여야 할 때, 그들은 그 픽셀들을 물리적인 움직임으로 변환해야 합니다: "앞으로 이동", "위로 이동", "왼쪽으로 회전".

로봇의 뇌 속에서 "앞으로(Forward)"는 특정한 수학적 좌표(이를 +X라고 부릅시다)입니다. 하지만 카메라의 사진 속에서 "앞으로"는 카메라가 어디를 향하고 있느냐에 따라 다르게 보입니다.

만약 카메라가 로봇의 손목에 달려 있다면, "앞으로"는 사진 속에서 아래로 움직이는 것처럼 보일 수 있습니다.
만약 카메라가 벽에 달려 있다면, "앞으로"는 오른쪽으로 움직이는 것처럼 보일 수 있습니다.

이 논문은 현재의 로봇들이 지도는 외웠지만 나침반은 이해하지 못하는 학생과 같다고 주장합니다. 그들은 "영상 속에서 로봇이 그릇을 잡기 위해 아래로 움직였다"는 것은 알지만, "사진 속의 아래쪽"이 실제 세상에서는 "앞으로 이동"하는 것을 의미한다는 사실은 이해하지 못합니다. 그래서 그릇이 새로운 위치로 이동하면, 로봇은 새로운 방향을 계산하는 대신 예전의 픽셀 움직임(아래로 이동)을 반복하려고 시ãy도 하고, 결국 실패합니다.

해결책: AxisGuide (더 "컴퍼스 오버레이")

저자들은 AxisGuide라는 간단한 해결책을 만들었습니다. 이것을 로봇의 카메라 화면 위에 직접 그려진 투명한 나침반이라고 생각하면 됩니다.

작동 방식은 다음과 같습니다:

설정: 로봇은 자신의 카메라 설정과 자신의 손(그리퍼)이 3D 공간의 어디에 있는지 알고 있습니다.
마법의 기술: 로봇이 사진을 보기 전에, 시스템은 로봇의 손이 있는 위치에서 시작하는 세 개의 작은 유색 화살표를 이미지 위에 바로 그립니다:
- 빨간색 화살표: 이 특정 사진에서 정확히 "오른쪽으로 이동(+X)"하는 것이 어떻게 보이는지 보여줍니다.
- 초록색 화살표: "앞으로 이동(+Y)"하는 것이 어떻게 보이는지 보여줍니다.
- 파란색 화살표: "위로 이동(+Z)"하는 것이 어떻게 보이는지 보여줍니다.
결과: 로봇은 단순히 그릇을 보는 것이 아니라, 그릇과 함께 "실제 세상에서 오른쪽으로 가고 싶다면, 이 빨간 화살표 방향으로 조이스틱을 밀어야 한다"라고 알려주는 시각적 가이드를 함께 보게 됩니다.

비유: GPS를 이용한 운전 vs 지도를 이용한 운전

AxisGuide가 없을 때: 정적인 지도를 가지고 새로운 도시에서 운전하는 것과 같습니다. 도로 구조가 약간만 바뀌어도, 머릿속의 그림과 도로를 맞추려다 보니 혼란에 빠집니다.
AxisGuide가 있을 때: 자동차 앞 유리에 현재 방향을 가리키는 거대하고 빛나는 화살표가 그려진 GPS를 가진 것과 같습니다. 설령 거리가 다르더라도, 화살표는 현재 방향을 기준으로 "여기서 우회전하세요"라고 알려줍니다.

논문의 연구 결과

연구진은 컴퓨터 시뮬레이션과 실제 로봇이 있는 실험실 모두에서 이를 테스트했습니다.

테스트: 로봇이 한 번도 본 적 없는 장소로 물체를 이동시켰습니다.
기존 방식: 로봇은 새로운 지점에 도달하기 위해 팔을 어떻게 움직여야 할지 파악하지 못해 자주 실패했습니다.
AxisGuide 방식: 로봇은 훨씬 더 자주 성공했습니다. "컴퍼스 화살표"가 화면에 바로 있었기 때문에, 로봇은 즉시 "아, 그릇이 저기에 있으니 나는 빨간 화살표 방향으로 움직여야 하는구나"라고 이해할 수 있었습니다.

이것이 중요한 이유

이 논문은 이것이 가볍고 간단한 추가 사항이라고 주장합니다. 로봇을 더 똑똑하게 만들거나 더 강력한 컴퓨터를 필요로 하지 않습니다. 단지 로봇에게 "도로의 규칙"(좌표계)을 시각적으로 보여주기만 하면 됩니다.

"앞으로 이동"이라는 보이지 않는 수학을 이미지 속에 보이게 만듦으로써, 로봇은 추측하는 것을 멈추고 3D 공간에서 자신의 몸을 어떻게 움직여야 하는지 이해하기 시작하며, 이를 통해 사물이 예상했던 곳에 있지 않더라도 훨씬 더 안정적으로 작동하게 됩니다.

기술 요약: AxisGuide

문제 정의

최근 대규모 행동 복제(Behavior Cloning) 및 시각-언어-행동(VLA) 모델을 활용하는 시각-운동 조작 정책은 강력한 의미론적 장면 이해력을 보여주었습니다. 그러나 의미론적 이해와 신뢰할 수 있는 저수준 행동 실행 사이에는 여전히 결정적인 간극이 존재하며, 특히 분포 변화(distribution shifts) 상황에서 이 문제가 두드러집니다. 동일한 장면 레이아웃, 카메라 시점, 조명 조건에서도 물체가 보지 못한 위치에 놓일 경우 성능이 크게 저하됩니다.

저자들은 이러한 실패가 **불충분한 행동 이해(insufficient action understanding)**에서 기인한다고 주장합니다. 즉, 정책이 이미지 공간 내에서 로봇의 베이스 프레임(base-frame) 행동 좌표계를 해석하는 능력이 부족하다는 것입니다. 표준 RGB 관측값과 고유 수용 감각(proprioceptive) 상태는 일반적으로 행동 좌표계(예: "+x" 또는 "+z" 움직임이 픽셀 상에서 어떻게 보이는지)를 시각적으로 명시해 주는 참조점을 제공하지 않습니다. 결과적으로, 정책은 기하학적 관계를 학습하기보다는 이미지와 벡터 간의 대응 관계를 암기하는 방식으로 퇴화하게 됩니다. 이는 타겟 물체가 이동할 때 새로운 말단 장치(end-effector) 상대 변위를 올바르게 구성하지 못하게 만들어 일반화 성능을 떨어뜨립니다.

방법론: AxisGuide

의미론적 이해와 행동 좌표계 해석 사이의 간극을 메우기 위해, 저자들은 로봇의 행동 좌표계를 RGB 관측값에 명시적으로 접지(grounding)하는 경량 가이드 방법인 AxisGuide를 제안합니다.

핵심 메커니즘

AxisGuide는 추가적인 채널을 사용하여 로봇의 행동 차원(+x, +y, +z)이 이미지 공간에서 갖는 의미를 시각화함으로써 표준 RGB 관측을 보강합니다.

축 투영 (Projection of Axes): 알려진 카메라 내부 파라미터(intrinsics)와 외부 파라미터(extrinsics), 그리고 현재 말단 장치(EEF) 포즈를 사용하여 로봇의 베이스 프레임 축을 2D 이미지 평면에 투영합니다.
시각적 단서 (Visual Cues): 각 카메라 뷰에 대해, 투영된 EEF 위치에서 시작되는 세 개의 방향 벡터를 렌더링합니다. 이 벡터들은 로봇 베이스 프레임의 $x, y, z$ 축을 따르는 단위 이동(unit translations)에 해당합니다.
표현 (Representation): 이 벡터들은 3채널 이미지( $A_t \in \mathbb{R}^{3 \times H \times W}$ )로 인코딩되며, 여기서 빨강, 초록, 파랑 채널은 각각 $x, y, z$ 방향을 나타냅니다.
통합 (Integration): 이 단서 이미지는 원본 RGB 이미지 위에 겹쳐 그리는 방식이 아니라, 채널 방향으로 결합(concatenation)됩니다(뷰당 입력 채널이 3에서 6으로 증가). 이는 원본의 외형 분포를 보존하면서 정책이 활용할 수 있는 분리된 전용 채널을 제공합니다.
정책 학습 (Policy Learning): 정책(예: Diffusion Policy 또는 SmolVLA)은 이 보강된 관측 공간을 통해 표준 행동 복제로 학습됩니다. 시각적 백본의 첫 번째 컨볼루션 레이어는 단순히 증가된 채널 차원을 수용하도록 조정됩니다.

주요 설계 선택

저자들은 효과적인 표현을 위한 세 가지 중요한 설계 선택 사항을 식별했습니다.

주입 (Injection): 겹쳐 그리는 방식보다 채널별 결합이 선호되는데, 이는 중요한 시각적 세부 사항의 가려짐(occlusion)을 방지하기 때문입니다.
위치 선정 (Positioning): 단서를 고정된 중앙 정렬 위치가 아닌, 말단 장치(EEF)에 정렬된 위치에 배치하는 것이 더 우수합니다. 이는 현재 상호작용 지점과 관련된 행동 중심적 참조를 제공하기 때문입니다.
정규화 (Normalization): 투영된 벡터를 단위 방향으로 정규화함으로써 깊이 및 카메라 기하학에 의한 스케일 변화를 제거하고, 정책이 방향적 의미론에 집중할 수 있도록 합니다.

주요 기여

문제 식별: 본 논문은 분포 변화 상황에서 시각-운동 정책의 일반화 성능을 저해하는 주요 원인으로 "행동 좌표계 이해"의 부재를 정의하고 식별했습니다.
AxisGuide 제안: 깊이 센서, 추가적인 지도 학습(supervision), 또는 주요 구조적 변경 없이 RGB 이미지에 행동 좌표계에 대한 명시적 참조를 주입하는 단순하고 효과적인 솔루션을 제안합니다.
실증적 검증: 시뮬레이션(LIBERO 벤치마크)과 실제 환경 모두에서 다양한 카메라 구성(단일 뷰 및 다중 뷰)에 걸쳐 일관된 성능 향상과 개선된 일반화 능력을 입증했습니다.

실험 결과

저자들은 여러 작업에 대해 Diffusion Policy (DP) 및 SmolVLA를 포함한 베이스라인과 AxisGuide를 비교 평가했습니다.

보지 못한 위치에 대한 일반화: 무작위 물체 배치가 적용된 "Pick Up" 작업에서 AxisGuide는 보지 못한 위치에서의 성공률을 크게 향상시켰습니다.
- 시뮬레이션: 성공률이 52.38%에서 65.71%로 증가했습니다 (+13.33%p).
- 실제 환경: 성공률이 30.12%에서 50.00%로 증가했습니다 (+19.88%p).
단일 작업 성능: LIBERO 시뮬레이션에서 AxisGuide는 모든 작업(Pick & Place, Drawer, Stove)에서 성공률을 개선했으며, Pick & Place에서 가장 큰 폭의 향상(+13.34%p)을 보였습니다. 실제 환경의 단일 뷰 설정에서도 Pick & Place(+10.00%p)와 Flip Pot(+13.35%p)에서 성능 향상이 관찰되었습니다.
다중 작업 성능: LIBERO 스위트의 10개 작업에 SmolVLA를 적용했을 때, AxisGuide는 Frozen-backbone 및 Fully-trained 베이스라인을 모두 일관되게 능가하며 LIBERO-Object 스위트에서 +7.5%의 이득을 보였습니다.
베이스라인과의 비교: AxisGuide는 장면 수준의 공간 관계에 집중하지만 로봇의 행동 좌표계를 명시적으로 접지하지 못하는 TraceVLA(모션 트레이스)나 AimBot(레티클) 같은 다른 시각적 단서 방법들보다 우수한 성능을 보였습니다.
강건성: 이 방법은 캘리브레이션 오류(외부 및 내부 파라미터 섭동)에 대한 강건성을 입증하였으며, 노이즈가 주입된 상황에서도 베이스라인보다 높은 성능을 유지했습니다.

의의 및 주장

본 논문은 AxisGuide가 행동 좌표계를 픽셀 공간에 명시적으로 만듦으로써 의미론적 장면 이해와 행동 실행 사이의 간극을 효과적으로 메운다고 주장합니다. 저자들은 다음을 강조합니다:

시각-운동 정책이 일반화에 어려움을 겪는 이유는 의미론적 이해가 부족해서가 아니라, 새로운 공간적 구성에서 고수준의 의도를 저수준의 베이스 프레임 행동으로 매핑하는 데 실패하기 때문입니다.
행동 좌표계를 명시적으로 시각화하면 타겟이 이동할 때 말단 장치의 움직임을 더 안정적으로 적응시킬 수 있어, 견고하고 전이 가능한 범용 정책을 구축할 수 있습니다.
이 접근 방식은 복잡한 구조적 변경이나 깊이 정보에 의존하지 않는 가볍고 모델 불가지론적(model-agnostic)인 개선책을 제공하며, 광범위한 기존 시각-운동 파이프라인에 적용 가능합니다.

저자들은 한계점도 인정했는데, 이 방법이 카메라 파라미터에 접근해야 한다는 점(비록 이는 흔히 사용 가능하거나 추정 가능하지만)과 좌표 접지만으로는 파지(grasping)와 같은 접촉이 빈번한 단계에서의 모든 오류를 해결할 수 없다는 점을 언급했습니다. 이들은 향-후 연구로서 이러한 발견을 DROID와 같은 거대하고 다양한 데이터셋으로 확장하는 것을 제안합니다.