💻 computer science

Collision-Aware Humanoid Whole-Body Control under Imperfect Tracking Targets

이 논문은 불완전한 추적 조건 하에서 작동하는 휴머노이드를 위해 외부 장면 기하학을 통합하여 목표 추적과 충돌 회피 사이의 동적 균형을 맞춤으로써 기존의 전신 제어기를 향상시키는 로봇-환경 교차 주의력 계층인 RECAL을 소개한다.

원저자: Mohitvishnu S. Gadde, Ashish Malik, Pranay Dugar, Aayam Kumar Shrestha, Alan Fern

게시일 2026-09-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Mohitvishnu S. Gadde, Ashish Malik, Pranay Dugar, Aayam Kumar Shrestha, Alan Fern

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

휴머노이드 로봇은 사람들이 하는 것과 매우 유사하게, 복잡한 방을 통과하고, 장애물을 넘고, 선반 위의 물건에 손을 뻗는 등 세상을 탐색하도록 설계되었습니다. 이를 실현하기 위해 엔지니어들은 로봇의 내부 균형 및 조정 센터 역할을 하는 중앙 제어 시스템을 사용합니다. 이 시스템은 "앞으로 걸어가라" 또는 "저 컵을 향해 손을 뻗어라"와 같은 고차원적인 명령을 받아 로봇 관절의 구체적인 근육 움직임으로 변환합니다. 그러나 로사적인 문제로, 로봇이 주변 환경을 인지하는 방식에는 상당한 격차가 존재합니다. 제어 시스템은 균형을 유지하고 경로를 따르는 데는 탁월하지만, 물리적 기하학 구조에는 종종 "눈이 먼" 상태입니다. 로봇은 어디로 가야 하는지는 알지만, 무엇이 길을 가로막고 있는지는 본질적으로 알지 못합니다. 만약 인간 작업자나 계획 알고리즘이 로봇을 벽이나 좁은 문으로 직접 인도하는 명령을 내리면, 로봇은 그 명령을 문자 그대로 따르려 시도하며 결국 충돌하게 됩니다. 이러한 한계는 완벽한 명령을 보장하기 어려운 복잡한 실제 환경에 이 기계들을 배치하는 것을 어렵게 만듭니다.

오리건 주립 대학교의 연구진은 이 문제를 해결하기 위해 로봇의 뇌와 근육 사이에 위치하는 새로운 안전 계층을 만드는 새로운 접근 방식을 개발했습니다. 그들은 이 시스템을 RECAL(Robot–Environment Cross-Attention Layer, 로봇-환경 교차 주의 계층)이라고 부릅니다. 연구팀은 기존의 컨트롤러를 처음부터 다시 구축하는 대신, 균형은 잘 잡지만 장애물에는 눈이 먼 기존의 검증된 컨트롤러 위에 이 새로운 시스템을 덧씌웠습니다. 이 새로운 계층은 실시간 필터 역할을 합니다. 이 시스템은 로봇의 의도된 경로와 벽, 가구, 그리고 로봇 자신의 몸을 나타내는 점들의 구름(point cloud)으로 세상을 보는 로봇의 카메라로부터 얻은 원시 데이터를 가져옵니다. 로봇의 위치와 로봇이 들고 있는 물체를 주변 기하학적 구조와 비교함으로써, 시스템은 계획된 움직임이 충돌을 일으킬 것인지 감지할 수 있습니다. 충돌이 임박하면, 시스템은 명령이 근육에 도달하기 전에 미묘하게 조정하여, 원래의 목표를 달성하면서도 로봇을 위험으로부터 약간 멀어지도록 유도합니다.

이 혁신의 핵심은 로봇이 특정 순간에 가장 중요한 환경의 특정 부분에 집중할 수 있게 하는 '주의(attention)' 방식입니다. 로봇의 무릎, 팔꿈치, 그리고 로봇이 운반하는 상자의 모서리에 가상의 센서가 배치되어 있다고 상상해 보십시오. 이 센서들은 주변 환경에 "내 근처에 무엇이 있는가?"라고 끊임없이 묻습니다. 그런 다음 시스템은 수학적 과정을 사용하여 주변의 장애물과 로봇의 의도된 경로 사이의 중요도를 가중치로 계산합니다. 로봇이 문을 통과하고 있다면, 어깨에 있는 센서가 손에 닿을 듯한 벽을 감지하고 컨트롤러에 균형을 왼쪽으로 약간 이동시키라고 요청할 수 있습니다. 만약 로봇이 큰 상자를 들고 있다면, 시스템은 그 상자의 부피까지 인식 범위를 확장하여 로봇의 몸뿐만 아니라 전체 화물이 장애물을 통과할 수 있도록 보장합니다. 이 모든 과정은 순식간에 일어나므로, 로봇이 멈춰서 재계산하는 대신 유동적이고 연속적인 조정을 할 수 있게 합니다.

이 시스템이 이러한 찰나의 결정을 내리는 법을 배우도록 하기 위해, 연구진은 '교사-학생 증류(teacher-student distillation)'라고 불리는 기술을 사용했습니다. 그들은 먼저 시뮬레이션된 세계에서 모든 장애물의 정확한 위치와 같은 완벽하고 특권적인 정보에 접근할 수 있는 '교사(teacher)' 버전의 컨트롤러를 만들었습니다. 이 교사는 미래를 볼 수 있었고, 충돌을 피하기 위해 명령을 어떻게 수정해야 하는지 정확히 알고 있었습니다. 연구진은 그다음, 실제 로봇이 사용하는 것과 동일한 제한된 카메라 및 센서 데이터만을 사용하는 '학생(student)' 버전의 시스템을 훈련시켜 교사의 행동을 모방하도록 했습니다. 학생은 교사가 수행할 안전한 조정을 예측하는 법을 배웠으며, 결과적으로 완벽한 데이터 없이도 교사의 눈을 통해 세상을 보는 법을 효과적으로 익혔습니다. 이를 통해 시스템은 시뮬레이션 환경에서 복잡한 회피 전략을 학습하고, 그 지식을 실제 물리적 로봇에 전이할 수 있었습니다.

연구팀은 혼잡한 방을 통과하기, 상자 운반하기, 제자리에 서서 선반의 물건에 손 뻗기 등 다양한 도전적인 시나리오에서 이 시스템을 테스트했습니다. 그들은 새로운 시스템을 기존의 "눈먼" 컨트롤러 및 다른 기술을 사용하여 환경을 이해하려고 시도했던 다른 방법들과 비교했습니다. 결과는 새로운 시스템이 충돌을 피하는 데 훨씬 더 성공적임을 보여주었습니다. 기존 컨트롤러가 시도의 절반 이상에서 충돌했던 어려운 테스트에서, 새로운 시스템은 90% 이상의 경우에서 충돌을 피하는 데 성공했습니다. 결정적으로, 이 시스템은 의도된 경로를 따르는 능력을 희생하지 않으면서도 이를 해냈습니다. 경로가 확보되었을 때 로봇은 명령대로 정확히 움직였습니다. 경로가 막혔을 때 로봇은 안전을 위해 약간 벗어났으며, 장애물을 지나면 다시 원래의 경로로 돌아왔습니다.

연구진은 또한 이러한 충돌의 물리적 충격도 측정했습니다. 기존 컨트롤러가 충돌했을 때는 특히 로봇의 몸통과 골반에 상당한 힘으로 부딪히는 경우가 많았습니다. 반면, 새로운 시스템은 이러한 충격을 극적으로 줄였습니다. 가장 어려운 테스트에서 새로운 시스템은 로봇의 주요 본체와의 강한 충돌을 거의 제거했으며, 환경과의 가벼운 스침 정도만 남겼습니다. 이는 시스템이 단순히 충돌을 피하는 것이 아니라, 덜컥거리거나 당황하는 모습이 아닌 자연스럽고 통제된 방식으로 수행하고 있음을 시사합니다. 연구팀은 시뮬레이션에서 배운 교훈이 물리적 세계에도 적용될 수 있음을 입증하기 위해, 'Digit V3'라는 실제 휴머노이드 로봇에 이 시스템을 적용하여 결과를 추가로 검증했습니다. 깊이 카메라를 장착한 이 로봇은 실제 세계의 장애물을 성공적으로 통과하고, 물체를 운반하며, 좁은 공간에서 물건에 손을 뻗는 모습을 보여주었습니다.

이 시스템이 모든 상황에 대한 완벽한 해결책은 아니라는 점을 연구진은 언급했습니다. 현재 버전은 지면이 평평하고 장애물이 정지해 있다고 가정하므로, 움직이는 사람이나 울퉁불퉁한 지형에서는 어려움을 겪을 수 있습니다. 또한, 모든 표면을 만져도 되는 것이라거나 어떤 물체는 움직일 수 있다는 점을 이해하지 못한 채, 모든 장애물을 피해야 할 대상으로만 취급합니다. 더욱이, 시스템은 카메라 데이터의 품질에 의존합니다. 만약 로봇이 장애물 뒤에 있거나 사각지대에 있어 장애물을 볼 수 없다면, 시스템은 충돌을 방지할 수 없습니다. 그럼에도 불구하고, 이 연구는 휴머노이드 로봇을 더 안전하고 적응력 있게 만드는 강력한 새로운 방법을 보여줍니다. 기존 컨트롤러에 기하학적 인지 능력을 추가함으로써, 연구진은 로봇을 완전히 새로 설계할 필요 없이도 인간의 환경처럼 복잡하고 예측 불가능한 세상을 항해할 수 있음을 보여주었습니다.

기술 요약: 불완전한 추적 타겟 환경에서의 충돌 인지형 휴머노이드 전신 제어

문제 정의

휴머노이드 로봇은 일반적으로 고수준 모션 타겟(원격 조종, 플래너 또는 학습된 기술에서 유래)을 균형을 유지하면서 모터 명령으로 변환하기 위해 전신 제어기(Whole-Body Controller, WBC)에 의존합니다. 그러나 표준 WBC는 장면의 기하학적 구조를 인지하지 못하는 "맹목적인(blind)" 상태입니다. 상위 시스템의 타겟이 불완전할 경우(인식 오류, 계획 근사치 또는 원격 조종의 부정확함 등), 이러한 명령을 복잡한 환경에서 그대로 추적하면 로봇 본체, 들고 있는 물체 및 장애물 간의 의도치 않은 충돌이 발생할 수 있습니다.

기존 방식들은 상당한 트레이드오프에 직면해 있습니다: 고전적인 최적화 기반 방식(예: 퍼텐셜 필드, 제약 최적화)은 해석 가능하지만 모델링 복잡성으로 인해 고차원의 접촉이 빈번한 장면에 확장하기 어렵습니다. 반대로, 학습 기반 제어기는 로봇 본체와 들고 있는 물체 모두에 대한 명시적인 충돌 회피를 제공하지 못하고, 이동(locomotion)이나 정지 상태의 도달(reaching) 중 하나에만 집중하는 경향이 있습니다. 부유 기반 이동(floating-base locomotion), 말단 장치(end-effector) 추적, 그리고 복잡한 환경 내 로봇과 조작 대상 물체 모두에 대한 충돌 회피를 공동으로 해결하는 프레임워크가 부족한 실정입니다.

방법론: RECAL

저자들은 기존의 "맹목적인" WBC를 감싸는 학습된 제어 레이어인 RECAL(Robot–Environment Cross-Attention Layer)을 제안합니다. RECAL은 외부 장면의 기하학적 정보를 사용하여, 기존 WBC를 재학습시키지 않고도 타겟 추적과 충돌 회피 사이의 절충안을 찾아 WBC의 입력 명령을 적응시킵니다.

아키텍처

기본 제어기 (Base Controller): 시스템은 사전 학습된 마스크드 휴머노이드 제어기(Masked Humanoid Controller, MHC)를 기본 WBC로 사용합니다. 이 제어기는 견고하고 시뮬레이션-실제 전이(sim-to-real transfer) 능력이 뛰어나지만, 기하학적 인지 능력은 결여되어 있습니다.
기하학 인코더 (Geometry Encoder): RECAL은 자가 중심 비전과 고유 수용 감각으로부터 얻은 포인트 클라우드로 환경, 로봇 본체, 그리고 들고 있는 물체를 표현합니다.
- 쿼리 포인트 (Query Points): 고정된 37개의 쿼리 포인트( $M=37$ $M = 37$ )가 사용되며, 다음과 같이 나뉩니다:
  - 순방향 기구학(forward kinematics)을 통해 도출된 13개의 해부학적 신체 키포인트(몸통, 팔, 다리).
  - 양손으로 운반하는 물체를 나타내는 육면체 프록시의 8개 모서리.
  - 들고 있는 물체의 점유 부피를 나타내는 16개의 핸드-오브젝트 쿼리(엔드 이펙터당 8개 모서리).
- 교차 주의 (Cross-Attention): 인코더는 환경 포인트 클라우드를 특징(feature)으로 매핑합니다. 그 후 로봇과 물체 쿼리 포인트는 멀티 헤드 교차 주의 메커니즘을 통해 환경 특징에 어텐션을 수행합니다. 이를 통해 각 쿼리에 대해 국소적이고 기하학을 인지하는 특징을 생성하며, 이는 특정 로봇/물체 부위와 인근 장애물 간의 관계를 인코딩합니다.
명령 어댑터 (Command Adapter): 압축된 기하학적 특징은 고유 수용 상태 및 원래의 타겟 명령과 결합됩니다. 이 벡터는 2층 LSTM 정책에 의해 처리되어 수정된 명령( $\hat{c}_t$ )을 출력합니다. 순환 상태(recurrent state)는 시간에 따른 보정을 부드럽게 하고 간헐적인 관측을 보완하는 데 도움을 줍니다.
학습 (교사-학생 증류, Teacher-Student Distillation):
- 교사 (Teachers): 완벽한 기하학적 정보에 접근할 수 있는 시뮬레이션 환경에서 두 가지 특권 있는 교사가 학습됩니다:
  - 이동 및 물체 운반을 위한 해석적 교사(analytic teacher): CBF(Control Barrier Function) 스타일의 안전 필터링을 사용하여 명령을 장애물로부터 멀어지도록 투영합니다.
  - 정지 상태 도달을 위한 순환 PPO 정책: 가구와의 접촉을 피하면서 엔드 이펙터 타겟을 추적하도록 학습됩니다.
- 학생 (Student): RECAL 학생은 오직 관측 가능한 입력(고유 수용 감각 및 자가 중심 포인트 클라우드)만을 사용하여 교사의 수정된 명령을 모방하도록 학습됩니다. 손실 함수는 Huber 손실을 사용하며, 교사가 기본 명령을 편향시키거나 엔드 이펙터를 장애물로부터 멀어지게 하는 등의 '교정 이벤트'가 발생할 때 가중치를 높여 적용합니다.

주요 기여

프레임워크: 부유 기반 및 엔드 이펙터 타겟을 추적하는 동시에 환경, 로봇 본체, 그리고 들고 있는 물체와의 충돌을 회피하는 충돌 인지형 휴머노이드 WBC 프레임워크를 제시합니다.
아키텍처: 로봇과 들고 있는 물체의 포인트를 환경 포인트 클라우드에 대한 쿼리로 사용하여 맹목적인 WBC를 위한 충돌 인지형 명령을 생성하는 RECAL(Robot–Environment Cross-Attention Layer)을 도입합니다.
검증: 다양한 로코-매니퓰레이션(loco-manipulation) 시나리오에서 RECL이 안전하지 않은 명령으로부터 벗어나 충돌을 회피하면서도 타겟 추적 동작을 회복할 수 있음을 시뮬레이션 및 실제 로봇 검증을 통해 종합적으로 입증했습니다.

실험 결과

시스템은 다섯 가지 작업 유형(적응형 팔 이동, 고정형 팔 이동, 물체 운반, 정지 상태 도달, 물체를 들고 도달)에 대해 세 가지 난이도(Easy, Medium, Hard)에서 시뮬레이션 평가를 거쳤습니다.

충돌 없는 성공률 (Collision-Free Success, CF): RECAL은 맹목적인 WBC보다 성능이 월등히 높습니다. 예를 들어, "Medium" 난이도의 적응형 팔 이동에서 RECL은 0.93의 CF를 달-성하여, 맹목적인 WBC의 0.38 및 특권 있는 교사의 0.97에 근접했습니다.
추적 편차 (Tracking Deviation, Dev): RECL은 안전한 궤적에서는 낮은 추적 편차를 유지합니다. 안전하지 않은 명령에는 편차를 보이지만, 충돌 위험이 없을 때는 맹목적인 WBC와 유사한 수준의 추적 성능을 보존합니다.
베이스라인과의 비교:
- PointNet: 글로벌 장면 인코더 베이스라인은 쉬운 작업에서는 경쟁력 있는 성능을 보였으나, 좁고 어려운 공간(예: 어려운 난이도의 적응형 팔 이동에서 RECL 0.91 대비 0.65)에서는 성능이 크게 저하되었습니다. 이는 글로벌 특징이 미세한 충돌 추론에는 불충분함을 시사합니다.
- Voxel: 복셀 기반 인코더는 훨씬 낮은 성능을 보였는데, 이는 글로벌 임베딩으로부터 로봇-환경 관계를 간접적으로 학습하는 것이 어렵기 때문인 것으로 보입니다.
힘 분석 (Force Analysis): RECL은 심각한 몸체 충돌을 거의 제거하여, 맹목적인 WBC 및 PointNet 베이스라인에 비해 평균 충돌력을 크게 감소시켰습니다.
실제 로봇 전이 (Real-Robot Transfer): 정책은 물리적인 Digit V3 휴머노이드 로봇에 성공적으로 배포되었습니다. 온보드 깊이 카메라와 순방향 기구학을 사용하여, RECL은 원격 조종 명령을 실시간으로 적응시켜 로봇이 장애물을 통과하고 선반 안으로 손을 뻗으면서도 안정적인 전신 동작을 유지하며 항해할 수 있게 했습니다.

의의 및 주장

본 논문은 RECL이 상위 시스템으로부터 완벽하고 충돌 없는 궤적을 생성할 필요 없이, 맹목적인 WBC가 복잡한 환경에서 안전하게 작동할 수 있도록 하는 견고한 솔루션을 제공한다고 주장합니다. 고수준 타겟을 가이드로 취급하고 기하학적 갈등을 제어 레벨에서 해결함으로써, RECL은 원격 조종자와 플래너가 더욱 견고하게 운영될 수 있도록 합니다.

저자들은 RECL의 교차 주의 아키텍처가 글로벌 인코더(PointNet)나 그리드 기반 인코더(Voxel)보다 이 작업에 더 우수한 귀납적 편향(inductive bias)을 제공한다고 강조하며, 이는 장면의 기하학을 특정 로봇 및 물체 부위에 명시적으로 결합하기 때문입니다. 또한, 하나의 학생 정책이 이동, 물체 운반, 정지 상태 조작 작업 전반에 걸쳐 일반화될 수 있음을 보여줍니다.

인정된 한계점:
저자들은 RE-CAL이 현재 정적이고 평평한 지면 환경을 가정하며, 제한된 각도 범위를 가진 자가 중심 깊이 정보를 사용한다는 점(잠재적으로 머리 위나 뒤쪽의 장애물을 놓칠 수 있음)을 언급했습니다. 또한, 이 방식은 인지된 기하학을 엄격한 금지 구역으로 취급하므로, 의도적인 접촉, 의미론적 표면 차이, 또는 움직이는 장애물에 대해 추론할 수 없습니다. 마지막으로, 학습된 동작은 증류에 사용된 특권 있는 교사의 능력에 종속되며, 충돌 없는 실행이 불가능한 상황에 대한 불가능성 신호(infeasibility signal)를 아직 발행하지 못합니다.