💻 computer science

Approach to Robust Visual Relocalization for Humanoid Robots via Mixture-of-Experts with Hierarchical Distillation

본 논문은 급격한 시점 변화 및 자기 가림과 같은 까다로운 조건에서도 정확하고 안정적이며 효율적인 6-DoF 포즈 추정을 달성하기 위해, 전문가 혼합(Mixture-of-Experts) 구조와 계층적 지식 증류를 통합한 휴머노이드 로봇용 강건한 시각적 재위치 추정 프레임워크를 제안한다.

원저자: Shichu Sun, Jingwen Luo

게시일 2026-09-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shichu Sun, Jingwen Luo

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인간의 균형 감각과 움직임을 모방하며 두 다리로 걷는 로봇을 상상해 보십시오. 이러한 기계가 현실 세계를 항해하기 위해서는 자신이 어디에 있는지, 그리고 어떻게 방향을 잡고 있는지를 끊임없이 알아야 하며, 이 작업은 '시각적 재국지화(visual relocalization)'라고 알려져 있습니다. 로봇은 카메라에 의존하여 세상을 바라보고, 익숙한 형태와 질감을 인식하며, 공간 속 자신의 위치를 계산합니다. 하지만 이 과정은 매우 취약합니다. 로봇이 머리를 빠르게 돌리거나, 사람이 렌즈 앞을 지나가거나, 조명이 밝은 햇빛에서 깊은 그림자로 변할 때 로봇은 쉽게 길을 잃을 수 있습니다. 전통적인 방식은 극도로 높은 정확성과 속도 사이의 균란을 맞추는 데 어려움을 겪는 경우가 많으며, 특히 제한된 컴퓨팅 능력을 갖추고 무겁고 느린 프로세서를 탑로서 가질 수 없는 로봇에게는 더욱 그렇습니다.

운남사범대학교(Yunnan Normal University)의 연구진은 이 문제를 해결하기 위해 새로운 접근 방식을 개발하여, 휴머노이드 로봇이 혼란스러운 환경에서도 안정적으로 길을 찾을 수 있는 시스템을 만들었습니다. 최근 발표된 연구에 따르면, 그들의 작업은 로봇의 '두뇌'가 똑똑하면서도 효율적이도록 가르치는 데 초점을 맞추고 있습니다. 그들은 두 가지 고급 개념을 결합함으로써 이를 달于했습니다. 하나는 로봇이 서로 다른 장면마다 서로 다른 정신적 전략을 선택할 수 있게 하는 방법이고, 다른 하나는 복잡하고 강력한 모델을 지적 능력을 잃지 않으면서 더 작고 빠른 버전으로 축소하는 기술입니다. 그 결과, 연구진은 KUAVO-4pro라는 이름의 로봇이 실내 복도와 야외 공간을 센티미터 단위의 정밀도로 항해할 수 있도록 돕는 시스템을 만들어냈으며, 주변 환경이 급격하게 변하더라도 균형과 방향을 유지할 수 있게 했습니다.

연구진이 해결한 핵심 과제는 단 하나의 경직된 규칙 세트로는 현실 세계의 다양성을 처리할 수 없다는 점입니다. 매끄럽고 반복되는 벽이 있는 복도는 모퉁이와 물건이 많은 복잡한 사무실과는 매우 다르게 보입니다. 기존의 시스템은 모든 상황을 처리하기 위해 하나의 거대한 모델을 사용하려고 시도하는 경우가 많았는데, 이는 모델을 느리게 만들고 장면이 바뀔 때 오류를 일으키기 쉬웠습니다. 새로운 프레임워크는 '전문가 혼합(mixture of experts)'이라는 개념을 도입합니다. 하나의 거대한 뇌에 의존하는 대신, 이 시스템은 특화된 하위 네트워크, 즉 '전문가'들의 집합을 사용합니다. 로봇이 장면을 바라볼 때, 작은 의사 결정 게이트가 해당 시야에 가장 적합한 전문가를 자동으로 선택합니다. 만약 로봇이 질감이 풍부한 모퉁이를 본다면, 세부 사항을 인식하는 데 뛰어난 전문가를 활성화할 수 있습니다. 만약 긴 빈 벽을 본다면, 직선을 이해하는 데 더 나은 전문가로 전환할 수 있습니다. 이를 통해 로봇은 모든 가능성을 한꺼번에 처리할 필요 없이, 적재적절한 도구를 사용하여 실시간으로 사고를 조정할 수 있습니다.

이 시스템을 배터리와 컴퓨팅 능력이 제한된 로봇에 실용적으로 적용하기 위해, 연구진은 두 번째 난관에 부딪혔습니다. 이 '전문가 혼합' 시스템의 가장 강력한 버전은 로봇에서 직접 실행하기에는 너무 크다는 점이었습니다. 이를 해결하기 위해 그들은 '계층적 증류(hierarchical distillation)'라고 불리는 기술을 채택했습니다. 이 과정에서 그들은 먼저 모든 까다로운 시나리오를 완벽하게 처리할 수 있는 크고 복합적인 '교사(teacher)' 모델을 훈련시켰습니다. 그런 다음, 교사 모델을 흉내 내는 훨씬 작고 가벼운 '학생(student)' 모델을 훈련시켰습니다. 그러나 그들은 단순히 학생에게 최종 정답만을 복사하라고 요구하지 않았습니다. 대신, 학생에게 교사의 내부 사고 과정을 복사하도록 가르쳤습니다. 학생은 교사가 어떤 전문가를 사용할지 결정하는 방식, 이미지를 어떻게 해석하는지, 그리고 3D 구조를 이해하기 위해 점과 선을 어떻게 연결하는지를 배웠습니다. 이러한 내부 단계들을 일치시킴으로써, 작은 학생 모델은 교사의 견고함과 지능을 물려받아 실사용이 가능할 만큼 정확하면서도 빠르게 구동될 수 있을 만큼 작아졌습니다.

연구진은 다양한 도전적인 시나리오를 사용하여 시스템을 테스트했습니다. 질감이 약하거나, 심한 조명 변화가 있거나, 움직이는 물체가 포함된 공개 데이터셋을 활용하여 시뮬레이션을 수행했습니다. 이 테스트에서 시스템은 이전 방식들을 지속적으로 능가했으며, 로봇의 시야가 부분적으로 가려지거나 조명이 급격히 변할 때도 높은 정확도를 유지했습니다. 연구팀은 또한 키가 1.66미터인 KUAVO-4pro 휴머노이드 로봇을 사용하여 실제 실험을 진행했습니다. 그들은 반복적인 패턴과 특징이 부족하여 로봇을 혼란스럽게 만드는 것으로 알려진 실내 환경과 긴 복도를 통해 로봇을 안내했습니다. 로봇은 이러한 공간을 성공적으로 항해했으며, 추정 경로가 실제 경로와 매우 근접하게 유지되었습니다. 실내 테스트에서 평균 오차는 약 2.1센티미터였으며, 어려운 복도에서도 오차는 통제 가능한 범위 내에 머물렀고 결코 통제 불능 상태로 치닫지 않았습니다.

연구의 주요 발견 중 하나는 이 시스템이 서로 다른 유형의 환경 사이의 전환을 얼마나 잘 처리했는가 하는 점이었습니다. 로봇이 밝고 트인 구역에서 어둑한 구석으로 이동하거나, 사람이 카메라 앞을 지나갈 때, 시스템은 당황하거나 위치를 놓치지 않았습니다. 모델 내의 특화된 전문가들이 부드럽게 활성화 및 비활성화되어 로봇의 주변 환경 이해가 안정적으로 유지되도록 했습니다. 원래 교사 모델보다 파라미터 수가 약 70% 적은 작은 학생 모델은 거의 대등한 성능을 보여주었습니다. 이는 증류 과정이 거대 모델의 복잡한 기하학적 추론 능력을 컴팩트한 패키지로 성공적으로 전달했음을 입증했습니다. 로봇은 약 33밀리초 만에 위치를 계산할 수 있었는데, 이는 걷는 휴머노이드의 빠른 움직임을 따라잡기에 충분한 속도였습니다.

이러한 접근 방식의 성공은 역동적이고 구조화되지 않은 인간의 환경에서 작동해야 하는 자율 로봇을 위한 실행 가능한 경로를 제시합니다. 다양한 전문가를 선택하는 유연성과 증류된 학생 모델의 효율성을 결합함으로써, 연구진은 속도를 위해 정확도를 희생하지 않아도 되는 시스템을 만들어냈습니다. 이제 로봇은 갑작스러운 그림자부터 움직이는 사람에 이르기까지 현실 세계의 예측 불가능성을 다룰 수 있으며, 등에 슈퍼컴퓨터를 짊어질 필요도 없습니다. 연구진은 향-후 연구에서 안정성을 더욱 높이기 위해 자이로스코프와 같은 다른 센서의 데이터를 추가할 수 있다고 언급했지만, 현재의 연구는 로봇이 가벼우면서도 매우 신뢰할 수 있다는 것을 보여줍니다. 이는 기계가 시야가 가려지거나 길이 불분명할 때조차도 인간이 가진 것과 같은 자신감과 적응력을 가지고 우리 세계를 누빌 수 있다는 것을 보여주는 중요한 진전입니다.

기술 요약: 계층적 증류를 결합한 MoE 기반 휴머노이드 로봇의 강건한 시각적 재위치 추정 접근 방식

1. 문제 정의

시각적 재위치 추정(Visual relocalization)은 휴머노이드 로봇이 안정적인 환경 인지와 자율 행동을 달라는 데 매우 중요합니다. 그러나 휴머노이드 로봇은 다음과 같은 고유한 과제들로 인해 이 작업이 복잡해집니다:

동적 움직임(Dynamic Motion): 부유 기저(Floating base)와 다자유도(22-DoF) 구조는 단기적인 위치 및 자세 변화를 유발하며, 이는 회전 점프, 블러링(Blurring), 시야(FoV) 변화로 이어집니다.
자기 가림(Self-Occlusion): 팔과 손의 움직임이 카메라 시야에 빈번하게 들어와 부분적인 폐쇄와 불안정한 특징 분포를 유발합니다.
환경적 가변성(Environmental Variability): 운영 환경(복도, 장비실, 실외 등)은 종종 약한 질감, 반복적인 구조, 급격한 조명 변화를 특징으로 하며, 이는 단일 특징 기반 방식의 성능을 저하시킵니다.
자원 제약(Resource Constraints): 온보드 프로세싱 유닛은 제한된 계산 능력, 메모리 및 에너지를 가지므로, 복잡한 최적화나 대규모 네트워크가 제공할 수 없는 실시간 성능을 필요로 합니다.

기존 방법들은 이러한 요소들 사이의 균형을 맞추는 데 어려움을 겪습니다. 기하학 기반 방식은 저질감 장면에서 실패하고, 순수 회귀 모델은 기하학적 제약이 부족하며, 검색 기반 방식은 외형 드리프트(Appearance drift) 문제를 겪습니다. 또한, 혼합 전문가(Mixture-of-Experts, MoE)가 적응성을 제공하기는 하지만, 종종 높은 계산 비용을 초래하며, 표준 지식 증류(Knowledge distillation)는 기하학적 회귀 작업에서 MoE 모델의 특정 구조적 및 라우팅 동작을 보존하는 데 실패합니다.

2. 방법론

저자들은 점-선 장면 좌표 매핑(Point-Line Scene Coordinate Mapping, PL2Map) 네트워크와 소프트-혼합 전문가(Soft-Mixture-of-Experts, Soft-MoE) 아키텍처, 그리고 전문가 선택 인식 계층적 증류(Expert Selection-Aware Hierarchical Distillation, ESHD) 전략을 통합한 프레임워크를 제안합니다.

2.1 특징 추출 및 인코딩

프런트엔드(Frontend): 시스템은 키포인트 추출을 위해 SuperPoint를, 선분 검출을 위해 DeepLSD를 사용합니다.
통합 표현(Unified Representation): 선분은 등간격 점들로 이산화됩니다. 점과 선의 디스크립터는 학습 가능한 선형 매핑을 통해 통일된 기하학적 공간으로 매핑되어, 차원적으로 일관된 이종 특징을 생성합니다.

2.2 MoE-Attentional GNN 아키텍처

다양한 기하학적 패턴을 처리하기 위해, PL2Map 네트워크의 중간 특징 공간에 희소 게이팅(Sparse gating)을 갖춘 Soft-MoE 모듈이 삽osa됩니다.

조건부 라우팅(Conditional Routing): 게이팅 네트워크는 입력 특징을 기반으로 $E=4$ 개의 전문가 서브 네트워크에 대한 선택 확률을 계산합니다. 이를 통해 모델은 특정 기하학적 또는 의미적 패턴(예: 질감이 밀집된 영역 vs 구조 중심 영역)에 특화된 전문가에게 계산량을 동적으로 할당할 수 있습니다.
기하학적 상호작용(Geometric Interaction): MoE의 출력은 "self–cross–self–cross–self" 토폴로지를 가진 **어텐션 그래프 신경망(Attentional GNN)**에 의해 처리됩니다. 이는 셀프 어텐션과 크로스 어텐션 메커니즘을 통해 점-점 및 점-선 간의 기하학적 관계를 명시적으로 모델링하여 구조적 인지 능력을 강화합니다.

2.3 장면 좌표 회귀

네트워크는 강화된 특징으로부터 점과 선 끝점의 3D 장면 좌표를 회귀합니다.

손실 함수(Loss Functions): 훈련에는 3D 좌표 회귀 손실, 불확실성 정규화(약한 질감 영역에서의 신뢰도를 낮추기 위함), 그리고 명시적인 **점-선 재투영 오차(Point-line reprojection error)**의 조합이 사용됩니다. 재투영 손실은 예측된 3D 좌표를 2D 이미지 평면으로 다시 투영함으로써 기하학적 일관성을 강제합니다.
추론(Inference): 최종 6-DoF 카메라 포즈는 예측된 2D-3D 대응 관계를 사용하는 RANSAC 기반의 PnP 솔버를 통해 복구됩니다.

2.4 전문가 선택 인식 계층적 증류 (ESHD)

자원이 제한된 로봇에 무거운 MoE 교사(Teacher) 모델을 배포하기 위해, 가벼운 학생(Student) 모델이 ESHD를 사용하여 훈련됩니다. 표준 증류와 달리, ESHD는 세 가지 수준에서 학생 모델을 교사 모델과 정렬합니다:

특징 수준(Feature-Level): MSE와 코사인 유사도의 가중 조합을 사용하여 3D 점-선 출력 및 기하학적 디스크립터를 정렬합니다.
게이트 수준(Gate-Level): 학생 네트워크 내의 경량 게이팅 헤드가 젠슨-샤논 발산(Jensen-Shannon divergence)을 사용하여 교사의 전문가 선택 확률(라우팅 분포)을 모방하도록 훈련됩니다. 이는 전체 MoE 구조의 계산 비용 없이 전문가 선택의 "행동적 사전 지식(Behavioral prior)"을 전달합니다.
힌트 수준(Hint-Level, 계층적): 교사의 기하학적 인지와 컨텍스트 모델링 능력을 보존하기 위해 주요 의미적 깊이(입력 특징 및 post-GNN 상호작용)에서의 중간 은닉 특징을 정렬합니다.

3. 주요 기여

PL2Map 프레임워크: 점과 선 특징을 결합하여 다양한 환경 조건에서도 재위치 추정의 정확도와 강건성을 높이는 통합 점-선 장면 좌표 매핑 프레임워크를 제안합니다.
희소 게이팅을 갖춘 Soft-MoE: 중간 기하학적 특징 공간 내에 Soft-MoE를 구축하여, 고정된 계산 예산 내에서 서로 다른 장면 구조에 적응적으로 대응할 수 있는 조건부 라우팅을 가능하게 합니다.
ESHD 메커니즘: 특징, 라우팅(게이트) 및 계층적(힌트) 수준에서 교사와 학생 모델을 정렬하는 새로운 증류 전략입니다. 이를 통해 가벼운 학생 모델이 파라미터를 크게 압축하면서도 교사의 구조적 행동과 의미적 표현을 상속받을 수 있게 합니다.

4. 실험 결과

본 방법은 공개 데이터셋(7-Scenes, Cambridge Landmarks, Indoor-6)에서 평가되었으며, KUAVO-4pro 휴머노이드 로봇에 배치되었습니다.

시뮬레이션 성능:
- 7-Scenes 데이터셋에서 MoE 교사 모델은 평균 Median Pose Error(MPE) **0.03m / 0.87°**를 달성하여, PoseNet2 및 DSAC++와 같은 최신 방식과 대등하거나 이를 능가했습니다.
- Cambridge Landmarks에서 모델은 큰 규모의 변화와 조명 대비가 있는 대규모 장면에서도 높은 정확도를 유지했습니다.
- Indoor-6(시간에 따라 변하는 장면)에서 모델은 **Recall@5cm, 5° 기준 62.1%**를 달성하여, 외형 드리프트와 국부적 구조 변화에 대한 강건성을 입증했습니다.
- Ablation Study를 통해 점-선 제약, MoE 통합, ESHD가 각각 성능에 유의미하게 기여함을 확인했습니다. 학생 모델은 70%의 파라미터 감소에도 불구하고 교사 성능의 약 70%를 유지했습니다.
실제 배치 (KUAVO-4pro):
- 학생 모델은 실내 환경에서 평균 2.1 cm, 기하학적 퇴화 및 반복적 구조가 특징인 복도 환경에서 3.4 cm의 평균 Absolute Trajectory Error(ATE)를 달성했습니다.
- 시스템은 실내에서 Recall@5cm, 5° 기준 97.2%, 복도에서 **93.1%**를 유지했습니다.
- 추론 시간은 학생 모델의 경우 33.2 ms로 단축되었습니다(교사 모델의 19.5 ms 대비, 학생 모델이 더 가벼움에도 불구하고 실시간 운용에 적합함).
- 시각화를 통해 모델이 환경 조건에 따라 전문가 가중치를 동적으로 조정함(예: 저질감 영역에서 기하학적 전문가 활성화)을 확인하였으며, 동적 폐쇄 및 조명 변화에도 궤적이 안정적으로 유지되었습니다.

5. 의의 및 주장

본 논문은 제안된 MoE-ESHD 프레임워크가 휴머노이드 로봇을 위한 정확도, 강건성, 실시간 성능 사이의 핵심적인 균형 문제를 효과적으로 해결한다고 주장합니다. 점-선 기하학적 일관성 제약 하에서 희소 전문가 선택과 계층적 증류를 통합함으로써, 이 방법은 다음을 가능하게 합니다:

강건성: 조건부 계산을 통해 급격한 시점 변화, 자기 가림, 약한 질감에 대한 적응성을 제공합니다.
효율성: 교사의 구조적 추론 능력을 보존하면서도 상당한 모델 압축(약 70% 파라미터 감소)을 달나합니다.
실용성: 복잡하고 역동적인 실제 시나리오에서 센티미터 수준의 정확도를 달 achieve하며 자원이 제한된 휴머노이드 플랫폼(KUAVO-4pro)에 성공적으로 배치되었습니다.

저자들은 이 접근 방식이 특히 복잡한 환경에서의 장기 자율 운용을 위한, 체계적이고 실용적인 가치를 지닌 시각적 재위치 추정 솔루션을 제공한다고 결론짓습니다. 향후 연구로는 극한 상황을 위한 시계열 모델링(예: 운동학적 제약) 및 멀티모달 융합(IMU/LiDAR)의 통합이 제안되었습니다.