Aerial Manipulation with Contact-Aware Onboard Perception and Hybrid Control

이 논문은 외부 모션 캡처 없이 onboard 센서만으로 접촉 인식 비전 - 관성 주행 추정 (VIO) 과 이미지 기반 시각 서보, 하이브리드 힘 - 운동 제어를 결합하여 UAV 의 접촉 기반 작업 정확도와 안정성을 크게 향상시킨 완전 onboard 인식 - 제어 파이프라인을 제안합니다.

핵심

이 논문은 **"하늘을 나는 로봇 팔이 외부의 도움 없이 스스로 벽에 닿아 작업을 할 수 있게 된 방법"**에 대한 이야기입니다.

기존의 드론은 주로 하늘을 날아다니며 '눈으로만' 확인하는 일 (감시, 촬영) 을 했습니다. 하지만 이 연구는 드론이 **'손'**을 써서 벽을 닦거나, 나사를 조이거나, 구멍에 못을 박는 등 물리적인 접촉이 필요한 일을 할 수 있게 만들었습니다.

이걸 이해하기 쉽게 세 가지 핵심 비유로 설명해 드릴게요.

---

1. 문제: "눈이 멀어지면 넘어지는 드론"

기존 드론들은 정밀한 작업을 할 때 **실내에 설치된 거대한 카메라들 (모션 캡처 시스템)**의 도움을 받았습니다. 마치 무대 위 배우가 조명을 받아야 제자리를 찾을 수 있는 것처럼, 드론도 외부 카메라가 위치를 알려줘야만 벽에 부드럽게 닿을 수 있었습니다.

하지만 밖으로 나가면 이런 카메라는 없습니다. GPS 는 건물 근처에서는 잘 안 되고, 드론이 벽에 닿는 순간의 진동과 힘은 드론의 '눈 (카메라)'을 혼란스럽게 만들어 위치를 잃게 만듭니다.

• 비유: 눈이 안 좋은 사람이 어두운 방에서 벽에 손을 대려는데, 벽에 닿는 순간 발이 미끄러져 넘어지는 상황과 같습니다.

2. 해결책 1: "벽을 느끼는 드론의 '촉각'"

연구진은 드론의 **'눈 (카메라)'**과 **'손 (힘 센서)'**을 함께 쓰기로 했습니다.

• 기존 방식: 드론이 벽에 닿으면, 카메라는 흔들려서 "내가 어디에 있지?"라고 혼란을 겪습니다.
• 이 연구의 방식: 드론이 벽에 닿았을 때, **"아, 내가 벽에 닿았구나! 이제 움직이지 않아도 돼!"**라고 스스로 판단합니다.
  • 비유: 어두운 방에서 벽을 더듬다가 손이 벽에 닿으면, "아, 여기가 벽이구나!"라고 생각하며 발을 멈추는 것과 같습니다. 드론은 벽에 닿는 순간, 카메라가 흔들려도 **"벽에 기대고 있으니 위치는 변하지 않아"**라고 스스로를 안정화시키는 알고리즘을 만들었습니다. 이를 통해 위치를 잃는 (드리프트) 현상을 66% 이상 줄였습니다.

3. 해결책 2: "눈과 손이 대화하는 '하이브리드' 컨트롤"

드론이 벽에 닿은 후, 어떻게 해야 할까요?

• 수평으로: 벽을 따라 옆으로 움직여야 합니다 (이건 눈/카메라가 담당).
• 수직으로: 벽을 너무 세게 누르지도, 너무 약하게 누르지도 않게 힘을 조절해야 합니다 (이건 손/힘 센서가 담당).

기존 드론은 이 두 가지를 따로따로 하느라 헷갈렸습니다. 하지만 이 연구는 드론에게 **"한 손으로는 벽을 부드럽게 누르고, 다른 손으로는 옆으로 미끄러지듯 이동하라"**는 지시를 내리는 하이브리드 제어 방식을 개발했습니다.

• 비유: 벽에 그림을 그릴 때, 붓을 벽에 일정하게 대고 (힘 조절) 동시에 손목을 움직여 선을 그리는 (이동) 것과 같습니다. 드론이 이 두 동작을 동시에 완벽하게 수행할 수 있게 된 것입니다.

---

4. 실험 결과: "실제 세상에서도 성공!"

연구진은 실험실 밖, 실제 환경에서 드론이 구멍에 못을 박는 (Peg-in-hole) 작업을 시켰습니다.

• 결과: 외부 카메라 없이 오직 드론 자체의 센서만으로도 드론은 목표물을 정확히 찾아갔고, 벽에 닿아도 흔들리지 않았으며, 정해진 힘으로 벽을 밀고 있었습니다.
• 의미: 이제 드론은 다리나 교량 같은 위험한 곳에서 사람이 가지 못하는 곳으로 날아가서 수리나 점검 작업을 스스로 할 수 있는 가능성이 열렸습니다.

요약

이 논문은 드론이 외부의 도움을 받지 않고도, 스스로 벽을 느끼고 (촉각), 눈으로 보고 (시각), 힘을 조절하며 (조절) 복잡한 작업을 할 수 있게 만든 획기적인 기술입니다. 마치 눈이 안 좋은 사람도 손으로 벽을 더듬으면 길을 찾을 수 있듯이, 드론도 이제 스스로 환경을 느끼며 정밀한 작업을 할 수 있게 된 것입니다.

기술 요약

이 논문은 외부 모션 캡처 (MoCap) 시스템 없이 온보드 (onboard) 센서만으로 접촉이 풍부한 공중 조작 (Aerial Manipulation, AM) 을 수행할 수 있는 완전한 인식 - 제어 파이프라인을 제안합니다. 저자들은 UAV 가 수동적인 검사에서 그치지 않고, 그립, 조립, 현장 유지보수와 같은 물리적 접촉이 필요한 작업까지 수행할 수 있도록 하는 기술을 개발했습니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 현황: 기존의 공중 조작 연구는 대부분 실험실 환경에서 외부 모션 캡처 시스템을 의존하여 정밀한 위치 추정과 상태 추정을 수행했습니다. 또한, 단순한 위치 제어 (position control) 에 중점을 두어 물리적 상호작용 시 필요한 힘/토크 (wrench) 를 정밀하게 제어하지 못했습니다.
• 도전 과제: 실제 현장 (in-the-wild) 에서는 외부 추적 시스템이 불가능하며, GPS 도 대형 구조물 근처에서는 신뢰할 수 없습니다. 또한, UAV 와 매니퓰레이터 간의 강한 동적 결합 (dynamic coupling) 으로 인해 추정 오차가 제어 불안정을 초래하고, 반대로 비최적의 제어가 인식 성능을 저하시키는 악순환이 발생합니다.
• 목표: 외부 센서 없이 온보드 센서만으로 정밀한 운동 추적과 함께 접촉 시의 힘/토크 (wrench) 를 규제하는 정밀한 공중 조작을 실현하는 것.

2. 제안 방법론 (Methodology)

제안된 시스템은 크게 세 가지 핵심 모듈로 구성됩니다 (그림 2 참조):

가. 접촉 인식형 시각 - 관성 오도메트리 (Contact-Aware VIO)

• 기반: 기존 VINS-Fusion 등의 상태 추정 알고리즘을 기반으로 합니다.
• 혁신: 로봇이 환경과 접촉할 때만 활성화되는 **'접촉 일관성 요인 (contact-consistency factors)'**을 팩터 그래프 (factor graph) 에 추가했습니다.
• 작동 원리:
  • 접촉 시, 접촉점에서의 상대 운동이 물리적으로 제한된다는 가정 (벽 법선 방향의 거리 유지, 법선 방향 속도 0) 을 제약 조건으로 추가합니다.
  • 힘/토크 센서 데이터를 활용하여 접촉의 안정성을 판단하고, 접촉이 안정적일 때 제약의 가중치를 높여 드리프트 (drift) 를 줄이고 상태 추정의 불확실성을 줄입니다.
  • 이는 특징이 부족하거나 장기간 운영 시 발생하는 오차를 보정하여 접촉 프레임 주변의 추정을 고정합니다.

나. 이미지 기반 시각 서보 (Image-Based Visual Servoing, IBVS)

• 목적: 인식과 제어 간의 긴밀한 결합 (coupling) 문제를 완화합니다.
• 방식: UAV 의 전체 포즈 (pose) 를 추정하는 대신, **VIO 가 제공하는 몸체 속도 (body velocity)**만을 피드백으로 사용하여 이미지 공간의 피처 오차를 최소화하는 명령을 생성합니다.
• 특징: 타겟의 원형 특징 (원 중심, 면적) 을 감지하여 측면 정렬 (lateral alignment) 과 거리 (scale) 를 추정하며, 이를 통해 접근 단계를 제어합니다.

다. 하이브리드 힘 - 운동 제어기 (Hybrid Force-Motion Controller)

• 구조: 완전 구동 (fully-actuated) 6 축 헬리콥터의 특성을 활용합니다.
• 전략:
  • 접근 단계: IBVS 를 통해 타겟에 접근합니다.
  • 접촉 단계: 표면 법선 방향은 **힘 제어 (Impedance Control)**를 통해 원하는 힘 (예: 5N) 을 유지하고, 표면 평행 방향 (측면) 은 **운동 제어 (Visual Servoing)**를 통해 타겟의 위치를 추적합니다.
  • 전환: 카메라로 측정한 거리 ($d$) 를 기반으로 힘 제어와 운동 제어의 비율을 부드럽게 전환하는 선택 행렬 ($\Lambda$) 을 설계했습니다.

3. 주요 기여 (Key Contributions)

1. 외부 MoCap 없는 온보드 파이프라인: 외부 센서 없이 정밀한 운동 추적과 힘 조절이 가능한 공중 조작 시스템을 최초로 제안했습니다.
2. 접촉 일관성 제약이 적용된 VIO: 상호작용 중에만 활성화되는 접촉 요인을 팩터 그래프에 통합하여 접촉 시 상태 추정 성능을 획기적으로 향상시켰습니다.
3. 인식 - 제어 통합 아키텍처: IBVS 와 하이브리드 힘 - 운동 제어기를 결합하여, 접촉 시에도 안정적인 타겟 포즈 유지와 힘 제어를 동시에 달성했습니다.
4. 실제 환경 검증: 시뮬레이션과 실제 비행 실험을 통해 제안된 방법의 유효성을 입증했습니다.

4. 실험 결과 (Results)

• 시뮬레이션: 다양한 수준의 속도 추정 노이즈가 주입된 환경에서도 '핀 - 구멍 (peg-in-hole)' 삽입 작업과 힘 유지 (5N) 에 성공했습니다.
• 실제 비행 실험:
  • 작업: 수직 벽면의 원형 구멍에 매니퓰레이터를 삽입하고 5N 의 수직 힘을 유지하는 작업을 수행했습니다.
  • 정확도: 제안된 방법은 접촉 시 속도 추정 오차가 66.01% 개선되었습니다.
  • 성능 비교: 기존 VINS-Fusion 및 OpenVINS 와 비교했을 때, 접촉 방향 (x 축) 의 속도 추정 오차 (RMSE) 가 0.0121 m/s 로 가장 낮았으며 (VINS-Fusion: 0.0356 m/s), 접촉 중에도 UAV 의 자세 (롤/피치) 를 거의 0 도로 유지하며 안정적인 힘 유지를 보여주었습니다.
  • 신뢰성: 힘 센서 신호가 불안정할 때 접촉 요인의 가중치를 자동으로 조절하여 오차를 방지하는 적응형 특성을 보였습니다.

5. 의의 및 의의 (Significance)

이 연구는 UAV 가 외부 인프라에 의존하지 않고 복잡한 실외 환경에서 유지보수 (예: 교량 수리, 유물 복원), 정밀 농업, 제조업 접촉 검사와 같은 고난도 작업을 수행할 수 있는 기술적 토대를 마련했습니다. 특히, 접촉 정보를 상태 추정에 직접 활용하여 드리프트를 줄이고, 힘 제어와 운동 제어를 통합함으로써 공중 조작의 실용성과 신뢰성을 크게 높였다는 점에서 의의가 큽니다. 이는 향후 '야생 (in-the-wild)' 환경에서의 자율적인 공중 로봇 작업의 상용화를 위한 중요한 한 걸음으로 평가됩니다.