Can we stabilize an inverted pendulum with feedback from a time-of-flight camera?

기술 요약: ToF 카메라 피드백을 이용한 역진자 안정화

문제 정의
Time-of-Flight(ToF) 카메라는 컴팩트함, 저비용, 조명 조건에 대한 강건함 덕분에 로보틱스 분야에서 널리 채택되고 있으나, 낮은 공간 해상도, 깊이 노이즈, 체계적 오차(예: 다중 경로 간섭, 모션 블러)로 인해 정밀하고 대역폭이 높은 피드백 제어에는 부적합하다고 일반적으로 간주된다. 본 연구가 다루는 핵심 질문은 저가형, 저해상도 ToF 센서가 빠르고 불안정한 동적 시스템을 안정화할 수 있을 만큼 충분한 품질의 측정값을 제공할 수 있는가 하는 점이다. 저자들은 테스트베드로 역진자(inverted pendulum on a cart)를 선택했다. 이 전형적인 벤치마크 모델은 비최소 위상(non-minimum phase) 특성, 낮은 감쇠, 밀리초 단위의 레이턴시 및 지터에 대한 민감도 때문에 제어가 매우 까다로운 것으로 알려져 있다. 실험적 기하 구조 또한 문제를 심화시킨다. ToF 카메라가 진자 아래에 설치되어 위를 올려다보는 방식인데, 이러한 "불리한" 관점은 입사각을 크게 만들어 깊이 편차와 다중 경로 전파를 악화시키며, 의도적으로 센싱 파이프라인을 극한까지 시험한다.

방법론
저자들은 Maxon BLDC 모터와 랙 앤 피니언 메커니즘으로 구동되는 3D 프린팅 카트, 그리고 카트 위에 균형을 잡고 있는 진자(금색 펜)로 구성된 컴팩트하고 재현 가능한 실험 플랫폼을 구축했다. 제어 및 센싱 스택은 Raspberry Pi 5 상에서 ROS2를 통해 실행되며, 이는 제어 루프에 무시할 수 없는 프로세싱 지터를 도입하여 현실적인 스트레스 테스트 역할을 한다.

• 센싱 파이프라인: 시스템은 각도 피드백을 위해 오직 저가형 ArduCam ToF 모듈(해상도 240 × 180, 30 fps)에만 의존한다. 카트의 선형 위치와 속도는 모터의 홀 효과 센서를 통해 측정된다.
• 비전 프로세싱: 원시 깊이 이미지는 진자를 분리하기 위해 범위를 벗어난 픽셀 제거, 스무딩, 이진 임계값 처리 과정을 거쳐 전처리된다. 시스템은 유클리드 거리 변환(Euclidean distance transform)과 서브픽셀 정밀화를 사용하여 진자의 윤곽 내에서 두 개의 원(밑단과 윗단을 위한 원)을 적합(fitting)시킨다. 각도는 두 원 중심을 잇는 선분의 방향으로부터 도출된다.
• 상태 추정 및 제어: 저자들은 표준 선형 이차 가우시안(LQG) 레귤레이터를 사용한다. 칼만 필터는 노이즈가 섞인 ToF 기반 각도 측정값과 모터 엔코더 데이터를 융합하여 전체 상태 벡터(카트 위치, 카트 속도, 진자 각도, 진자 각속도)를 추정한다. 필터의 노이즈 공분산은 그라운드 트루스(ground-truth) 엔코더 데이터에 대한 평균 제곱근 오차(RMSE)를 최소화하도록 베이지안 최적화를 통해 튜닝되었다.
• 시스템 식별: 주요 동적 파라미터(질량, 관성 모멘트, 마찰 계수)는 수집된 궤적을 Runge–Kutta 4 방식으로 통합된 비선형 모델과 비교하는 배치 최소제곱법(batch least-squares)을 사용하여 식별되었다.

주요 결과
시스템은 고가의 엔코더나 외부 모션 캡처 시스템 없이 오직 ToF 카메라만을 각도 피드백으로 사용하여 역진자의 신뢰할 수 있고 정밀한 안정화를 성공적으로 달디어냈다.

• 안정화 성능: 10초간 진행된 30회의 실험 전반에 걸쳐, 컨트롤러는 진자를 수직 위치에 유지했다. 제어된 진자 각도와 수직 평형 상태 사이의 시간 평균 RMSE는 $1.0 \times 10^{-3}$ rad·s$^{-1}$였다.
• 센서 정확도: ToF 카메라에서 도출된 원시 각도 추정치는 제어 궤적 중 그라운드 트루스 엔코더와 비교했을 때 $3.0 \times 10^{-3}$ rad의 RMSE를 보였다. 각도 추정치의 정지 노이즈는 표준 편차가 약 $1.7 \times 10^{-3}$ rad인 제로 평균 가우시안 분포로 특성화되었다.
• 강건성: 불리한 카메라 배치(다중 경로 및 모션 블러 유발)와 ROS2/Raspberry Pi 스택 고유의 프로세싱 지터에도 불구하고, LQG 컨트롤러는 안정성을 유지하며 ToF 센서가 폐루프 제어를 위한 충분한 신호 충실도를 제공함을 입증했다.

의의 및 주장
본 논문은 저가형, 저해상도 ToF 센서가 빠르고 불안정한 시스템의 정밀한 피드백 제어를 지원할 수 있음을 보여주는 "존재 증명(proof-of-existence)" 연구를 제시한다. 저자들은 자신들의 결과를 ToF 기반 피드백의 잠재력에 대한 **보수적인 하한선(conservative lower bound)**이라고 명시적으로 규정했다. 까다로운 기하 구조와 표준적이고 최적화되지 않은 컨트롤러(LQG)를 선택함으로써, 저자들은 최적이 아닌 조건에서도 ToF 센서가 고성능 작업을 수행하는 데 유효함을 보여준다.

이 연구의 의의는 ToF 카메라가 저수준 또는 중수준의 제어 요구(예: 장애물 회피 또는 거친 서보잉)에 국한된다는 기존의 통념에 도전하는 데 있다. 저자들은 사려 깊은 시스템 설계가 뒷받침된다면 ToF 센서가 특정 응용 분야에서 고가의 모션 캡처 인프라나 하이엔드 엔코더를 대체할 수 있다고 주장한다. 저자들은 추가적인 벤치마킹과 연구를 촉진하기 위해 오픈 소스 플랫폼과 코드를 공개하며, 향후 연구에서 고급 제어 전략(예: 모델 예측 제어 또는 강건 제어)과 대안적인 센서 구성을 탐구하여 성능의 경계를 더욱 확장할 수 있음을 시사한다.