MotionDLO: Hybrid Event- and Frame-Based Tracking of Deformable Linear Objects

로봇 공학의 세계에는 기계가 볼 수 있는 것과 수행해야 하는 일 사이에 지속적인 격차가 존재합니다. 로봇은 금속 상자나 자동차 부품 같은 무겁고 단단한 물체를 움직이는 데는 뛰어나지만, 부드럽거나 유연하거나 예측 불가능한 것에는 어려움을 겪습니다. 자동차 공장의 와이어 하네스, 서버실의 케이블, 또는 병원의 봉합사(suture thread)를 생각해 보십시오. 이러한 물체들은 '변형 가능한 선형 물체(deformable linear objects)'라고 불립니다. 이들은 완벽하게 예측할 수 없는 방식으로 뒤틀리고, 휘어지고, 엉킵니다. 이를 조작하기 위해 로봇은 실시간으로 물체의 움직임을 관찰하며 초당 수백 번씩 형태에 대한 이해를 업데이트해야 합니다. 표준 필름 카메라처럼 사진을 찍는 일반적인 카메라는 이 작업에 너무 느린 경우가 많습니다. 표준 카메라가 빠르게 움직이는 와이어의 선명한 이미지를 포착하는 동안, 와이어는 이미 움직여 버려 로봇에게 흐릿하고 구식인 사진만을 남기게 됩니다. 이러한 지연은 로봇이 목표물을 놓치거나, 더 심하게는 물체를 완전히 놓치게 만드는 원인이 됩니다.

이를 해결하기 위해 연구자들은 '이벤트 카메라(event camera)'라고 불리는 다른 종류의 센서를 사용하기 시작했습니다. 정해진 간격으로 전체 사진을 찍는 일반 카메라와 달리, 이벤트 카메라는 신경계처럼 작동합니다. 센서의 픽셀에서 빛의 변화를 감지하면 즉시 신호를 보냅니다. 장면이 정지해 있으면 센서는 침묵합니다. 이를 통해 카메라는 마이크로초 단위로 움직임에 반응하여, 흐림 현상 없이 움직이는 와이어의 속도를 포착할 수 있습니다. 그러나 이 카메라들은 믿을 수 없을 정도로 빠르지만, 물체가 정확히 어디에 있는지 또는 세부적인 모습이 어떠한지를 알려주는 데는 서툽니다. 움직임은 보지만, 형태를 정의하는 데는 어려움을 겪는 것입니다. 엔지니어들의 과제는 이벤트 카메라의 번개 같은 반응 속도와 표준 카메라의 정밀하고 상세한 시각을 결합하여, 로봇이 섬세한 작업을 수행할 수 있을 만큼 빠르고 정확한 시스템을 만드는 것이었습니다.

연구팀은 이 격차를 메우기 위해 'MotionDLO'라는 새로운 시스템을 개발했습니다. 그들의 연구는 유연한 와이어와 케이블이 움직일 때 이를 추적하여, 로봇이 항상 물체의 모든 부분을 정확히 알 수 있도록 하는 데 중점을 둡니다. 이 시스템은 두 가지 서로 다른 '눈'을 동시에 사용하는 방식으로 작동합니다. 한쪽 눈은 와이어의 형태를 명확하고 상세하게 보기 위해 사진을 찍는 고해상도 표준 카메라입니다. 다른 쪽 눈은 모든 움직임을 감시하는 이벤트 카메라입니다. 연구진은 와이어의 상태에 따라 이 두 가지 뷰 사이를 전환하도록 소프트웨어를 설계했습니다. 와이어가 정지해 있을 때는 표준 카메라에 의존하여 형태에 대한 완벽하고 상세한 지도를 구축합니다. 와이어가 움직이기 시작하는 순간, 시스템은 즉시 이벤트 카메라로 전환됩니다. 이벤트 카메라는 매우 빠르게 반응하기 때문에, 와이어의 움직임을 실시간으로 추적하여 12밀리초마다 로봇의 와이어 위치에 대한 이해를 업데이트할 수 있습니다.

이 시스템의 탁월함은 이 두 가지 서로 다른 정보 스트림이 혼란 없이 함께 작동하도록 유지하는 방식에 있습니다. 연구진은 이벤트 카메라에만 의존할 경우, 특히 장면에 여러 개의 와이어가 있을 때 로봇이 어떤 와이어를 따라가고 있는지 놓칠 수 있다는 것을 발견했습니다. 반대로 표준 카메라에만 의존한다면 로봇은 빠른 움직임을 따라잡기에 너무 느릴 것입니다. MotionDLO는 표준 카메라를 사용하여 견고하고 정확한 시작점을 설정하고 물체의 정체성을 확인한 다음, 물체가 움직임에 따라 이벤트 카메라가 넘겨받아 로봇의 지식이 최신 상태를 유지하도록 지속적인 업데이트를 제공함으로써 이 문제를 해결합니다. 시스템은 물체가 멈췄을 때 이를 인지하고 상세한 카메라로 다시 전환하여, 빠른 움직임 중에 발생했을지 모르는 작은 오류들을 수정합니다. 이는 로봇이 물체가 얼마나 빨리 움직이든 상관없이 시야를 놓치지 않도록 하는 매끄러운 루프를 생성합니다.

연구팀은 실제 산업 환경에서 로봇 팔을 사용하여 다양한 종류의 케이블과 튜브를 잡고 옮기는 실험을 진행했습니다. 그들은 세 가지 특정 유형의 물체를 사용했습니다: 공기 압력용 플라스틱 튜브, 차폐 통신 케이블, 그리고 가는 전력 와이어입니다. 로봇은 이 물체들을 다양한 속도로 움직였으며, 여기에는 표준 카메라가 흐릿하게만 볼 수 있는 매우 빠른 움직임도 포함되었습니다. 결과는 MotionDLO가 놀라운 정밀도로 물체를 추적할 수 있음을 보여주었습니다. 로봇이 케이블을 초당 2,255밀리미터의 속도로 움직일 때조차, 시스템은 평균 오차를 0.5밀리미터 미만으로 유지했습니다. 이러한 수준의 정확도는 로봇이 와이어를 손상시키거나 떨어뜨리지 않고 조작하는 데 매우 중요합니다. 대조적으로, 표준 카메라나 단순한 이벤트 기반 추적에 의존하는 기존의 다른 방식들은 이러한 조건에서 실패했습니다. 그 방식들은 물체를 완전히 놓치거나, 로봇이 작업을 완료할 수 없을 정도로 큰 실수를 저질렀습니다.

가장 중요한 발견 중 하나는 시스템이 움직이는 단일 와이어를 정지된 다른 와이다들과 엉켜 있는 상태에서도 추적할 수 있었다는 점입니다. 여러 케이블이 있는 복잡한 장면에서 다른 추적 방식들은 종종 혼동을 일으켜, 어떤 와이어가 움직이는 것인지 섞이거나 움직이는 와이어를 완전히 놓치곤 했습니다. 그러나 MotionDLO는 움직이는 부분만을 보는 이벤트 카메라의 독특한 능력을 활용했습니다. 정지된 와이어들은 이벤트 카메라를 작동시키지 않으므로, 시스템은 배경의 혼란으로부터 움직이는 와이어를 분리하여 안정적으로 추적할 수 있었습니다. 이러한 일관된 물체 식별 능력은 로봇이 주의력을 잃거나 위치를 놓치지 않고 긴 시간 동안 복잡한 작업을 수행할 수 있게 하는 중요한 진전입니다.

연구진은 또한 이 시스템이 특정 종류의 와이어에 대해 별도의 학습을 필요로 하지 않는다는 것을 입증했습니다. 많은 현대 로봇 비전 시스템은 특정 물체를 인식하는 법을 배우기 위해 수천 시간의 학습 데이터가 필요합니다. 만약 로봇이 이전에 본 적 없는 새로운 종류의 케이블을 마주하면 흔히 실패하게 됩니다. MotionDLO는 '제로샷(zero-shot)' 접근 방식을 사용하여 이 문제를 피합니다. 이 시스템은 특정 사례를 암기하는 대신, 간단한 설명을 바탕으로 와이어가 어떻게 생겼는지 이해할 수 있는 범용 모델을 사용합니다. 이는 시스템을 새로운 종류의 케이블이 있는 공장에 즉시 배치하여, 긴 학습 기간 없이 바로 작업에 투입할 수 있음을 의미합니다. 이러한 유연성은 재료와 도구의 종류가 빈번하게 바뀌는 실제 산업 현장에서 이 기술을 훨씬 더 실용적으로 만듭니다.

실험 과정에서 팀은 시스템이 각 업데이트를 처리하는 데 걸리는 시간을 측정했습니다. 그들은 움직임을 감지하는 것부터 로봇의 계획을 업데이트하는 것까지의 전체 과정이 단 12밀리초밖에 걸리지 않는다는 것을 발견했습니다. 이 속도는 로봇이 와이어가 움직임에 따라 실시간으로 반응하여 움켜쥐는 방식이나 경로를 조정하기에 충분히 빠릅니다. 시스템은 두꺼운 플라스틱 튜브부터 아주 가는 전력 와이어에 이르기까지 테스트된 모든 세 가지 유형의 케이블에 대해 이 성능을 유지할 수 있었습니다. 빠른 속도로 움직일 때도 정확도가 높게 유지되었으며, 이는 하이브리드 접근 방식이 이벤트 기반 센싱의 속도와 표준 이미징의 정밀함을 성공적으로 결합했음을 증명합니다.

이 연구의 영향은 단순히 와이어를 움직이는 것을 넘어섭니다. 유연한 물체를 실시간으로 추적하는 능력은 로봇이 훨씬 더 넓은 범위의 작업을 수행할 수 있는 문을 열어줍니다. 미래에 이 기술은 자동차의 복잡한 와이어 하네스 조립을 자동화하거나, 좁은 서버 랙에 케이블을 배치하거나, 심지어 봉합과 같은 섬세한 의료 절차를 보조하는 데 사용될 수 있습니다. 연구진은 현재 시스템이 2차원으로 작동하지만, 다음 단계는 로봇이 물체의 완전한 3차원 형태를 이해할 수 있도록 깊이 인지(depth perception) 기능을 추가하는 것이라고 언급했습니다. 또한 그들은 용접이나 레이저 절단 작업장에서 볼 수 있는 것과 같이 변화하는 조명 조건에서도 시스템이 견고하게 작동하는지 테스트할 계획입니다.

MotionDLO의 성공은 로봇 인지의 미래가 속도와 정확도 중 하나를 선택하는 것이 아니라, 서로 다른 기술의 강점을 결합하는 데 있음을 보여줍니다. 이벤트 카메라의 빠른 신호에 귀를 기울이면서 표준 카메라의 안정적인 시선을 유지함으로써, 이 시스템은 두 기술이 단독으로는 도달할 수 없는 수준의 성능을 달성합니다. 이 접근 방식은 유연한 재료를 다루는 작업의 자동화를 오랫동안 가로막았던 문제에 대한 실질적인 해결책을 제시합니다. 로봇이 공장과 가정에서 점점 더 흔해짐에 따라, 예측 불가능하고 섬세한 것을 다루는 능력은 무거운 짐을 들어 올리는 능력만큼이나 중요해질 것입니다. MotionDLO는 적절한 센서와 소프트웨어의 조합을 통해 로봇이 마침내 실제 세상, 즉 무질서하고 움직이며 유연한 것들로 가득 찬 세상을 다루는 법을 배울 수 있다는 명확한 길을 제시하며, 로봇이 실제 세상처럼 복잡하고 움직이며 유연한 것들을 다룰 수 있음을 보여줍니다.