TinyDETR-Pose: Towards End-to-End Real-Time Single-Stage 6DoF Object Pose Estimation with Lightweight Transformers

공장의 로봇 팔이나 사용자의 얼굴에 씌워진 증강 현실 안경을 상상해 보십시오. 이 기계들이 세상과 상호작용하기 위해서는 단순히 물체를 보는 것 이상의 작업이 필요합니다. 물체가 3차원 공간의 정확히 어디에 위치하며 어떻게 회전되어 있는지를 이해해야 합니다. 이를 위해서는 여섯 가지 특정 수치를 계산해야 합니다. 물체의 위치를 설명하는 세 가지 숫자(좌우, 상하, 전후)와 회전 상태를 설명하는 세 가지 숫자(기울기, 롤, 회전)입니다. 이것을 '6자유도 포즈 추정(six-degree-of-freedom pose estimation)'이라고 합니다. 실험실의 강력한 컴퓨터들은 높은 정밀도로 이 문제를 해결할 수 있지만, 배터리로 구동되는 소형 기기에서 이를 수행하는 것은 여전히 까다로운 과제로 남아 있습니다. 전통적인 방식은 종종 너무 느려서 실시간 사용에 부적합한 복잡하고 다단계적인 과정에 의존하는 반면, 최근의 고정밀 시스템들은 현대의 로보틱스와 웨어러블 기술을 구동하는 엣지 디바이스에서 실행하기에는 너무 무겁습니다.

독일의 프라운호퍼 IGD(Fraunhofer IGD)와 네덜란드의 델프트 공대(TU Delft) 연구진은 이 문제를 해결하기 위해 전체 과정을 가볍고 빠르게 만드는 데 설계된 'TinyDETR-Pose'라는 새로운 접근 방식을 도입했습니다. 이들의 시스템은 작업을 별도의 단계로 나누는 대신—먼저 물체를 찾고, 그다음 위치를 계산하고, 다시 답을 정교화하는 방식—모든 단계를 하나의 통합된 통로를 통해 수행합니다. 이는 마치 사진을 보고 물체가 무엇인지 즉시 알아낼 뿐만 아니라, 그 물체가 공간 속에 정확히 어떻게 놓여 있는지도 자신의 작업을 재확인하기 위해 멈출 필요 없이 즉각적으로 파악하는 기계와 같습니다. 이는 시각 데이터를 효율적으로 처리하는 능력으로 알려진 인공지능 모델 유형인 트랜스포머 아키텍처의 특수하고 간소화된 버전을 사용하여 달성됩니다. 연구진은 시스템이 '엔드 투 엔드(end-to-end)' 방식으로 작동하도록 구축했는데, 이는 컴퓨터가 물체를 탐지함과 동시에 3D 방향을 추정하도록 학습하여, 기존 시스템을 느리게 만들었던 중간 단계들을 제거했음을 의미합니다.

그들 혁신의 핵심은 시스템이 배후에서 수학적 처리를 다루는 방식에 있습니다. 이전의 방법들은 종 often 물체까지의 거리를 계산하기 위해 별도의 계산이 필요하거나, AI가 스스로 학습하기 어려운 복잡한 기하학적 솔버를 사용해야 했습니다. TinyDETR-Pose는 화면상의 물체 중심점과 깊이를 직접 예측한 다음, 단순한 기하학을 사용하여 전체 3D 위치를 재구성함으로써 이러한 장애물을 피합니다. 또한, 탄산음료 캔이나 대칭형 상자처럼 각도에 따라 똑같아 보이는 물체들과 관련된 로보틱스의 흔한 문제를 처리합니다. 이 시스템은 각 유형의 물체에 대한 특별한 규칙을 필요로 하는 대신, 단일하고 통합된 방법을 사용하여 정확도를 판단하므로 혼란 없이 대칭 및 비대칭 물체 모두로부터 학습할 수 있습니다. 이러한 설계 덕분에 모델은 다른 유사한 시스템보다 훨씬 적은 조정 가능한 설정값을 가지며 매우 작게 유지될 수 있는데, 이는 제한된 하드웨어에서 실행하는 데 매우 중요합니다.

21가지 가전제품이 포함된 표준 데이터셋을 통해 테스트했을 때, 이 시스템은 높은 정확도가 반드시 거대한 계산 능력을 필요로 하지 않는다는 것을 입증했습니다. 이 시스템은 훨씬 더 크고 복잡한 모델과 대등한 수준의 정밀도를 달ach성했으며, 복잡한 환경 속에서도 물체의 위치와 방향을 정확하게 식별했습니다. 더 중요한 것은, 드론이나 휴대용 로봇에 자주 사용되는 소형 에너지 효율적 컴퓨터 칩인 NVIDIA Jetson Nano에서 시스템의 속도를 입증했다는 점입니다. 이 하드웨어에서 시스템은 새로운 이미지를 약 4.5밀리초 만에 처리했는데, 이는 실제 움직임을 따라잡기에 충분히 빠른 속도입니다. 이러한 성능은 정밀도와 속도 사이의 절충안이 오랫동안 소형 디바이스의 첨단 로보틱스 배치를 제한해 왔던 문제를 크게 줄일 수 있음을 시사합니다.

연구진은 자신들의 시스템이 매우 효율적이긴 하지만 완벽하지는 않다는 점을 인정합니다. 물체가 시야에서 심하게 가려지거나 부분적으로 숨겨진 경우, 특히 불규칙한 모양의 물체에 대해 정확도가 떨어질 수 있습니다. 그들은 현재의 설계가 절대적인 최고 정밀도보다는 속도와 단순성을 우선시한다는 점을 언급했는데, 최고 정밀도는 훨씬 더 오래 걸리는 계산을 수행하는 시스템들에 의해 달성되곤 합니다. 그러나 컴팩트한 단일 단계 모델이 엣지 디바이스에서 실시간으로 실행될 수 있음을 보여줌으로써, 이 연구는 일상적인 응용 분야에 정교한 3D 비전을 배치할 수 있는 실질적인 경로를 열어주었습니다. 이 결과는 로보틱스와 증강 현실의 미래가 더 크고 강력한 컴퓨터를 만드는 것에 달려 있는 것이 아니라, 더 적은 것으로 더 많은 것을 할 수 있는 더 똑똑하고 군더더기 없는 시스템을 설계하는 것에 달려 있음을 시사합니다.