NPU-Accelerated Neuro-Fuzzy Safety Assistance with Decision-Level Multimodal Fusion for Teleoperated Assistive Robots
본 논문은 Hailo-8L NPU를 활용하여 적응형 신경-퍼지 추론 시스템(ANFIS)과 YOLOX-S 검출기를 동시에 실행하고 이들의 출력을 융합함으로써, 완전한 로컬 작동을 유지하면서도 충돌률과 비상 개입을 현저히 감소시키는 원격 제어 보조 로봇을 위한 에지 AI 공유 제어 프레임워크를 제시한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
사람이 방 안에서 움직이는 것을 돕는 로봇을 상상해 보십시오. 하지만 이 로봇은 어디로 갈지 스스로 결정하지 않습니다. 대신, 한 사람이 원격 제어 스테이션에 앉아 비디오 피드를 지켜보며 조이스틱으로 로봇을 조종합니다. 이러한 설정은 노인 친척을 살피거나 위험한 구역을 점검하는 것과 같은 작업에 흔히 사용되지만, 위험한 결함이 하나 있습니다. 인간 운영자는 카메라가 보여주는 것, 즉 종종 방의 좁은 단면만을 보게 됩니다. 그들은 유리문이나 낮은 탁자, 혹은 카메라 시야 바로 바깥에 서 있는 사람을 보지 못할 수도 있습니다. 만약 운영자가 로봇을 앞으로 밀면, 위험을 인지하기도 전에 로봇은 충돌할 수 있습니다. 해결책은 로봇이 스스로 운전하게 만드는 것이 아닙니다. 그것은 인간의 통제권을 제거하고 복잡하고 값비싼 매핑 시스템을 요구하기 때문입니다. 해결책은 인간이 조종하되, 스마트한 안전 계층이 경로를 감시하며 물체가 너무 가까워지면 로봇을 부드럽게 감속시키는 것입니다.
튀니지 국립 공학 학교(National Engineering School of Tunis)의 연구진은 정확히 이런 종류의 시스템을 소형 바퀴 달린 로봇을 위해 구축하고 테스트했습니다. 그들의 목표는 클라우드 서버로 데이터를 보내거나 강력한 컴퓨터에 의존하지 않고, 완전히 로봇 자체에서 작동하는 안전망을 만드는 것이었습니다. 그들은 세상을 보는 두 가지 서로 다른 방식을 결합했습니다. 첫째, 로봇은 물체에 신호를 튕겨 거리를 측정하는 시각 장애인의 지팡이와 같은 역할을 하는 적외선 센서를 사용합니다. 둘째, 로로봇은 카메라와 시각 인식 시스템을 사용하여 해당 물체가 무엇인지 식별합니다. 연구진은 이 두 가지 정보 스트림을 혼합하는 컴퓨터 프로그램을 가르쳤습니다. 이 프로그램은 물체와의 거리에 따라 로봇의 속도를 줄이는 법을 배우지만, 동시에 카메라의 목소리에도 귀를 기울입니다. 만약 카메라가 사람이나 의자를 높은 확신도로 포착하면, 프로그램은 로봇의 속도를 더욱 줄여 결코 눈을 깜빡이지 않는 두 번째 눈 역할을 수행합니다.
이 시스템을 유용할 만큼 빠르게 만들기 위해, 팀은 중대한 과제에 직면했습니다. 복잡한 비전 소프트웨어와 안전 계산을 동시에 실행하는 것은 보통 무겁고 전력을 많이 소비하는 컴퓨터를 필요로 합니다. 대신, 그들은 표준 싱글 보드 컴퓨터에 들어갈 수 있을 만큼 작은, 인공지능용으로 설계된 특수 칩인 신경망 처리 장치(NPU)를 사용했습니다. 이 칩 덕분에 로봇은 시각 데이터를 처리하는 동시에 안전 결정을 내릴 수 있었으며, 초당 50번 속도를 업데이트할 수 있었습니다. 이 시스템은 경로를 계획하거나 목적지를 선택하지 않습니다. 그저 인간 운영자가 선택한 방향을 따르되, 그 방향으로 이동할 수 있는 속도가 얼마인지를 결정합니다. 만약 로봇이 장애물에 너무 가까워지면, 시스템은 앞으로 가라는 인간의 명령을 무시하고 로봇을 후진시켜 안전하게 멈추도록 강제합니다.
실험에서 팀은 제어된 환경에서 맞춤 제작된 4륜 로봇을 사용하여 이 시스템을 테스트했습니다. 그들은 인간 운영자에게 장애물이 가득한 코스를 통과하며 로봇을 운전하도록 요청했으며, 이를 세 가지 서로 다른 조건 하에서 수행했습니다: 도움 없이 운전하기, 적외선 센서 안전 시스템을 사용해 운전하기, 그리고 적외선과 카메라가 결합된 시스템을 사용해 운전하기입니다. 결과는 안전성 면에서 명확한 개선을 보여주었습니다. 운영자가 도움 없이 운전했을 때 로봇은 시도의 40%에서 장애물과 충돌했습니다. 결합된 안전 시스템이 활성화되었을 때, 그 충돌률은 단 10%로 떨어졌습니다. 더욱이, 로봇은 도움 없는 주행 시 보였던 5센티미터의 간격 대신 약 10센티미터의 간격을 유지하며 장애물로부터 훨씬 더 안전한 거리를 유지했습니다. 또한 시스템은 인간 운영자가 비상 정지 버튼을 눌러야 했던 횟수를 평균 거의 2회에서 1/5회로 줄였습니다.
연구진은 이 시스템이 인간의 조향 명령에 반응하는 로봇의 능력을 저하시키지 않으면서도 매끄럽게 작동한다는 것을 발견했습니다. 장애물을 인지하는 것부터 속도를 조절하는 것까지의 전체 과정은 100분의 1초도 걸리지 않았습니다. 시각 시스템은 거리 센서가 놓칠 수 있는 저대비 표면과 같은 물체를 감지하는 데 특히 효과적이었으며, 자신이 본 것에 대한 확신도에 따라 로봇의 속도를 조절했습니다. 그러나 팀은 시스템이 완벽하지는 않다고 언급했습니다. 안전 규칙은 정적인 물체가 있는 실험실에서 단일 운영자를 대상으로 테스트되었으므로, 움직이는 사람들이 있는 번잡한 가정집에서는 결과가 달라질 수 있습니다. 또한, 시각 파이프라인이 멈추거나 프레임이 지연될 경우, 시스템은 특정 카메라 차단을 감지하는 대신 오래된 시각 데이터를 버리고 거리 센서에만 의존하여 복귀합니다. 이러한 한계에도 불구하고, 이 연구는 인간의 통제권을 빼앗지 않으면서도 충돌로부터 보호할 수 있는 신뢰할 수 있는 로컬 안전 계층을 텔레오퍼레이션 로봇에게 부여하는 것이 가능하다는 것을 입증합니다.
이 연구가 중요한 이유는 저렴하면서도 안전한 보조 로봇을 위한 실질적인 길을 제시하기 때문입니다. 복잡한 안전 계산이 작고 저전력인 칩에서 실행될 수 있음을 증로함으로써, 연구진은 이러한 로봇들이 안전을 위해 인터넷에 연결되거나 값비싼 하드웨어를 필요로 하지 않는다는 것을 보여주었습니다. 시스템은 인간 운영자의 의도를 존т중하면서도 항상 지켜보고 있는 보호 계층을 추가합니다. 향-후 이러한 기술은 노인들이 기계가 가구나 사람에게 충돌할 것이라는 지속적인 두려움 없이 물건을 가져오거나 집을 모니터링하기 위해 원격 제어 로봇을 사용하는 것을 가능하게 할 수 있습니다. 연구진은 세상이 실험실보다 덜 예측적일 때 시스템이 어떻게 견뎌내는지 확인하기 위해 더 많은 운영자와 더 역동적인 환경에서 시스템을 테스트할 계획입니다. 현재로서는, 로봇이 인간에게 순종적이면서도 스스로를 보호할 만큼 똑똑할 수 있다는 것을 보여주었습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.