Geo-Reflex: Geometry-Gated Spiking Visuomotor Policy Learning for High-Frequency Robot Manipulation

인간과 유사한 속도와 정밀도로 움직이는 로봇들은 근본적인 문제에 직면해 있다. 바로 로봇의 눈과 근육이 서로 다른 언어를 사용한다는 점이다. 로봇에게 시각을 제공하는 카메라는 보통 초당 10회에서 30회 정도만 세상의 모습을 업데이트하는 반면, 관절을 제어하는 모터는 안정성과 안전을 유지하기 위해 초당 수백 번씩 위치를 조정해야 한다. 오랫동안 엔지니어들은 느린 카메라 데이터와 빠른 근육 데이터를 시간상으로 완벽하게 일치시키도록 강제함으로써 이 문제를 해결하려 노력해 왔는데, 이는 본질적으로 로봇이 움직이기 전에 카메라가 따라잡을 때까지 기다리게 만드는 방식이다. 이러한 접근 방식은 로봇이 무언가에 닿기 직전의 순간적인 정보를 버리게 만들며, 이는 종종 로봇의 동작을 서투르거나 지연되게 만든다.

동관시립대학교의 연구진은 이 불일치를 처리하는 다른 방법을 제안했다. 즉, 로봇의 시각과 움직임을 하나의 동기화된 데이터 블록이 아니라, 두 개의 별개이면서도 연결된 스트림으로 취급하는 것이다. 그들은 'Geo-Reflex'라고 불리는 새로운 제어 시스템을 개발했는데, 이는 뇌에서 영감을 얻은 컴퓨팅 방식을 사용하여 로봇의 빠르게 움직이는 관절이 즉각적으로 반응하게 하는 동시에, 느린 카메라 이미지는 오직 어디에 주의를 기울일지를 결정하는 데만 사용하도록 한다. 로로봇에게 움직일 때마다 세상의 전체 사진을 제공하는 대신, 이 시스템은 카메라 뷰에 나타난 물체의 모양과 가장자리를 파악하여 민감도 수준을 설정한다. 로봇의 팔이 날카로운 모서리나 코너 근처로 움직이면 시스템은 팔의 미세한 위치 변화에 매우 민감해진다. 반면 팔이 평평하고 빈 공간 위를 움직일 때는 시각적 노이즈를 무시하고 매끄러운 움직임에만 집중한다. 이를 통해 로봇은 새로운 카메라 프레임을 기다리지 않고도 고속으로 움직일 수 있으며, 동시에 시각 정보를 사용하여 손을 정밀하게 안내할 수 있다.

연구진은 깊이 감지 카메라가 장착된 휴머노이드 팔에서 기록된 실제 로봇 움직임 데이터셋을 통해 이 아이디어를 테스트했다. 그들은 이 새로운 시스템을 동기화된 데이터를 기다리는 표준 인공지능 모델과, 이 특수한 시각적 게이팅(gating)을 사용하지 않는 다른 뇌 모사 네트워크와 비교했다. 결과에 따르면, 새로운 접근 방식이 올바른 팔의 움직임을 예측하는 데 훨씬 더 정확했다. 테스트에서 이 시스템은 기존의 가장 우수한 방법보다 작은 차이지만 일관되게 적은 오류를 범했으며, 모든 데이터를 한꺼번에 처리하려고 시도하는 표준 뇌 모사 네트워크보다는 훨씬 더 정확했다. 아마도 더 중요한 점은, 새 시스템이 훨씬 더 효율적이었다는 것이다. 이 시스템은 단순히 계속 신호를 보내는 것이 아니라, 로봇의 팔이 물체의 기하학적 가장 근처에 있을 때만 내부 신호를 발사했다. 이러한 선택적 활동은 이전 방식들에 비해 컴퓨터가 처리해야 할 신호의 수를 약 35% 줄였으며, 이는 로봇이 더 빠르게 작동하고 에너지를 덜 사용할 수 있음을 시사한다.

이 시스템이 왜 작동하는지 이해하려면 정보 처리 과정을 살펴볼 필요가 있다. 카메라는 사진을 찍은 즉시 색상이나 질감 같은 방해 요소를 무시하고 물체의 윤곽선을 찾아내어 분해한다. 이 윤곽선들은 로봇의 내부 의사결정 뉴런을 위한 '임계값(threshold)'을 조정하는 데 사용된다. 이 임계값을 뉴런이 신호를 얼마나 쉽게 보낼지를 제어하는 '문(gate)'이라고 생각하면 쉽다. 카메라가 명확한 가장자리를 포착하는 영역에서는 문이 낮아져서 뉴런이 로봇 팔의 작은 움직임에도 매우 민감하게 반응하게 된다. 반면 카메라가 평평하고 특징 없는 배경을 보는 영역에서는 문이 높아져서 뉴런이 사소한 변동을 무시하도록 한다. 이는 로봇의 빠르게 움직이는 관절이 초당 수백 번씩 위치를 계속 업데이트할 수 있게 하면서도, 시각 시스템은 기하학적 구조가 요구할 때만 동작을 미세 조정하기 위해 개입하게 함을 의미한다. 또한 이 시스템은 움직임의 매끄럽고 예측 가능한 부분들을 위한 직접적인 경로를 포함하고 있어, 로봇이 시각적 노이즈에 과잉 반응하지 않도록 보장한다.

연구진은 또한 시각적 입력이 지저군요 노이즈가 많은 상황(열악한 조명이나 카메라 왜곡을 시뮬레이션함)에서 시스템이 얼마나 잘 견디는지도 테스트했다. 이러한 어려운 조건 하에서도 새로운 시스템은 다른 시스템들보다 훨씬 더 잘 정확도를 유지했으며, 표준 뇌 모사 네트워크보다 오차 감소 폭이 절반에 불과했다. 이는 시스템이 가공되지 않은 픽셀 데이터가 아닌 세상의 기하학적 구조에 집중함으로써, 다른 시스템들을 혼란스럽게 만드는 종류의 시각적 오류에 대해 더 강건해진다는 것을 시사한다. 나아가, 연구진이 로봇이 현재 상태를 바탕으로 미래의 움직임 시퀀스를 예측해야 하는 시나리오를 시뮬레이션했을 때, 새로운 시스템은 경쟁 모델들보다 오류가 훨씬 더 느리게 누적되었다. 이는 이 방법이 로봇이 시간에 따라 자신의 행동에 대한 안정적인 이해를 유지하도록 돕는다는 것을 나타내며, 이는 정밀한 연속 동작이 필요한 작업에서 매우 중요하다.

연구진은 이 연구가 실제 환경에서 임무를 수행하는 라이브 로봇이 아니라 로봇으로부터 기록된 데이터를 사용하여 테스트되었다는 점을 인정하며, 따라서 이 결과는 시스템이 물리적 환경에서 물체를 성공적으로 잡을 수 있다는 것을 증명하기보다는 행동을 얼마나 잘 예측하는지를 보여준다고 밝혔다. 그러나 여러 테스트에 걸친 결과의 일관성과 명확한 효율성 향상은 이 방식이 시각과 움직임을 결합하는 유망한 방향임을 시사한다. Geo-Reflex는 로봇의 빠른 내부 클록이 독립적으로 작동하게 하면서 느린 카메라를 단지 규칙을 설정하는 용도로 사용함으로써, 로봇의 민첩성을 오랫동안 제한해 온 타이밍 불일치에 대한 실질적인 해결책을 제시한다. 이 연구 결과는 로봇이 인간처럼 유연하게 움직이기 위해서는, 눈과 몸을 정확히 같은 속도로 맞추려고 노력하는 대신, 세상의 형태가 요구할 때만 눈이 손을 안내하도록 배우는 것이 필요할 수도 있음을 시사한다.