From Pixels to Registers: A Multi-Modal Testing Framework for Chained Perception, Control and Firmware

로봇이 세상을 보는 법을 배울 때, 종종 잘못된 것을 배우곤 한다. 엔지니어들이 사진을 이용해 로봇을 훈련시키면, 기계는 특정 질감, 조명 조건, 그리고 훈련실 바닥의 정확한 색조를 인식하는 법을 배운다. 만약 그 로봇이 조명이 다르거나 바닥 패턴이 다른 새로운 방으로 옮겨지면, 로봇은 장애물의 형태를 보지 못해서가 아니라 픽셀이 다르게 보인다는 이유로 종종 실패한다. 표준적인 해결책은 로봇에게 더 다양하고 많은 이미지를 제공하여, 결국 로봇이 주의를 분산시키는 요소들을 무시하는 법을 배우기를 기대하는 것이었다. 하지만 새로운 접근 방식은 다른 길을 제시한다. 로봇에게 소음을 무시하도록 가르치는 대신, 로봇이 그것을 보기 전에 아예 소음을 제거해 버리는 것이다. 색상, 질감, 그림자를 제거하고 로봇에게 세상의 깨끗한 윤곽선만을 제시함으로써, 연구자들은 로봇이 움직임에 실제로 중요한 기하학적 구조에 집중하도록 가르칠 수 있다.

한 연구자는 이 아이디어가 작동한다는 것을 증명하기 위해 테스트 시스템을 구축하였으며, 로봇이 보는 것과 어떻게 움직이는지 사이의 가교를 만들었다. 그들의 작업은 2단계 과정에 집중되어 있다. 첫 번째 단계에서 컴퓨터 프로그램은 사실적인 사진을 가져와서, 물체를 번호로 식별하는 지도와 결합된 단순한 선화(line drawing)로 변환한다. 이러한 추상화는 모든 시각적 혼란을 제거한다. 두 번째 단계에서 제어 시스템은 오직 이 깨끗한 윤곽선만을 사용하여 로봇을 운전하는 법을 배운다. 제어 시스템은 사진을 전혀 보지 못하기 때문에, 특정 바닥 색상이나 그림자에 의존하는 법을 우연히 배울 수 없다. 그것은 오직 세상의 형태만을 배운다. 이를 테스트하기 위해 연구자는 이러한 정렬된 이미지들을 생성하고, 결정적으로 로봇의 실제 제어 소프트웨어를 컴퓨터 내부에서 실행하는 시뮬레이터를 구축했다. 이를 통해 연구자들은 로봇의 '두뇌'가 단순한 스케치를 실제 물리적 명령으로 변환하여 기계에서 작동할 수 있는지 확인할 수 있다.

연구자는 이 방법이 매우 적은 양의 데이터로도 학습 가능한 데이터를 생성한다는 것을 발견했다. 그들은 사진을 선화로 바꾸기 위해 단 479장의 이미지만을 사용하여 인지 네트워크를 훈련시켰다. 네트워크가 모든 선을 완벽하게 그려내지는 못했지만, 장면의 필수적인 형태와 실루엣을 성공적으로 포착해 냈다. 더 중요한 것은, 평생 사진을 본 적이 없는 제어 정책을 테스트했다는 점이다. 이 정책은 모든 물체의 정확한 위치를 알고 있는 전문가 운전자를 모방하도록 훈련되었다. 제어 정책이 선화와 의미론적 지도(semantic maps)만을 받았을 때, 그것은 여로덟 번의 테스트 시나리오 모두에서 로로봇을 목표 지점까지 성공적으로 안내했다. 반면, 단순히 핸들을 꺾지 않고 직진만 하는 로봇은 동일한 장면들에서 단 한 번도 목표에 도달하지 못했다. 이는 단순화된 시각적 입력이 로봇이 효과적으로 항해하는 데 필요한 충분한 정보를 포함하고 있음을 입증했으나, 저자는 이 결과가 소규모 실험에서 나온 것이며, 이 장치가 학습 가능한 데이터를 생성한다는 증거일 뿐 경쟁력 있는 결과로 간주되어서는 안 된다고 주의를 기울였다.

연구자는 또한 시스템이 실패할 수도 있다고 생각했던 초기 가설이 틀렸음을 발견했다. 그들은 처음에 로봇이 충분한 훈련 데이터를 갖지 못해서 실패한다고 의심했으나, 데이터의 양을 두 배로 늘렸을 때 오히려 성능이 악화되었다. 그다음에는 로봇의 '두뇌'가 이미지를 이해하기에 너무 작다고 의심했으나, 진짜 문제는 로봇이 정보를 처리하는 방식이었다. 시스템이 전체 이미지를 하나의 숫자로 평균화하고 있었는데, 이는 목표가 얼마나 보이는지는 알려주었지만 목표가 어디에 있는지는 알려주지 않았다. 일단 시스템을 변경하여 물체의 수평 위치를 추적하도록 만들자, 로봇은 완전히 실패하던 상태에서 매번 성공하는 상태로 변했다. 이는 로봇이 조향하기 위해서는 목표가 존재한다는 사실뿐만 아니라, 목표가 어느 쪽에 있는지를 알아야 한다는 점을 강조했다.

로봇의 명령이 실제로 작동하는지 확인하기 위해, 연구자는 매우 낮은 수준에서 로봇의 소프트웨어를 점검하는 엄격한 테스트 게이트를 구축했다. 그들은 두 가지 서로 다른 시스템을 통해 동일한 명령을 실행했다. 하나는 모터가 회전하는 물리적 결과를 시뮬레이션하는 것이었고, 다른 하나는 모터 컨트롤러 내부의 전자 레지스터 자체를 시뮬레이션하는 것이었다. 그들은 두 시스템이 항상 일치하지 않는다는 것을 발견했다. 예를 들어, 로봇에게 매우 느리게 움직이라고 명령했을 때, 단순한 시뮬레이션은 로봇이 아주 조금 움직일 것이라고 했지만, 상세한 전자 시뮬레이션은 명령이 모터의 내부 저항을 극복하기에 너무 약해서 모터가 전혀 움직이지 않을 것임을 보여주었다. 이는 단순한 시뮬레이션이 소프트웨어가 실제 하드웨어의 물리 법칙과 상호작용할 때 나타나는 결정적인 실패를 숨길 수 있음을 드러냈다.

이러한 성공에도 불구하고, 연구자는 자신의 결과가 이 통제된 시뮬레이션에 국한된다는 점을 명시하고 있다. 로봇은 가상 환경에서 테스트되었으며, 이 방법이 전통적인 사진 기반 훈련보다 실제 세상이 변할 때 더 효과적이라는 최종적인 증명은 아직 이루어지지 않았다. 그들이 구축한 시스템은 그 아이디어를 테스트하기 위한 도구이지, 그 자체로 최종 해답은 아니다. 그들은 로봇이 스케치만을 사용하여 운전하는 법을 배울 수 있다는 것과, 그들의 테스트 프레임워크가 다른 방법들이 놓치는 미묘한 소프트웨어 오류를 잡아낼 수 있다는 것을 보여주었다. 이 작업은 이론적인 아이디어를 측정 가능한 실험으로 변모시켜, 로봇이 보는 것을 단순화함으로써 우리는 세상을 이해하는 방식을 더 견고하게 만들고 제어를 더 신뢰할 수 있게 만들 수 있음을 입증한다.