Zero-Shot Transfer of Force Map Estimation Across GelSight Mini Sensors

로봇 공학의 세계에서 기계에게 느끼는 능력을 부여하는 것은 오랫동안 인간의 손에 의존해 온 도전 과제입니다. 로봇은 점점 더 정교하게 보고 들을 수 있지만, 촉각은 종종 취약하고 맞춤 제작된 형태에 머물러 있습니다. 연구자들은 부드럽고 고무 같은 눈처럼 생긴 특수 센서를 만들어, 물체를 만질 때의 이미지를 포착함으로써 질감과 압력을 이해하도록 만듭니다. 그러나 이러한 센서를 제작하는 것은 공장 라인에서 동일한 부품을 찍어내는 것과는 다릅니다. 실험실에서 주로 수작업으로 조립되기 때문에, 두 개의 센서가 완전히 똑같지는 않습니다. 어떤 것은 배경색이 약간 다르거나, 젤 층의 두께가 다른 것보다 아주 미세하게 더 두꺼울 수도 있습니다. 이러한 불균일성은 상당한 장애물을 만듭니다. 특정 센서의 '느낌'을 이해하도록 훈련된 컴퓨터 프로그램은, 비록 외관상 거의 동일해 보일지라도 다른 유닛을 받게 되면 완전히 실패하는 경우가 많습니다. 이를 해결하기 위해 과학자들은 보통 매번 새로운 센서를 만들 때마다 방대한 양의 새로운 데이터를 수집하고 모델을 다시 훈련시켜야 하는데, 이는 로봇의 정교한 움직임을 저해하는 느리고 비용이 많이 드는 과정입니다.

알리칸테 대학교의 연구팀은 한 센서의 촉감을 읽는 법을 학습한 컴퓨터가, 새로운 예시를 단 하나도 보지 않고도 동일한 유형의 다른 모든 센서에 그 지식을 적용할 수 있는 방법을 제안했습니다. 그들의 연구는 GelSight Mini라고 불리는 특정 장치에 초점을 맞추고 있는데, 이 장치는 카메라를 사용하여 부드럽고 투명한 표면이 물체에 눌릴 때의 사진을 촬영합니다. 물체가 표면에 닿으면 빛과 그림자의 독특한 패턴이 생성되어 접촉의 형태와 힘을 드러냅니다. 연구진은 먼저 촉각 이미지를 정화하여 특정 센서만의 '지문'을 제거한 다음, 이 정화된 이미지를 사용하여 모든 방향에서 가해지는 정확한 힘을 계산하는 2단계 시스템을 개발했습니다. 이렇게 함으로써, 그들은 단 하나의 센서로 훈련된 모델이 완전히 다른 센서에서도 힘을 정확하게 예측할 수 있음을 보여주었으며, 이는 특수 마커를 사용한 시스템과 대등한 수준의 정확도를 달로 달성했습니다.

그들의 발견의 핵심은 센서 간의 차이를 장벽이 아닌 '번역'의 문제로 취급하는 방식에 있습니다. 당신이 알지 못하는 방언으로 쓰인 이야기를 이해하려고 노력한다고 상상해 보십시오. 새로운 방언을 처음부터 모두 배우는 대신, 먼저 그 이야기를 당신이 잘 아는 표준 언어로 번역한 다음 읽는 것입니다. 연구진은 촉각 이미지에 이 논리를 적용했습니다. 그들은 새로운 센서로부터 얻은 가공되지 않은 이미지를 받아들여, 그것을 표준화되고 이상적인 센서로부터 나온 것처럼 보이는 '일반적인' 이미지로 재구성하는 시스템을 구축했습니다. 이 첫 번째 단계에서는 대량의 단일 센서 이미지 모음으로 훈련된 일종의 인공지 intelligence를 사용하며, 여기서 기계는 특정 단위의 배경색이나 미세한 결함을 무시하면서 촉각의 본질적인 특징을 인식하는 법을 배웠습니다. 결과물은 하드웨어의 독특한 특성을 제거하고, 오직 접촉 중인 물체에 대한 순수한 정보만을 남긴 깨끗하고 표준화된 이미지입니다.

이미지가 표준화되면 시스템의 두 번째 단계가 작동하여 물리적인 힘을 결정합니다. 연구진은 재구성된 이미지를 보는 것만으로는 충분하지 않다는 것을 발견했습니다. 그들은 정확히 어디에서 접촉이 일어났는지를 강조해야 했습니다. 이를 위해 재구성된 이미지에서 배경을 빼서 접촉 지점만을 보여주는 차이 이미지를 만들었습니다. 이 명확하고 대비가 높은 이미지는 힘의 지도를 예측하도록 설계된 두 번째 신경망에 입력되었습니다. 이 네트워크는 세 가지 차원, 즉 아래로 누르는 힘과 두 방향의 옆으로 미는 힘을 포함하여 얼마나 많은 압력이 가해지는지를 계산합니다. 연구진은 18,000장이 넘는 이미지 데이터셋을 사용하여 이 접근 방식을 테스트했는데, 이 과정에서 원래 컴퓨터가 힘을 식별하는 데 도움을 주던 작은 유색 마커들을 먼저 제거해야 했습니다. 그들은 이 마커들을 디지털 방식으로 지우는 알고리즘을 만들었고, 마커가 없는 깨끗한 이미지로부터 힘을 예측하도록 시스템을 훈련시켰습니다.

이 실험의 결과는 놀라울 정도로 견고했습니다. 시스템이 본 적 없는 센서들(서로 다른 배경색과 약간 다른 물리적 특성을 가진 유닛 포함)에 대해 테스트되었을 때, 매우 일관된 성능을 보였습니다. 첫 번째 단계인 촉각 이미지를 재구성하는 과정에서, 시스템은 원본의 실제 이미지와 매우 높은 유사성을 달성했으며, 이는 재구성된 사진이 구조와 세부 사항 측면에서 실제 사진과 거의 구별할 수 없을 정도라는 점을 나타내는 점수를 기록했습니다. 두 번째 단계인 실제 힘을 예측할 때, 시스템의 오차는 매우 작았으며, 평균적으로 실제 힘과 1뉴턴(Newton)을 약간 상회하는 차이를 보였습니다. 맥락을 설명하자면, 1뉴턴은 작은 사과의 무게와 비슷하므로, 시스템의 예측값은 센서 전체 표면에 걸쳐 사과 한 개의 무게 정도의 오차만을 가졌음을 의미합니다. 이러한 정밀도는 시스템이 테스트된 특정 센서에 대해 훈련받지 않았음에도 불구하고 달성되었으며, 이는 이 방법이 서로 다른 하드웨어 유닛 간에 일반화될 수 있음을 입증합니다.

연구진은 또한 자신들의 마커 없는 방식과 기존의 유색 마커를 사용하는 시스템을 비교했습니다. 그들은 마커가 오차를 약간 줄이는 데 도움이 되기는 하지만, 마커가 유발하는 복잡성과 시각적 방해를 고려할 때 그 차이가 크지 않다는 것을 발견했습니다. 마커가 없는 깨끗한 이미지로 훈련된 시스템은 마커를 사용하는 시스템과 거의 대등한 성능을 보였으며, 이는 마커를 디지털로 제거하는 전략이 성공적이었음을 시사합니다. 더욱이, 전체 과정은 실시간 응용 분야에서 사용할 수 있을 만큼 충분히 빨랐습니다. 시스템은 이미지를 처리하고 20밀리초 미만 내에 힘의 지도를 출력할 수 있었는데, 이는 센서가 이미지를 캡처하는 속도에 맞춰 대응하기에 충분히 빠른 속도입니다. 이 속도는 로봇 손이 깨지기 쉬운 물체를 잡고 있는 상태에서 즉각적으로 반응해야 하는 상황과 같이, 로봇이 환경에 즉각적으로 반응해야 하는 작업에 매우 중요합니다.

이러한 성공에도 불구하고, 연구진은 현재 작업의 한계를 주의 깊게 언급했습니다. 시스템은 힘이 극도로 낮아 0에 가깝거나, 혹은 극도로 높아 센서의 최대 한계에 도달했을 때 어려움을 겪었습니다. 또한 힘이 매우 강하거나 물체가 옆으로 강하게 밀릴 때 접촉 영역의 정확한 모양을 예측하는 데 어려움이 있었습니다. 이는 모델의 촉각 물리 법칙에 대한 이해가 아직 완전하지 않음을 의미합니다. 저자들은 향후 개선 방향으로, 컴퓨터가 접촉의 기하학적 구조를 더 잘 이해할 수 있도록 돕는 특정 훈련 규칙을 추가하여, 힘 자체만큼이나 접촉의 형태도 정확하게 보존할 수 있도록 해야 한다고 제안했습니다.

이 연구는 촉각 감지를 광범위하게 실용화하는 데 있어 중요한 진전을 의미합니다. 단 하나의 센서로 훈련된 모델이 다른 많은 센서로 일반화될 수 있음을 입증함으로써, 연구진은 로봇 촉각 발전에 있어 주요한 병목 현상을 제거했습니다. 그들의 방법은 실제 세상의 센서가 내놓는 무질서하고 가변적인 출력을 받아들여, 로봇이 이해할 수 있는 깨끗하고 신뢰할 수 있는 신호로 바꿀 수 있는 보편적인 '번역기'를 구축하는 것이 가능하다는 것을 보여줍니다. 이 접근 방식은 이전까지 필요하다고 여겨졌던 방대한 데이터셋이나 완벽한 제조 조건을 요구하지 않으며, 주변 세계를 진정으로 느낄 수 있는 차세대 기계를 위한 더 유연하고 효율적인 경로를 제시합니다.