LabDex: A Hierarchical Benchmark for Dexterous Manipulation in Laboratories

가장 섬세하고 반복적이며 정밀한 작업이 인간의 손이 아닌 기계에 의해 수행되는 화학 실험실의 세상을 상상해 보십시오. 수십 년 동안 과학자들은 발견의 속도를 높이기 위해 이러한 공간을 자동화하는 것을 꿈꿔왔지만, 지금까지 우리가 만든 로봇들은 종-종 서툴렀습니다. 그들은 상자나 블록을 잡을 수 있는 단순한 집게 형태의 그리퍼를 갖추고 있지만, 유리 시험관을 다루거나, 액체를 쏟지 않고 따르거나, 가는 막대로 용액을 젓는 데 필요한 미묘하고 유동적인 움직임에는 어려움을 겪습니다. 앞으로 나아가기 위해 연구자들은 기계에게 인간이 가진 종류의 데크스테리티(dexterity, 손재주), 즉 손가락을 사용하여 물체를 느끼고, 조절하고, 주의 깊게 조작하는 능력을 가르칠 방법을 필요로 했습니다. 이것이 바로 "데크스터러스 매니퓰레이션(dexterous manipulation, 정교한 조작)"의 과제이며, 이 분야는 로봇에게 단순히 물건을 잡는 것 이상의 기능을 가진 손, 즉 부드러운 촉감과 안정적인 손놀림이 필요한 복잡하고 다단계적인 과업을 수행할 수 있는 손을 부여하는 것을 목표로 합니다.

새로운 연구에서 연구팀은 이 문제를 해결하기 위해, 특히 화학 실험실을 위한 거대하고 새로운 테스트 환경을 구축했습니다. 그들은 이를 LabDex라고 부릅니다. 연구진은 단순히 로봇에게 단일 물체를 집어 올리라고 요청하는 대신, 실험실 업무의 전체 범위를 명확한 3단계 계층 구조로 구성했습니다. 가장 낮은 단계에는 유리 막대를 잡거나, 물을 따르거나, 시험관을 흔드는 것과 같은 아주 작고 근본적인 동작인 "원자적 기술(atomic skills)"이 있습니다. 다음 단계는 "조합적 기술(compositional-compositional skills)"로, 로봇이 비커를 집고, 내용물을 따르고, 다시 내려놓는 것과 같이 단일 기능을 완료하기 위해 여러 개의 작은 동작을 하나로 엮어야 하는 단계입니다. 마지막으로 가장 높은 단계에는 최종적인 과학적 결과를 얻기 위해 로봇이 긴 일련의 다양한 동작을 수행해야 하는 완전한 실험인 "장기적 워크플로우(long-horizon workflows)"가 있습니다. 이렇게 작업을 세분화함으로써, 연구팀은 단순히 최종 실험의 성공 여부만을 보는 것이 아니라 로봇이 정확히 어느 지점에서 성공하고 실패하는지를 파k할 수 있었습니다.

이 벤치마크를 구축하기 위해 연구진은 실제 세계와 컴퓨터 시뮬레이션 모두에서 작동하는 통합 시스템을 제작했습니다. 물리적 실험실에서 그들은 인간의 손과 매우 유사하게 생기고 움직이는 정교한 다지(multi-fingered) 손이 장착된 로봇 팔을 사용했습니다. 특수 데이터 장갑을 착용하고 모션 트래킹 장치를 사용한 인간 운영자가 로봇을 물리적으로 유도하여 동작을 수행하도록 텔레오퍼레이션(teleoperation, 원격 제어)했습니다. 로봇은 모든 움직임, 모든 카메라 각도, 그리고 모든 관절 위치를 기록하여 수천 개의 시연 라이브러리를 생성했습니다. 그런 다음 연구진은 이 실제 세계의 교훈을 가상 환경으로 변환하여, 실제 하드웨어에 다시 시도하기 전에 안전하고 반복 가능한 디지털 공간에서 로봇의 학습을 테스트할 수 있도록 했습니다. 이러한 이중 접근 방식은 데이터가 단순한 숫자의 집합이 아니라, 화학 실험실의 물리적 실체를 충실히 반영하도록 보장합니다.

그 후 연구진은 이 새로운 벤치마크를 사용하여 가장 진보된 몇몇 로봇 학습 시스템을 테스트했습니다. 그들은 이 시스템들이 시연 데이터를 통해 과업을 학습하는 과정을 지켜보았습니다. 결과는 시사하는 바가 컸습니다. 일부 최신 모델들은 비커를 집거나 테이블 위에 놓는 것과 같은 단순한 단일 단계 과업을 높은 정확도로 성공적으로 수행할 수 있었지만, 이 단계들을 서로 연결하라는 요구를 받았을 때는 크게 고전했습니다. 한 용기에서 다른 용기로 액체를 따르고 나서 다시 용기를 제자리에 두는 것과 같이 과업이 복용해질수록 성공률은 급격히 떨어졌습니다. 가장 유능한 모델조차 다단계 과업당 평균 0.73개의 원자적 기술을 완료했을 뿐, 어떤 모델도 스스로 전체 실험 시퀀스를 끝까지 마칠 수는 없었습니다.

실패 사례를 자세히 살펴보면, 문제는 단지 한 번의 실수를 하는 것이 아니라, 과정 초기의 작은 오류가 그 이후의 모든 과정을 어떻게 망가뜨리는지에 관한 것이었습니다. 예를 들어, 로봇이 깔때기를 집었지만 각도를 약간 잘못 잡았다면, 깔때기를 플라스크에 삽입하는 데 실패하게 되고 전체 실험이 중단됩니다. 연구는 로봇이 시험관이나 눈금 실린더와 같이 길고 가늘거나 유리로 된 물체를 다루는 데 특히 취약하다는 것을 발견했습니다. 이러한 물체들은 손가락이 닿는 위치에 매우 민감하며, 로봇은 실시간으로 움켜쥐는 힘을 조절하는 미세한 제어 능력이 부족했습니다. 또한, 연구진이 목표물과 비슷하게 생긴 추가 물체들을 테이블 위에 놓았을 때, 로봇들은 혼란을 겪으며 엉뚱한 물건을 잡거나 아예 동작을 수행하지 못하기도 했습니다.

연구팀은 또한 이 로봇들이 더 많은 데이터로부터 얼마나 잘 학습할 수 있는지 테스트했습니다. 그들은 로봇에게 과업을 수행하는 예시를 더 많이 보여주는 것이 도움이 되기는 하지만, 특정 지점까지만 그렇다는 것을 발견했습니다. 가장 진보된 모델들은 단 몇 개의 시연 대신 수백 개의 시연을 보았을 때 유의미하게 개선되었는데, 이는 이러한 시스템이 성공적인 따르기와 쏟는 것 사이의 미묘한 차이를 배우기 위해 방대한 양의 경험이 필요함을 시사합니다. 그러나 이러한 추가 데이터에도 불구하고, 로봇들은 인간 화학자가 쉽게 할 수 있는 긴 실험을 신뢰성 있게 완수할 수 없었습니다. 이 연구는 우리가 개별적이고 단순한 동작을 수행하도록 로봇을 가르치는 데는 진전을 이루었지만, 그러한 동작들을 결합하여 안정적이고 신뢰할 수 있으며 지속적인 워크플로우를 만드는 능력은 여전히 큰 장애물로 남아 있다는 결론을 내립니다.

이 작업은 자율 실험실 문제를 해결했다고 주장하는 것이 아닙니다. 대신, 이 연구는 길이 어디서 막혀 있는지를 보여주는 명확한 지도를 제공합니다. 어떤 기술이 부족한지, 그리고 한 단계에서의 오류가 어떻게 전체 과정을 무너뜨리는 연쇄 반응을 일으키는지 정확히 보여줌으로써, 연구진은 과학계에 향후 개선을 위한 정밀한 목표를 제시했습니다. LabDex 벤치마크는 서로 다른 팀들이 동일한 어려운 실제 과업을 기준으로 자신들의 진척도를 측정할 수 있도록 하는 표준 척도 역할을 합니다. 이는 진정으로 실험실에서 일할 수 있는 로봇을 만드는 데는 강력한 팔뿐만 아니라, 수 세기 동안 이 일을 해온 인간의 손처럼 생각하고, 느끼고, 적응할 수 있는 손이 필요하다는 사실을 상기시켜 줍니다.