로봇은 오랫동안 공장 바닥의 지배자였으며, 예측 가능한 경로를 따라 무거운 물체를 단단한 정밀함으로 이동해 왔습니다. 하지만 우리가 로봇에게 집 안으로 들어와 전구를 끼우거나, 꽃병을 닦거나, 병뚜껑을 돌리는 것과 같은 일상의 섬세하고 번거로운 과업을 수행하도록 요청할 때, 그들은 종종 비틀거립니다. 세상은 깨끗하고 정적인 격자판이 아닙니다. 세상은 끊임없이 미세한 마찰이 발생하는 곳입니다. 기계가 성공하기 위해서는 단순히 보는 것을 넘어 느껴야 합니다. 손가락이 미끄러지는 순간, 노브를 돌리는 데 필요한 압력, 또는 부드러운 물체가 촉각에 의해 변형되는 방식과 같은 보이지 않는 접촉의 물리학을 이해해야 합니다. 수십 년 동안 과학자들은 로봇에게 눈과 피부를 모두 부여함으로써 이 간극을 메우려 노력해 왔지만, 기계가 이러한 감각들을 하나의 유동적인 직관으로 결합하도록 가르치는 것은 인공지능 분야에서 가장 완고한 과제 중 하나로 남아 있었습니다.

한 연구팀이 이제 DeCAL이라는 새로운 시스템을 통해 중요한 진전을 이루었습니다. 이것은 단순히 보고 만질 수 있는 로봇이 아니라, 물리적 상호작용이 일어나기 전에 그 미래를 상상하도록 설계된 시스템입니다. 이해, 상상, 그리고 행동을 통합하는 모델을 구축함으로써, 연구진은 인간의 조작과 같이 복잡하고 접촉이 많은 세상을 이전에는 볼 수 없었던 수준의 숙련도로 헤쳐 나갈 수 있는 로봇 정책을 만들어냈습니다. 이 시스템은 꽃병 닦기부터 작은 부품 조립에 이르기까지 여섯 가지의 뚜렷한 작업에서 테스트되었으며, 기존의 가장 진보된 방법들을 일관되게 능가했습니다. 이러한 실제 환경 테스트에서 DeCAL은 단순한 작업에서는 최대 100%의 성공률을 달ocation했으며, 환경이 예상치 못한 방식으로 변했을 때도 여섯 가지 과제 전체에 걸쳐 71%의 견고한 평균 성공률을 유지했습니다.

연구진이 해결한 핵심 문제는 시각만으로는 조작의 가장 결정적인 순간을 포착하기 어렵다는 점입니다. 로봇 손이 물체를 향해 다가갈 때, 손가락이 카메라의 시야를 가려 로봇이 정보를 가장 필요로 하는 바로 그 순간에 '사각지대'를 만들기 때문입니다. 더욱이, 시각 데이터는 로봇에게 얼마나 세게 밀고 있는지 또는 물체가 미끄러지려 하는지를 알려줄 수 없습니다. 로봇에 촉각 센서를 추가하려는 이전의 시도들은 종-종 이를 단순한 부가 기능으로 취급했지만, DeCAL은 촉각 정보를 사고 과정의 근본적인 부분으로 통합합니다. 이 시스템은 각 손가락 끝에 고해상도 센서를 사용하여 압력에 의해 변형되는 물체 표면의 형태와 적용되는 정밀한 힘을 감지할 수 있습니다. 이를 통해 로봇은 자신이 보는 것만큼이나 풍부하고 상세하게 세상을 "느낄" 수 있습니다.

DeCAL을 진정으로 독특하게 만드는 것은 이 정보를 처리하는 방식입니다. 단순히 현재 보이는 것이나 느껴지는 것에 반응하는 대신, 이 시스템은 다음에 어떤 일이 일ธ을 상상하도록 훈련됩니다. 이는 세 가지의 구별되면서도 연결된 능력으로 작동합니다. 첫째, 시각적 장면을 보고, 언어 지시를 읽으며, 접촉 지점을 느낌으로써 현재 상황을 이해합니다. 둘째, 시각적 장면과 촉각적 감각이 다음 몇 초 동안 어떻게 진화할지 예측하는 일종의 '공동 상상(co-imagination)' 단계에 들어갑니다. 즉, "지금 캡을 돌리면 힘이 어떻게 변할 것이며, 잠시 후 물체의 모습은 어떻게 될까?"라고 스스로에게 묻는 것입니다. 마지막으로, 이 상상된 미래를 사용하여 과업을 완료하는 데 필요한 정밀한 움직임을 결정합니다. 이러한 앞을 내다보는 접근 방식 덕분에 로봇은 단순히 과거의 패턴에 기반해 추측하는 것이 아니라, 상호작용의 물리학에 기반하여 행동을 계획할 수 있습니다.

이를 구현하기 위해 연구진은 언제 촉각을 신뢰할지 결정하는 특별한 방법을 개발했습니다. 많은 작업에서 로봇은 촉각이 무의미한 공중을 이동하다가 갑자기 물체와 접촉하게 됩니다. 만약 로봇이 항상 촉각 신호에 동일한 주의를 기울인다면, 공기의 소음이나 접촉의 부재로 인해 혼란을 겪을 것입니다. DeCAL은 촉각의 '볼륨 조절기' 역할을 하는 스마트 게이팅 메커니즘을 사용합니다. 로봇이 아무것도 만지지 않을 때, 시스템은 촉각 신호의 볼륨을 낮추어 주로 시각에 의존합니다. 접촉이 일어나는 순간, 시스템은 즉시 볼륨을 높여 촉각 데이터가 정밀하게 움직임을 안내하도록 합니다. 이러한 동적 조절은 로봇이 적절한 시점에 적절한 감각을 사용하여 감각 입력들이 서로 충돌하는 것을 방지합니다.

이 시스템은 22개의 손가락을 갖춘 로봇 팔 한 쌍을 이용한 일련의 엄격한 실험을 통해 검증되었습니다. 연구진은 로봇에게 꽃병 닦기, 화이트보드 지우기, 부품 조립하기, 캡 돌리기, 액체 피펫팅, 전구 끼우기라는 여섯 가지 서로 다른 활동을 맡겼습니다. 이 과제들은 모두 미세한 제어와 지속적인 물리적 접촉을 필요로 한다는 점에서 선정되었습니다. 로봇은 시각에만 의존하거나, 촉각을 사용하지만 미래 상태를 상상하는 능력이 부족한 다른 최첨단 모델들과 비교되었습니다. 결과는 명확했습니다. DeCAL은 다른 모든 시스템보다 훨씬 더 자주 과업을 완수했습니다. 예를 들어, 시야가 손에 의해 가려지기 쉽고 정밀한 토크가 필요한 전구 끼우기 작업에서 DeCAL은 40%의 성공률을 기록한 반면, 차순위 모델은 35%에 그쳤습니다. 꽃병 닦기 작업에서 DeCAL은 100%의 완벽한 성공률을 달성했으나, 가장 뛰어난 경쟁 모델인 시각 전용 모델은 30%의 성공률만을 보였습니다.

더욱 인상적인 것은 본 적 없는 상황을 처리하는 시스템의 능력이었습니다. 연구진은 배경이 다르거나, 무작위 물체들로 어지럽혀져 있거나, 조명이 어둡거나, 혹은 모양과 크기가 완전히 다른 새로운 물체가 있는 환경에서 DeCAL을 테스트했습니다. 암기된 패턴에 의존할 수 없는 이러한 '분포 외(out-of-distribution)' 시나리오에서도 DeCAL은 강력한 성능을 유지했습니다. 새로운 컵에 캡을 돌려 끼우라는 요청을 받았을 때, 시스템은 75%의 성공률을 기록하며 경쟁 모델들을 크게 앞질렀습니다. 이는 로봇이 단순히 특정 움직임을 암기하는 것이 아니라, 물체가 어떻게 상호작용하는지에 대한 근본적인 물리 법칙을 학습하여 새로운 도전 과제에 즉각적으로 적응하고 있음을 시사합니다.

연구진은 또한 시스템이 미래를 예측하는 방법을 면밀히 살펴보았습니다. 로봇의 내부 예측을 분석한 결과, 상호작용 중에 발생할 힘과 변형을 정확하게 예측할 수 있음을 발견했습니다. 로봇이 캡을 돌리는 데 필요한 힘이 얼마인지, 또는 부드러운 표면이 어떻게 변형될지를 예측할 때, 이러한 예측은 실제 물리적 현실과 밀접하게 일치했습니다. 이러한 내부적인 물리 시뮬레이션 능력은 로봇에게 '상식'을 부여합니다. 이를 통해 시스템은 너무 세게 밀면 물체가 미끄러질 수 있고, 너무 느리게 돌리면 작업이 너무 오래 걸릴 것이라는 점을 이해할 수 있습니다. 시각과 촉각의 결합에서 비롯된 이러한 암묵적인 물리학 지식은 로봇이 유동적이고 자신감 있게 행동할 수 있게 합니다.

이러한 성공에도 불구하고, 저자들은 자신들의 연구가 가진 한계를 주의 깊게 언급합니다. 이 시스템은 촉각 센서의 정확도에 크게 의존하며, 만약 센서에 노이즈가 생기거나 보정이 잘못되면 로봇의 성능이 저하될 수 있습니다. 또한, 현재의 설정은 인간 운영자가 텔레오퍼레이션(원격 조종) 시스템을 사용하여 과업을 시연해야 하는데, 이때 운영자에게는 촉각이 전달되지 않습니다. 이는 훈련 데이터가 인간이 직접 물체를 느낄 때 수행하는 미세한 조정을 완벽하게 포착하지 못할 수도 있음을 의미합니다. 연구진은 또한 자신들의 모델이 아직 방대한 규모의 다양한 촉각 데이터로 훈련되지 않았음을 지적하며, 더 넓은 범위의 물리적 상호작용에 시스템을 노출시킨다면 향후 개선이 가능할 것이라고 제언했습니다.

이 연구는 우리가 로봇 지능을 생각하는 방식의 변화를 나타냅니다. 단순히 더 빠르거나 더 강한 로봇을 만드는 것이 아니라, 물리적 세계를 역동적이고 상호작용적인 장소로 이해할 수 있는 기계를 만드는 데 초점을 맞추고 있습니다. 로봇에게 자신의 행동 결과를 상상하고 상황에 따라 감각을 조절하는 능력을 부여함으로써, 연구진은 기계가 단순히 대본을 따르는 것이 아니라 진정한 상호작용이 가능한 에이전트처럼 느껴지는 시스템을 만들어냈습니다. 기술이 성숙해짐에 따라, 이러한 시스템이 요리, 청소, 노인 돌봄 등 인간 삶의 많은 부분을 정의하는 복잡하고 접촉이 많은 과업들을 인간과 맞먹는 숙련도로 수행할 수 있게 되기를 기대하고 있습니다. 앞으로의 과제는 이러한 센서를 정교화하고, 훈련 데이터를 확장하며, 보는 것, 느끼는 것, 그리고 행하는 것 사이의 간극을 계속해서 메워 나가는 것입니다.