Revisiting the "Push-T" Robot Manipulation Task with Agentic Robotics

기계가 움직이는 법을 배우는 로봇 공학의 조용한 구석에는, 단순하지만 끈질긴 과제가 하나 있습니다. 바로 로봇이 물체를 잡지 않고 특정 위치로 밀어 넣도록 하는 것입니다. 테이블 위에 T자 모양의 블록이 놓여 있다고 상상해 보십시오. 로로봇 팔은 단 하나의 접점만을 사용하여 블록을 툭 쳐서 완벽한 방향으로 안착시켜야 합니다. 'Push-T'라고 알려진 이 작업은 인공지능의 표준 테스트가 되었습니다. 수년 동안 이를 해결하는 지배적인 방법은 모방 학습이었습니다. 즉, 로봇이 인간이 블록을 미는 수백 개의 영상을 보고 그 움직임을 복제하도록 하는 방식입니다. 이 접근법은 효과적이긴 하지만, 방대한 양의 인간 데이터가 필요하며, 로봇이 동작을 잘 흉내 내기는 해도 왜 그 밀기가 효과적인지에 대한 물리적 원리를 이해하게 만드는 데는 한계가 있는 경우가 많습니다. 이제 새로운 아이디어가 떠오르고 있습니다. 로봇에게 예시를 보여주며 가르치는 대신, 컴퓨터 프로그램이 문제에 대해 추론하여 스스로 명령어를 작성하도록 할 수는 없을까요?

이 질문은 캘리포니아 대학교 버클리 연구진의 최근 연구의 핵심에 자리 잡고 있습니다. 그들은 로봇에게 인간의 데이터를 학습시키기 위해서가 아니라, 인공지능 코딩 에이전트가 처음부터 이 퍼즐을 풀 수 있는지 확인하기 위해 Push-T 작업을 다시 검토했습니다. 그들은 코드를 쓰고 디버깅할 수 있는 정교한 언어 모델인 AI를 사용하였고, 로봇을 위한 컨트롤러를 만들라고 요청했습니다. 지침은 엄격했습니다. AI는 학습된 정책이나 인간의 시연을 사용할 수 없었습니다. AI는 블록의 기하학적 구조, 표면의 마찰력, 그리고 밀기의 역학을 이해하는 프로그램을 작성해야 했습니다. 연구진은 기계가 단순히 효과적일 뿐만 아니라, 인간이 조정한 최선의 방법보다 더 효율적인 해결책을 추론을 통해 찾아낼 수 있는지 알고 싶었습니다.

결과는 AI에게 모방이 아닌 사고할 자유를 주었을 때 어떤 일이 벌어지는지를 보여주는 놀라운 증명이었습니다. 시뮬레이션 환경에서 작업하는 코딩 에이전트는 맹목적으로 추측하지 않았습니다. 에이전트는 먼저 작업의 디지털 시뮬레이션을 찾아낸 뒤, 로봇이 어떻게 움직여야 하는지를 설명하는 코드를 작성하기 시작했습니다. 에이전트는 블록에 접근하고, 접촉하고, 밀고, 그 다음 물러나는 기본적인 계획으로 시작했습니다. 하지만 에이전트는 거기서 멈추지 않았습니다. 코드를 실행하고, 시뮬레이션을 관찰하며, 로봇이 실패하는 지점을 확인했습니다. 블록이 제대로 회전하지 않거나 벽에 걸려 멈추면, 에이전트는 오류를 분석하고 코드의 마찰 계수를 조정하여 다시 시도했습니다. 이 작성, 테스트, 수정의 순환 과정이 반복되었습니다. 에이전트는 블록이 어떻게 움직이는지에 대한 내부 모델을 구축했으며, 블록의 중심을 밀면 앞으로 나아가고 측면을 밀면 회전한다는 사실을 학습했습니다.

몇 차례의 자기 개선 과정을 거친 후, 에이전트는 표준적인 방법들을 능가하는 해결책을 만들어냈습니다. 200개의 서로 다른 시작 위치를 포함한 테스트에서, AI가 작성한 코드는 블록을 목표 지점으로 매번 완벽하게 이동시키며 100%의 성공률을 달-성했습니다. 반면, 200개의 인간 시연을 통해 학습된 최첨단 로봇 정책은 약 62%의 성공률만을 보였습니다. AI의 솔루션은 더 신뢰할 수 있었을 뿐만 아니라 더 효율적이었습니다. 인간이 학습시킨 로봇은 작업을 완료하는 데 평균 200단계 이상의 스텝이 걸린 반면, AI의 프로그램은 약 120단계 만에 작업을 끝냈습니다. 또한 AI는 인간 학습 모델이 6번 이상의 밀기 횟수를 기록한 것과 달리, 작업당 평균 4번 미만의 밀기로 목표를 달 de 달성했습니다. AI는 인간의 시행착오를 흉내 내는 대신 밀기의 역학을 이해함으로써 목표로 가는 더 직접적인 경로를 발견한 것입니다.

연구진은 여기서 더 나아가 한계를 시험했습니다. 그들은 에이전트에게 T자 모양뿐만 아니라 A부터 Z까지 모든 알파벳을 해결하도록 요청했습니다. 각 글자는 곡선, 모서리, 무게 중심이 다른 새로운 기하학적 퍼즐을 제시했습니다. 에이전트는 인간의 예시 없이 이 모양들을 밀 수 있는 코드를 작성하라는 동일한 지침을 받았습니다. AI는 전략을 적응시켜 가장 어려운 글자를 연습하는 커리큘럼을 만들었습니다. 에이전트는 'C'의 곡선과 'Q'의 좁은 모서리를 다루기 위해 접근 방식과 회전 방식을 조정하는 법을 배웠습니다. 결국 에이전트는 26개 알파벳 전체에 대해 거의 99%의 성공률을 달성했습니다. 에이전트는 다양한 접점을 전환하고, 본 것이 무엇인지에 따라 움직임을 끊임없이 재계획하는 제어 전략을 사용하여 막다른 길에 빠지지 않고 작업을 수행했습니다.

이것이 특정 시뮬레이션만의 요행이 아님을 확인하기 위해, 연구진은 AI의 코드를 Franka 암과 UR5 암을 모델로 한 두 가지 유형의 시뮬레이션 로봇 팔에서 테스트했습니다. T자형과 알파벳에 적용되었던 동일한 논리가 두 기계 모두에서 작동했습니다. AI의 프로그램은 서로 다른 로봇들을 성공적으로 유도하여 글자들을 밀었으며, 이는 자신이 개발한 추론이 이식 가능하다는 것을 증명했습니다. 새로운 팔을 위해 재학습할 필요 없이, 단순히 접촉과 움직임에 대한 이해를 새로운 물리적 형태에 적용한 것입니다. 이는 에이전트가 특정 로봇을 위한 특수한 기술이 아니라 일반적인 조작 원리를 학습했음을 시사합니다.

이 연구는 또한 이러한 접근 방식의 비용과 복잡성을 강조했습니다. AI 에이전트는 과정 중에 수백만 단어의 코드와 분석을 생성했으며, 이는 200시간 이상의 자동화된 작업과 상당한 컴퓨aring 자원을 소모했습니다. 연구진은 에이전트가 시뮬레이션을 완벽한 세계로 간주했다는 점이 한계라고 언급했습니다. 실제 세계에서는 마찰력이 변할 수도 있고, 카메라 초점이 약간 어긋날 수도 있는데, 시뮬레이션은 이러한 점을 고려하지 않았습니다. 그러나 에이전트가 인간의 데이터 없이 이토록 복잡한 다단계 문제를 해결할 수 있었다는 사실은 강력한 새로운 방향을 제시합니다. 이는 AI가 스스로 가설을 세우고, 로봇이 어떻게 움직여야 하는지 테스트하며, 올바른 해결책을 찾을 때까지 이해를 정교화하는 연구자로서 기능할 수 있음을 보여줍니다.

이 연구가 로봇이 내일 당장 공장에서 인간 노동자를 대체할 준비가 되었다고 주장하는 것은 아닙니다. 시뮬레이션은 이상적이었고, 실제 세계는 무질서합니다. 하지만 이 결과는 관점의 조용한 변화를 제공합니다. 로봇에게 무엇을 할지 보여줌으로써 가르치는 대신, 이제 우리는 로봇에게 스스로 어떻게 할지를 찾아내라고 요청할 수 있습니다. 에이전트는 단순히 블록을 민 것이 아니라, 밀기의 물리 법칙을 추론했고, 실수를 통해 배웠으며, 더 나은 방법을 찾아냈습니다. 이를 통해 에이전트는 적절한 도구가 주어진다면 인공지능이 단순한 모방을 넘어, 인간이 손으로 시연하기에는 너무 복잡하거나 다양한 과제를 해결할 수 있는 진정한 문제 해결사가 될 수 있음을 입증했습니다.