로봇에게 "지저킨 주방을 치워줘"라고 말하면, 로봇이 모든 컵과 그릇을 완벽한 정밀도로 움직이며 정확히 무엇을 해야 할지 바로 알아차리는 세상을 상상해 보십시오. 이것이 바로 공장, 농장, 병원에서 우리와 함께 일하도록 설계된 협동 로봇, 즉 '코봇(cobot)'의 꿈입니다. 하지만 여기에는 함정이 있습니다. 로봇에게 무엇을 할지 말하는 것은 놀라울 정도로 어렵습니다. 만약 당신이 단순히 "컵을 옮겨"라고 말한다면, 로봇은 어느 컵인지, 얼마나 멀리 옮겨야 하는지, 혹은 부드럽게 집어야 할지 아니면 세게 밀어야 할지를 모를 수 있습니다. 여기서 **대규모 언어 모델(LLM)**이 등장합니다. 이들을 인간의 단어를 이해하는 데 뛰어난 초지능형 AI 뇌라고 생각하십시오. 과학자들은 이러한 AI가 우리의 무질서하고 모호한 문장을 정밀한 로봇 명령어로 번역하도록 가르치기 위해 노력해 왔습니다. 그러나 큰 문제가 하나 있습니다. 이 AI 뇌들은 종종 '블랙박스'라는 점입니다. 당신이 요청을 입력하면 계획이 튀어나오지만, AI가 어떻게 그 결정을 내렸는지, 혹은 로봇이 그릇을 떨어뜨리거나 벽에 부딪히지 않고 실제로 그 계획이 제대로 작동할지 알 길이 없습니다. 만약 계획이 틀렸다면, 로봇이 무언가를 망가뜨릴 때까지는 그 사실을 알 수 없을지도 모릅니다. 이 논문은 다음과 같은 질문을 던짐으로써 그 무서운 불확실성에 도전합니다: 어떻게 하면 일반 사람들이 로봇이 움직이기도 전에 로봇의 계획을 보고, 이해하고, 수정할 수 있게 할 것인가?

연구진이 개발한 새로운 시스템인 SHRIMP를 소개합니다. 이는 로봇 작업을 위한 '비행 시뮬레이터'와 같은 역할을 합니다. 이름은 Simulation-driven Human-in-the-loop Refinement Interface for Manipulation Planning(조작 계획을 위한 시뮬레이션 기반 인간 참여형 정밀화 인터페이스)의 약자이지만, 여러분은 이를 "로봇 계획 놀이터"라고 생각해도 좋습니다. AI의 첫 번째 추측을 그냥 믿는 대신, SHRIMP는 로봇의 계획을 실행하기 전(실제 세계에 손을 대기 전)에 "잡기", "이동", "기울이기"와 같은 아주 작은 동작들의 단계별 목록으로 나누어 보여줍니다. 만약 계획이 이상해 보인다면—예를 들어, 로봇이 잘못된 각도로 그릇을 집으려고 한다면—컴퓨터 시뮬레이션 안에서 즉시 수정할 수 있습니다. 숫자를 미세하게 조정하거나, 단계를 재배열하거나, 혹은 더 나은 지침과 함께 AI에게 다시 시도하라고 요청할 수 있습니다. 시뮬레이션에서 계획이 완벽해 보일 때 비로소 실제 로봇에게 전달됩니다.

연구진은 35명의 사람을 대상으로 식탁 차리기나 주방 정리와 같은 작업을 계획하는 실험을 진행했습니다. 그들은 세 가지 다른 방식으로 시스템을 사용하는 모습을 비교했습니다: 모든 미세한 단계를 보고 편집할 수 있는 방식(전체 SHRIMP 경험), 큰 그림의 단계만 볼 수 있는 방식, 그리고 단순히 명령어를 입력하고 결과가 잘 나오길 바라는 방식("블랙박스" 방식)입니다. 결과는 명확했습니다: 사람들이 상세한 단계를 보고 편집할 수 있을 때 로봇의 행동을 훨씬 더 잘 이해하고 통제감을 느꼈습니다. 그것은 마치 단순히 "북쪽으로 가"라는 말을 듣는 것과 상세한 지도를 가진 것의 차이와 같았습니다. 하지만 트레이드오프(절충점)도 있었습니다. 모든 세부 사항을 확인하고 수정하는 과정은, 특히 로봇의 도움이 크게 필요하지 않은 간단한 작업에서 정신적 피로도를 높였습니다. 하지만 복잡한 작업의 경우, 그 추가적인 제어권은 생명줄과 같았습니다. 이 연구는 AI가 작업을 시작하는 데는 뛰어나지만, 로봇이 자기 발에 걸려 넘어지기 전에 우리가 엔진 내부를 들여다볼 수 있는 도구가 필요함을 시사합니다.

핵심 아이디어: "블랙박스"에서 "글래스 박스"로

이 논문은 AI가 로봇 계획을 작성할 수는 있지만, 우리가 그것을 맹목적으로 신뢰해서는 안 된다고 주장합니다. 저자들은 SHRIMP를 통해 AI 계획의 "블랙박스"를 모든 것이 보이는 "글래스 박스"로 바꾸는 해결책을 제안합니다. 시스템은 다음과 같은 루프로 작동합니다:

1. 당신이 말합니다: "식탁을 치워줘"와 같이 자연어 프롬프트를 입력합니다.
   2.에는 AI가 생각합니다: 시스템은 대규모 언어 모델을 사용하여 당신의 말을 계층적 계획으로 변환합니다. 이 계획은 단순한 문단이 아니라, 로봇 동작의 레고 블록과 같은 "프리미티브(primitives)"의 목록입니다. 어떤 블록은 크고(예: "그릇을 집는다"), 어떤 블록은 작습니다(예: "특정 좌표로 팔을 이동한다").
2. 당신이 확인합니다: 로봇이 움직이기 전, 물리 기반 시뮬레이션에서 이 계획을 확인합니다. 이것은 실제 로봇과 실제 식탁의 디지털 트윈입니다. 당신은 로봇이 그릇을 집으려고 시도하는 것을 지켜볼 수 있습니다. 만약 시뮬레이션에서 그릇이 식탁에서 떨어지는 것을 보여준다면, 무언가 잘못되었다는 것을 알 수 있습니다.
3. 당신이 수정합니다: 두 가지 방법으로 계획을 수정할 수 있습니다. 새로운 지침을 입력하거나(재프롬프팅), 계획의 숫자들을 직접 편집할 수 있습니다(예: 로봇 팔의 높이 변경).
4. 당신이 실행합니다: 시뮬레이션이 완벽해 보이면, 그 계획을 실제 로봇에게 보냅니다.

연구 결과

연구진은 35명의 참가자가 식탁 차리기, 간식 준비하기, 식탁 치우기와 같은 세 가지 작업을 수행하도록 하는 실험을 진행했습니다. 각 참가자는 세 가지 다른 "모드"로 시스템을 사용했습니다:

• Plan+Edit (계획+편집): 모든 세부 단계를 보고 편집할 수 있는 전체 SHRIMP 경험입니다.
• Plan-Only (계획만): 상위 수준의 단계는 볼 수 있지만 세부 사항은 편집할 수 없습니다.
• No-Plan (계획 없음): 아무런 가시적인 계획이나 편집 없이 명령어를 입력하고 로봇이 그대로 실행하게 두는 베이스라인("블랙박스")입니다.

결과에 따르면 Plan+Edit 모드가 두 가지 이유로 승자였습니다:

1. 통제력: 사람들은 로봇에 대해 훨씬 더 큰 통제권을 느꼈습니다. 그들은 로봇이 무엇을 할 것인지 정확히 볼 수 있었고, 마음에 들지 않으면 변경할 수 있었습니다. 한 참가자는 "로봇의 특정 움직임을 편집할 수 있다는 점이... 제가 더 많은 통제권을 가지고 있다는 느낌을 주었습니다"라고 말했습니다.
2. 투명성: 사람들은 로봇의 계획을 훨씬 더 잘 이해했습니다. 그들은 로봇이 왜 그렇게 행동하는지 알 수 있었습니다. 계획을 볼 수 없었을 때("No-Plan" 모드), 사람들은 혼란을 느꼈고 로봇이 실수를 했을 때 어떻게 고쳐야 할지 알지 못했습니다.

그러나 연구는 단점도 발견했습니다. Plan+Edit 모드는 사람들에게 더 높은 "작업 부하(task load)"를 주어 정신적으로 더 피로하게 만들었습니다. 그것은 매우 상세한 지도를 가진 것과 같았습니다. 복잡한 목적지에 도달할 때는 매우 유용하지만, 단순히 동네 가게에 갈 때 모든 거리 이름이 적힌 지도를 보는 것은 과한 작업처럼 느껴질 수 있습니다. 간단한 작업의 경우, 추가적인 기능들이 불필요하게 느껴졌습니다. 하지만 어려운 작업에서는 그 추가적인 제어권이 필수적이었습니다.

사람들이 실제로 사용한 방식

연구진은 사람들이 모두 동일한 방식으로 시스템을 사용하지 않는다는 점을 발견했습니다. 그들은 세 가지 주요 전략을 찾아냈습니다:

• 단계적(Stepwise): 사람들은 계획을 한 번에 하나씩 작은 조각으로 구축했습니다. "컵을 옮겨"라고 말하고 확인한 뒤, "그릇을 옮겨"라고 말하고 확인하는 식입니다.
• 누적적(Cumulative): 하나의 부분으로 시작하여 계속 추가해 나갔습니다. "컵을 옮겨", 그다음 "컵과 그릇을 옮겨", 그다음 "컵, 그릇, 그리고 숟가락을 옮겨".
• 원샷(Oneshot): 처음부터 한 번에 크고 상세한 문장으로 전체 계획을 쓰려고 시도했습니다.

흥 흥미롭게도, 숫자를 클릭하고 드래그하여 수정할 수 있는 능력(편집 기능)이 있음에도 불구하고, 많은 이들이 여 still 새로운 단어를 입력하여 문제를 해결하는 방식을 선호했습니다. 이는 도구가 갖춰져 있더라도, 복잡한 숫자를 만지는 것보다 로봇에게 다시 말로 설명하는 것이 사람들에게 더 쉽다는 것을 시사합니다.

요점

이 논문은 로봇이 진정으로 일반 사람들에게 도움이 되기 위해서는, 단순히 AI가 생각하도록 내버려 두어서는 안 된다고 결론짓습니다. 우리는 로봇의 "사고 과정"을 보고, 로봇이 난장판을 만들기 전에 이를 수정할 수 있게 해주는 인터페이스가 필요합니다. SHRIMP 시스템은 로봇의 계획을 보고 편집할 수 있는 능력을 주는 것이 사람들에게 더 큰 자신감과 통제감을 준다는 것을 증명했습니다. 하지만 동시에, 특히 간단한 작업에서 너무 많은 정보로 사람들을 압도하지 않도록 주의해야 한다는 점도 경고합니다. 로봇 계획의 미래는 단순히 더 똑똑한 AI에 있는 것이 아니라, 인간의 의도와 로봇의 행동 사이의 더 나은 다리를 건설하여, 우리가 엔진 덮개를 열어보고 도로로 나서기 전에 엔진이 원활하게 돌아가는지 확인할 수 있게 하는 데 있습니다.