🤖 AI

STEP: State-Aware Task Estimation and Planning with Multi-Modal LLMs for Human-Robot Collaboration

본 논문은 멀티모달 거대 언어 모델을 활용하여 시스템 상태를 명시적으로 추정하고 상태 전이를 예측함으로써, 인간-로봇 협업에서의 환각 현상과 모호성을 극복하여 산업 조립 작업의 실행 가능성을 유의미하게 향상시키고 최종 상태 오류를 줄이는 상태 인지 프레임워크인 STEP을 제안한다.

원저자: Maitrey Gramopadhye, Prakash Baskaran, Xiao Liu, Songpo Li, Soshi Iba

게시일 2026-08-28

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Maitrey Gramopadhye, Prakash Baskaran, Xiao Liu, Songpo Li, Soshi Iba

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대 산업의 분주한 세계에서 인간과 기계 사이의 원활한 팀워크라는 꿈은 현실이 되어가고 있지만, 여전히 근본적인 오해로 인해 어려움을 겪고 있습니다. 로봇이 진정으로 인간을 보조하기 위해서는 단순히 명령 목록을 따르는 것을 넘어, 인간의 의도를 이해하고 다음에 올 것을 예측할 수 있어야 합니다. 이러한 과제는 컴퓨터가 방금 본 것을 바탕으로 미래의 사건 시퀀스를 예측하려고 시도하는 '장기 행동 예측(long-term action anticipation)'이라 불리는 분야의 핵심에 자리 잡고 있습니다. 최근 몇 년 동안 이미지와 텍스트를 모두 처리할 수 있는 강력한 인공지능 시스템이 이 작업을 위한 유망한 도구로 등장했습니다. 이러한 시스템은 사람이 작업하는 영상을 보고 그가 무엇을 만들려고 하는지 추측할 수 있습니다. 그러나 중대한 격차가 남아 있습니다. 이러한 지능형 시스템은 언어와 패턴 인식에는 뛰어나지만, 물리적 세계에 대한 진정한 이해는 부족한 경우가 많습니다. 이들은 물체가 움직일 때 방의 상태가 어떻게 변하는지를 자연스럽게 추적하지 못하며, 이로 인해 불가능한 행동을 상상하거나 궁극적인 목표를 놓치기도 합니다.

이 격차를 메우기 위해 혼다 연구소(Honda Research Institute)와 노스캐롤라이나 대학교 채플힐 캠퍼스의 연구진은 STEP(State-Aware Task Estimation and Planning, 상태 인식 작업 추정 및 계획)이라는 새로운 방법을 개발했습니다. 연구팀은 인간 작업자가 작업대 위에서 나무 블록을 사용하여 구조물을 조립하고, 로봇이 이를 지켜보며 바통을 이어받을 준비를 하는 흔한 산업적 시나리오에 집중했습니다. 실험에서 인간은 다리나 탑과 같은 특정 모양을 만들기 시작한 후 멈추고, 로봇에게 계획 책임을 넘깁니다. 연구진은 로봇이 최종 구조물이 어떤 모습이어야 하는지 추측할 뿐만 아니라, 다음 동작을 계획할 때 작업 공간에 대한 정신적 지도를 끊임없이 업데이트하도록 가르칠 수 있는지 확인하고자 했습니다. 단순히 로봇에게 문장 속의 다음 단계를 예측하라고 요구했던 이전 방식들과 달리, 이 새로운 시스템은 로봇이 현재 모든 블록의 배치를 명시적으로 설명하고, 각 동작 후에 그 배치가 어떻게 변할지 예측한 다음, 그 업데이트된 설명을 사용하여 후속 단계를 계획하도록 강제합니다.

STEP의 핵심 혁신은 물리적 세계에 대한 구조화된 디지털 기록을 유지해야 한다는 점에 있습니다. 로봇이 작업대를 관찰할 때, 단순히 "탑을 쌓는 중"이라는 모호한 개념을 생성하는 것이 아닙니다. 대신, 다섯 개의 나무 블록이 각각 어디에 위치해 있는지, 블록이 똑바로 서 있는지 아니면 누워 있는지, 그리고 카메라 및 다른 물체와 비교하여 정확히 어떻게 방향을 틀고 있는지와 같은 장면의 사실들을 상세하고 조직적인 목록으로 만듭니다. 그런 다음 시스템은 이 정밀한 설명을 사용하여 미래를 시뮬레이션합니다. 시스템은 "내가 이 블록을 여기로 옮기면 다음 장면은 어떻게 될까?"라고 스스로에게 묻고, 다음 동작에 대해서도 이 질문을 반복합니다. 자신의 예측을 목표와 끊임없이 대조함으로써, 시스템은 작업을 완료하기까지 얼마나 남았는지 측정할 수 있습니다. 만약 계획된 동작 시퀀스가 막다른 길이나 목표에서 멀어진 상태로 이어진다면, 시스템은 이 오류를 인식하고 계획을 단축하여 목표에 더 가까워지는 다른 경로를 선택합니다. 이 계획, 결과 시뮬레이션, 그리고 경로 수정의 과정은 로봇이 궤도를 유지할 수 있도록 여러 번 반복됩니다.

연구진은 인간 작업자가 두 개의 로봇 팔을 원격 제어하여 나무 블록을 조립하는 데이터셋을 사용하여 시뮬레이션 환경에서 이 접근 방식을 테스트했습니다. 그들은 이들의 방법을 환경의 상태를 이러한 방식으로 구조화하여 추적하지 않는 기존의 선도적인 기술과 비교했습니다. 결과는 새로운 시스템의 명확한 우위를 보여주었습니다. STEP가 생성한 계획은 훨씬 더 실용적이었습니다. 연구진은 자신들의 방법으로 예측된 행동이 기존 방식보다 32.8% 더 자주 로봇에 의해 성공적으로 실행될 수 있음을 발견했습니다. 또한, 로봇이 작업을 마쳤을 때 완성된 구조물은 기존 방식이 만든 구조물보다 의도한 목표에 14.8% 더 가까웠습니다. 이 연구는 또한 기존 방식이 때때로 인간의 원래 시퀀스와 일치하는 더 긴 행동 목록을 생성하기도 하지만, 그 추가적인 단계들이 종종 불필요하거나 틀렸던 반면, 새로운 방식은 목표에 안정적으로 도달하는 더 짧고 효율적인 계획을 생성한다는 것을 밝혀냈습니다.

연구진은 이 접근 방식의 성공이 초기 단계의 정확도에 크게 의존한다는 것을 발견했습니다. 만약 시스템이 인간이 무엇을 만들려 하는지 정확히 식별하고 블록의 현재 상태를 정확하게 설명한다면, 이후의 계획은 매우 효과적입니다. 그러나 시스템이 목표를 잘못 추측하거나 블록의 위치를 잘못 판단하면, 이러한 실수들은 나머지 계획 전체로 파급됩니다. 이 발견은 작업 공간의 물리적 실체를 끊임없이 재평가하는 시스템 능력의 중요성을 강조합니다. 연구진은 현재의 방식이 이 특정 블록 쌓기 시나리오를 위해 설계되었지만, 상태 변화를 명시적으로 추적한다는 근본적인 원리는 기계 조립이나 모듈형 고정 장치 구축과 같은 다른 산업 작업에도 적용될 수 있다고 언급했습니다. 또한 현재 시스템은 이러한 여러 계획 주기를 실행하는 데 상당한 컴퓨팅 시간을 필요로 하여 더 단순한 방법보다 느리다는 점을 인정했지만, 기술이 발전함에 따라 이러한 지연 시간은 줄어들 수 있다고 믿고 있습니다. 궁극적으로, 이 연구는 인공지능에게 물리적 세계에 대한 지속적인 기록을 갖게 함으로써, 우리가 단순히 반응적인 로봇이 아니라 복잡한 작업을 인간과 함께 이해하고 완수할 수 있는 진정한 협력 파트너를 만들 수 있음을 입증합니다.

기술 요약: 다중 모드 LLM을 이용한 상태 인식 작업 추정 및 계획 (STEP)

문제 정의

산업 현장에서의 효과적인 인간-로봇 협업(HRC)을 위해서는 로봇이 인간의 의도를 추론하고 실행 가능한 장기 계획(long-horizon plans)을 생성할 수 있어야 합니다. 다중 모드 대규모 언어 모델(MM-LLM)은 인컨텍스트 학습(in-context learning)을 통해 장기 행동 예측(LTA)에서 가능성을 보여주었으나, 로봇 공학 측면에서 두 가지 결정적인 한계에 직면해 있습니다:

상태 인식 능력의 결여: MM-LLM은 실세계와의 상호작용 없이 정적인 텍스트와 이미지 데이터로 사전 학습되었습니다. 결과적으로 시스템 상태 전이를 추적하는 데 어려움을 겪으며, 이는 종종 의도한 목표에서 벗어난 "환각(hallucinated)" 행동으로 이어집니다. 상태 추적을 시도하는 기존 방식들은 자연어 설명에 의존하는데(이는 정밀도가 떨어짐), 이는 실제 역동적인 산업 시나리오에서는 비현실적입니다. 또한, 정답(ground-truth) 초기 상태에 대한 접근을 요구하기도 합니다.
행동 모호성: 표준적인 MM-LLM 출력은 흔히 고수준의 "동사-명사" 쌍(예: "테이블 위에 놓기")에 국한됩니다. 이러한 추상화는 특정 배치 좌표, 물체의 방향 또는 공간적 관계와 같은 필수적인 실행 파라미터를 포착하지 못하여, 물리적 실행 단계에서 모호함을 초래합니다.

방법론: STEP 프레임워크

저자들은 MM-LLM이 작업(task)과 함께 시스템 상태를 명시적으로 추정하고 상태 전이를 예측하도록 유도하는 파이프라인인 **STEP(State-Aware Task Estimation and Planning)**을 제안합니다. 이 프레임워크는 환경과의 직접적인 상호작용이나 정답 상태 입력 없이 작동합니다.

파이프라인은 다음의 5가지 순차적 단계로 구성됩니다:

1. 작업 추정 (Task Estimation)

시스템은 인간 작업자가 수행한 일련의 행동( $A_1, ..., A_k$ )과 현재 워크스테이션의 이미지( $I$ )를 입력으로 받습니다. 소수의 인컨텍스트 예시를 사용하여, MM-LLM은 작업자가 완료하려는 전체 작업( $T$ , 예: "아치 만들기")을 추정합니다. 모델을 가이드하기 위해 출력은 사전 정의된 목록 내로 제한됩니다.

2. 상태 표현 생성 (State Representation Generation)

동시에, MM-LLM은 워크스테이션 이미지( $I$ )를 분석하여 **구조화된 상태 표현( $S$ )**을 JSON 형식으로 생성합니다. 자연어 설명과 달리, 이 구조화된 출력은 다음을 포착합니다:

위치(Location): 각 블록의 위치 (예: 테이블 위, 혹은 특정 블록 위의 위).
방향(Orientation): 서 있음, 뒤집혀 있음, 또는 옆으로 누워 있음.
상단 면 방향(Top Face Orientation): 카메라와 평행하거나 수직임.
상대적 배치(Relative Positioning): 쌓여 있는 경우 특정 위치 (왼쪽/오른쪽/중앙).

이러한 구조적 형식은 작업 공간에 대한 정량적 분석을 가능하게 합니다.

3. 행동 예측 (Action Prediction)

추정된 작업( $T$ )과 행동 이력( $A_1, ..., A_k$ )을 사용하여, MM-LLM은 작업을 완료하는 데 필요한 미래 행동 시퀀스( $A_{k+1}, ..., A_n$ )를 예측합니다. 주목할 점은, 이 특정 프롬프트에 이미지 데이터를 포함했을 때 성능이 저하된다는 것을 저자들이 발견했다는 것이며, 따라서 이 단계는 오직 텍스트 기반의 작업과 행동 이력에만 의존합니다.

4. 상태 전파 (State Propagation)

상태 추적의 부재를 해결하기 위해, STEP은 상태를 명시적으로 전파합니다. MM-LLM에는 현재 상태( $S$ ), 행동 이력, 그리고 다음 예측 행동( $A_{k+1}$ )이 프롬프트로 제공되어, 다음 상태( $S_{k+1}$ )를 JSON 객체로 출력하도록 합니다. 이는 예측된 행동들에 대응하는 미래 상태 시퀀스( $S_{k+1}, ..., S_n$ )를 생성하기 위해 반복적으로 수행됩니다. 체인 오브 소트(Chain-of-Thought) 방식이 사용되어, 모델은 다음 상태를 JSON으로 포맷팅하기 전에 자연어로 변화를 먼저 설명합니다.

5. 롤아웃 및 절단 (Rollouts and Truncation)

STEP은 계획을 정교화하기 위해 반복적인 "롤아웃(rollout)" 메커니즘을 채택합니다:

거리 계산 (Distance Calculation): 시스템은 현재/예측된 상태와 추정된 목표 상태 사이의 정량적 거리( $d_T$ )를 계산합니다. 이는 5개의 블록과 4개의 특성 각각에 대한 차이의 총합입니다 (최대 $d_T = 20$ ).
절단 (Truncation): 시스템은 여러 롤아웃을 평가하고, 가장 낮은 $d_T$ 를 가진 상태에서 행동 시퀀스를 절단합니다.
반복 (Iteration): 절단된 상태는 다음 롤아웃의 새로운 시작점이 됩니다. 이 과정은 $d_T = 0$ 이 되거나 최대 롤아웃 횟수에 도달할 때까지 반복되어, 계획이 목표를 향해 수렴하도록 보장합니다.

실험 설정

데이터셋: 19명의 사용자가 수행한 495개의 인스턴스를 포함하는 시뮬레이션된 블록 조립 시나리오입니다. 사용자들은 두 개의 Franka 로봇 팔을 원격 제어하여 5개의 동일한 나무 블록을 8가지 구조물(예: 튜닝 포크, 브리지, 말) 중 하나로 조립했습니다.
베이스라인: AntGPT에서 영감을 받은 최첨단 LTA 방식으로, 상태 추적이나 구조화된 상태 표현 없이 작업 추정과 단일 행동 예측 롤아웃만을 수행합니다.
지표:
- 실행 가능성 (Executability): 논리적 및 물리적 제약 조건(예: 전제 조건, 물체 포즈)을 통과하는 행동의 백분율.
- 최종 상태 오차 (Final-State Error): 달성 가능한 최종 상태와 실제 목표 상태 간의 차이.
- 최장 공통 부분 수 (LCS): 예측된 시퀀스와 기록된 시퀀스 사이의 행동 순서 중복도를 측정합니다.
- 작업 정확도 및 현재 상태 오차 (Task Correctness & Current State Error): 작업 추론 및 상태 추정의 정확도.

주요 결과

GPT-4o를 사용한 50% 작업 완료 시나리오에서 평가했을 때, STEP은 베이스라인 대비 유의미한 개선을 보였습니다:

실행 가능성: 논문은 베이스라인 대비 행동 실행 가능성이 전체적으로 32.8% 향상되었다고 보고합니다. 특정 GPT-4o 절제 실험(Table III)에서 STEP은 베이스라인의 71.68% 대비 **78.12%**의 실행 가능성을 달alog성했습니다.
최종 상태 오차: 논문은 최종 상태 오차가 전체적으로 14.8% 개선되었다고 보고합니다. 특정 GPT-4o 절제 실험(Table III)에서 STEP은 오차를 베이스라인의 4.53에서 4.38로 줄였습니다.
LCS: 베이스라인이 더 높은 LCS를 기록했습니다. 저자들은 이를 베이스라인이 기록된 데이터와 더 많이 겹치는, 길고 비효율적인 행동 시퀀스를 생성했기 때문이라고 설명하며, 반대로 STEP의 절단 전략은 더 짧고 직접적인 계획을 생성한다고 언급했습니다.
강건성 (Robustness): STEP은 다양한 MM-LLM 크기(GPT-4o, GPT-4.1, GPT-5.1, GPT-5.2)에 걸쳐 베이스라인보다 우수한 성능을 보였으나, 작업 추정 정확도가 낮은 작은 모델(GPT-4o mini)에서는 성능이 저하되었습니다.

의의 및 주장

본 논문은 STEP이 MM-LLM의 고수준 추론 능력과 산업 현장의 정밀한 로봇 실행 요구 사항 사이의 간극을 메운다고 주장합니다. 상태 전이를 명시적으로 모델링하고 구조화된 JSON 표현을 사용함으로써, 이 방법은 다음을 달성합니다:

환각 완화: 상태 거리를 정량적으로 추적함으로써, 물리적으로 불가능하거나 목표에서 벗어나는 행동 생성을 방지합니다.
파라미터화된 실행 가능: "동사-명사" 쌍을 넘어 실제 실행에 필요한 구체적인 보조 파라미터(위치, 방향)를 제공합니다.
정답 없이 작동: 정답 상태를 요구하는 이전 연구들과 달리, STEP은 시각적 입력을 통해 상태를 추론하므로 이러한 데이터가 없는 실제 환경에도 적용 가능합니다.

저자들은 현재 구현이 블록 조립에 특화되어 있다는 점과, 반복적인 롤아웃 과정이 지연 시간(베이스라인의 18초 대비 약 148초)을 발생시킨다는 한계를 인정하며, 이는 실시간 배포를 위해 해결되어야 할 과제라고 밝혔습니다. 향-후 연구로는 새로운 시나리오를 위한 프롬프트 생성 자동화와 로컬 호스팅 또는 모델 미세 조정을 통한 추론 속도 최적화를 제안했습니다.