기술 요약: 로봇 제어를 위한 에이전트형 AI: 유연하지만 여전히 취약함

문제 정의

현대적인 계획 시스템(planning systems)이 생성한 추상적인 계획을 실시간 물리 로봇 제어로 연결하는 것은 여전히 중대한 과제로 남아 있다. 추상적인 계획은 용이하게 생성될 수 있지만, 부분 관측성(partial observability), 센서 노이즈, 오래된 상태 추정치, 그리고 외생적 역학(exogenous dynamics) 조건 하에서 계획 수행에 필요한 신념(beliefs)을 견고하게 유지하고 업데이트하는 것은 어렵다. 기존 방식들은 예상치 못한 이벤트를 감지, 해석 및 대응하는 과정에서 계획의 일관성과 안전성을 유지하는 데 어려움을 겪는 경우가 많다. 또한, 언어와 원시 인식을 저수준 제어로 직접 매핑하는 엔드 투 엔드(end-to-end) 접근 방식은 해석 가능성과 검증 가능성이 부족하다. 본 논문은 해석 가능한 로봇 기술과 검증 가능한 상태 술어(state predicates)라는 상위 수준의 인터페이스 위에서 작동하면서, 대규모 언어 모델(LLM)의 추론 능력을 활용하는 제어 아키텍처의 필요성을 다룬다.

방법론

저자들은 자연어 계획 구축, 도구 기반 실행, 그리고 실행 모니터링을 교차시키는 단일 **계획 및 실행 루프(planner and executor loop)**를 중심으로 하는 에이전트형 제어 시스템을 제안한다. 이 시스템은 두 가지 물리적 플랫폼인 Mobipick(실내 이동 조작 로봇)과 Valdemar(실외 농업용 로봇)에 배치되었다.

아키텍처

워크플로우는 음성 인식 모듈에 의해 트리거되며, 경량 LLM(gpt-5-mini)에 의해 챗봇 또는 기본 계획 및 실행(Planner and Executor) 에이전트(추론 모델 o3 사용)로 라우팅된다.

• 계획 및 실행(Planner and Executor): 이 에이전트는 시맨틱 환경 스냅샷(센서 기반의 상태 표현)과 제약된 **액션 카탈로그(action catalogue)**를 바탕으로 추론하기 위해 구조화된 프롬프트를 사용한다. 이는 다음의 폐쇄 루프(closed loop)를 통해 작동한다:
  1. 성찰(Reflection): 구조화된 고수준 계획을 생성한다.
  2. 상태 획득(State Acquisition): 현재의 시맨틱 상태를 쿼리한다.
  3. 행동(Action): 단일 고수준 도구(예: navigate, pick, place)를 호출한다.
  4. 이벤트 확인(Event Check): 이산적인 텍스트 기반의 외생적 이벤트를 쿼리한다.
• 목표 완료 비평가(Goal Completion Critic): 보조 LLM(o4-mini)은 실행 로그를 검사하여 실제 물리적 시도와 "언어적 전용(verbal only)" 실패 모드(모델이 행동하지 않고 작업만 설명하는 경우)를 구분한다. 이 비평가는 목표가 불가능하거나 차단된 경우 실행 지속을 요청하거나 실행을 중단할 수 있다.
• 도구 인터페이스: 에이전트는 최소한의 도구 세트를 통해 로봇과 상호작용한다: reflect(자기 성찰), act(단일 고수준 액션 실행), get semantic environment representation snapshot(시맨틱 환경 표현 스냅샷 획득), check events(이벤트 확인).

프롬프트 엔지니어링

시스템은 다음과 같은 모듈형 프롬프트 구조에 의존한다:

• 도메인 모델(Domain Model): 구현체(embodiment), 센싱 시맨틱스, 그리고 운영 제약 조건(예: "항해 전 팔을 접기")을 정의한다.
• 상태 정보(State Information): 시맨틱 상태 스냅샷의 예시를 제공하며, 지식이 불완전하고 시간 가변적임을 강조한다.
• 운영 지침(Operational Instructions): 실행 동작, 안전 불변성(safety invariants) 및 이벤트 처리를 규정하는 규칙.
• 어포던스 및 휴리스틱(Affordances and Heuristics): 작업 관련 객체 속성 및 리스크 감소 선호도(예: 동작 최소화, 배치 지연).
• 액션 카탈로그(Action Catalogue): 허용된 환경 변화 작업의 정의된 목록.
• 실패 패턴(Failure Patterns): 특정 오류의 반복을 방지하기 위해 과거의 실패 사례를 수동으로 큐레이션한 기록.

실행 파이프라인

시스템은 사전 프로그래밍된 파라미터화된 원자적 기술(예: ROS 기반 내비게이션, 파지 합성)을 노출하는 로봇 액션 API에 대한 접근을 가정한다. LLM은 저수준 제어를 학습하는 것이 아니라, 기존 기술을 오케스트레이션한다. 실행 피드백(성공/실패/에러 트레이스)은 텍cript 형태의 텍스트로 에이전트에 반환되어, 하드코딩된 로직 없이도 반복적인 복구와 재계획을 가능하게 한다.

주요 기여

1. 실세계 에이전트 통합: 자연어 목표를 기존 로봇 스택 위의 도구 호출로 번역하는 계획-실행 과정을 보여주며, 부분 관측성 및 간헐적 실패 상황에서의 반복적 복구 기능을 특징으로 한다.
2. 아키텍처 수준의 설계: 기하학적/공간적 그라운딩(기본 로봇 스택이 처리)과 언어 기반의 숙고(deliberation)를 분리하였다. LLM은 원시 기하 구조가 아닌 구조화된 상태 스냅샷과 파라미터화된 기술을 바탕으로 추론한다.
3. 재현 가능한 엔지니어링 명세: 프롬프트 구조와 도구 계약(도메인 모델, 어포던스, 이벤트 체크, 복구 패턴)의 구체적인 정의와 함께, 관찰된 행동 및 취약성에 대한 질적 분석을 제공한다.

결과 및 질적 검증

시스템은 Mobipick과 Valdemar 플랫폼에서 7가지 실험을 통해 검증되었다:

• Mobipick (실내): 시스템은 정상적인 작업(예: "멀티미터를 박스에 넣고 테이블 2로 가져오기")을 성공적으로 수행하였고, 모호한 명령(예: "나사 조이기"를 위한 도구 선택)을 처리하였다. 또한 사용자 개입(비상 정지, 선호도 변경)을 반영하고 제약 사항(예: 충돌을 피하기 위해 물체를 놓기 전 테이블 표면을 먼저 인지하는 것)을 고려하는 능력을 보여주었다.
• Valdemar (실외): 시스템은 자율 웨이포인트 스캐닝과 배터리 관리를 수행하였다. 배터리 레벨이 떨어졌을 때 충전을 위해 미션을 중단하는 데 성공하였으며, 도메인 지식을 사용하여 불가능한 명령(예: "파리로 날아가라")을 거부하였다.
• 장기 호라이즌 스트레스 테스트(Long-Horizon Stress Test): 시스템은 컨테이너 사용 및 혼잡한 작업 공간을 포함하는 복잡한 다단계 작업을 관리하였으며, 실행 수준의 중단으로부터 복구하였다.

관찰된 한계 (취약성)

유연성에도 불구하고, 시스템은 상당한 취약성을 보였다:

• 비결정론적 행동: 최적화되지 않은 계획(예: 비효적인 탐색 경로) 및 일관되지 않은 이벤트 체크(예: 급격하고 반복적인 호출).
• 지시 이행 오류: 모델이 행동을 실행하지 않고 해결책만 설명하는 "언어적 전용" 실패가 간혹 발생함.
• 프롬프트 민감도: 프롬프트 명세에 대한 민감도가 높음; 효과적인 작동을 위해 안전 제약 조건을 여러 프롬프트 섹션에 중복해서 기술해야 하는 경우가 많았음.
• 지연 시간 및 비용: 원격 모델 추론에 대한 의존으로 인해 무시할 수 없는 지연 시간과 쿼리당 비용이 발생함.
• 비동기성: 시스템은 이벤트 감지를 위해 폴링(polling)을 사용하므로, 이벤트가 실행 도중에 발생하더라도 실행 중인 긴 작업이 즉시 중단(preempt)될 수 없음.

의의 및 주장

본 논문은 LLM 기반의 에이전트 시스템이 프롬프트 업데이트와 API 재바인딩을 통해 서로 다른 로봇 도메인으로의 전이가 용이하다는 점에서 유연하지만, 실제 배포 환경에서는 취속하다고 주장한다.

본 연구의 의의는 다음과 같다:

1. 실현 가능성 입증: 단일 계획-실행 루프가 최소한의 아키텍처 변경만으로 이질적인 작업(실내 조작 vs 실외 내비게이션)을 처리할 수 있음을 보여주었다.
2. 투명성: 엔드 투 엔드 모델과 달리, 시스템이 자신의 추론과 상태를 구어체로 설명함으로써 비전문가 운영자에게 높은 수준의 해석 가능성을 제공한다.
3. 맥락적 유용성: 현대적 LLM의 넓은 컨텍스트 윈도우를 활용하여 단일 루프 내에서 풍부한 작업 맥락과 실행 트레이스를 유지함으로써, 이전에는 어려웠던 장기 호라이즌(long-horizon) 작업을 가능하게 한다.
4. 추상화를 통한 안전 확보: LLM의 역할을 고수준 의사결정과 유효한 API 호출로 제한함으로써, 모델이 환각(hallucination)을 일으키더라도 저수준의 잘못된 명령을 직접 실행할 수 없도록 하여 안전한 동작을 보장한다.

저자들은 견고한 도메인 모델링이 여전히 노동 집약적이고 프롬프트 민감도가 높은 과제이지만, 이러한 에이전트형 접근 방식이 안전 제약 조건을 명시적이고 중복적으로 인코딩한다는 전제하에 물리적 로봇 제어에 상식적 추론을 통합하는 실행 가능한 경로를 제공한다고 결론짓는다.