기술 요약: 로봇 작업 및 모션 계획을 위한 이중 LLM 모듈 기반 계층적 프롬프팅

문제 정의

서비스 로봇을 가정 환경에 통합하려면 부정확하거나 불완전하거나 문맥 의존적인 자연어 지침을 해석할 수 있는 시스템이 필요합니다. 전통적인 작업 및 모션 계획(TAMP) 시스템은 수동으로 정의된 기호 규칙(예: PDDL)에 의존하지만, 인간 환경의 오픈 보캐블러리(open-vocabulary) 특성을 다루는 데 어려움을 겪습니다. 반면, 대규모 언어 모델(LLM)은 작업 분해를 위한 창발적 추론 능력을 보여주지만, 로봇 공학에 직접 적용할 때 다음과 같은 중대한 한계에 직면합니다:

1. 물리적 접지(Physical Grounding) 부족: 표준 LLM은 본질적으로 물리 법칙에 접지되어 있지 않으며, 운동학적 또는 기하학적으로 실행 불가능한 "환각(hallucinated)" 계획을 생성하는 경우가 많습니다.
2. 단일 모놀리식 프롬프팅 문제: 현재의 프롬프팅 전략은 종종 단일 모델 인스턴스가 추상적 논리(예: "과일이란 무엇인가?")와 정밀한 공간 수학(예: "접시 대비 좌표가 어디인가?")을 모두 처리하도록 강요합니다. 이는 "토큰 고갈" 또는 모델이 공간적 정확도보다 작업 논리를 우선시하게 되어 추론이 혼란스러워지는 현상을 초래합니다.
3. 지각-행동 간극(Perception-Action Gap): 고수준의 의미론적 계획과 저수준의 기하학적 실행 사이에 단절이 존재하며, 특히 물체의 기하학적 구조와 작업 공간 제약이 변하는 비정형 환경에서 두드가됩니다.

방법론

저자들은 이중 모듈 프로프팅 아키텍처를 사용하여 고수준 작업 계획과 저수준 공간 추론을 분리하는 계층적, 언어 주도 프레임워크를 제안합니다. 이 시스템은 테이블탑 환경 내에서 작동하며 다음 구성 요소를 통합합니다:

1. 비전 모듈

시스템은 객체 인지를 위해 YOLOX-GDRNet 파이프라인을 활용합니다:

• 탐지(Detection): YOLOX가 입력 이미지에서 객체를 탐지하여 2D 바운딩 박스와 클래스 레이블을 제공합니다.
• 포즈 추정(Pose Estimation): 관심 영역(ROI)은 GDR-Net 신경망에 의해 처리되어 카메라 프레임 기준 6D 포즈(3D 병진 벡터 및 쿼터니언 방향)를 예측합니다.
• 기하 데이터: 시스템은 공간 추론에 정보를 제공하기 위해 탐지된 객체의 사전 계산된 3D 모델 및 직경 데이터에 접근합니다.

2. 고수준 LLM 에이전트 (작업 플래너)

• 아키텍처: Llama3.2:70B 모델을 사용하는 Python Lang-Chain으로 구현되었습니다.
• 프롬프팅 전략: 에이전트는 ReAct 스타일 루프(Thought, Action, Observation)를 통해 작동합니다. 에이전트는 반복적 추론을 지원하기 위해 상호작용 이력에 대한 메모리를 유지합니다.
• 도구(Tools): 에이전트는 객체 목록 검색, 객체 집기(pick), 놓기(place), 놓기 해제(release)를 위한 도구에 접근할 수 있습니다. 에이전트는 전체적인 작업 논리와 시퀀싱을 담당하지만, 정밀한 좌표 계산은 위임합니다.

3. 저수준 LLM 서브 모듈 (배치 추론기)

• 아키텍처: 마찬가지로 Llama3.2:70B를 기반으로 하는 별도의 특화된 서브 모듈입니다.
• 기능: 이 모듈은 3D 공간 제약과 기하학적 타당성을 처리합니다. 모듈성 보장을 위해 고수준 에이전트의 내부 로직은 알지 못합니다.
• 프롬프팅 전략: 객체 이름, 포즈, 기하학적 속성(예: 직경)으로 구성된 구조화된 입력을 사용하는 퓨샷(few-shot) 프롬프팅을 활용합니다.
• 목표: 공간 언어(예: "~의 왼쪽")를 일관된 기하학적 변환으로 매핑하고, 특정 3D 좌표를 결정함으로써 고수준 플래너가 저수준 좌표 수학으로 인해 과부하되는 것을 방지합니다.

주요 기여

본 논문은 세 가지 주요 기여를 명시합니다:

1. 이중 모듈 아키텍처: 생성된 로봇 계획의 신뢰성을 높이기 위해 고수준 작업 계획과 저수준 공간 추론을 분리하는 새로운 프레임워크를 제시합니다.
2. 특화된 공간 서브 모듈: 표준 LLM의 물리적 접지 부족 문제를 직접 해결하기 위해 3D 공간 제약 및 기하학적 타당성을 처리하도록 설계된 전용 구성 요소를 제공합니다.
3. 실증적 검증: 24개의 실제 및 시뮬레이션 시나리오를 통해 프레임워크의 효능을 입증하였으며, 비정형 환경에서 복잡한 인간 명령을 실행하는 데 있어 상당한 개선을 보여주었습니다.

평가 및 결과

시스템은 단순 공간 명령, 고수준 지침, 실행 불가능한 요청을 포함한 24개의 테스트 시나리오를 통해 평가되었습니다.

정량적 결과

• 전체 성공률: 시스템은 **86%**의 전체 작업 성공률을 달성했습니다.
• 시나리오별 분석:
  • 단순 명령 (16개 시나리오): 87.5%의 성공률을 기록했으며, 작업당 평균 4단계가 소요되었습니다.
  • 고수준 명령 (5개 시나리오): 80.0%의 성공률을 기록했으며, 작업당 평균 6단계가 소요되었습니다.
  • 실행 불가능한 시나리오 (3개 시나리오): 불가능함을 올바르게 식별하는 데 100%의 성공률을 보였으며, 불가능함을 판단하는 데 평균 5단계가 소요되었습니다.
• 계획 지속 시간: 작업당 평균 계획 단계는 5단계였습니다.

정성적 및 공간적 분석

• 인간 평가: 세 명의 독립적인 평가자가 초기 명령과 최종 장면 사이의 일치도를 1~10점 척도로 평가했습니다. 평균 점수는 6.86이었으며, 명확한 공간 관계가 있는 작업(예: "과일 그릇을 만들어라" - 9.67)은 높은 점수를 받았고, 모호한 작업(예: "짭짤한 간식을 만들어라" - 3.00)은 낮은 점수를 받았습니다.
• 공간 추론 정밀도: 배치 추론기는 "위(on top)" 및 "옆(next to)" 관계에서 가장 높은 정밀도(가장 낮은 좌표 분산)를 보였습니다. "앞(in front)" 및 "뒤(behind)"와 같은 깊이 기반 관계에서는 성능이 덜 일관되었으며 더 높은 분산을 보였습니다.
• 실제 로봇 실험: PAL Robotics Tiago 매니퓰레이터를 이용한 실험을 통해, 시스템이 복잡한 환경에서도 대상 객체를 안정적으로 식별하고 사용자의 의도를 추론할 수 있음을 확인했습니다. 관찰된 실패는 의미론적 또는 작업 수준의 추론보다는 저수준 실행(모션 계획 및 캘리브레이션 오류)에 국한되었습니다.

의의 및 주장

저자들은 자신들의 계층적 접근 방식이 자연어와 3D 기하학적 관계 사이의 간극을 효과적으로 메우며, 제로샷 배치를 위한 견고한 "공간 문법"을 보여준다고 주장합니다. 논문은 다음과 같이 단언합니다:

• 모듈성이 핵심이다: 공간 기하학 추론을 전용 서브 모듈로 격리함으로써 고수준 플래너가 좌표 수학의 복잡성으로 인해 실패하는 것을 방지합니다.
• 표현력보다 실행 가능성: 이 프레임워크는 광범위한 행동 표현력보다는 물리적 실행 가능성을 우선시하여 실제 로봇에서의 실행 신뢰성을 확보합니다.
• 향후 방향: 시스템의 가능성에도 불구하고, 저자들은 실제 유용성이 물리적 타당성과 환경 일반화에 의해 제약을 받고 있다고 언급합니다. 이들은 향가 연구에서 동적인 체화된(embodied) 환경 내의 예측을 정교화하기 위해 기하학적 사전 지식(geometric priors)과 물리 시뮬레이터를 통합할 것을 제안합니다.

결론적으로, 본 논문은 LLM의 상징적 유연성을 접지된 공간 지각과 결합하는 것이 직관적이고 일반화 가능한 인간-로봇 협업을 향한 유망한 경로임을 보여줍니다.