A Conversational Framework for Human-Robot Collaborative Manipulation with Distributed Generative AI models

기술 요약: 분산형 생성형 AI 모델을 활용한 인간-로봇 협업 조작을 위한 대화형 프레임워크

문제 정의
로봇 조작 기술은 계획(planning)과 제어(control) 측면에서 크게 발전했으나, 실제 협업 환경에서의 자연어 상호작용은 여전히 도전적인 과제로 남아 있다. 사용자의 명령은 불완전할 수 있고, 장면 묘사는 모호할 수 있으며, 로봇의 관점에서는 시각적으로 유사한 물체들이 존재할 수 있다. 또한, 최근의 대규모 언어 모델(LLM) 및 시각-언어 모델(VLM)은 신뢰성 문제를 야기한다. 특히, LLM이 그럴듯하지만 틀린 내용을 생성하는 '환각(hallucation)' 현상은 로봇 공학에서 직접적인 안전 위협이 된다. 이는 잘못된 해석이 의도치 않은 물리적 동작을 유발할 수 있기 때문이다. 기존의 방식들은 종종 단일 엔드 투 엔드(end-to-end) 정책에 의존하거나 명시적인 안전 장치가 부족하여, 실패 원인을 디버깅하거나 동작 실행 전 작업자의 감독을 보장하기 어렵다.

방법론
저자들은 ROS 2 멀티 에이전트 파이프라인으로 구현된 분산형 대화 프레임워크를 제안한다. 이 시스템은 언어 이해, 시각적 접지(visual grounding), 오케스트레이션, 동작 실행을 별도의 노드로 분리하여, 이기종 하드웨어(예: 엣지 디바이스 및 워크스테이션 GPU)에 걸친 유연한 배포를 가능하게 한다.

• 아키텍처: 파이프라인은 다음으로 구성된다:
  • 웹 대시보드: 자유 형식의 자연어 명령을 수락하고 중간 단계의 의도 및 접지 오버레이(픽셀, 깊이, 로봇 좌표계)를 표시한다.
  • 코디네이터 노드(Coordinator Node): 요청을 라우팅하고, 시각 데이터와 깊이/캘리브레이션 데이터를 결적으로 결합하며, 안전 중심의 확인 루프를 관리한다.
  • LLM 노드 (언어 이해): 사용자 명령을 구조화된 동작 요청(예: pick, place, handover)으로 파싱하고 매개변수를 추출한다. 기본 설정에서는 NVIDIA Jetson AGX Orin에서 ministral-3:8b 모델을 사용하여 구동된다.
  • VLM 노드 (시각적 접지): RGB-D 이미지를 처리하여 자연어 설명에 기반해 물체의 위치를 찾는다. 기본 설정에서는 RTX 6000 워크스테이션에서 Qwen2.5-VL 32B를 사용하여 구동된다.
  • 모션 실행기(Motion Executor): MoveIt2를 통해 로봇 궤적을 생성하고 실행한다.
• 안전 메커니즘: 시스템은 엄격한 "인간 참여형(human-in-the-loop)" 안전 장벽을 강제한다. 언어 및 시각 출력은 구조화된 동작 요청으로 변환되지만, 대시보드를 통한 작업자의 명시적인 확인 없이는 어떠한 동작도 실행되지 않는다. 대시보드는 사용자가 동작을 승인하기 전, 해석된 의도와 특정 목표 위치(픽셀, 깊이 및 로봇 좌표계)를 시각화하여 보여준다.
• 접지 파이프라인(Grounding Pipeline): VLM은 이미지 공간의 타겟(픽셀 좌표)을 반환한다. 이 좌표는 견고한 로컬 추정기(5×5 이웃의 중앙값 사용)를 사용하여 깊이 데이터와 융합되어 3D 카메라 좌표계를 복구한다. 그 후, ArUco 마커 캘리브레이션 및 고정 오프셋을 사용하여 로봇 베이스 좌표계로 변환된다.
• 배포: 개인정보 보호와 예측 가능한 지연 시간을 보장하기 위해 두 AI 모델 모두 로컬에서 Ollama를 통해 실행된다. 이는 클라우드 의존성을 피하기 위함이다. 본 시스템은 특정 객체 카테로리에 대한 미세 조정 없이도 모델의 일반적인 사전 학습된 지식에 의존하여 제로샷(zero-shot) 동작을 지원한다.

주요 기여

1. 분산형 ROS 2 멀티 에이전트 파이프라인: 언어, 시각, 오케스트레이션, 동작 실행을 분리한 모듈형 아키텍처로, 단일 머신 또는 다중 장치 배포를 가능하게 하며 가용 하드웨어에 따른 유연한 적응을 지원한다.
2. 명시적 확인 기능이 포함된 웹 대시보드: 중간 단계의 의도와 접지 오버레이를 노출하여, 로봇 동작이 트리거되기 전 명시적인 작업자 확인 게이트를 강제하는 사용자 인터페이스를 제공한다.
   3. 오픈 보캐블러리 접지-로봇 좌표계 파이프라인: 특정 태스크별 모델 미세 조정 없이도 픽셀/깊이 데이터로부터 pick, place, handover 프리미티브를 위한 미터법 로봇 좌표계 타겟을 생성하는 방법론을 제시한다.
3. 모호성 하에서의 평가: 단일, 다중, 중첩된 객체 등 증가하는 장면 모호성에 따른 엔드 투 엔드 태스크 신뢰도와 지연 시간을 평가하는 실험적 벤치마크를 제공하며, 동일한 모듈형 아키텍처 내에서 다양한 LLM/VLM 구성을 비교한다.

결과
본 프레임워크는 Realsense D435i 카메라가 장착된 Franka Emika FR3 로봇을 대상으로 평가되었다. 벤치마크는 단일, 다중, 중첩된 객체 시나리오에서 pick, place, handover 태스크에 대해 180회의 실행을 수행하였다.

• 최적의 구성: 기본 분산 배포 방식(ministral-3:8b on Jetson + Qwen2.5-VL 32B on RTX 6000)은 모든 태스크와 모호성 수준에서 100% 성공률(5/5)을 달 기록했다. 또한 가장 낮은 지연 시간(LLM 5.47초, VLM 9.57초)을 보여주었다.
• 하드웨어 영향: VLM을 LLM과 공유 워크스테이션에서 실행할 경우(예: 동일한 RTX 6000에서 LLaMA 3.1 8B 사용), VLM 지연 시간이 크게 증가(42.83초)하였고 복잡한 시나리오(예: handover가 4/5로 감소)에서의 성공률이 저하되었다.
• 모델 민감도: 더 작거나 성능이 낮은 모델(예: DeepSeek-R1 7B + LLaVA 7B)을 사용한 구성은 성공률 0%를 기록하며 실험을 완료하지 못했다. 더 큰 VLM(예: Llama 3.2-Vision 90B)을 사용한다고 해서 반드시 성공률이 높아지지는 않았으며, 오히려 더 높은 메모리와 지연 비용을 초래했다.
• 메모리 제약: 런타임 RAM은 VLM에 의해 지배되었다(예: 32B 모델의 경우 약 127 GB). 이는 VLM은 고용량 메모리 워크스테이션에서 실행하고 언어 플래너는 엣지 디바이스(Jetson에서 관찰된 43 GB)에서 실행하는 분산 접근 방식의 정당성을 입증한다.
• 실패 모드: 정성적 분석 결과, VLM의 확신도가 높더라도 접지 오류(예: 중첩된 장면에서 잘못된 객체 선택)가 발생할 수 있음이 나타났으며, 이는 명시적 확인 단계의 필요성을 검증한다.

의의 및 주장
본 논문은 자신의 주요 기여가 새로운 엔드 투 엔드 정책이 아니라, 안전성, 해석 가능성 및 유연성을 우선시하는 시스템 통합 프레임워크라고 주장한다. "무엇을(언어)", "어디를(시각)", "어떻게(제어)"를 검사 가능한 유형의 중간 표현으로 분리함으로써, 시스템은 다음과 같은 기능을 제공한다:

• 선제적 안전성: 명시적인 인간의 확인을 통해 의도치 않은 물리적 동작을 방지한다.
• 디버깅 가능성: 실패 원인을 특정 모듈(언어 vs 시각)로 격리할 수 있으며, 제어 스택을 재설계하지 않고도 모델을 교체할 수 있다.
• 실제적 배포: 계산 요구 사항(엣지 vs 워크스테이션)의 균형을 맞추고 로컬 추론을 통해 프라이버시를 유지함으로써, 생성형 AI를 실제 환경의 HRI에 배치할 수 있는 실행 가능한 경로를 제시한다.

저자들은 본 시스템이 매우 복잡한 구성적 추론(예: 객체 값에 기반한 조건부 로직)에 어려움을 겪고, 문맥 의존적인 후속 명령을 위한 대화 메모리가 부족하다는 한계를 인정한다. 그러나 이들은 본 프레임워크를 인간-로봇 협업에서 더 안전하고 해석 가능한 언어 기반 조작을 향한 실질적인 단계로 규정한다.