VLM-DEWM: Dynamic External World Model for Verifiable and Resilient Vision-Language Planning in Manufacturing

1. 문제 정의 (Problem Definition)

스마트 제조 환경에서 비전 - 언어 모델 (VLM) 은 고수준의 작업 계획 (Long-horizon planning) 에 유망한 가능성을 보여주지만, 동적인 작업 셀 (Workcell) 에 배포할 때 두 가지 치명적인 한계에 직면합니다.

1. 상태 비연속성 (Stateless Operation) 및 세계 상태 드리프트:
   • 기존 VLM 기반 계획기는 제한된 컨텍스트 윈도우 내에서만 작동하여, 시야 밖 (Out-of-View) 에 있는 객체의 상태를 지속적으로 추적하지 못합니다.
   • 이로 인해 재보급, 인간 개입, 가려짐 (Occlusion) 등으로 인해 환경이 변할 때, VLM 의 내부 기억과 실제 물리 세계 간의 불일치가 발생하여 '세계 상태 드리프트 (World-state drift)'가 누적됩니다.
2. 불투명한 추론 (Opaque Reasoning) 및 비효율적 복구:
   • VLM 의 실패 원인을 진단하기 어렵습니다. 실패 시 시스템은 근본 원인을 파악하지 못하고 '맹목적인 재시도 (Blind retries)'나 비용이 큰 '전역 재계획 (Global replanning)'을 수행하여 사이클 시간과 다운타임을 증가시킵니다.

2. 방법론 (Methodology: VLM-DEWM)

저자들은 VLM 의 추론 (Reasoning) 과 세계 상태 관리 (World-state management) 를 분리하는 VLM-DEWM (Dynamic External World Model) 이라는 인지 아키텍처를 제안합니다. 이 시스템은 "데이터베이스 - 트랜잭션 - 검증 (Database-Transaction-Verification)" 패러다임으로 작동합니다.

2.1. 핵심 구성 요소

1. 동적 외부 세계 모델 (DEWM):

   • VLM 이 아닌 외부에 영구적이고 쿼리 가능한 세계 상태를 유지하는 데이터베이스 역할을 합니다.
   • 환경 기억 코어 ($\Omega$):
     • 기하학적 계층 (S, Spatial Network): 물리적 상태 (위치, 포즈, 가려짐) 를 확률적 (가우시안 엔벨로프) 으로 추적합니다. 배경은 occupancy grid 로, 중요한 객체는 인스턴스 단위로 정밀하게 관리합니다.
     • 의미론적 계층 (G, Hierarchical Semantic Graph): 객체 간의 논리적 관계 (예: A 가 B 위에 있음) 를 그래프 형태로 인코딩하여 VLM 이 추론할 수 있는 인터페이스를 제공합니다.
     • 형태 사전 라이브러리 (L): CAD 모델 기반의 고정밀 기하학적 정보를 저장하여 정밀한 포즈 추정과 가려짐 복원을 지원합니다.
   • 작업 기억 (M) 및 제약 상태 (CS): 작업 진행 상황과 로봇의 상호작용 단계 (예: '잡고 있음', '이동 중') 를 추적하여 실패 진단의 정밀도를 높입니다.

2. 외부화 추론 흔적 (ERT, Externalizable Reasoning Trace):

   • VLM 의 출력을 단순 텍스트가 아닌 구조화된 JSON 객체로 강제합니다.
   • 구성: 행동 제안 ($\pi_{act}$), 세계 신념 ($B_{world}$), 인과적 가정 ($A_{causal}$), 신뢰도 ($\kappa_{conf}$).
   • 역할: VLM 이 추론한 내용을 실행 전 DEWM 의 물리적 일관성 (기하학적 제약 등) 과 대조하여 검증합니다.

3. 검증 및 복구 루프:

   • Multi-Layered Validation: ERT 가 DEWM 의 기하학적/물리적 사실과 일치하는지 실행 전에 검증합니다.
   • 차이점 기반 진단 (Discrepancy-Driven Diagnosis): 실패 발생 시, 예측된 결과 ($A_{causal}$) 와 실제 관측된 상태 ($\Omega_{t+1}$) 간의 차이를 계산하여 정확한 실패 원인 (예: 미끄러짐, 충돌) 을 진단하고 표적화된 복구 (Targeted recovery) 를 수행합니다.

3. 주요 기여 (Key Contributions)

1. 동적 외부 세계 모델 (DEWM):
   • 상태 유지와 추론을 분리하여 가려짐과 컨텍스트 제한에도 불구하고 작업 간 (Cross-station) 일관성을 유지하고 세계 상태 드리프트를 해결합니다.
2. 외부화 추론 흔적 (ERT):
   • VLM 의 불투명한 추론을 검증 가능한 아티팩트로 구조화하여, 실행 전 물리적 검증을 통해 오류 전파를 차단합니다.
3. 차이점 기반 진단 (Discrepancy-Driven Diagnosis):
   • CS(제약 상태) 에 기반한 정밀한 불일치 분석을 통해 '맹목적인 재시도'를 제거하고, 근본 원인을 파악한 효율적인 복구를 가능하게 합니다.

4. 실험 결과 (Results)

저자들은 시뮬레이션 (PyBullet/Gazebo) 과 실제 로봇 (Franka Emika Panda) 을 사용하여 세 가지 시나리오 (다중 스테이션 조립, 대규모 시설 탐색, 동적 복구) 에서 VLM-DEWM 을 평가했습니다.

• 비교 대상: 순수 VLM (Gemini 2.5 Pro, GPT-5 등), 메모리 강화 VLM (SAGE, GEAR).
• 주요 성과:
  • 상태 추적 정확도 (STA): 탐색 작업에서 기존 메모리 기반 시스템 (56%) 대비 93% 로 크게 향상되었습니다.
  • 복구 성공률: 동적 실패 상황에서 기존 시스템이 거의 0% 에 가까운 성공률을 보인 반면, VLM-DEWM 은 95% 의 복구 성공률을 달성했습니다.
  • 계산 오버헤드: 구조화된 메모리를 통해 불필요한 VLM 추론을 줄여, 기존 메모리 강화 시스템 대비 70% 이상 VLM 추론 오버헤드를 감소시켰습니다.
  • 작업 성공률 (TSR): 장기 작업 (Long-horizon) 에서 순수 VLM 은 0~28% 의 성공률을 보인 반면, VLM-DEWM 은 94% 이상의 성공률을 기록했습니다.

5. 의의 및 결론 (Significance)

이 논문은 VLM 기반 로봇 계획의 근본적인 한계인 '상태 추적의 부재'와 '검증 불가능한 추론'을 해결하기 위한 아키텍처적 접근을 제시합니다.

• 설계 원칙: VLM 을 '의사결정 엔진'으로만 사용하고, '상태 기억'과 '검증'을 외부의 구조화된 세계 모델 (DEWM) 에 위임함으로써, 안전하고 검증 가능한 자율성을 확보했습니다.
• 산업적 적용성: 제조 환경에서 발생하는 가려짐, 객체 이동, 그리퍼 미끄러짐 등 동적 교란에 대해 강인하게 대응할 수 있어, 실제 스마트 팩토리 배포에 필수적인 신뢰성과 회복 탄력성을 제공합니다.
• 향후 방향: 불확실성 모델링, 오픈 보카불러리 (Open-vocabulary) 상황 대응, 그리고 힘/토크 신호를 활용한 더 정밀한 물리적 진단으로의 확장을 계획하고 있습니다.

결론적으로, VLM-DEWM은 반응형 지능에서 의도적 자율성 (Deliberative Autonomy) 으로의 전환을 가능하게 하는 원칙적인 프레임워크로, 동적 물리 환경에서 장기간 작동하는 로봇 시스템의 신뢰성을 획기적으로 높인 연구로 평가됩니다.