1. 문제 정의 (Problem)

로봇이 복잡한 조작 작업을 수행하기 위해서는 물리적 세계의 객체 위치와 객체 간의 공간적 관계를 정확히 이해해야 합니다. 최근 대규모 언어 모델 (LLM) 과 비전 - 언어 모델 (VLM) 의 발전은 로봇 작업 계획에 새로운 가능성을 열었으나, 다음과 같은 한계가 존재합니다.

• 잘못된 계획 생성: VLM 은 종종 물리적 제약 (예: 컵이 책 위에 있다면 책을 먼저 들 수 없음) 을 무시하거나, 객체 간의 관계를 잘못 이해하여 실행 불가능한 작업 순서를 생성합니다.
• 원시 픽셀 데이터의 한계: 원시 이미지 (픽셀) 에서 직접 계획을 수립할 경우, 노이즈와 불필요한 시각적 변이가 고수준 추론을 방해할 수 있습니다.
• 검증 부재: 기존 방법들은 계획이 실행 가능한지 사전에 검증하는 메커니즘이 부족하여, 오류가 발생하기 전까지 인간 개입이 필요하거나 실패할 확률이 높습니다.

2. 방법론 (Methodology: VeriGraph)

저자들은 VeriGraph라는 새로운 프레임워크를 제안합니다. 이는 VLM 을 활용하되, **장면 그래프 (Scene Graph)**를 중간 표현 (Intermediate Representation) 으로 사용하여 계획의 실행 가능성을 검증하고 수정하는 구조를 가집니다.

핵심 구성 요소

1. 장면 그래프 생성 (Scene Graph Generation):

   • 입력 이미지 (초기 상태) 와 목표 (자연어 지시 또는 참조 이미지) 를 기반으로 VLM 을 사용하여 장면 그래프를 생성합니다.
   • 그래프는 객체 (노드) 와 객체 간의 공간적 관계 (엣지, 예: on, in) 로 구성됩니다.
   • 객체 이름의 변이 (예: table, tabletop) 를 처리하기 위해 전역 사전 (Global Dictionary) 을 사용합니다.

2. 구속 조건 검증 (Constraint Validation):

   • 생성된 계획의 각 행동은 그래프 연산으로 변환되어 검증됩니다.
   • 전제 조건 (Preconditions): 행동 수행 전 필수 조건 확인 (예: 접시 위의 물건을 먼저 치워야 접시를 이동 가능).
   • 사후 조건 (Post-conditions): 행동 수행 후 상태가 그래프 제약 조건을 만족하는지 확인.
   • 제약 위반 시 즉각적인 피드백을 생성합니다.

3. 반복적 계획 및 수정 (Iterative Planning):

   • 단일 회차 (One-shot) 계획 대신, 반복적 계획 루프를 도입합니다.
   • 계획기 (Planner) 가 행동 시퀀스를 제안하면, 검증기 (Verifier) 가 현재 그래프 상태와 제약 조건을 확인합니다.
   • 위반이 발견되면 오류 피드백을 계획기에 전달하고 재계획을 요청합니다.
   • 오류 임계값 (Error Threshold) 을 설정하여 무한 루프를 방지하고, 목표 상태에 도달하거나 임계값을 초과할 때까지 반복합니다.

4. 유연한 목표 지정:

   • 자연어 지시 ("토마토 통을 콩 통 위에 놓아라") 또는 참조 이미지 (목표 장면) 를 모두 입력으로 받아 동일한 프레임워크 내에서 처리합니다.

3. 주요 기여 (Key Contributions)

1. 모듈형 프레임워크: 장면 그래프를 계획 표현 및 검증 메커니즘으로 동시에 사용하여, LLM 기반의 효율적이고 제약 조건을 인지하는 계획을 가능하게 함.
2. 반복적 검증 메커니즘: 인간 개입 없이 장면 그래프를 통해 행동 시퀀스를 검증하고 제약 위반을 식별하여 수정하는 시스템을 제안.
3. 통합 목표 지정: 참조 이미지 또는 자연어 지시를 모두 지원하여 목표 장면 그래프를 생성하는 통일된 방법을 제공.

4. 실험 결과 (Results)

저자들은 다양한 조작 시나리오 (블록 쌓기, 주방, 탱그램 퍼즐, 식기류) 에서 VeriGraph 를 평가했습니다.

• 성능 향상:
  • 자연어 기반 작업: 기존 베이스라인 (SayCan 등) 대비 58% 향상.
  • 탱그램 퍼즐 작업: VILA 대비 56% 향상.
  • 이미지 기반 작업: 30% 향상.
• 비교 분석:
  • VILA (비전 - 언어 모델 직접 계획): 원시 픽셀 입력에 의존하여 공간 관계 추론에 어려움을 겪음. VeriGraph 는 구조화된 그래프 표현으로 이를 극복.
  • SayCan (텍스트 기반): 공간적 관계를 텍스트 리스트로만 표현하여 물리적 제약 위반이 빈번함.
  • 단일 회차 vs 반복적 계획: 검증 및 재계획을 포함한 반복적 계획 ('Ours') 이 단일 회차 계획 ('Ours (Direct)') 보다 대부분의 작업에서 더 높은 성공률을 보임. (단, 생성된 장면 그래프의 정확도가 계획 성공률에 직접적인 영향을 미침).
• 실제 로봇 실행: 실제 로봇 팔 (AnyGrasp 등 활용) 을 통해 고수준 계획을 저수준 명령으로 변환하여 성공적으로 실행됨을 시연.

5. 의의 및 결론 (Significance & Conclusion)

• 구조적 추상화의 중요성: 원시 픽셀 데이터 대신 장면 그래프를 사용하여 공간적 관계와 물리적 제약을 명시적으로 표현함으로써, 로봇 계획의 신뢰성을 크게 높였습니다.
• 검증 가능성 (Verifiability): 실행 전 계획의 타당성을 그래프 기반으로 빠르게 검증함으로써, 로봇이 물리적으로 불가능한 행동을 시도하는 것을 방지합니다.
• 한계 및 향후 과제: 시스템의 성능은 생성된 장면 그래프의 정확도에 의존합니다. 객체 감지 오류나 잘못된 관계 추론이 계획 단계로 전파될 수 있으므로, 향후 장면 그래프 생성 모델의 정확도 향상이 필수적입니다.

요약하자면, VeriGraph 는 VLM 의 추론 능력을 활용하면서도 장면 그래프를 통한 엄격한 검증 루프를 도입하여, 로봇이 복잡한 조작 작업을 더 안전하고 정확하게 수행할 수 있도록 한 혁신적인 접근법입니다.