기술 요약: 실패 진단 및 폐쇄 루프 수복을 위한 Onto-EV-WM

1. 문제 정의

월드 모델(예: EV-WM)을 활용하는 물리적 AI 시스템은 후보 미래를 예측하고 이를 특징 또는 이벤트 벡터를 기반으로 점수화한다. 그러나 이러한 스칼라 점수나 이벤트 벡터는 왜 특정 후보가 실패했는지에 대한 명시적인 의미론적 정보를 결여하는 경우가 많다. 구체적으로 다음 사항들을 기록하지 못한다:

• 어떤 특정 태스크 서술어(predicate)가 충족되지 않았는지 (예: 공간적 관계 또는 조인트 제약 조건).
• 실패와 관련된 타입 인자(typed arguments).
• 어떤 교정 메커니즘이 적용되어야 하는지를 나타내는 경로 레이블(route label).
• 네이티브 태스크 서술어에 기반한 교정 후 수용 결과.

결과적으로, 시스템이 낮은 점수의 후보를 식별할 수는 있지만, 특정 미충족 조건을 진단하고, 호환 가능한 교정 전략을 할당하며, 폐쇄 루프 프로토콜을 통해 결과를 검증하기 위한 구조화된 인터페이스가 부족하다. 본 논문은 고차원 예측과 기호적 태스크 검증 사이의 간극을 해결하며, 기존의 월드 모델이나 비주오모터(visuomotor) 컨트롤러를 대체하지 않으면서도 진단 및 수복을 위한 명시적인 인터페이스를 제공하는 것을 목표로 한다.

2. 방법론: Onto-EV-WM

저자들은 기존 EV-WM 아키텍처 상위에 계층화된, 온톨로지 기반의 진단 및 검증 게이트형 교정 인터페이스인 Onto-EV-WM을 제안한다. 이는 새로운 월드 모델이 아니라, 예측에서 교정으로 이어지는 흐름을 관리하는 기호적 계층이다.

2.1 아키텍처 및 구성 요소

시스템은 세 가지 주요 구성 요소를 포함하는 구조화된 파이프라인을 통해 작동한다:

1. 온톨로지 기록 계층 (TBox 및 ABox):
   • TBox (Task Box): 엔티티 타입(예: Object, Region, Joint), 서술어 시그니처(예: in_region, contact), 그리고 타입 제약 조건을 포함하는 태스크 로컬 스키마를 정의한다. 이는 특정 태스크를 위한 재사용 가능한 어휘 역할을 한다.
   • ABox (Assertion Box): 현재 상태를 인스턴스화한다. 시스템은 세 가지 출처별 ABox를 구축한다:
     • $A^\star_g$: 구조화된 태스크 명세($g$)로부터 컴파일된 필수 단언(assertions).
     • $\hat{A}^{pred}_{g,t+H}$: 월드 모델의 예측 출력으로부터 그라운딩된 단언.
     • $A^{sim}_{g,t}$: 시뮬레이터 상태로부터 직접 그라운딩된 단언.
2. 결정론적 진단 및 라우팅:
   • 진단 ($\Pi_D$): 필수 ABox($A^\star_g$)를 관측/예측된 ABox와 비교한다. 이는 특정 서술어, 해당 타입 인자, 그리고 연속적인 마진 위반을 보존하면서 미충족된 단언($\Delta F_{src}$)을 식별한다. 이를 통해 타입화된 실패 기록(예: relation_missing(plate, stove_front))을 생성한다.
   • 라우팅 ($\Pi_R$): 결정론적 규칙 베이스는 타입화된 실패를 특정 "경로 레이블"에 매핑한다. 경로는 직접적인 로봇 동작이 아니라, 호환 가능한 교정 메커즘(예: "소스 조인트 포즈", "객체 관계 서술어")을 호출하기 위한 디스패치 레이블이다.
3. 검증 게이트형 교정 루프:
   • 제안 생성: 제안자(학습된 방식, 휴리스틱 또는 플래닝 기반)는 실패 기록과 선택된 경로를 바탕으로 교정 $q$를 생성한다.
   • 적용: 교정은 시뮬레이터 상태에 직접 변형을 가하거나(예: $qpos$ 수정) 컨트롤러를 통해 실행된다.
   • 검증: 네이티브 태스크 검증기가 결과 상태를 태스크 서술어와 대조하여 확인한다.
   • 제한된 재시도: 검증에 실패하면, 시스템은 시도 예산($b$)을 증가시키고, 상태를 다시 그라운딩하며, 동일한 경로를 재시도하거나 경로를 재설정할 수 있다. 루프는 성공하거나 예산이 소진될 때 종료된다.

2.2 운영 흐름

이 인터페이스는 예측, 그라운딩, 진단, 적용 및 검증을 분리한다.

• 입력: 태스크 명세, 소스 태그(예측 또는 시뮬레이션), 그리고 상태.
• 프로세스: 상태를 ABox로 그라운딩 $\rightarrow$ 누락된 서술어 진단 $\rightarrow$ 경로 할당 $\rightarrow$ 교정 생성 $\rightarrow$ 적용 $\rightarrow$ 검증.
• 출력: 수용된 상태, 유지된 플래닝 후보, 또는 해결되지 않은 타입화된 실패 추적.

3. 주요 기여

본 논문은 세 가지 주요 기술적 기여를 수행한다:

1. 운영 로봇 태스크 온톨로지: 예측된 상태와 시뮬레이터 관측 상태를 공유된 어휘 및 타입 제약 하에 별개의 태스크 특정 ABox로 표현하는 명시적 그라운딩 인터페이스 설계.
2. 결정론적 진단 및 라우팅: 원래의 컨텍스트를 버리지 않고 위반된 서술어와 그 타입 인자를 보존하며, 이를 태스크 특정 교정 경로에 매핑하는 규칙 기반 시스템.
3. 검증 게이트형 교정 계약: 교정 시도의 전체 라이프사이클(진단, 경로 선택, 제안, 적용 모드, 네이티브 서술어 수용)을 기록하고 제한된 재시도 메커니즘을 강제하는 프로토콜.

4. 실험 결과

저자들은 시뮬레이션 프로토콜을 사용하여 세 가지 서로 다른 벤치마크 설정에서 Onto-EV-WM을 평가하였다.

4.1 PointMaze (정렬된 비교)

• 설정: EV-WM과 Onto-EV-WM 간의 50회 무작위 상태 플래닝 비교.
• 결과: 두 방법 모두 94%의 성공률을 달ian했다. 그러나 Onto-EV-WM은 EV-WM(0.90573)보다 현저히 낮은 평균 최종 상태 거리(0.61177)를 달성하여, 태스크 조건을 충족하는 정밀도가 더 높음을 보여주었다.
• 참고: 더 큰 탐색 예산과 성공 우선 선택을 사용하는 별도의 구성은 100% 성공률에 도달했으나, 예산 차이로 인해 정렬된 설정과는 직접 비교할 수 없다.

4.2 LIBERO-Goal (샘플링 윈도우 교정)

• 설정: 4개의 평가 샘플링 시드를 사용하여 10개의 조작 태스크에 대해 평가. 프로토콜은 25단계의 데몬스트레이션 윈도우를 샘플링한다. 교정은 학습된 소스/조인트 $qpos$-델타 메커니즘을 통해 시뮬레이터 상태에 직접 적용된다.
• 결과:
  • Seed 0: 93.8%의 교정된 윈도우 성공률 (469/500).
  • 4개 시드 전체: **94.05 ± 0.30%**의 교정 성공률.
  • 복구: 261회의 재생 실패 중 142회가 교정 메커니즘에 의해 "구조됨" (54.4%).
• 맥락: 온톨로지는 실패를 고정된 교정 헤드로 연결하는 진단 기록을 제공하며, 보고된 지표는 완전한 온톨로지 기반 구성을 반영한다.

4.3 LIBERO-Plus (고정 레지스트리)

• 설정: 네 가지 스위트(LIBERO-10, Goal, Object, Spatial)에 걸친 10,030개의 섭동 태스크에 대한 고정 레지스트리 평가.
• 결과:
  • 전체 성공률: 85.00% (10,030개 중 8,526개).
  • 스위트별 세부 내역:
    • LIBERO-Goal: 91.39%
    • LIBERO-Object: 91.38%
    • LIBERO-Spatial: 91.38%
    • LIBERO-10: 65.98% (잔여 실패 수가 가장 많은 스위트로 식별됨).
  • 비교: Onto-EV-WM 구성은 DINO-WM + CEM (61.57%)을 포함한 여러 베이스라인보다 우수한 성능을 보였으나, 이는 시스템 수준의 비교이며 온톨로지 자체의 인과적 기여만을 분리해낸 것은 아니다.

5. 의의 및 주장

본 논문은 Onto-EV-WM을 실패 진단 및 수복 과정에 명시적이고 타입화된 추론을 추가함으로써 물리적 AI 시스템을 강화하는 시스템 수준의 인터페이스로 포지셔닝한다.

• 제한된 범위: 저자들은 결과가 다음을 의미하지 않는다고 명시적으로 밝힌다:
  • 실제 로봇의 복구 또는 Sim-to-Real 검증.
  • 일반적인 오픈 월드 지식 그래프 또는 범용 로봇 온톨로지.
  • 온톨로지만에 의한 인과적 기여 (성능 향상은 전체 구성에 기인함).
  • 기존 컨트롤러를 대체하는 새로운 학습된 정책 클래스.
• 핵 핵심 가치: 핵심 가치는 왜 태스크가 실패했는지(타입화된 서술어 및 인자)를 기록하고, 예측 모델과 분리된 방식으로 수복 프로세스(경로 및 검증)를 구조화할 수 있는 능력에 있다. 이를 통해 시뮬레이션 프로토콜 내에서 검증이 교정의 수용을 제어하는 "폐쇄 루프" 수복이 가능해진다.
• 한론: 평가는 시뮬레이션 기반 프로토콜에 의존한다. 여기서 "폐쇄 루프"는 시뮬레이터 내에서의 제한된 검증-재시도 사이클을 의미하며, 물리적 하드웨어에서의 실시간 피드백 제어를 의미하는 것이 아니다. 정량적 결과는 온톨로지의 고립된 효능보다는 특정 프로토콜 하에서의 통합된 시스템 성능을 반영한다.