기술 요약: 상호작용 데이터에서 학습된 기호적 추상화를 활용한 이층 계획

문제 정의

연속 환경에서 작동하는 로봇 에이전트는 근본적인 트레이드오프에 직면합니다. 고차원 연속 상태 공간에서 직접 추론하는 것은 무한하거나 방대한 수의 가능한 해법으로 인해 계산적으로 처리 불가능한 반면, 순수한 기호적 추론은 중요한 기하학적 및 동역학적 정보를 폐기하여 실행 실패를 초래하기 때문에 종종 실패합니다. 비지도 로봇 탐색에서 기호적 추상화를 학습하는 기존 방법들은 일반적으로 결정론적 도메인에 의존하며, 기호적 계획이 연속 세계에서 성공할지 여부를 검증하는 메커니즘이 부족하고, 추상화가 불충분할 때의 대체 수단을 제공하지 못합니다. 본 논문은 고수준 기호적 추론의 효율성과 연속 동역학 검증의 정밀도를 결합한 계획 프레임워크의 필요성을 다룹니다.

방법론

저자들은 비지도 상호작용 데이터로 훈련된 이중 모델 아키텍처에 의해 지원되는 두 가지 명확한 수준으로 작동하는 이층 신경-기호 계획 프레임워크를 제안합니다.

1. 이중 모델 아키텍처

이 프레임워크는 행동 효과를 예측하도록 훈련된 인코더 - 디코더 아키텍처에서 파생된 두 가지 전문화된 신경망 모델을 활용합니다.

• 기호 모델 ($M_{sym}$): 병목 레이어에서 Gumbel-Sigmoid 활성화 함수를 사용합니다. 이 모델은 고수준 계획을 위한 기호 연산자를 생성하기 위해 이산 단항 객체 기호와 관계 기호 (예: "위", "옆") 를 발견하도록 설계되었습니다.
• 동역학 모델 ($M_{dyn}$): 병목 레이어에서 표준 Sigmoid 활성화 함수를 사용합니다. 동일한 아키텍처를 공유하지만, 이 모델은 정확한 연속 효과 예측을 위해 최적화되어 있으며, 검증 및 저수준 탐색을 위한 순방향 동역학 모델로 작용합니다.

2. 학습 과정

시스템은 상호작용 샘플 $(X, a, X')$ 데이터셋에서 학습하며, 여기서 $X$는 연속 상태 (객체 위치 및 유형) 를 나타내고 $a$는 매개변수화된 픽 - 플레이스 기술을 나타냅니다.

• 기호 발견: 기호 모델은 연속 상태를 이산 기호로 매핑합니다. 관계 기호는 이산 기호의 미분 가능 학습을 허용하도록 Gumbel-Sigmoid 로 적응된 자기 주의 메커니즘을 사용하여 계산됩니다.
• 연산자 추출: 연속 전이는 기호 데이터셋으로 변환됩니다. 연산자는 데이터에서 관찰된 가장 빈번한 행동 후 상태에 기반하여 전제 조건과 효과의 집합으로 정의됩니다.
• 확률적 도메인 구성: 결정론적 연산자 대신, 프레임워크는 PPDDL(확률적 PDDL) 도메인을 구성합니다. 각 연산자는 경험적 빈도에 기반한 가능한 기호 효과에 대한 확률 분포를 포함하여 실제 세계 상호작용의 확률성을 포착합니다.

3. 이층 계획 알고리즘

계획 과정은 두 수준으로 진행됩니다.

• 수준 1: 검증이 포함된 확률적 기호 계획
  • 시스템은 학습된 확률 분포에서 효과를 샘플링하여 $N$개의 PDDL 도메인 앙상블을 생성합니다.
  • 고전적 AI 플래너 (Fast-Downward) 가 이러한 도메인에서 계획을 탐색합니다.
  • 연속 검증: 후보 기호 계획은 확률에 따라 순위가 매겨집니다. 동역학 모델 ($M_{dyn}$) 은 각 후보 계획의 연속 결과를 예측하는 순방향 시뮬레이터로 사용됩니다. 예측된 최종 상태가 목표에 대한 허용 오차 임계값 ($\tau_{verify}$) 내에 있으면 계획이 승인됩니다.
• 수준 2: 연속 순방향 탐색 대체 수단
  • 검증에 통과하는 기호 계획이 없으면, 시스템은 연속 상태 공간에서 가중치 $A^*$ 탐색을 호출합니다.
  • 이 탐색은 상태 전이를 위해 동역학 모델을 사용하고, 목표까지의 유클리드 거리에 기반한 휴리스틱을 사용합니다.
  • 처리 가능성을 보장하기 위해, 탐색은 전체 행동 공간을 탐색하는 대신 목표 지향적 행동 (예: 잘못된 위치에 있는 객체를 목표 위치로 이동) 만 생성하는 휴리스틱 행동 가지치기를 사용합니다.

주요 기여

1. 이층 프레임워크: 고수준에서 확률적 기호 계획을 통합하고 연속 순방향 탐색을 대체 수단으로 결합하여 추상적 추론과 연속 동역학 간의 간극을 메우는 새로운 아키텍처.
2. 이중 모델 방식: 이산 기호 발견용 모델과 정밀한 연속 효과 예측용 모델이라는 두 가지 전문화된 모델을 도입하여 단일 모델이 두 가지 목적을 모두 최적화할 수 없음을 입증.
3. 검증 메커니즘: 실행 전에 연속 동역학 모델을 활용하여 기호 계획을 검증하는 방법으로, 기호적으로 유효하지만 동역학적으로 실행 불가능한 계획을 효과적으로 필터링.
4. 확률적 연산자 학습: 결정론적 도메인을 넘어 확률적 효과를 가진 연산자를 학습하여, 플래너가 덜 확률적이지만 잠재적으로 성공적인 경로를 탐색할 수 있도록 함.

실험 결과

이 프레임워크는 2 개에서 4 개의 객체가 있고 행동 시퀀스 길이가 1 에서 5 인 시뮬레이션 탁상 환경에서 다중 객체 조작 작업에 대해 평가되었습니다.

• 모델 검증: 동역학 모델은 기호 모델 (3.33 cm) 보다 낮은 평균 효과 예측 오차 (1.96 cm) 를 달성하여 연속 예측을 위한 별도의 모델 필요성을 검증했습니다.
• 확률적 대 결정론적: 확률적 플래너는 결정론적 베이스라인보다 훨씬 우수한 성과를 보였습니다 (예: 1 단계 작업의 성공률 73.0% 대 64.67%). 이는 결과의 전체 분포를 고려함으로써 견고성이 향상됨을 보여줍니다.
• 검증 성능: 연속 계획 검증기는 평균 정확도 0.91 과 F1 점수 0.90 을 달성했습니다. 검증된 계획은 94.5% 의 성공률을 보인 반면, 검증되지 않은 계획은 87.3% 의 실패율을 보여, 실패한 계획을 필터링하는 메커니즘의 신뢰성을 확인했습니다.
• 전체 성능: 제안된 이층 플래너는 전체 연속 순방향 탐색과 통계적으로 유사한 계획 성공률 ($p=0.71$) 을 달성했습니다. 그러나 대부분의 문제를 효율적인 기호 추론으로 해결하고, 필요한 경우에만 계산 비용이 많이 드는 연속 탐색에 의존했습니다.

의의

본 논문은 이 접근법이 순수한 기호 계획의 한계 (기하학적 세부 사항 손실) 와 순수한 연속 계획의 한계 (계산적 처리 불가능) 를 성공적으로 완화한다고 주장합니다. 기호적 추론의 효율성과 학습된 연속 동역학의 정밀도를 결합함으로써, 이 프레임워크는 로봇 조작을 위한 견고한 솔루션을 제공합니다. 학습된 물리 동역학에 대해 기호 계획을 검증할 수 있다면, 에이전트가 포괄적인 연속 탐색과 비교할 수 있는 고수준 계획 성능을 달성하면서도 계산 효율성을 유지할 수 있음을 보여줍니다. 이 연구는 학습된 기호적 추상화를 실제 세계 실행에 신뢰할 수 있도록 만들기 위해 확률적 모델링과 검증의 중요성을 강조합니다.