기술 요약: 행동 트리와 LLM 을 활용한 구성적 작업을 위한 보상 형성 및 행동 마스킹

1. 문제 제기

자율 에이전트는 종종 고수준 목표를 물체로 이동하고 조작한 후 목표 지점으로 이동하는 것과 같은 단순한 하위 작업들의 시퀀스로 분해해야 하는 복잡한 작업에 직면합니다. 강화 학습 (RL) 은 이러한 하위 작업에 대한 정책을 최적화할 수 있지만, 잘 정의된 보상 함수와 행동 마스킹이 없으면 샘플 효율성이 낮다는 단점이 있습니다. 이러한 구성 요소를 수동으로 설계하는 것은 다음을 요구하기 때문에 어렵습니다:

1. 적절한 하위 작업 식별.
2. 하위 작업 실패에 대한 반응성(reactivity) 보장 (예: 에이전트가 열쇠를 떨어뜨리면 진행하는 대신 다시 주우기 위해 되돌아가야 함).
3. 다양한 작업 물체에 걸친 모듈성(modularity) 유지 (예: 물체가 "빨간 열쇠"이든 "파란 열쇠"이든 동일한 논리가 적용되어야 함).

대형 언어 모델 (LLM) 또는 비전 - 언어 모델 (VLM) 을 사용하는 기존 자동화 접근 방식은 종종 보상 코드나 유한 상태 머신을 생성하지만, 실패에 대한 반응성, 구성적 작업을 위한 모듈성, 또는 보상과 행동 마스킹의 공동 최적화를 완전히 해결하지는 못합니다.

2. 방법론

저자들은 마스킹 보상 행동 트리(MRBTs) 를 제안합니다. 이는 보상 형성 함수이자 행동 마스킹 함수로 작용하는 심볼릭 구조입니다. 이 방법론은 행동 트리 템플릿, 검증을 위한 논리 명세, 그리고 LLM 과 SMT 솔버를 사용하는 자동화 파이프라인이라는 세 가지 핵심 구성 요소를 통합합니다.

2.1. 마스킹 보상 행동 트리 (MRBT)

MRBT 는 리프 노드가 마스킹 행동 보상 머신(MBRMs) 인 행동 트리 (BT) 입니다.

• 구조: BT 는 제어 노드 (Sequence → 및 Fallback ?) 를 통해 실행을 조정합니다.
• 리프: 각 리프는 에이전트의 상태와 작업에 기반하여 스칼라 보상과 이산 행동 마스크를 출력하는 MBRM 입니다.
• 반응성: BT 구조는 되돌아가기 (backtracking) 를 가능하게 합니다. 하위 작업이 실패하면 (예: 상호작용 실패), BT 는 이전 상태로 복귀하여 에이전트가 불완전한 시퀀스에 대한 보상을 받는 대신 필요한 단계를 재시도하도록 보장합니다.
• 모듈성: MRBT 는 하위 작업과 논리 공식을 위한 자리 표시자를 사용하여 정의된 작업 공간 내에서 다른 물체 속성 (예: 색상) 에 적응할 수 있습니다.

2.2. MRBT 템플릿

저자들은 순차적 물체 상호작용 작업을 위한 특정 템플릿을 설계합니다. $k$개의 하위 작업 시퀀스에 대해 템플릿은 다음을 포함합니다:

• 논리 공식: 각 하위 작업 $i$에 대해 완료 공식 ($\psi_i$) 과 물체 근접 공식 ($\phi_i$) 을 정의합니다.
• 행동 마스킹: 각 하위 작업에 대해 두 가지 마스킹이 있습니다: 항해를 위한 $\eta_{i,1}$과 상호작용을 위한 $\eta_{i,2}$입니다.
• 실행 논리: BT 는 MBRM 의 시퀀스를 실행합니다. 하위 작업이 완료되면 다음 단계로 이동하고, 에이전트가 물체 근처에 있으면 상호작용을 활성화하며, 그렇지 않으면 항해를 활성화합니다. 하위 작업이 실패하면 (상태가 실패로 전이됨), BT 는 되돌아갑니다.

2.3. 자동 생성 및 검증 파이프라인

MRBT 생성을 자동화하기 위해 저자들은 다음을 포함하는 파이프라인 (그림 1) 을 개발했습니다:

1. LLM 생성: LLM(ChatGPT-5) 은 작업 설명, MRBT 템플릿, 환경 술어를 입력으로 받습니다. 이는 특정 하위 작업, 논리 공식 ($\psi_i, \phi_i$), 그리고 행동 마스킹 ($\eta_{i,1}, \eta_{i,2}$) 을 생성합니다.
2. SMT 검증: 환경 역학의 심볼릭 모델 ($E_{sym}$) 이 SMT 솔버 (Z3) 에 구축됩니다. 솔버는 생성된 논리 공식을 세 가지 명세에 대해 검증합니다:
   • 완료 정확성: 최종 작업이 완료되면 모든 하위 작업이 완료되었음을 보장합니다.
   • 물체 근접: 하위 작업 완료 직전에 에이전트가 물체 근처에 있음을 보장합니다.
   • 비퇴행 최대 보상: 하위 작업이 완료되면 최대 보상을 달성하기 위해 완료된 상태로 유지됨 (퇴행 없음) 을 보장합니다.
3. 정제: SMT 솔버가 반례 (예: 에이전트가 하위 작업 조건을 충족하지 않고 작업을 완료하는 궤적) 를 발견하면 디버그 프롬프트를 생성합니다. LLM 은 이 반례로 다시 프롬프트되어 논리 공식이 만족 가능해질 때까지 정제됩니다.
4. 뉴로심볼릭 RL 학습: 검증된 MRBT 는 에이전트를 학습시키기 위해 뉴로심볼릭 RL 루프 (PPO 사용) 에 통합됩니다. MRBT 는 보상 신호를 제공하고 각 단계에서 행동 공간을 제한합니다.

3. 주요 기여

1. MRBT 프레임워크: 구성적 작업에서 반응성과 모듈성을 위해 특별히 설계된 보상과 행동 마스킹을 공동으로 출력하는 심볼릭 구조의 도입.
2. MRBT 템플릿 및 명세: 순차적 물체 상호작용 작업을 위한 MRBT 구축을 위한 체계적인 템플릿과 SMT 솔버를 사용하여 정확성 (완료, 근접, 비퇴행) 을 검증하기 위한 논리 명세.
3. 자동화 파이프라인: LLM 을 사용하여 MRBT 를 생성하고 SMT 솔버를 사용하여 이를 검증 및 정제하여 다양한 물체를 가진 작업 공간 전반에 걸쳐 견고성을 보장하는 시스템.
4. 종합 평가: 결정론적 및 확률적 역학 하에서 두 환경 (MiniGrid 및 MuJoCo Fetch) 의 다섯 가지 작업 공간에 걸친 실험.
5. 장점 분석: MRBT 의 전이성 (AirSim 으로), 모듈성 (계층적 보상 머신보다 더 잘 확장됨), 그리고 검증 가능성 (Z3 를 통한 이론적 보장) 에 대한 입증.

4. 실험 결과

저자들은 MRBT 접근 방식을 두 가지 기준선과 비교하여 평가했습니다:

• 작업: 전체 작업 완료 시에만 이진 보상을 부여.
• 절차: 하위 작업 완료에 대한 보상을 부여하지만 반응적 되돌아가기와 행동 마스킹이 결여된 VLM-CaR 기반 보상 머신.
• RBT(Ablation): 행동 마스킹이 없는 MRBT.

주요 발견:

• 학습 효율성 및 성공: MRBT 는 기준선 및 RBT 제거 실험에 비해 일관되게 더 높은 학습 효율성과 작업 성공률을 달성했습니다.
• 복잡성 처리: 가장 복잡한 작업 공간 (LockedRoom, 4 개의 하위 작업, 36 가지 변형) 에서 MRBT 는 평균 성공률 $\ge 80\%$를 달성한 반면, 기준선은 $\le 70\%$를 달성했습니다.
• 확률성: MRBT 는 열쇠가 무작위로 떨어지는 것과 같은 확률적 환경에서 높은 성능을 유지하여 반응적 되돌아가기의 가치를 입증했습니다.
• 전이성: MiniGrid 에서 MRBT 로 학습된 정책은 현실적인 쿼드콥터 시뮬레이터 (AirSim) 로 성공적으로 전이되어 결정론적 설정에서 97% 의 성공률과 확률적 설정에서 94% 의 성공률을 달성하여 모든 제거 실험을 능가했습니다.
• 모듈성: MRBT 구조는 계층적 보상 머신 (HRM) 보다 더 모듈식으로 확장됩니다. MRBT 에 하위 작업을 추가하는 데 $O(1)$의 저장 공간이 필요한 반면, HRM 은 되돌아가는 간선을 위해 $O(k)$의 저장 공간이 필요합니다.
• 검증: SMT 솔버는 대부분의 작업에서 10 분 이내에 생성된 논리 공식을 성공적으로 정제했습니다 (예: 근접 임계값 또는 지속성 조건 수정).

5. 중요성 및 주장

이 논문은 MRBT 가 구성적 작업에서 보상 형성 및 행동 마스킹을 자동화하기 위한 견고한 솔루션을 제공한다고 주장합니다. 중요성은 세 가지 주요 장점에 있습니다:

1. 전이성: MRBT 의 심볼릭 특성은 시뮬레이션에서 학습된 정책이 현실적인 시뮬레이터 (AirSim) 와 다양한 작업 물체로 효과적으로 전이되도록 합니다.
2. 모듈성: 유한 상태 머신이나 보상 머신과 달리 MRBT 의 트리 구조는 작업 복잡도가 증가함에 따라 더 쉬운 확장 및 수정을 가능하게 합니다.
3. 검증 가능성: SMT 솔버를 통합함으로써 이 접근 방식은 보상 및 행동 마스킹 논리가 작업 명세에 대해 정확하다는 이론적 보장을 제공하며, 이는 순수 데이터 기반 또는 시연 기반 접근 방식에는 존재하지 않는 기능입니다.

저자들은 이 접근 방식이 검증을 위해 SMT 솔버가 필요하지만, 결과적으로 생성된 MRBT 는 특히 실패에 대한 반응성이 중요한 복잡하고 다단계 환경에서 학습 효율성과 작업 성공을 크게 향상시킨다고 결론지었습니다. 향후 작업은 MRBT 템플릿을 더 일반화하는 것을 탐구할 것으로 언급되었습니다.