Learning Explicit Behavioral Models with Adaptive Questions and World-Model Probes

기술 요약: 적응형 질문과 월드 모델 프로브를 이용한 명시적 행동 모델 학습

1. 문제 정의

태스크 리턴(스칼라 보상)만으로 훈련된 대화형 에이전트는 종종 견고한 메커니즘을 개발하는 대신, 좁은 타이밍 패턴, 국소적 지름길 또는 환경 특유의 기묘한 특성을 악용하여 높은 점수를 달성하곤 한다. 이러한 "높은 점수, 낮은 이해도" 행동은 숨겨진 사각지대를 생성한다: 즉, 에이전트의 정책은 성공적인 것처럼 보이지만 환경 역학이 변할 때 취약해지며, 이는 느린 회복과 어려운 진단으로 이어진다.

LLM 기반의 성찰(reflection)이나 정책 코드 수정(policy-code repair)과 같은 기존 방식은 일반적으로 훈련 후에 행동을 수정하거나 태스크 성공 여부를 유틸리티의 주요 판단 기준으로 삼는다. 또한, 월드 이해(world-understanding) 벤치마크가 존재하기는 하지만, 이는 대개 정적이며 사후적으로 적용될 뿐, 정책을 선택, 수정 또는 거부하는 과정의 일부로 통합되는 경우는 드물다. 핵심 과제는 '이해'를 단순한 수사적 부산물이 아니라, 테스트 가능하고 실행 가능한 객체로서 정책 학습 루프 내에서 최적화하는 것이다.

2. 방법론: 명시적 기호 행동 모델 (ESBM)

본 논문은 태스크 성능과 증거에 기반한 질의응답(QA) 및 실행 가능한 메커니즘 예측을 결합한 훈련 가능한 행동 모델인 **명시적 기호 행동 모델(Explicit Symbolic Behavioral Model, ESBM)**을 소개한다. ESBM은 정책 역할을 하는 신경망이 아니라, 다음과 같은 명시적인 기호 구조이다:

• 타입화된 술어 (Typed Predicates): 가공되지 않은 관측값과 메모리를 의미론적 사실로 매핑한다.
• 가중치 규칙 (Weighted Rules): 사실을 행동 또는 옵션 호출로 매핑한다.
• 유계 옵션 (Bounded Options): 정의된 계약과 종료 조건을 가진 다단계 절차(예: 경로, 구조 시퀀스)를 캡슐화한다.
• 메커니즘 메모리 ($K$): 행동 개입 하에서의 기호적 이벤트, 객체 변화, 보상 및 최종 결과를 예측하는 추상적 월드 모델이다.

챌린저-옵티마이저 루프 (The Challenger–Optimizer Loop)
학습 과정은 적대적이면서도 건설적인 루프에 의해 구동된다:

1. 챌린저 (프로브 생성): 각 롤아웃(rollout) 후, 챌린저는 실패 사례, 최근의 기호적 편집, QA 오류 및 전이 예측 오류를 분석하여 두 가지 형태의 압력을 생성한다:
   • 적응형 질문 (QA): 엔티티, 위험 요소, 보상 및 반사실적 상황에 대한 근거 있는 질문들이다. 답변은 반드시 ESBM의 명시적 컨텍스트(술어, 규칙, 메커니즘)에 의해 뒷받침되어야 한다.
   • 능동적 월드 모델 프로브 (Active World-Model Probes): 시스템은 일치하는 체크포인트로부터 두 개의 경로, 즉 실제 환경과 ESBM의 추상 모델으로 분기한다. 두 경로는 동일한 행동 시퀀스(관측된 것, 반사실적인 것, 또는 혼합된 것)를 실행한다. ESBM의 메커니즘 메모리는 결과적인 기호적 이벤트, 점수 변화 및 객체 상태를 예측해야 한다.
2. 옵티마이저 (편집 제안): LLM은 챌린저의 피드백을 바탕으로 ESBM에 대한 국소적이고 타입화된 편집(예: 규칙 조건 수정, 메커니즘 엔트리 업데이트)을 제안하는 백엔드 역할을 수행한다.
3. 검증 게이트 (선택): 다기준 수락 규칙이 후보 모델을 평가한다. 후보 모델은 검증된 차원(태스크 점수, QA 정확도, 수동/능동 월드 모델 일관성) 중 적어도 하나를 개선하는 동시에, 보호된 차원에서의 퇴보 허용 오차 범위 내에 있을 때만 수락된다. 이는 설령 점수가 향상되더라도 근거 없는 설명이 수락되는 것을 방지한다.

3. 주요 기여

• ESBM 정의: 저자들은 상태 추상화, 기호적 행동 선택, 유계 옵션 및 실행 가능한 메커니즘 메모리를 결합한 명시적 최적화 객체로서 ESBM을 정의한다.
• 적응형 훈련 메커니즘: 모델의 실패를 재사용 가능한 이해 제약 조건으로 변환하는 정책 적응형, 증거 기반 질문 및 능동적 월드 모델 프로브를 도입하여 QA를 사후 평가에서 핵심 학습 루프로 이동시킨다.
• 다기준 수락: 태스크 성능, QA 정확도 및 능동적 개입 월드 모델 일관성을 공동으로 평가하는 새로운 수락 규칙을 공식화하여, 업데이트가 행동과 메커니즘적 이해를 모두 개선하도록 보장한다.

4. 실험 결과

본 접근 방식은 경로 계획, 자원 관리 및 위험 회피가 필요한 세 가지 Atari 스타일의 JAXAtari 환경(Kangaroo, Seaquest, Kingkong)에서 평가되었다.

• 태스크 성능 (RQ1): ESBM은 모델 프리 베이스라인(DQN, PPO), 뉴로-심볼릭 학습기(NUDGE, BlendRL), 그리고 점수 전용 심볼릭 참조 모델(EvoSymbol)과 비교하여 경쟁력 있거나 우수한 점수를 달성했다. 특히, ESBM은 (QA와 월드 모델 검증이 결여된) EvoSymbol보다 세 게임 모두에서 뛰어난 성능을 보였다.
• 명시적 이해 (RQ2): 학습된 ESBM은 별도의 테스트 데이터셋(held-out)을 사용한 게임 이해 벤치마크에서 높은 증거 지원 답변 능력을 보여주었다. 모델은 세계 구조, 메커니즘 및 반사실적 상황에 대한 질문에 답할 수 있었으며, 이를 뒷받침하는 증거(술어, 규칙)를 명시적으로 식별할 수 있었다.
• 실행 가능한 월드 모델 예측 (RQ3): 메커니즘 층($K$)은 능동적 반사실적 분기 하에서의 기호적 역학을 성공적으로 예측하였으며, 지속성(persistence), 상수 역학(constant-dynamics), 의사결정 트리(decision-tree) 월드 모델 베이스라인보다 우수한 성능을 보였다.
• 메커니즘 변경 후 회복 (RQ4): 환경 역학이 변경되었을 때(예: 더 빠른 원숭이, 더 빠른 산소 감소, 더 빠른 폭탄), ESBM은 PPO에 비해 훨씬 더 큰 비율의 원래 점수를 회복했다. 이는 명시적인 메커니즘 이해가 새로운 역학에 대한 빠른 적응을 용이하게 함을 나타낸다.

5. 의의 및 주장

본 논문은 적응형 질문과 능동적 월드 모델 프로브가 메커니즘적 정책 학습을 위한 훈련 압력이자 재사용 가능한 벤치마크 역할을 할 수 있다고 주장한다. 메커니즘 이해를 정책 업데이트와 연결된 실행 가능한 객체로 만듦으로써, 본 프레임워크는 고득점 행동과 심볼릭으로 검증 가능한 메커니즘 지식을 성공적으로 분리한다.

저자들은 이 접근 방식이 점수 전용 정책의 취약성을 해결한다고 주장한다. 스칼라 보상에 의존하면 누락되거나 잘못된 메커니즘이 숨겨질 수 있는 반면, ESBM은 에이전트가 감사 가능하고, 질의 가능하며, 수리가 가능한 모델을 유지하도록 강제한다. 결과는 명시적 행동 모델을 최적화하는 것이 에이전트가 단순히 태스크를 수행하는 것을 넘어, 자신의 행동이 왜 성공하는지를 이해하게 함으로써 환경 역학이 변할 때 더욱 견고한 적응을 가능하게 한다는 것을 시사한다.

본 논문은 현재 설정이 Atari 스타일의 게임을 통제된 테스트베드로 사용하고 있다는 점을 들어 범위를 겸손하게 제한하며, 로보틱스나 오픈 엔드 환경으로 이 방법을 전이하려면 더 풍부한 상태 추상화와 강력한 검증기가 필요함을 언급한다. 또한 생성된 프로브의 품질에 따른 의존성과 심볼릭 어휘의 한계를 인정한다.