MINT: Minimal Information Neuro-Symbolic Tree for Objective-Driven Knowledge-Gap Reasoning and Active Elicitation

기술 요약: 목표 지향적 지식 격차 추론을 위한 MINT

문제 제기
개방형 인간-AI 팀 협업에서 공동 계획은 보이지 않는 객체, 모호한 인간 의도, 불확실한 환경 제약과 같은 불완전한 정보와 미지수로 인해 자주 방해받습니다. 이러한 "지식 격차"는 상태 전이와 보상 함수에 불확실성을 초래하여 보수적인 실행과 비최적의 계획을 야기합니다. 인간 피드백을 통한 강화 학습 (RLHF) 이나 퓨샷 적응 (few-shot adaptation) 과 같은 기존 방법들은 인간 입력을 처리할 수 있지만, 이러한 격차에 대해 표현력 있게 추론하거나 이를 메우기 위해 필요한 구체적인 정보를 능동적으로 끌어내는 능력은 종종 부족합니다. 반면, 전통적인 인간-루프 (HITL) 접근법은 지식 격차의 근본 원인을 해결하기보다는 목표 지향적 능동적 끌어내기를 통해 demonstrations 를 통한 미세 조정에 초점을 맞추는 경향이 있습니다.

방법론: 최소 정보 신경-심볼릭 트리 (MINT)
저자들은 인간 입력의 끌어내기를 최적화하기 위해 심볼릭 추론, 신경 계획 정책, 그리고 대규모 언어 모델 (LLM) 을 결합한 프레임워크인 MINT 를 제안합니다. 이 방법론은 훈련과 배포라는 두 가지 주요 단계로 운영됩니다.

1. 신경 정책 훈련 (불확실성 추정):
   시스템은 최적의 Q-값뿐만 아니라 지식 격차로 인한 계획 결과의 우연적 불확실성 (분산) 을 추정하기 위해 부트스트랩된 Deep Q-Network(특히 UA-DQN) 를 사용합니다. 훈련 동안 에이전트는 지식 격차 $u$가 ground-truth 기술자 $\phi$의 일부를 가리는 확장된 마르코프 결정 과정 (MDP) 계열에 노출됩니다. 네트워크는 가능한 기술자 $\Phi_u$의 분포에 대한 Q-값의 평균과 분산을 추정하도록 학습합니다.

2. 심볼릭 트리 구성 및 확장:
   지식 격차가 감지될 때 (예: Q-값의 분산이 높음), MINT 는 심볼릭 트리를 구성합니다.

   • 노드: 기술자 (유형, 하위 유형, 값 범위) 로 특징지어지는 특정 지식 격차를 가진 계획 문제의 상태를 나타냅니다.
   • 엣지: 격차를 좁히기 위해 제안된 명제 (쿼리) 를 나타냅니다.
   • 확장: 트리는 너비 우선 탐색 방식으로 확장됩니다. 각 노드에 대해 신경 정책이 평균 반환과 분산을 추정합니다. 만약 분산이 행동 간의 반환 격차에 비해 높다면, 노드는 지식 격차 공간을 분할함으로써 확장됩니다 (예: 값 범위 분할 또는 다양한 유형의 불확실성 가정). 이 과정은 분산이 충분히 낮아지거나 깊이 제한에 도달할 때까지 계속됩니다.

3. LLM 기반 큐레이션 및 능동적 끌어내기:
   트리가 구축되면 LLM 이 상호작용 전략을 최적화하기 위해 구조를 처리합니다.

   • 가지치기: LLM 은 동일한 최적 행동으로 이어지는 동등한 하위 트리나 리프를 병합하여 중복성을 제거합니다.
   • 쿼리 생성: LLM 은 최적 행동 후보에 대한 정보 획득을 극대화하도록 설계된 이진 (예/아니오) 질문을 생성합니다.
   • 상호작용: 에이전트는 인간에게 이러한 질문을 던집니다. 인간의 응답은 지식 격차를 업데이트하고 트리의 일관되지 않은 가지들을 가지치기합니다. 최적 행동이 높은 확신으로 식별될 때까지 이 반복 과정이 계속됩니다.

이론적 분석
이 논문은 MINT 의 성능에 대한 이론적 보장을 제공합니다. 서로 다른 전이 커널과 보상 함수를 가진 MDP 간의 의사 거리 (pseudo-metric) 를 정의함으로써, 저자들은 최적 Q-함수의 **국소 의사 리프시츠 연속성 (local pseudo-Lipschitz continuity)**을 증명합니다. 그들은 지식 격차가 없는 이상적인 경우와 MINT 기반 계획 (능동적 끌어내기 포함) 간의 반환 격차에 대한 상한을 유도합니다. 이 분석은 MINT 의 쿼리 전략을 통해 지식 격차를 반복적으로 좁히는 것이 반환 격차를 줄여 성능 보장을 제공함을 보여줍니다.

주요 기여

1. MINT 프레임워크: 지식 격차의 영향을 추론하기 위해 신경 계획 정책을 참조하고 인간 끌어내기 전략을 최적화하기 위해 자기 플레이를 활용하는 신경-심볼릭 트리의 제안.
2. 이론적 보장: 계획 반환에 대한 국소 의사 리프시츠 연속성의 증명 및 반환 격차에 대한 상한 유도로서 능동적 인간 끌어내기를 위한 견고한 이론적 기반 제공.
3. 실증적 검증: 다양한 환경에서 베이스라인에 비해 현저히 적은 쿼리 (객체당 1~3 개) 로 거의 전문가 수준의 반환을 달성한다는 MINT 의 입증.

실험 결과
저자들은 현실성이 증가하는 세 가지 벤치마크에서 MINT 를 평가했습니다.

• MiniGrid: MINT 는 거의 완벽한 성공률과 높은 평균 보상을 달성하여, 종종 지나치게 보수적이었던 순수 LLM 과 불확실성에 어려움을 겪었던 순수 RL 방법보다 훨씬 우수한 성능을 보였습니다. MINT 는 제한된 쿼리 예산에서도 높은 성능을 유지했습니다.
• Atari Pacman: 원시 픽셀 관측과 알려지지 않은 보상/전이 영역을 가진 환경에서 MINT 는 인간-루프 RL 베이스라인 (Query-A) 과 경쟁력 있는 반환을 달성했지만, 훨씬 적은 수의 쿼리만 필요했습니다.
• Isaac Gym (수색 및 구조): 연기에 가려진 객체와 숨겨진 표적이 포함된 고정밀 드론 구조 시나리오에서 MINT 는 LLM 기반 계획 전략을 능가하여 특정 지식 격차에 대한 추론을 통해 불확실성을 성공적으로 극복했습니다.

의의 및 주장
이 논문은 언어 기반 계획에서 능동적이고 최적화된 인간 끌어내기를 가능하게 하기 위해 지식 격차의 심볼릭 추론, 신경 계획 정책, 그리고 LLM 을 결합한 첫 번째 작업이라고 주장합니다. 저자들은 MINT 가 심볼릭 방법의 해석 가능성과 신경망의 적응성 사이의 간극을 효과적으로 메운다고 주장합니다. 표적 쿼리를 통해 지식 격차를 체계적으로 좁힘으로써, MINT 는 AI 에이전트가 수동적인 도구가 아닌 능동적인 팀원으로 기능하도록 하여 인간 파트너의 통신 부담을 최소화하면서도 거의 전문가 수준의 성능을 달성합니다. 이 연구는 완벽한 정보가 불가능하고 보수적인 계획이 비최적 결과로 이어지는 개방형 시나리오에서 이러한 접근 방식이 특히 중요함을 시사합니다.