기술 요약: How2 – 절차적 '어떻게' 질문을 통한 학습

문제 제기

상호작용 환경에서 작동하는 에이전트는 종종 특정 작업을 완료하는 데 필요한 절차적 지식이 부족한 계획 문제를 마주칩니다. AI 어시스턴트는 모호성을 해결하기 위해 명확화 질문을 할 수는 있지만, 미래 계획을 위한 지식 격차를 메우기 위해 절차적 지식 (예: "X 는 어떻게 하나요?") 을 요청하는 경우는 드뭅니다. 여기서의 과제는 '어떻게' 질문의 개방적 성질에 있습니다. 유효한 답변은 고수준 하위 목표 설명부터 완전히 실행 가능한 행동 시퀀스까지 다양합니다. 이러한 변동성으로 인해 에이전트가 올바른 질문을 하고, '교사'(인간 또는 오라클) 가 즉각적으로 유용하면서도 평생 학습에 재사용 가능한 답변을 제공하는 것이 어렵습니다. 구체적으로, 현재 상태 (예: 특정 인벤토리 슬롯) 와 긴밀하게 결합된 답변은 새로운 상태로 일반화되지 않아 장기적 자율성을 저해합니다.

방법론

저자들은 상호작용 환경에서의 평생 학습을 위해 설계된 메모리 기반 에이전트 프레임워크인 How2를 제안합니다. 이 시스템은 에이전트가 인벤토리 항목을 조작하여 목표 물체를 조립해야 하는 Plancraft(마인크래프트 기반 제작 환경) 내에서 작동합니다.

핵심 프레임워크

How2 는 다음과 같은 워크플로우를 통해 에이전트, 교사, 메모리 모듈을 통합합니다:

1. 메모리 검색: 에이전트는 먼저 쿼리 $\theta$(예: 레시피 이름) 를 사용하여 read-memory 도구를 통해 메모리 저장소를 조회합니다. 메모리는 값이 메모리 엔트리 집합인 키 - 값 저장소입니다.
2. 관련성 확인: 엔트리가 존재하는 경우, LLM 기반 관련성 확인이 저장된 메모리가 현재 게임 상태 ($o_t$) 에 적용되는지 판단합니다.
3. 질문 생성: 관련 메모리가 발견되지 않을 경우 (캐시 미스), 에이전트는 현재 관찰에 조건부로 절차적 '어떻게' 질문 ($q_\theta$) 을 생성합니다.
4. 교사 응답: 교사 모델 ($T$) 이 질문에 답변합니다. 이 논문은 응답의 추상화 수준에 따라 네 가지 distinct 한 교사 유형을 평가합니다:
   • 실행 가능 (Executable): "I12 에서 A1 로 이동"과 같이 완전히 근거화된 단계별 행동 시퀀스를 제공합니다.
   • 부분 실행 가능 (Partially-Executable): "유리를 A1 로 이동"과 같이 상태별 세부 사항을 제거하지만, 여전히 행동의 평면 목록으로 남아 있습니다.
   • 하위 목표 부분 실행 가능 (Subgoal-Partially-Executable): "유리 녹이기" 다음에 "병 만들기"와 같이 계획을 계층적 하위 목표로 구조화하여 행동을 식별 가능한 레시피로 그룹화합니다.
   • 비실행 가능 (Non-Executable): "물건을 V 자 모양으로 배치"와 같이 패턴과 모양을 사용하여 상태별 슬롯 이름을 완전히 추상화한 고수준의 근거 없는 자연어 설명을 제공합니다.
5. 구문 분석 및 저장: 에이전트의 ParseAnswer 모듈이 교사의 응답을 처리합니다. 이는 특정 슬롯 ID 를 항목 이름으로 대체하여 상태별 세부 사항을 추상화하고 태그를 생성합니다. 일반화된 엔트리는 원래 쿼리와 연관된 태그 하에 메모리에 저장됩니다.

실험 설정

저자들은 Llama 3.3 70B 및 Qwen 3 32B 모델을 사용하여 프레임워크를 평가했습니다. 평생 학습 능력을 테스트하기 위해 두 가지 데이터셋 분할을 도입했습니다:

• 낮은 반복: 347 개의 고유한 작업이 포함된 원래 Plancraft 검증 세트.
• 높은 반복: 570 개의 예제에 걸쳐 반복된 107 개의 고유한 작업으로 구성된 새로운 분할로, 지식 재사용을 테스트하도록 설계되었습니다.

평가에서는 전체 How2 프레임워크를 다음과 같은 절단 (ablations) 과 비교했습니다:

• Just Ask: 메모리 저장 없이 교사가 모든 쿼리에 답변하는 오라클 설정 (상한선).
• Memory-Only: 구문 분석이나 관련성 확인 없이 메모리만 사용하는 설정.
• Parse/Relevance: 전체 프레임워크의 개별 구성 요소.

주요 기여

1. How2 프레임워크: 에이전트가 질문을 통해 절차적 지식을 학습하고, 답변을 저장하며, 메모리 모듈을 통해 이를 재사용할 수 있게 하는 새로운 아키텍처.
2. 추상화 수준 분석: 교사 답변의 세분성 (실행 가능에서 비실행 가능까지) 이 즉각적인 작업 성공과 장기적 재사용성에 미치는 영향을 체계적으로 조사.
3. 트레이드오프 식별: 답변의 즉각적 유용성과 장기적 재사용성 사이의 중요한 트레이드오프를 식별.

결과

실험은 다음과 같은 주요 발견을 도출했습니다:

• 즉각적 대 장기적 유용성:

  • 실행 가능 교사는 "Just Ask" 설정에서 가장 높은 성공률 (0.59) 을 달성하여 즉각적 실행에 가장 효과적임을 확인했습니다.
  • 그러나 Memory-Only 설정에서 재사용될 때, 실행 가능 계획은 특정 상태와 긴밀하게 결합되어 있어 성능이 급격히 하락했습니다 (높은 반복 분할에서 0.58 에서 0.32 로).
  • 추상화된 답변(하위 목표 부분 실행 가능 및 비실행 가능) 은 훨씬 더 높은 재사용성을 보여주었습니다. "Just Ask"에서 "Memory" 설정으로 이동할 때 성능 하락은 약 9% 에 불과했습니다.

• 추상화의 효과:

  • 하위 목표 부분 실행 가능 교사는 평면적인 부분 실행 가능 교사보다 일관되게 우월한 성과를 거두어, 답변을 하위 목표로 구조화하는 것이 메모리 효과를 향상시킨다는 가설을 지지했습니다.
  • Parse 모듈은 실행 가능 계획을 재사용 가능하게 만드는 데 결정적이었으며, 높은 반복 분할에서의 성공률을 0.32 에서 0.44 로 향상시켰습니다.

• 전체 프레임워크 성능:

  • 전체 How2 프레임워크 (메모리, 구문 분석, 관련성 확인 통합) 는 높은 반복 설정에서 0.52의 성공률을 달성했습니다.
  • 중요한 점은 이 성과가 "Just Ask" 오라클 (0.92) 에 비해 42% 낮은 개입률(0.53) 로 달성되었다는 것입니다. 이는 에이전트가 교사를 지속적으로 조회하는 대신 저장된 지식을 성공적으로 재사용했음을 보여줍니다.
  • 이 프레임워크는 구문 분석 및 관련성 모듈을 통해 추상적 지시를 효과적으로 근거화함으로써, 가장 근거화하기 어려운 비실행 가능 교사를 사용하는 에이전트들이 완전히 실행 가능한 교사를 가진 에이전트들의 성공률 (0.53) 에 근접하는 성과를 내도록 했습니다.

• 모델 변형:

  • Qwen 3 32B 추론 모델과의 실험은 유사한 경향을 보였으나, 모델은 메모리 동작을 덜 자주 활용했습니다. 흥미롭게도 비실행 가능 교사가 Qwen 3 와 함께 가장 잘 작동했는데, 이는 추론 능력이 추상적이고 근거 없는 지시를 더 잘 처리할 수 있음을 시사합니다.

중요성 및 주장

이 논문은 How2가 미세 조정 없이 상호작용 환경에서 시간이 지남에 따라 계획 능력을 향상시키기 위한 LLM 기반 에이전트에게 실행 가능한 메커니즘을 제공한다고 주장합니다. 주요 중요성은 '어떻게' 질문에서 지식을 추상화하는 것이 효과적인 평생 학습에 필수적임을 입증하는 데 있습니다.

직접적이고 실행 가능한 지시는 단일 작업 인스턴스를 해결하는 데 최적이지만, 일반화에는 실패합니다. 반면, 구문 분석 및 관련성 확인 메커니즘과 결합된 추상화된 답변 (하위 목표 또는 고수준 패턴) 은 에이전트가 견고하고 재사용 가능한 지식 기반을 구축할 수 있게 합니다. 이는 높은 작업 성공률을 유지하면서 외부 감독 (교사 개입) 에 대한 의존도를 줄여 즉각적인 문제 해결과 장기적 기술 습득 사이의 간극을 효과적으로 연결합니다. 저자들은 제한된 상호작용 도메인에서 작동하는 에이전트에게 절차적 질문을 통한 학습이 강력한 전략이라고 결론지었습니다.