기술 요약: 대규모 언어 모델을 이용한 인지 에이전트의 부트스트래핑

문제 정의

대규모 언어 모델(LLM)은 광범위하지만 노이즈가 섞인 일반적인 세상 지식을 보유하고 있으나, 적대적 공격에 취약하고, 환각 현상을 일으키며, 규모 확장(scaling)에 따른 수익 체감의 법칙이 적용되는 등의 한계를 겪는다. 반면, 인지 아키텍처는 선언적 및 절차적 기억을 통해 뛰어난 해석 가능성, 업데이트를 위한 유연성, 구조화된 추론 능력을 제공하지만, 전통적으로 생산 규칙(production rules)을 생성하는 데 과도한 수작업이 필요하여 단순한 환경에만 적용될 수 있다는 한계가 있다. 본 연구가 다루는 핵심 과제는 LLM에 내재된 지식을 활용하여, LLM의 해석 가능성 결여나 인지 아키텍처의 수동 규칙 생성 의존성을 상속받지 않으면서 인지 아키텍처를 부트스트래핑하는 방법이다.

방법론

저자들은 LLM과 맞춤형 인지 아키텍처를 결려 주방 작업을 수행할 수 있는 체화된(embodied) 에이전트를 만드는 프레임워크를 제안한다. 이 시스템은 "인지-계획-실행(perceive-plan-act)" 주기에 따라 작동하며, 지식 생성과 지식 적용을 분리한다.

아키텍처 개요

에이전트는 네 가지 주요 구성 요소로 이루어진다:

1. 세계 지식 베이스(World Knowledge Base): LLM으로부터 도출된 일반 지식의 사전(예: "토마토는 냉장고에 들어간다").
2. 환경 지식(Environment Knowledge): 에이전트의 현재 상태와 관찰을 반영하는 선언적 기억(예: 그리퍼 상태, 테이블 위의 내용물).
3. 절차적 기억(Procedural Memory): 행동을 규정하는 생산 규칙(전제 조건 $\rightarrow$ 효과)의 집합. 표준적인 계획 연산자와 달리, 이 규칙들은 맥락적 지식을 반영하며 시간이 지남에 따라 강화된다.
4. 태스크 스택(Task Stack): 태스크와 하위 태스크의 계층을 관리하기 위해 ACT-R 및 SOAR에서 영감을 받은 메커니즘.

부트스트래핑 과정

에이전트는 태스크 패밀리(예: find a/an <object>, slice a/an <object>) 커리큘럼을 통해 학습한다. 단일 태스크에 대한 프로세스는 다음과 같다:

1. 인스턴스화(Instantiation): 태스크 패밀리의 변수들이 구체적인 환경 객체들로 채워진다.
2. 실행 시도(Execution Attempt): 에이전트는 기존의 생산 규칙을 사용하여 태스크를 시도한다.
3. 행동 선택 (LLM 쿼리): 규칙이 적용되지 않거나 사이클이 감지되면, 에이전트는 LLM에 쿼리를 보낸다. 프롬프트에는 현재 태스크, 상태 요약, 사용 가능한 옵션이 포함된다. LLM은 사고 사슬(Chain-of-Thought, CoT) 프롬프팅을 사용하여 전략을 분석하고 행동을 제안한다.
4. 생산 규칙 생성(Production Generation): LLM에 다시 쿼리하여 행동에 기반한 생산 규칙을 생성한다. 이는 두 단계로 진행된다:
   • 영어 설명: LLM이 특정 행동을 일반적인 규칙으로 일반화한다 (예: "객체가 흔히 저장되는 미탐색 지역을 탐색하라").
   • 코드 생성: LLM이 영어 설명을 특정 인터페이스를 준수하는 실행 가능한 파이썬 코드로 변환한다.
5. 강화 및 개선:
   • 검증(Verification): 생성된 코드가 전제 조건 체크를 통과하는지 확인하기 위해 현재 상태에서 재실행된다.
   • 비평 메커니즘(Critic Mechanism): 비평 LLM이 태스크의 종료 조건을 분석하고, 과도한 제약(불필요한 조건)이나 과도한 일반화(중요한 전제 조건 누락)를 방지하기 위한 수정을 제안한다.
   • 유틸리티 업데이트: 성공적인 완료로 이어지는 보상 신호(태스크 완료 시 단위 보상)가 벨만 백업(Bellman backup)을 통해 생산 적용의 최단 경로를 따라 역전파된다. 이를 통해 에이전트는 생산의 유틸리티를 업데이트하며, 적용 가능한 규칙 간의 충돌을 해결하기 위해 노이지-옵티멀(noisy-optimal) 선택 전략을 사용한다.

주요 차이점

LLM을 사용하여 매 단계마다 직접적인 계획을 생성하는 방식과 달리, 이 프레임워크는 LLM을 오직 일반화 가능한 생산 규칙을 생성하는 데만 사용한다. 일단 규칙이 학습되면, 에이전트는 추가적인 LLM 개입 없이 해당 규칙을 실행하며, 지식을 특정 환경 인스턴스에 접지(grounding)시킨다.

주요 기여

1. 하이브리드 프레임워크: LLM을 지식 생성용으로, 인지 아키텍처를 추론 및 실행용으로 통합하는 새로운 에이전트 아키텍처.
2. 무에서 시작하는 부트스트래핑: 최소한의 인간 입력(태스크 패밀리 이름만 제공)만으로 복잡한 다단계 주방 작업을 수행하도록 학습하는 방법의 입증.
3. 효율성 및 일반화: 새로운 환경에서 동작하기 위해 매번 LLM에 쿼리하는 방식보다 훨씬 적은 토큰을 사용한다는 증거 제시 (학습된 규칙은 전이 가능하다).

실험 결과

본 프레임워크는 AI2THOR 시뮬레이터에서 세 가지 태스크 패밀리(find a/an <object>, slice a/an <object>, clear the countertops)를 대상으로 평가되었다. 에이전트는 매 단계마다 LLM에 행동을 묻는 베이스라인(Action-Only)과 비교되었다.

• 성공률: 부트스트랩된 에이전트는 모든 태스크 인스턴스(존재하지 않는 객체를 찾는 경우를 포함하여, 해당 태스크가 불가능함을 올바르게 식별함)에서 100% 성공률(15/15)을 달 기록했다. Action-Only 베이스라인은 "머그컵"을 "컵"과 동일시하는 잘못된 가정 때문에 한 사례에서 실패했다.
• 효율성: 부트스트랩된 에이전트는 훨씬 적은 토큰을 사용했다. 예를 들어, slice 태스크에서 부트스트랩된 에이전트는 학습된 규칙에 의존하여 테스트 중 0개의 토큰을 사용한 반면, Action-Only 베이스라인은 102,000개 이상의 토큰을 사용했다. find 태스크에서 부트스트랩된 에이전트는 약 917 토큰을 사용한 것에 비해 베이스라인은 약 54,754 토큰을 사용했다.
• 행동적 차이: 부트스트랩된 에이전트는 특정 학습된 생산 규칙에 의해 구동되어, 슬라이싱 전에 물건을 카운터톱에 놓거나 개별 캐비닛을 사용하는 등 더 체계적인 행동을 보였다. 베이스라인은 케이스 바이 케이스로 행동하여, 때때로 덜 최적화된 전략(예: 냉장고 안에서 슬라이싱하기)을 보였다.
• 통계적 유의성: 단계 수는 find 및 slice 태스크에서 비슷했으나, 부트스트랩된 에이전트는 각 물건에 대해 고유한 빈 용기를 사용하도록 강제하는 특정 학습 규칙 때문에 clear 태스크에서 유의미하게 더 많은 단계를 소요했다 (p-value 0.001). 이는 베이스라인이 동일한 용기를 재사용하는 것과 대조적이다.

의의 및 주장

본 논문은 이 접근 방식이 LLM의 노이즈가 섞였지만 풍부한 지식과 인지 아키텍처의 해석 가능성 및 업데이트 유연성이라는 "양측의 장점"을 성공적으로 결합했다고 주장한다.

• 일반화: LLM으로부터 생성된 지식이 재생성 없이도 새로운 객체와 환경에 걸쳐 일반화되는 생산 규칙으로 응축될 수 있음을 보여준다.
• 비용 효율성: 지식 생성과 실행을 분리함으로써, 새로운 시나리오 배포 시 필요한 계산 비용과 토큰 사용량을 크게 줄인다.
• 해석 가능성: 생산 규칙은 피처 중요도, 학습 과정, 정책 수준의 결정에 대한 설명 가능성을 제공하는 검증 가능한 의사결정 트리를 제공한다.
• 한 한계: 저자들은 이 시스템이 잘 정의된 저수준 인터페이스(sim-to-real gap)에 의존하며, 영어-코드 생성 단계가 언어로 표현하기 쉬운 기술(예: 조각하기)에 적용하기 어려운 결정 과정을 요구할 수 있다는 점을 인정한다.

이 연구는 순수 데이터 기반 파운데이션 모델에 대한 대안으로서, 생산 규칙을 광범위한 재학습 없이 개인의 선호에 맞게 명시적으로 수정할 수 있는 개인화된 에이전트로 향하는 경로를 제시한다.