🤖 AI

Improving Language Agents through BREW: Bootstrapping expeRientially-learned Environmental knoWledge

이 논문은 새로운 Expand-and-Gather 몬테카를로 트리 탐색 알고리즘과 사후 재라벨링(hindsight relabeling)을 사용하여 과거의 상호작용 궤적을 자연어 레시피 형태의 구조화되고 검색 가능한 지식 베이스로 증류함으로써 LLM 기반 에이전트를 향상시키는 프레임워크인 BREW를 소개하며, 이는 여러 벤치마크에 걸쳐 작업 성공률과 실행 효율성을 유의미하게 개선하는 결과를 가져온다.

원저자: Shashank Kirtania, Param Biyani, Priyanshu Gupta, Yasharth Bajpai, Roshni Iyer, Sumit Gulwani, Gustavo Soares

게시일 2026-07-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shashank Kirtania, Param Biyani, Priyanshu Gupta, Yasharth Bajpai, Roshni Iyer, Sumit Gulwani, Gustavo Soares

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 버튼을 클릭하고, 파일을 열고, 당신과 대화할 수 있는 아주 똑똑한 로봇 비서가 있다고 상상해 보세요. 이 로봇은 매우 유능하지만, 기묘한 메모리 결함이 있습니다. 당신이 이전에 했던 일을 다시 요청할 때마다, 로봇은 마치 그것이 생전 처음 하는 일인 것처럼 행동합니다. "파일 > PDF로 내보내기"가 문서를 저장하는 마법의 주문이라는 것도, 반품을 처리하기 전에 사용자의 ID를 확인해야 한다는 것도 잊어버립니다. 로봇은 매번 처음부터 해결책을 다시 찾아내야 하며, 어제 했던 실수를 오늘도 똑같이 반복하곤 합니다.

이 논문의 연구자들은 이 문제를 해결하기 위해 로봇에게 단순히 '뇌'를 주는 대신 '레시피 북(요리법 책)'을 주기로 했습니다. 그 이름은 BREW입니다.

문제점: 기억상실증에 걸린 로봇

사람이 요리를 배우는 과정을 생각해 보세요. 스크램블 에그를 몇 번 만들고 나면, 당신은 요리의 모든 초 단위 과정을 일일이 기억하지 않습니다. 대신 당신은 하나의 레시피를 내면화합니다: "계란을 풀고, 팬을 달구고, 버터를 넣고, 부드럽게 젓는다." 당신은 언제 이 레시피를 사용할지(아침 식사 시간), 무엇을 해야 할지, 그리고 무엇을 주의해야 할지(버터를 태우지 말 것) 알고 있습니다.

현재의 로봇 에이전트들은 레시피를 매 식사 후에 잊어버리는 요리사와 같습니다. 그들은 매번 바퀴를 새로 발명해야 합니다. 일부 과학자들은 로봇의 뇌를 "훈련"시켜(내부 가중치를 변경하여) 이 문제를 해결하려 했습니다. 하지만 이는 밀가루의 원자 배열을 재배치하여 케이크를 구우려는 것과 같습니다. 이는 로봇의 행동을 검사하거나 쉽게 수정할 수 없는 '블랙박스'로 만들어 버립니다. 다른 이들은 로봇에게 거대한 원시 노트(기억)를 주는 방법을 시도했습니다. 하지만 그 노트들은 너무 지저분하거나(단순한 클릭 목록), 혹은 너무 모호했습니다("주의할 것").

해결책: BREW (경험적으로 학습된 환경 지식의 부트스트래핑)

저자들은 BREW라는 시스템을 제안하며, 로봇의 지난 모험을 구조화되고 읽기 쉬운 레시피 북으로 변환합니다.

작동 방식은 다음과 같습니다:

경험(The Experience): 로봇은 작업(파일 정리 또는 항공권 예약 등)을 시도합니다. 때로는 성공하고, 때로는 실패합니다.
성찰(The Reflection): 특별한 '성찰(Reflector)' 에이전트가 이러한 시도들을 살펴봅니다. 만약 로봇이 실패했다면, 성찰 에이전트는 "무엇이 잘못되었나?"라고 묻습니다. 성공했다면, "비결(secret sauce)이 무엇이었나?"라고 묻습니다.
'사후 과잉 확신(Hindsight)' 트릭: 이것이 영리한 부분입니다. 때때로 로봇은 잘못된 작업을 수행하려고 했기 때문에 실패합니다. 시스템은 **사후 재라벨링(Hindsight Relabeling)**이라는 기술을 사용합니다. 시스템은 실패한 시도를 보고 이렇게 말합니다. "잠깐, 만약 목표가 '이것'이 아니라 '저것'이었다면, 로в의 행동은 완벽했을 거야!" 즉, 실패를 약간 다른 목표에 대한 성공으로 재라벨링합니다. 이는 "실수"를 "새로운 레시피"로 바꾸어, 로봇이 학습할 수 있는 유용한 지식의 양을 두 배로 늘려줍니다.
레시피 북 (지식 베이스): 시스템은 이러한 통찰력을 깔끔한 자연어 레시피 라이브러리로 정리합니다. 각 레시피에는 제목(예: "파일 압축 및 추출"), "사용 시기", 그리고 불렛 포인트가 포함된 "수행 방법" 섹션이 있습니다. 이것은 코드가 아니라 누구나 읽을 수 있는 평이한 영어 지침입니다.
탐색 (EG-MCTS): 완벽한 레시피 북을 쓰는 것은 어렵습니다. 레시피가 너무 구체적이면 새로운 작업에 도움이 되지 않을 것이고, 너무 모호하면 로봇이 혼란에 빠질 것입니다. 저자들은 **확장 및 수집 몬테카를로 트리 탐색(Expand-and-Gather Monte Carlo Tree Search, EG-MCTS)**이라는 스마트 탐색 알고리즘을 발명했습니다. 이는 수천 가지의 변형을 병렬로 테스트하면서, 가장 잘 작동하는 것은 남기고 나머지는 버리며 최선의 레시피 버전을 찾아내는 탐정의 모습을 상상하면 됩니다. 이를 통해 최종 결과물이 정확하면서도 찾기 쉬운 상태가 되도록 보장합니다.

결과: 레시피 북은 효과가 있는가?

연구진은 세 가지 실제 환경의 도전 과제를 통해 BREW를 테스트했습니다:

OSWORLD: 로봇이 컴퓨터를 제어해야 하는 테스트 (메뉴 클릭, 파일 이동 등).
τ2-enabled Bench: 로봇이 통신, 소매, 항공 분야의 고객 서비스 상담원으로 활동하는 테스트.
SpreadsheetBench: 로봇이 복잡한 엑셀 시트를 조작해야 하는 테스트.

결과는 유망했습니다. BREW를 사용했을 때 로봇들은:

레시피 북이 없는 로봇보다 10~20% 더 많은 작업을 성공적으로 해결했습니다.
작업을 끝내는 데 10~15% 적은 단계를 소요했습니다.
때때로 로봇에게 잘못된 정보를 제공하여 오히려 성능을 떨어뜨렸던 다른 메모리 시스템들보다 뛰어난 성능을 보였습니다.

예를 들어, 컴퓨터 제어 테스트에서 BREW를 사용한 로봇은 성공률이 **53.30%**에서 **61.70%**로 향상되었습니다. 스프레드시트 테스트에서는 **44.30%**에서 **48.50%**로 뛰어올랐습니다.

이 논문이 부정하는 것 (Rule Out)

저자들은 무엇이 효과가 없는지에 대해서도 매우 명확하게 밝히고 있습니다. 그들은 로봇의 과거 행동에 대한 가공되지 않은 지저난 로그를 단순히 메모리에 쏟아붓는 것에 반대합니다. 그들은 "일시적인 궤적 파편(transient trajectory fragments, 즉 클릭 하나하나의 원시 로그)"을 단순히 저장하는 시스템은 로봇을 혼란스럽게 하여, 메모리가 아예 없는 경우보다 오히려 성능을 더 악화시킨다는 것을 발견했습니다. 또한, 단순히 로봇의 뇌를 "미세 조정(fine-tuning)"하는 것은 검사하거나 업데이트하기 어려운 '블랙박스'를 만든다는 점을 지적하며, BREW의 레시피 북은 투명하고 편집 가능하다는 점을 강조합니다.

얼마나 확실한가?

논문은 이러한 특정 벤치마크에서 에이전트를 실행하여 얻은 측정된 결과를 바탕으로 발견 사항을 제시합니다. (10~20%의 이득과 같은) 개선 수치는 추측이 아니라 실험을 통해 측정된 숫자입니다. 저자들은 이 접근 방식이 미세 조정에 대한 강력한 대안이라고 제안하지만, 시스템의 성공은 훈련 데이터의 품질에 달려 있다는 점도 언급합니다. 그들은 이 시스템이 모든 곳의 모든 로봇 문제를 해결한다고 주장하는 것이 아니라, 이러한 특정하고 복잡한 작업들을 수행할 때 구조화되고 인간이 읽을 수 있는 레시피 북을 갖추는 것이 상당하고 측정 가능한 차이를 만든다는 것을 보여줍니다.

요약하자면, BREW는 로봇이 바퀴를 다시 발명하는 것을 멈추고, 실제로 읽고 이해할 수 있는 잘 정리된 인간 친화적인 설명서를 사용하도록 가르칩니다.

기술 요약: BREW를 통한 언어 에이전트의 성능 향상

문제 정의

대규모 언어 모델(LLM) 기반 에이전트는 GUI 자동화, 도구 사용, 데이터 조작과 같은 복잡한 다단계 작업에서 점점 더 높은 능력을 입증하고 있습니다. 그러나 근본적인 한계가 존재합니다: 에이전트는 경험으로부터 학습할 수 없다는 점입니다. 매 새로운 세션마다 에이전트는 이전에 해결했던 솔루션을 처음부터 다시 발견해야 하며, 동일한 오류, 중복된 API 호출, 실패한 조작을 반복하게 됩니다.

기존의 에이전트 메모리 접근 방식은 특정 결함을 가지고 있습니다. 가중치 최적화(예: 미세 조정)는 지식을 불투명한 모델 파라미터 속에 각인시켜 검사나 모듈식 업데이트를 어렵게 만듭니다. 반대로, 메모리 증강 에이전트는 잘못된 입도(granularity)로 정보를 저장하는 경우가 많습니다. 즉, 일반화 능력이 부족한 일시적이고 가공되지 않은 궤적 파편을 저장하거나, 실행을 안내하는 데 필요한 구체성이 결여된 고수준의 성찰을 저장합니다. 또한, 기존 방법들은 환경 간에 일반화하는 데 실패하거나 검색된 컨텍스트가 정렬되지 않았을 때 성능이 저하되는 경며를 보입니다.

방법론: BREW 프레임워크

저자들은 에이전트의 과거 상호작용 궤적을 구조화되고 검색 가능한 자연어 레시피 형태의 지식 베이스(Knowledge Base, KB)로 추출하도록 설계된 BREW(Bootstrapping expeRientially-learned Environmental knoWledge) 프레임워크를 소개합니다. 프로그램 합성에서 사용되는 코드 프리미티브와 달리, BREW는 언어로 설명되고 상호작용하는 환경(예: GUI, 대화형 인터페이스)에 적합한 자연어 추상화를 목표로 합니다.

이 프레임워크는 다음과 같은 핵심 구성 요소로 작동합니다:

1. 궤적 생성 및 사후 재라벨링 (Hindsight Relabeling)

프로세스는 LLM 기반 에이전트를 사용하여 일련의 쿼리에 대한 전체 길이의 궤적(rollout)을 생성하는 것으로 시작됩니다. 훈련 신호를 풍부하게 하기 위해, BREW는 **사후 재라벨링(Hindsight Relabeling)**을 채택합니다. 실패한 궤적을 샘플링하고, LLM은 에이전트의 관찰된 행동이 유효한 솔루션이 될 수 있는 대안적인 작업 설명을 생성합니다. 이러한 재구성된 작업에 대해 에이전트를 재실행함으로써 원래 실패했던 궤적의 약 절반을 성공적인 시연으로 전환하며, 이를 통해 유효 데이터 분포를 변화시키고 잠재된 역량을 드러냅니다.

2. 성찰(Reflector) 및 통합(Integrator) 에이전트

성찰 에이전트 (Reflector Agent): 궤적과 그 평가 레이블을 입력받아 특정 개념(예: "파일 압축 및 추출")에 매핑된 문장 수준의 통찰력을 출력합니다.
개념 중복 제거 (Concept Deduplication): 생성된 개념들을 의미론적으로 클러스터링하여 컴팩트한 "메타 개념(meta-concepts)" 집합을 생성함으로써, KB가 모듈화되고 중복되지 않도록 보장합니다.
통합 에이전트 (Integrator Agent): KB 문서를 점진적으로 구축하고 정교화합니다. 평면적인 메모리 대신, KB는 각 메타 개념에 연결된 로컬 문서들로 분할됩니다. 이 구조는 효율적이고 컨텍스트에 특화된 검색과 모듈식 업데이트를 지원합니다.

3. 확장 및 수집 몬테카를로 트리 탐색 (Expand-and-Gather Monte Carlo Tree Search, EG-MCTS)

KB의 콘텐츠를 최적화하기 위해, BREW는 KB 구축 과정을 상태 공간 탐색 문제로 정형화합니다. 자연어 레시피는 컴파일된 코드와 같은 깔적인 검증 신호가 부족하기 때문에, 저자들은 가능한 KB 구성 공간을 탐색하는 보상 가이드 알고리즘인 EG-MCTS를 도입했습니다.

병렬 탐색 (Parallel Search): 알고리즘은 각 메타 개념에 대해 병렬 탐색 트리를 유지합니다.
확장 단계 (Expand Phase): 각 개념에 대해, 현재의 최선인 문서 상태를 궤적의 통찰력을 바탕으로 새로운 변형을 생성하여 확장합니다.
수집 단계 (Gather Phase): 모든 개념 트리로부터 최선의 상태들을 수집하여 "실행 중인 최적(running-optimum)" KB 상태를 형성합니다. 이 상태는 확장된 노드의 보상을 평가하는 데 사용되며, 이를 통해 하나의 개념을 최적화하는 것이 나머지 KB와의 상호작용을 고려하도록 합니다.
보상 목적 함수 (Reward Objective): 탐색은 정확성(하위 추론의 정확도)과 검색 가능성(성장하는 KB 내에서 문서가 얼마나 효과적으로 검색되는지) 사이의 균형을 맞추는 복합 보상 함수를 최적화합니다.

주요 기여

궤적으로부터의 레시피 학습: 인간이 검증한 루브릭과 작업별 평가기를 가이드 삼아, 에이전트 상호작용으로부터 개념 수준의 절차적 레시피를 추출하는 기술입니다. 이는 가공되지 않은 경험을 모듈화되고 인간이 해석 가능한 지식으로 분할합니다.
최적화를 위한 상태 공간 탐색: KB 정교화를 EG-MCTS를 통해 해결되는 탐색 문제로 정형화하여, 자연어 추상화의 최적화 과정에서 발생하는 노이즈와 모호성을 해결합니다.
커버리지를 위한 사후 재라벨링: 사후 재라벨링을 변형하여 학습된 레시피의 다양성을 확장하고, 근접 실패(near-miss) 궤적을 긍정적인 시연으로 전환하여 에이전트의 잠재적 역량을 드러냅니다.
실증적 성능: 도메인 기반 벤치마크에서 최첨단(SOTA) 결과를 입증하였으며, 작업 성공률과 효율성 측면에서 유의미한 이득을 보여주었습니다.

실험 결과

BREW는 OSWORLD(컴퓨터 사용 자동화), $\tau^2$ -Bench(도구 사용), SpreadsheetBench(데이터 조작)의 세 가지 벤치마크에서 평가되었습니다.

작업 성공률: BREW는 기본 에이전트 및 기존 메모리 증강 베이스라인(Cognee, Agent-Mem) 대비 10~20%의 작업 성공률 향상을 달행했습니다. 예를 들어, OSWORLD(GTA1-7B + o3)에서 BREW는 성공률을 53.30%에서 61.70%로 개선했습니다.
효율성: 프레임워크는 실행 단계를 10~15% 감소시켰으며, 이는 KB가 에이전트의 중복 탐색을 우회하도록 돕는다는 것을 나타냅了.
베이스라인 비교: 주목할 점은, 기존 베이스라인들이 때때로 메모리가 없는 에이전트보다 낮은 성능을 보였다는 것입니다(예: OSWORLD에서 Agent-Mem은 베이스라인 53.30% 대비 43.83%로 하락). 이는 단순한 메모리 주입이 해로울 수 있음을 시사합니다. BREW는 배포 전 KB 콘텐츠를 최적화하는 보상 기반 상태 탐색을 통해 이러한 실패 모드를 피했습니다.
절제 연구 (Ablation Studies):
- 탐색 전략: EG-MCTS는 반복적 정교화(Iterative Refinement) 및 그리디 탐색(Greedy Search)보다 우수한 성능을 보였으며, 특히 광범위한 탐색이 유리한 OSWORLD와 같은 복잡한 도메인에서 두드hi었습니다.
- 사후 재라벨링: 모든 벤치마크와 탐색 전략에서 일관된 개선을 가능하게 했으며, 훈련 분포를 더 다양한 성공적 시연을 포함하도록 이동시켰습니다.
- 충실도 vs 일반화: 다른 방법들은 훈련 데이터에 대해 높은 충실도를 보였으나 테스트 세트로 일반화하는 데 실패(부정적 전이)하는 경우가 많았습니다. 반면, 환경 상태에 의해 인덱싱된 조건-행동 규칙을 추출하는 BREW는 공유된 절차적 하위 구조를 가진 작업 전반에 걸쳐 일반화할 수 있었습니다.

의의 및 주장

본 논문은 BREW가 **투명하고, 제어 가능하며, 모듈화된 기질(substrate)**을 제공하여 직접적인 모델 미세 조정의 대안을 제시한다고 주장합니다. 에이전트 메모리를 개념 수준의 문서로 분해하고 상태 공간 탐색을 통해 그 콘텐츠를 최적화함으로써, BREW는 에이전트가 단순한 클릭 시퀀스를 암기하는 것이 아니라 "무엇을 할 것인가, 언제 적용할 것인가, 무엇을 주의 깊게 살펴야 하는가"에 대한 일반적인 패턴인 "레시피"를 내재화할 수 있게 합니다.

저자들은 결과물인 지식 베이스가 검사 가능하고 확장 가능하다는 점을 강조합니다. 불투명한 정책 업데이트와 달리, KB는 직접 검토하고 업데이트할 수 있는 재사용 가능한 행동 패턴을 포착합니다. 이 연구는 장기적인 일관성과 적응성이 필수적인 실제 환경에서, 경험에 의해 구동되고 탐색을 통해 최적화된 구조화된 메모리가 언어 에이전트 발전에 있어 중요한 진전임을 시사합니다. 프레임워크는 테스트 에피소드에 걸쳐 분할 계산할 때 KB 구축 비용이 전체 컴퓨팅 예산의 무시할 만한 부분만을 차지하면서도, 메모리와 컴퓨팅 비용을 기본 LLM과 유사한 수준으로 유지하며 이러한 개선을 달성했습니다.