M$^2$: Dual-Memory Augmentation for Long-Horizon Web Agents via Trajectory Summarization and Insight Retrieval

이 논문은 긴 시간의 웹 작업에서 발생하는 한계를 해결하기 위해 동적 궤적 요약과 인사이트 검색을 결합한 훈련 불필요의 이중 기억 증강 프레임워크인 M$^2$를 제안하며, 이를 통해 다양한 벤치마크에서 성공률 향상과 토큰 사용량 감소를 동시에 달성함을 보여줍니다.

핵심

🌐 문제: AI 가 길을 잃는 이유

지금까지의 AI 에이전트들은 웹사이트를 돌아다닐 때, 방금 전부터 지금까지 본 모든 화면 (스크린샷) 과 클릭 기록을 다 기억하려고 했습니다.

• 비유: 마치 여행 중일 때, 출발지부터 현재까지 본 모든 풍경의 사진을 100 장이나 1,000 장이나 주머니에 넣고 다니는 사람을 상상해 보세요.
• 문제점:
  1. 가방이 너무 무거워짐 (비용 증가): AI 가 처리해야 할 정보량이 너무 많아져서 속도가 느리고 돈 (컴퓨팅 비용) 이 많이 듭니다.
  2. 중요한 것을 놓침 (혼란): 가방 속에 불필요한 사진이 너무 많아서, 정작 "다음에 어디로 가야 하나?"라는 중요한 단서를 찾지 못합니다. (이걸 논문에서는 'Lost-in-the-middle'이라고 부릅니다.)

✨ 해결책: M2 (이중 기억 시스템)

이 논문은 AI 에게 두 가지 특별한 능력을 부여해서 이 문제를 해결합니다.

1. 내면의 기억 (Internal Memory): "요약하는 여행 일기"

AI 는 매번 모든 화면을 저장하는 대신, 매 단계마다 '핵심만 요약한 일기'를 씁니다.

• 비유: 여행 중일 때, "아침에 커피 마시고, 버스를 타고, 박물관에 갔다"라고 간단한 문장 한 줄로 기록하는 거예요.
• 효과:
  • 복잡한 화면 사진 100 장 대신, 간결한 문장 10 줄만 기억합니다.
  • AI 의 머릿속 (메모리) 이 항상 가볍고 깔끔하게 유지되어, "지금 어디까지 왔지?"를 정확히 파악할 수 있습니다.
  • 결과: 불필요한 정보 (광고, 사이드바 등) 를 버리고 핵심 행동만 남깁니다.

2. 외부의 기억 (External Memory): "현명한 선배의 팁"

AI 는 혼자서 모든 것을 배우는 게 아니라, 과거에 성공한 다른 AI 들의 '꿀팁'을 찾아서 참고합니다.

• 비유: 여행을 가기 전에 그곳을 잘 아는 선배에게 "거기 가면 실수하기 쉬운 게 있어요. A 버튼을 누르면 안 되고, B 버튼을 먼저 눌러야 해요"라는 팁을 받아오는 것입니다.
• 작동 방식:
  • AI 가 "애플 웹사이트에서 맥북 가격을 찾아줘"라고 요청하면, 시스템은 과거에 성공한 수많은 기록에서 "가격 비교할 때 이런 순서로 클릭하면 실패하지 않아요" 같은 전략적인 조언을 찾아냅니다.
  • AI 는 이 팁을 받아서 "아, 내가 실수하지 않도록 조심해야겠다"라고 미리 대비합니다.
• 효과: 같은 실수를 반복하지 않고, 복잡한 웹사이트 구조에서도 길을 잘 찾습니다.

---

🚀 이 기술의 놀라운 성과

이 'M2' 시스템을 적용했을 때, AI 는 다음과 같은 변화를 겪었습니다.

1. 성공률 대폭 상승: 특히 오픈소스 모델 (Qwen3-VL) 이 상용 모델 (Claude 등) 못지않게 똑똑해졌습니다. (성공률이 최대 19.6% 까지 올랐습니다.)
2. 비용 절감: 불필요한 정보를 버리고 요약만 하니까, AI 가 처리해야 할 데이터 양이 약 58% 나 줄었습니다. 이는 곧 시간과 돈이 절반 가까이 아껴진다는 뜻입니다.
3. 훈련 불필요 (Training-Free): AI 를 다시 가르치거나 (학습) 복잡한 코드를 짜지 않아도, 단순히 '요약'과 '팁'을 주는 방식만으로도 성능이 좋아졌습니다.

💡 한 줄 요약

"AI 가 긴 여행을 할 때, 모든 사진을 가방에 넣지 말고 '핵심 요약 일기'를 쓰게 하고, '선배들의 성공 팁'을 참고하게 하면, 길을 잃지 않고 훨씬 빠르고 저렴하게 목적지에 도착할 수 있다!"

이 기술은 앞으로 우리가 AI 를 이용해 복잡한 업무를 처리할 때, 더 빠르고 똑똑하게 도와줄 수 있는 핵심 열쇠가 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

멀티모달 대규모 언어 모델 (MLLM) 기반 에이전트는 자율 웹 탐색 분야에서 뛰어난 잠재력을 보였으나, 장기적 (Long-Horizon) 작업을 수행할 때 여전히 심각한 병목 현상에 직면해 있습니다.

• 기존 접근법의 한계: 대부분의 기존 전략은 전체 히스토리 (HTML, 스크린샷, 상호작용 텍스트) 를 프롬프트에 연결하는 '전체 컨텍스트 (Full-Context)' 방식을 사용합니다.
  • 과도한 계산 비용: 고해상도 스크린샷과 방대한 텍스트 히스토리가 누적되면서 토큰 소비량이 기하급수적으로 증가하여 추론 자원에 큰 부담을 줍니다.
  • 성능 저하 ("Lost-in-the-Middle"): 너무 길고 노이즈가 많은 컨텍스트는 모델의 주의를 분산시켜, 작업에 중요한 단서를 역사적 정보 속에 묻히게 만듭니다.
• 기존 메모리 증강 기법의 결함:
  • 훈련 비용: SFT(지도 미세조정) 나 RL(강화학습) 을 통해 에이전트에게 메모리 유지 능력을 학습시키는 방식은 막대한 데이터와 계산 자원이 필요합니다.
  • 배포 복잡성: 다중 에이전트 협업 방식은 에이전트 간 통신 오버헤드가 크고 실시간 배포 비용이 높습니다.
  • 도메인 격차: 일반적인 대화형 에이전트용 메모리 구조는 웹 탐색의 시각적 불연속성 (클릭 한 번으로 레이아웃이 완전히 바뀜) 과 불필요한 시각적 노이즈 (광고, 사이드바) 를 처리하는 데 적합하지 않습니다.

2. 제안 방법: M2 (Dual-Memory Augmentation)

저자들은 훈련이 필요 없는 (Training-free) 경량화된 이중 메모리 (Dual-Memory) 프레임워크인 M2를 제안합니다. 이 프레임워크는 내부 메모리와 외부 메모리를 결합하여 컨텍스트 효율성과 의사결정 견고성을 최적화합니다.

A. 내부 메모리 (Internal Memory): 동적 궤적 요약 (Dynamic Trajectory Summarization)

• 목적: 방대한 히스토리 스크린샷과 텍스트를 압축하여 컨텍스트 윈도우의 팽창을 방지합니다.
• 메커니즘:
  • 에이전트는 각 단계에서 원시 관찰 데이터 (스크린샷 등) 를 대신하여 자신의 생각 (Thought), 행동 (Action), 페이지 피드백을 간결한 텍스트 요약 (st) 으로 변환합니다.
  • 이전 단계의 원시 데이터는 폐기되고, 생성된 요약들의 시퀀스 (s1, s2, ...) 만이 내부 메모리로 유지됩니다.
  • 효과: 작업 길이가 길어져도 컨텍스트 길이는 서선형 (sub-linear) 으로만 증가하며, 토큰 소비를 획기적으로 줄입니다.

B. 외부 메모리 (External Memory): 통찰 검색 증강 (Insight Retrieval Augmentation)

• 목적: 에이전트가 과거의 성공적인 경험에서 전략적 통찰을 얻어 실수를 방지하고 목표를 달성하도록 돕습니다.
• 메커니즘:
  • 오프라인 통찰 은행 (Insight Bank): 다양한 모델 (Claude, Ovis 등) 의 성공적인 55,000 개 이상의 궤적에서 추출한 "고레버리지 상호작용 규칙 (High-Leverage Interaction Rules)"을 저장합니다.
  • 검색 및 주입: 현재 사용자의 쿼리와 유사한 성공 궤적의 통찰을 시맨틱 유사도 (Sentence Transformer) 를 통해 검색하여, 시스템 프롬프트에 "방어적 힌트 (Defensive Hints)"로 주입합니다.
  • 추출된 통찰의 예: 검색 전략 (정확한 키워드 조합), 탐색 효율성 (중요한 UI 요소 클릭), 상태 검증 (작업 성공 여부 확인) 등.
• 효과: 에이전트는 추가 학습 없이도 복잡한 UI 구조를 탐색하고 일반적인 함정 (예: 무한 루프, 잘못된 검색) 을 피할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 훈련이 필요 없는 이중 메모리 아키텍처: 비용이 많이 드는 학습이나 복잡한 다중 에이전트 상호작용 없이, 재귀적 내부 추적과 외부 가이드를 통합하여 효율적인 장기 웹 탐색을 가능하게 합니다.
2. 궤적 내 압축 및 궤적 간 검색: 실행 히스토리를 간결한 요약 체인으로 정제하고, 작업 간 전문가 통찰을 검색하여 정보 과부하를 완화하고 의사결정 견고성을 강화합니다.
3. 확장 가능한 효과 및 모델 동등성: 오픈소스 모델 (Qwen3-VL-32B) 이 독점 모델 (Claude 등) 과 경쟁력 있는 성능을 내면서도 토큰 효율성이 훨씬 뛰어남을 입증했습니다.

4. 실험 결과 (Results)

WebVoyager와 OnlineMind2Web 벤치마크에서 광범위한 평가를 수행했습니다.

• 성능 향상:
  • Qwen3-VL-32B (오픈소스): WebVoyager 에서 성공률이 16.2%, OnlineMind2Web 에서 19.6% 증가했습니다.
  • Claude-3.7-Sonnet / Sonnet-4 (독점 모델): 정확도가 최대 12.5% 향상되었습니다.
  • 의미 있는 비교: M2 를 적용한 Qwen3-VL-32B(성공률 74.0%) 는 학습이 없는 기본 Claude-3.7-Sonnet(성공률 72.0%) 보다 더 높은 성능을 기록했습니다.
• 효율성 (토큰 감소):
  • Qwen3-VL-32B 의 경우, 두 벤치마크 모두에서 약 57%~58.7% 의 토큰 소비 감소를 달성했습니다.
  • Claude 모델에서도 30.3%~55.0% 의 토큰 절감 효과를 보였습니다.
• 복잡한 작업에서의 강건성: 특히 난이도가 높은 (Medium/Hard) 작업에서 성공률 향상이 두드러졌으며, 에이전트의 지속성과 오류 수정 능력을 높였습니다.

5. 의의 및 결론 (Significance)

• 비용 효율적인 웹 에이전트: M2 는 데이터 수집과 모델 학습 없이도 웹 에이전트의 성능을 극대화할 수 있는 경량화된 솔루션을 제공합니다.
• 컨텍스트 폭발 문제 해결: 장기 작업에서 발생하는 컨텍스트 윈도우의 무한한 팽창 문제를 해결하여, 계산 비용과 작업 성공률 사이의 최적 균형을 달성했습니다.
• 실용적 적용 가능성: 외부 메모리 검색의 지연 시간은 약 6ms 로 매우 낮아 실시간 배포에 적합하며, 오픈소스 모델이 독점 모델을 대체할 수 있는 가능성을 제시했습니다.

이 논문은 웹 에이전트의 장기적 작업 수행 능력을 향상시키기 위해 **지능적인 요약 (내부)**과 **경험 기반의 통찰 (외부)**을 결합한 새로운 패러다임을 제시하며, 실제 환경에서의 확장 가능하고 지속 가능한 웹 에이전트 배포를 위한 중요한 이정표가 됩니다.