Stop When Memory Suffices: Evidence-Conditioned Progressive Execution for LLM Agents

거대한 규모의 며칠간 이어지는 미스터리를 풀려고 노력하고 있다고 상상해 보세요. 당신에게는 조사 과정 중 발생한 모든 대화, 단서, 사용된 도구, 그리고 실수들이 기록된 거대한 노트 한 권이 있습니다. 새로운 수수께끼를 풀기 위해, 당신은 매번 노트를 첫 페이지부터 끝까지 통째로 읽거나(시간이 너무 오래 걸리고 진을 빼놓는 일입니다), 혹은 미리 전체 내용을 아주 작은 참조 시트로 요약할 수도 있습니다(빠르긴 하지만, 세부 사항 속에 숨겨진 결정적인 단서를 놓칠 수도 있습니다). 이것이 인간처럼 생각하고 행동하며 기억하도록 설계된 컴퓨터 프로그램인 인공지능(AI) 에이전트들이 겪는 일상의 투쟁입니다. AI 에이전트들이 더 똑똑해지고 더 길고 복잡한 과제를 수행하게 됨에 따라, 이들은 엄청난 양의 정보에 휩쓸리지 않고 무언가를 기억할 방법이 필요합니다. 과학자들이 던지는 핵심 질문은 이것입니다: AI가 문제를 해결하기 위해 자신의 기억 중 정확히 어느 정도를 살펴봐야 하는지 어떻게 알 수 있을까요? 그래야 단 한 페이지만 읽으면 될 일을 위해 책 전체를 읽으며 시간을 낭비하지 않을 수 있을 테니까요.

여기서 Router-Mem이라는 새로운 아이디어가 등장합니다. 이것을 단순히 책을 가져다주는 것을 넘어, 당신이 실제로 도서관의 어느 정도 범위를 방문해야 할지까지 결정하는 초스마트 사서라고 생각해 보세요. 과거의 AI 메모리 시스템은 "두 가지 극단"의 함정에 빠져 있었습니다. 즉, 매우 빠르지만 중요한 단서를 놓치거나(참조 시트 방식), 혹은 철저하지만 매번 모든 것을 읽어야 했기에 믿을 수 없을 정도로 느렸던 것입니다(책 전체를 읽는 방식). Router-Mem은 이 규칙을 깨고 점진적인 탐정처럼 행동함으로써 이 문제를 해결합니다.

작동 방식은 다음과 같습니다. 당신이 AI에게 질문을 던지면, AI는 먼저 기억에서 몇 가지 관련 단서를 잡기 위해 빠르고 저렴한 "냄새 맡기 테스트(sniff test)"를 수행합니다. 그런 다음, 작고 가벼운 "교통 경찰"(라우터라고 불림)이 그 단서들과 질문을 살펴봅니다. 그리고 간단한 예/아니오 질문을 던집니다: "지금 당장 이 미스터리를 풀기에 충분한가?" 만약 답이 예라면, AI는 즉시 답변을 제공하고 멈추어 엄청난 시간을 절약합니다. 만약 답이 아니오라면, 시스템은 처음부터 다시 시작하는 대신, 그 초기 단서들을 지도로 삼아 더 많은 증거를 수집하기 위해 주의를 기울여야 할 구체적인 메모리 섹션 속으로 더 깊이 파고듭니다.

연구진은 이를 AMA-Bench와 BEAM이라는 두 가지 까다로운 메모리 벤치마크에서 테스트했습니다. 그 결과 Router-Mem이 게임 체인저라는 사실을 발견했습니다. AMA-Bench 테스트에서 55.17%의 점수를 기록했고, BEAM 테스트에서는 38.77%를 기록했습니다. 하지만 진짜 마법은 속도에 있습니다. 매번 전체 메모리 이력을 읽어야 했던 기존 방식과 비교했을 때, Router-Mem은 한 테스트에서는 생각하는 데 걸리는 시간을 27.3% 줄였고, 다른 테스트에서는 25.5%를 줄였습니다.

이 논문은 이러한 "충분할 때 멈추는" 접근 방식이 최적의 지점임을 시사합니다. 이는 당신이 빠름과 정확함 사이에서 하나를 선택할 필요가 없다는 것을 증명합니다. 스마트한 라우터가 증거가 충분하다는 것을 인식하도록 훈련함으로써, 시스템은 쉬운 질문에 대해서는 힘든 작업을 건너뛰면서도 어려운 질문에 대해서는 심층 조사를 수행할 수 있습니다. 이는 마치 언제 사건을 종결하고 언제 더 파헤쳐야 할지를 정확히 아는 탐정을 둔 것과 같으며, AI를 위한 장기 기억을 효율적이면서도 강력하게 만들어 줍니다.