💻 computer science

Bridging Inference-Time Scaling and Episodic Memory with Action-Centric Graphs

이 논문은 추론 시점의 스케일링과 에피소드 기억을 연결하기 위해 과거의 추론 과정을 이중 스트림 시간 차 학습(Temporal Difference learning) 메커니즘을 갖춘 행동 중심 그래프로 모델링함으로써, 계산 비용을 줄이고 에이전트의 의사 결정 효율성과 성공률을 크게 향상시키는 새로운 프레임워크인 GAMER를 소개한다.

원저자: Xu Zheng, Chaohao Lin, Zhuomin Chen, Weijieying Ren, Haifeng Chen, Wei Cheng, Dongsheng Luo

게시일 2026-07-31

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xu Zheng, Chaohao Lin, Zhuomin Chen, Weijieying Ren, Haifeng Chen, Wei Cheng, Dongsheng Luo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 미로를 해결하는 법을 가르치는 아주 똑똑한 로봇을 상상해 보세요. 당신은 로봇에게 "열심히 생각하고, 다양한 경로를 시도해 보고, 포기하지 마!"라고 말합니다. 이 로봇은 거대 언어 모델(LLM)로서, 생각하는 데 매우 뛰어납니다. 로봇은 "왼쪽으로 돌았다가, 그다음 오른쪽으로 돌고, 그다음 아마 벽을 기어올라가 볼까"와 같이 긴 아이디어 목록을 생성할 수 있습니다. 이것을 **추론 시간 스케일링(inference-time scaling)**이라고 합니다. 즉, 로봇이 움직이기 전에 브레인스토밍을 할 수 있도록 더 많은 시간과 컴퓨팅 자원을 주는 것입니다. 하지만 여기 함정이 있습니다. 로봇이 막다른 길에 부딪힐 때마다, 로봇은 모든 것을 잊어버립니다. 로봇은 매번 백지 상태에서 다시 시작하며, 똑같은 잘못된 길을 반복해서 시도합니다. 이는 마치 문제를 풀 때마다 뇌를 지워버려서, 같은 실수를 처음부터 다시 배워야 하는 학생과 같습니다.

이를 해결하기 위해 과학자들은 로봇에게 **기억(memory)**을 주는 방법을 시도했습니다. 보통 이 기억은 로봇이 한 모든 일을 기록해 둔 거대한 공책과 같습니다. 하지만 방대한 공책을 읽는 것은 많은 시간과 에너지(컴퓨팅 자원)를 소모하며, 로봇은 여전히 그 정보를 어떻게 사용할지 알아내야 합니다. 큰 문제는, 어떻게 하면 로봇이 더 느려지거나 더 비싸지지 않으면서도 더 빠르고 똑똑하게 생각할 수 있도록 돕는 기억을 줄 것인가 하는 점입니다. 이 논문은 단순히 이야기를 저장하는 것이 아니라, 실제로 작동하는 움직임을 지도화하는 새로운 종류의 기억을 구축함으로써 바로 이 문제를 다룹니다.

GAMER(그래프 기반 행동 중심 기억 및 에피소드 추론, Graph-based Action-centric Memory with Episodic Reasoning)를 만나보세요. GAMER를 비디오 게임의 "치트 시트"라고 생각하면 쉽습니다. 다만 단순히 레벨을 나열하는 것이 아니라, 당신이 했던 모든 움직임의 지도를 그리는 것입니다.

오늘날 대부분의 로봇은 안개 낀 숲속의 탐험가와 같습니다. 보물을 찾아야 할 때, 그들은 돌아다니다가, 경로를 시도하고, 나무에 부딪히고, 되돌아왔다가, 다시 시도합니다. 만약 실패한다면, 그들은 나무가 거기 있었다는 사실을 잊어버립니다. 다음에 다시 올 때, 그들은 똑같은 나무로 걸어 들어갑니다. GAMER는 로봇의 과거를 살아있는 지도로 바꿈으로써 게임의 판도를 바꿉니다.

"왼쪽으로 걸었고, 개를 보았고, 그다음 오른쪽으로 걸었다"와 같은 긴 이야기를 쓰는 대신, GAMER는 **그래프(Graph)**를 구축합니다. 모든 역이 로봇이 취할 수 있는 구체적인 행동(예: "열쇠를 집는다" 또는 "문을 연다")인 지하철 노선도를 상상해 보세요. 역들을 연결하는 선들은 어떤 행동이 보통 다음에 이어지는지를 보여줍니다. 만약 로봇이 "벽을 뛰어넘기"를 시도했다가 실패한다면, 지도의 해당 역에는 커다란 빨간색 "X" 표시와 경고 표지판이 붙습니다. 만약 "사다리를 오르기"를 시도해서 성공한다면, 그 역에는 빛나는 초록색 별이 붙습니다.

마법은 **이중 스트림 TD 학습(Dual-Stream TD Learning)**이라는 특별한 학습 기술에서 일어납니다. 이것은 로봇에게 동시에 조언을 주는 두 명의 코치가 있는 것과 같습니다:

"가라" 코치: 이 코치는 로봇이 성공했던 모든 순간을 살펴봅니다. 코치는 빛나는 초록색 별을 가리키며 말합니다. "헤이! 네가 이 지점에 있다면, 다음에는 이 동작을 해봐. 이게 보통 승리로 이어지거든!"
"멈춰라" 코치: 이 코치는 로봇이 충돌했던 모든 순간을 살펴봅니다. 코치는 빨간색 "X"가 표시된 역을 가리키며 말합니다. "절대 안 돼! 만약 이 동작이 보인다면, 반대 방향으로 도망쳐. 이건 막다른 길로 이어지니까."

이 두 코치를 사용함으로써, GAMER는 단순히 로봇에게 무엇을 할지 알려주는 것이 아니라, 로봇이 나쁜 아이디어에 시간을 낭비하는 것을 능동적으로 막아줍니다. 이는 마치 가장 빠른 경로를 보여줄 뿐만 아니라, 공사 중이라고 알고 있는 도로를 즉시 차단하는 GPS를 가진 것과 같습니다.

연구진은 이 시스템을 어질러진 방을 정리하는 것(AlfWorld)이나 과학 실험을 해결하는 것(ScienceWorld)과 같은 몇 가지 도전적인 과제에 테스트했습니다. 그 결과, GAMER가 게임 체인저라는 것을 발견했습니다. "망각하는" 일반적인 로봇과 비교했을 때, GAMER는 성공률을 20.81%, 진행률을 6.17% 향상시켰습니다. 이는 로봇이 더 많은 작업을 완료했고, 완료하지 못한 작업에서도 더 멀리 나아갔음을 의미합니다.

더 멋진 점은, GAMER가 효율적이라는 것입니다. 스마트한 지도 덕분에 거대한 공책을 읽는 대신, GAMER는 훨씬 적은 "토큰"(AI 사고의 디지털 화폐)을 사용합니다. 실제로 다른 스마트 메모리 시스템인 A-Mem과 비교했을 때, GAM별로 평균적으로 약 50% 적은 토큰을 사용했습니다. 이는 모든 퍼즐 조각의 상자 뚜껑을 기억하려고 애쓰는 대신, 명확한 도표를 가지고 문제를 푸는 것과 같습니다.

이 논문은 과거의 경험을 "좋은 움직임"과 "나쁜 움직움"의 구조화된 지도로 바꿈으로써, 로봇이 훨씬 더 빠르게 학습할 수 있음을 보여줍니다. 그들은 매번 문제를 마주할 때마다 바퀴를 재발명할 필요가 없습니다. 하지만 저자들은 이 시스템에 약간의 연습 시간이 필요하다고 언급합니다. 로봇이 좋은 지도를 만들기 위해서는 약 32번의 성공적인 시도(준비 운동)를 거쳐야 합니다. 만약 충분한 연습 데이터가 없다면, 지도가 너무 비어 있어 도움이 되지 않을 수 있습니다. 하지만 일단 그 지도가 구축되면, 로봇은 복잡한 문제를 명확한 머리와 신뢰할 수 있는 가이드와 함께 훨씬 더 효율적이고 성공적으로 탐험할 수 있게 됩니다.

기술 요약: GAMER (Graph-based Action-centric Memory with Episodic Reasoning)

문제 정의

최근의 추론 시간 스케일링(inference-time scaling, 예: Chain-of-Thought, Tree-of-Thoughts) 기술은 솔루션 공간을 탐색하기 위해 추가적인 테스트 타임 연산량을 할당함으로써 대규모 언어 모델(LLM)의 추론 능력을 향고시켰습니다. 그러나 이러한 방법들을 지속적이거나 반복적인 환경에서 작동하는 LLM 기반 에이전트에 적용할 경우 다음과 같은 치명적인 비효율성이 발생합니다:

상태 비저장 운영(Stateless Operation): 현재의 스케일링 방법들은 매 새로운 문제마다 "처음부터" 시작하며, 과거의 탐색 궤적이나 이전 경험을 무시합니다. 이는 동일한 방대한 탐색 공간을 중복해서 탐색하게 만드는 결과를 초래합니다.
계산 오버헤드: 기존의 메모리 메커니즘(예: A-MEM, G-MEM)은 정보를 요약, 검색 및 컨텍스트를 주입하기 위해 LLM의 내부 추론 능력에 과도하게 의존합니다. 이로 인해 관련 사실이 검색되더라도 에이전트가 추론 트리와 분기(branch)를 처음부터 다시 재구성하고 평가해야 하므로, 막대한 토큰 사용량과 높은 지연 시간이 발생합니다.
탐색 가이드의 부재: 전통적인 메모리 시스템은 선언적 사실을 위한 수동적인 검색 모듈 역할을 합니다. 이들은 탐색 공간을 능동적으로 가지치기하거나 의사결정을 가이드하지 못하며, 결과적으로 중복된 추론으로 인한 지배적인 비용 문제를 해결하지 못합니다.

방법론: GAMER

저자들은 메모리를 LLM의 추론 과정으로부터 분리하는 프레임워크인 GAMER(Graph-based Action-centric Memory with Episodic Reasoning)를 제안합니다. GAMER는 가공되지 않은 텍스트 로그를 저장하는 대신, 과거의 추론 과정을 동적인 **액션 중심 그래프(Action-Centric Graph)**로 모델링하고 시간 차 학습(Temporal Difference, TD) 학습을 사용하여 액션 가치를 추정합니다.

1. 액션 중심 그래프 구축

구조: 이 프레임워크는 과거의 상호작용 궤적을 하나의 유향 그래프 $G = (V, E)$ $G = (V, E)$ 로 집계합니다.
- 노드 ( $V$ ): 에이전트가 실행한 구별되고 고유한 액션들을 나타냅니다.
- 엣지 ( $E$ ): 이력에서 관찰된 시간적 전이(즉, 액션 $a_i$ 바로 다음에 실행된 액션 $a_j$ )를 나타냅니다.
장점: 이 방식은 선형적인 경험을 전역적인 추론 공간의 지도로 응축하며, 메모리 추출을 위해 LLM이 비정형 텍스트를 파싱할 필요 없이 순차적 의존성과 결정 지점을 포착합니다.

2. 이중 스트림 시간 차(TD) 학습

그래프를 효과적으로 탐색하기 위해, GAMER는 단일 스칼라 가치 함수가 중요한 위험 신호를 상쇄할 수 있는 한계를 해결하고자 잠재적 보상과 위험을 모두 포착하는 이중 스트림 가치 추정 메커니즘을 채택합니다.

양의 가치 ( $Q^+$ ): 표준 환경 보상을 바탕으로 특정 액션의 예상 성공률을 추정합니다. 이는 가치가 높은 궤적을 식별합니다.
음의 가치 ( $Q^-$ ): 실패의 위험을 추정합니다. 이는 **임계값 기반 보상 재정의(Thresholded Reward Redefinition)**를 사용하여, 액션이 임계값 미만의 성능이나 실패로 이어질 경우 음의 보상($-1 $)을 부여하고, 그렇지 않으면$ 0$을 부여합니다.
업데이트 메커니즘: 두 스트림은 TD 학습을 통해 반복적으로 업데이트됩니다:
$Q(v_t) \leftarrow Q(v_t) + \alpha [r_t + \gamma \cdot \text{Target}(v_{t+1}) - Q(v_t)]$
이를 통해 그래프는 고가치 경로가 강화되고 고위험 "막다른 길(dead ends)"이 명시적으로 표시되는 정교한 지도로 진화합니다.

3. 메모리 가이드 추론 스케일링

새로운 태스크의 추론 단계 동안, 에이전트는 근본적인 디코딩 과정을 수정하지 않고 **인컨텍스트 학습(In-Context Learning, ICL)**을 통해 그래프를 쿼리하여 LLM을 가이드합니다:

참조 궤적(Reference Trajectory): 역사적으로 최적이었던 궤적( $\tau^*$ )을 퓨샷(few-shot) 예시로 검색합니다.
이중 스트림 액션 주입:
- 제안( $A_{suggest}$ ): 가장 높은 $Q^+$ 값을 가진 상위 K개의 액션을 긍정적 가이드로 주입합니다.
- 회피( $A_{avoid}$ ): 가장 낮은 $Q^-$ 값을 가진 상위 K개의 액션을 경고로서 주입합니다.
프롬프트 통합: 이러한 신호들은 자연어 지침으로 변환되어 프롬프트 내에 통합되며, LLM의 확률 분포를 고가치 영역으로 유도하고 오류가 발생하기 쉬운 분기를 억제합니다.

주요 기여

패러다임 전환: 단순한 텍스트 로그의 검색에서 동적인 액션 가치 쿼리로 전환하는, 태스크 특화된 액션 중심 그래프를 구축하는 메모리 증강 추론 프레임워크를 도입했습니다.
양방향 학습: 에이전트가 성공으로부터 고가치 휴리스틱을 배우는 동시에 실패로부터 엄격한 제약 조건을 배울 수 있도록 하는 이중 스트림 TD 학습 메커니즘을 제안하여, 추론 정책의 지속적인 개선을 보장합니다.
효율성 및 성능: 여러 벤치마크를 통해 검증한 결과, 본 프레임워크는 강력한 베이스라인들보다 우수한 성능을 보이면서도, 메모리 추출을 위해 LLM 추론에 의존하는 방식들에 비해 토큰 소비를 크게 줄임을 입증했습니다.

실험 결과

저자들은 네 가지 백본 모델(Qwen2.5, Llama3.1, Gemma3, GPT-4o-mini)을 사용하여 AlfWorld, ScienceWorld, PDDL, Tool-Query의 네 가지 벤치마크에서 GAMER를 평가했습니다.

성능 향상: 바닐라 베이스라인(Best-of-N)과 비교했을 때, GAMER는 평균적으로 성공률(Success Rate)을 20.81%, 진행률(Progress Rate)을 6.17% 향상시켰습니다.
SOTA와의 비교: GAMER는 다른 메모리 증강 및 자기 진화(self-evolving) 방식(예: A-Mem, ReasoningBank, Voyager)보다 일관되게 우수한 성능을 보였습니다. 예를 들어, AlfWorld 벤치마크에서 상태 비저장 바닐라 베이스라인 대비 53.17%의 향상을 달ей했습니다.
토큰 효율성: GAMER는 그래프 쿼리로 인해 바닐라 베이스라인보다 약간 높은 토큰 비용이 발생했지만, 다른 메모리 기반 방식들에 비해서는 훨씬 효율적이었습니다. 구체적으로 A-Mem 대비 약 50%의 토큰을 절감했으며, 반복적인 자기 정제(self-refinement)에 의존하는 ReasoningBank의 막대한 토큰 오버헤드를 피했습니다.
스케일링 동작: 이 방법은 추론 예산( $N$ )이 증가함에 따라 일관된 성능 향상을 보여주었으며, 경쟁 모델들에 비해 가장 가파른 성능 곡선을 유지하여 추가 연산량의 효과적인 활용을 입증했습니다.

의의 및 주장

본 논문은 GAMER가 메모리를 수동적인 로그 저장소에서 능동적인 계산 자산으로 변환함으로써 추론 시간 스케일링과 에피소드 기억 사이의 간극을 메운다고 주장합니다.

분리(Decoupling): 메모리를 LLM의 추론 능력으로부터 분리함으로써, GAMER는 메모리 관리의 계산 비용을 줄여 과도한 토큰 사용 없이 장기 이력을 활용하는 것을 가능하게 합니다.
탐색 최적화: 이 프레임워크는 알려진 실패 모드에 대한 "부드러운 장벽(soft barrier)"이자 성공적인 경로를 위한 "가이드" 역할을 수행하며, LLM이 중복된 추론 단계를 생성하기 전에 탐색 공간을 효과적으로 가지치기합니다.
실용성: 저자들은 GAMER가 LLM의 내재적 추론 능력에 크게 의존하는 방법들과 비교하여, 더 낮은 토큰 비용과 다양한 모델 규모에서의 더 나은 안정성을 달성함으로써 실제 에이전트 배포에 더 실용적인 솔루션을 제공한다고 주장합니다.

한계점: 저자들은 그래프를 초기화하기 위해 충분한 **웜업 궤적(warm-up trajectories)**이 필요하다는 점을 인정합니다. 초기 지식 세트가 너무 적을 경우, 에이전트가 하위 최적(suboptimal) 행동으로 수렴하거나 잘못된 패턴에 갇혀 성능이 바닐라 베이스라인보다 낮아질 가능성이 있습니다.