Plans Don't Persist: Why Context Management Is Load Bearing for LLM Agents

핵심 아이디어: "취약한 메모" 문제

당신이 지저분한 집을 청소하는 임무를 맡은 로봇이라고 상상해 보세요. 일을 시작하기 전, 당신은 포스트잇에 할 일 목록을 적습니다: "1. 주방으로 간다. 2. 컵을 집는다. 3. 식기세척기에 넣는다."

AI 에이전트(대규모 언어 모델로 구동되는 로봇)의 세계에서 이 "포스트잇"이 바로 **계획(Plan)**입니다. 이 논문은 중요한 질문을 던집니다: 로봇이 실제로 이 목록을 암기하는 것일까요, 아니면 매 단계를 뗄 때마다 그 메모를 계속 읽고 있는 것일까요?

저자들은 일반적인 AI 모델에 대한 답을 찾아냈습니다: 그것은 그저 메모를 계속 읽고 있는 것입니다.

만약 그 포스트잇을 가져가 버리거나(또는 로봇의 메모리 창이 가득 차서 메모가 "축출"된다면), 로봇은 자신이 무엇을 해야 하는지 즉시 잊어버립니다. 로봇은 계획을 자신의 "두뇌"에 저장한 것이 아니라, 현재 보고 있는 "종이"에 저장하고 있을 뿐입니다.

실험: "고스트 리플레이(Ghost Replay)"

이를 증명하기 위해 연구진은 **리플레이 페어링(Replay Pairing)**이라는 영리한 트릭을 사용했습니다. 로봇이 집을 청소하는 영화를 두 번 재생한다고 상상해 보세요:

1. 영화 A (실제 상황): 로봇이 계획이 적힌 포스트잇을 보고, 청소를 시작합니다.
2. 영화 B (유령 상황): 로봇이 정확히 똑같은 행동을 하고 정확히 똑같은 결과를 보이지만, 계획이 적힌 포스트잇은 마법처럼 시야에서 사라졌습니다.

연구진은 영화 A와 영화 B 사이의 로봇의 내부 "두뇌 상태(hidden thoughts)"를 비교했습니다.

• 만약 로봇이 계획을 암기했다면: 로봇이 계획을 외우고 있기 때문에 두 영화의 두뇌 상태는 거의 동일해야 합니다.
• 만약 로봇이 메모를 읽고 있는 것이라면: 메모가 사라지는 순간 두뇌 상태가 급격하게 변해야 합니다.

결과: 메모가 제거되는 순간, 로봇의 두뇌 상태가 즉시 변했습니다. 계획의 "신호"가 단 한 단계 만에 4배에서 12배까지 떨어졌습니다. 마치 로봇이 메모를 보고 한 걸음을 내디뎠는데, 그 직후 메모가 기억 속에서 완전히 사라져 버린 것과 같습니다.

"생각하기"의 함정 (추론 모델)

연구진은 행동하기 전에 스스로에게 말을 거는 더 똑똑한 최신 AI 모델들(이른바 "추론 모델")도 테스트했습니다. 이 모델들은 출력값에 <thinking>이라는 특별한 섹션을 가지고 있어 자신의 생각을 적어 내려갑니다.

이 똑똑한 모델들에 대해 "고스트 리플레이"를 실행했을 때, 결과는 이상하게 나타났습니다. 로봇이 메모 없이도 계획을 기억하는 것처럼 보였기 때문입니다!

반전: 연구진은 이것이 속임수라는 것을 깨달았습니다. 똑똑한 모델들은 진행 과정 중에 자신의 <thinking> 블록 안에 계획을 다시 쓰고 있었던 것입니다. 즉, 원래의 메모를 제거하더라도 로봇은 자신의 최근 생각으로부터 계획을 계속 "읽고" 있었던 것입니다.

연구진은 이를 해결하기 위해 "엄격한 제거(Strict Stripping)" 기법을 사용했습니다. 이는 원래의 메모뿐만 아니라, 계획을 언급한 로봇의 최근 생각들까지 모두 제거하는 방식입니다. 이렇게 하자, 똑똑한 모델들 역시 계획이 눈앞에 바로 보여야만 의존한다는 사실이 드러났습니다. 그들은 계획을 장기 기억 속에 "보유"하고 있는 것이 아닙니다.

스트레스 테스트: 메모가 사라지면 어떻게 될까?

이것이 실제 환경에서 얼마나 심각한지 확인하기 위해, 연구진은 "압축 스트레스 테스트(Compression Stress Test)"를 수행했습니다. AI가 집을 청소하도록 하되, 메모리 창을 제한하여 새로운 정보를 위해 오래된 메모를 버려야만 하는 상황을 만들었습니다.

• "단순한(Naive)" 접근 방식: 공간을 확보하기 위해 AI가 계획 메모를 버리도록 내버려 두었습니다.
  • 결과: AI의 성공률이 35% 급락했습니다. 계획을 잊어버렸기 때문에 일을 끝낼 수 없었습니다.
• "스마트한(Smart)" 접근 방식: AI가 잊어버리는 시점을 감지하여 계획 메모를 다시 삽입하는 방법을 시도했습니다.
  • 결과: 큰 도움이 되지 않았습니다. AI는 단순히 계획을 잃어버린 것이 아니라, 자신이 무엇을 하고 있는지에 대한 맥락(context) 자체를 놓쳤기 때문에 이미 혼란에 빠진 상태였습니다.

요약 및 시사점

이 논문은 현재의 AI 에이전트에게 있어 컨텍스트 관리(Context Management)가 시스템의 가장 중요한 부분이라고 결론짓습니다.

AI의 메모리 창을 화이트보드라고 생각하세요. 계획은 로봇의 팔에 새겨진 영구적인 문신이 아닙니다. 그것은 화이트보드 위에 그려진 마커 그림입니다. 마커가 보드 위에 있는 동안에는 로봇이 작동합니다. 하지만 보드를 지워버리면(설령 계획 부분만 지운다 해도), 로봇은 작동을 멈춥니다.

논문의 핵심 주장:

• 계획은 지속되지 않는다: 계획은 AI의 내부 "두뇌" 상태에 저장되지 않습니다. 매 단계마다 텍스트 창에서 다시 읽어야 합니다.
• 망각은 빠르다: 메모가 사라지면 계획에 대한 "기억"은 거의 즉시(단 한 단계 만에) 사라집니다.
• 추론 모델은 까다롭다: 이들은 자신의 생각 흔적 속에 계획을 숨기며, 이 흔적들을 모두 제거하지 않으면 테스트 결과를 왜곡할 수 있습니다.
• 보호만으로는 부족하다: 단순히 계획 텍스트를 보호하는 것이 메모리 제한에 대한 마법 같은 해결책은 아닙니다. AI가 자신의 행동에 대한 맥락을 잃어버리면, 계획이 남아 있더라도 실패하게 됩니다.

이 논문은 이러한 "망각"을 측정하는 새로운 방법을 제시하며, 현재의 AI 에이전트들이 얼마나 취약한지, 즉 계속 작동하기 위해서는 계획이 반드시 "지금 당장" 눈앞에 보여야 한다는 점을 증명합니다.