When Does Context Compaction Pay in Long-Horizon Agents?

수 시간 동안 파일을 읽고, 코드를 실행하고, 자신의 진행 상황을 확인하며 복잡한 문제를 해결할 수 있는 디지털 비서를 상상해 보십시오. 이를 수행하기 위해 비서는 지금까지 자신이 수행한 모든 일을 기억해야 하며, 자신의 행동과 그 결과를 기록한 실행 로그를 계속 유지해야 합니다. 이 로그를 "컨텍스트(context)"라고 부릅니다. 작업이 계속됨에 따라 이 로그는 점점 더 길어지며, 결국 너무 커져서 비서의 속도를 늦추고 처리하는 데 상당한 비용을 발생시킵니다. 이를 관리하기 위해 소프트웨어 엔지니어들은 "컨텍스트 압축(context compaction)"이라는 기술을 개발했습니다. 전체 이력을 계속 들고 가는 대신, 시스템은 비서에게 지금까지 일어난 일을 짧게 요약하도록 요청하고, 이전의 세부 사항들은 버린 뒤, 오직 그 요약본만을 사용하여 작업을 계속하게 합니다. 이는 마치 백 마일을 걸은 여행자가 배낭의 공간을 아끼기 위해 미래의 자신에게 여정을 설명하는 엽서를 한 장 쓰고, 상세한 일기는 태워버리는 것과 비슷합니다. 이 요약이 여행자가 경로를 이탈하지 않도록 유지하면서 시간과 자원을 절약할 수 있기를 바라는 것입니다.

연구자 유야오 왕(Yuyao Wang)의 새로운 연구는 이 전략이 장기적인 작업에 실제로 효과가 있는지 조사합니다. 연구자는 두 가지 서로 다른 고급 언어 모델을 사용하여 아홉 가지의 어려운 다단계 문제를 대상으로 이 아이디어를 테스트했습니다. 연구자는 특정 순간에 에이전트의 상태를 저장한 다음, 두 가지 다른 방법을 사용하여 끝까지 작업을 완수하도록 설정하는 통제된 실험을 설계했습니다. 한 가지 방법에서 에이전트는 전체 이력을 유지하며 기준점(baseline) 역할을 했습니다. 다른 방법에서는 이력이 너무 길어질 때마다 요약을 사용하도록 전환했습니다. 연구자는 단순히 최종 비용뿐만 아니라, 이 전략의 변화가 에이전트의 행동, 소요 단계 수, 그리고 요약을 작성하기 위해 대기하는 시간에 어떻게 영향을 미치는지도 측정했습니다.

결과는 놀라운 반전을 보여주었습니다. 수학적으로는 요약으로 전환하는 것이 비용을 절감할 것으로 보였으나, 현실은 종종 그 반대였습니다. 테스트된 모델 중 하나에서, 요약으로 전환한 에이전트들이 전체 이력을 유지한 에이전트들보다 더 많은 비용을 들였습니다. 그 이유는 요약이 나빴기 때문이 아니라, 요약하는 행위 자체가 에이전트의 행동을 변화시켜 추가적인 작업을 만들어냈기 때문이었습니다. 에이전트가 전체 이력 대신 요약을 받았을 때, 이미 보았던 파일이나 정보를 다시 읽거나 확인해야 할 필요성을 자주 느꼈고, 이는 추가적인 요청의 연쇄 반응으로 이어졌습니다. 연구자가 "읽기 전용(read-only)" 작업이라고 부른 이러한 추가 단계들이 빠르게 쌓였습니다. 많은 경우, 짧은 이력을 가짐으로써 절약한 돈은 이러한 불필요한 확인 작업의 비용으로 인해 완전히 상쇄되었습니다. 실제로 테스트된 주요 모델의 경우, 작업을 끝까지 지속했을 때 21개의 서로 다른 상태 중 20개에서 이 전략이 비용을 증가시켰습니다.

연구는 또한 요약을 수행한 후 에이전트가 얼마나 오래 작업해야 하는지를 살펴보며, 이 전략이 언제 수익을 낼 수 있는지 조사했습니다. 연구자는 컨텍스트 압축이 재정적인 승리가 되려면 요약이 작성된 후 매우 많은 양의 작업이 남아 있어야 한다는 것을 발견했습니다. 만약 작업이 거의 끝나가는 단계라면, 요약을 작성하는 비용과 에이전트가 그에 적응하기 위해 수행하는 추가 단계들은 절약되는 금액에 비해 가치가 없습니다. 그러나 갈 길이 먼 작업의 경우, 특정 조건 하에서 이 전략은 효과를 볼 수 있습니다. 기술의 가격이 매우 중요합니다. 한 모델의 경우, 컴퓨터 메모리에서 읽어오는 비용이 현재 대부분의 제공업체가 청구하는 것보다 훨씬 더 높을 정도로 극도로 높아야만 전략이 돈을 아낄 수 있었습니다. 테스트된 다른 모델의 경우, 해당 모델의 행동이 요약을 받았을 때 덜 급격하게 변했기 때문에 이 전략이 훨씬 더 효과적이었으며, 현재 가격에서도 돈을 절약할 수 있었습니다.

비용 외에도 연구자는 에이전트가 얼마나 빨리 작업하는지를 조사했습니다. 연구자는 단일 컴퓨터 칩에서 프로세스를 시뮬레이션하여 더 짧은 이력이 시스템을 더 빠르게 만드는지 확인했습니다. 그들은 짧은 이력이 개별 단계의 처리 속도를 높인다는 것은 발견했지만, 요약을 생성하는 시간과 에이전트가 수행하는 추가 작업 시간이 전체 과정을 오히려 더 느리게 만든다는 것을 발견했습니다. 어떤 시나리오에서는 에이전트가 요약을 사용함으로써 전체 작업을 마치는 데 전체 이력을 가진 에이전트보다 거의 두 배의 시간이 걸리기도 했습니다. 이는 에이전트가 줄을 서서 기다리는 상황이 아니었음에도 불구하고 발생했습니다. 긴 이력을 처리하는 데 드는 시간이 요약 생성 시간과 에이전트가 수행하는 추가 작업 시간으로 인해 상쇄되었기 때문입니다.

연구는 컨텍스트 압축이 장기적인 작업을 위한 간단한 해결책이 아니라고 결론짓습니다. 이는 사용되는 특정 모델, 기술의 비용, 그리고 남은 작업량에 크게 의존하는 트레이드오프(trade-off) 관계입니다. 연구자는 단순히 이력을 짧게 자르는 것이 에이전트를 혼란스럽게 하여 이미 수행한 작업을 반복하게 만든다는 것을 발견했습니다. 이 전략이 제대로 작동하려면, 시스템은 가장 최근의 단계들을 보존하도록 정교하게 설계되어야 하며, 에이전트가 자신의 이력을 다시 확인할 필요를 느끼지 않도록 보장해야 합니다. 이러한 조건이 충족되지 않는 한, 비용이 들더라도 전체 이력을 유지하는 것이 장기적이고 복잡한 문제를 다루는 에이전트에게 더 신뢰할 수 있고 때로는 더 저렴한 경로로 남게 됩니다.