Constraint Inflation: Context Compaction in LLM Agents Rarely Loses Instructions but Often Overstates Them

한 번의 복잡한 프로젝트를 위해 몇 시간 동안 작업하며 파일을 읽고, 도구를 실행하고, 인간 사용자와 대화할 수 있는 디지털 비서를 상상해 보십시오. 이 대화가 길어짐에 따라, 결국 컴퓨터의 메모리에 한꺼번에 담을 수 없을 정도로 길어지게 됩니다. 계속 작업을 수행하기 위해, 시스템은 대화의 초기 부분을 핵심 내용을 포착한 짧은 요약본으로 대체하여 대화 기록을 압축해야 합니다. 이는 인공지능에서 흔히 쓰이는 기술로, 마치 사람이 긴 회의 내용을 기억하기 위해 노트를 작성하는 것과 비슷합니다. 수년 동안 연구자들은 이러한 요약본이 중요한 세부 사항을 잊어버려, 비서가 사용자의 특정 규칙이나 안전 지침을 놓치게 될까 봐 우려해 왔습니다. 지배적인 공포는 기계가 단순히 일을 그르칠 것이라는 점이었습니다.

하지만 새로운 연구는 문제가 기계가 잊어버리는 것이 아니라, 너무 잘 기억한다는 데 있다고 시사합니다. 사실, 기계는 종종 너무 광범위하거나 너무 엄격한 방식으로 기억합니다. 연구자들은 이를 "제약 팽창(constraint inflation)"이라고 부릅니다. 이는 요약 과정에서 일시적이고 단발적인 요청을 영구적인 규칙으로 바꿀 때 발생합니다. 예를 들어, 사용자가 "인터넷 연결이 끊겼으니 이 특정 파일에 대해서는 테스트를 건너뛰세요"라고 말한다면, 좋은 요약은 해당 파일에 대해 테스트를 건너뛰었다는 점을 기록할 것입니다. 그러나 결함이 있는 요약은 이 지침을 "인터넷이 끊기면 항상 테스트를 건너뛴다"라고 기록할 수 있습니다. 규칙은 여전히 존재하지만, 그 의미가 일시적인 해결책에서 상설 정책으로 변한 것입니다. 이러한 미묘한 변화는 나중에 비서가 실수를 저지르게 만들 수 있으며, 임시 해결책을 모든 미래의 작업에 적용하게 할 수 있습니다.

이 현상이 얼마나 자주 발생하는지 측정하기 위해, 연구진은 인플레이트벤치(InflateBench)라고 불리는 테스트 환경을 구축했습니다. 그들은 코딩, 데이터 분석, 사무 업무 등 다섯 가지 영역에 걸쳐 240개의 현실적인 작업 세션을 만들었습니다. 각 세션에는 일회성 작업이나 일시적인 선호도와 같이 알려진 범위를 가진 여섯 가지의 구체적인 지침을 심어 두었습니다. 그런 다음 두 종류의 언어 모델을 사용하여 일곱 가지의 서로 다른 대화 요약 방식을 통해 이 세션들을 실행했습니다. 목표는 요약본이 지침을 온전히 유지하는지, 완전히 잃어버리는지, 아니면 실수로 확장하는지를 확인하는 것이었습니다. 또한, 이렇게 확장된 규칙들이 실제로 디지털 비서의 다음 행동을 변화시키는지도 테스트했습니다.

결과는 놀라웠습니다. 요약본은 지침을 거의 놓치지 않았습니다. 사실, 99% 이상의 지침을 유지했습니다. 하지만 망각하는 경우는 드물었지만, 과장하는 경우는 빈번했습니다. 자유 형식의 요약본을 사용할 때, 시스템은 적격 항목의 약 12~14%를 팽창시켰습니다. 규칙과 선호도를 위한 특정 섹션이 있는 구조화된 템플릿을 사용할 때는 그 수치가 거의 20%까지 치솟았습니다. 가장 흔한 오류는 선호도를 요구 사항으로 바꾸거나, 일회성 작업을 영구적인 규칙처럼 취급하는 것이었습니다. 예를 들어, 현재 작업에만 특정 도구를 사용하라는 요청이 해당 도구를 항상 사용해야 한다는 규칙으로 재작성되는 경우가 많았습니다.

연구진은 지침의 손실을 방지하기 위해 설계된 두 가지 인기 있는 해결책을 테스트했습니다. 한 방법은 규칙을 별도의 목록으로 추출하는 것이었고, 다른 하나는 규칙을 "고정(pinning)"하여 모든 요약본에 나타나게 하는 것이었습니다. 연구진은 이러한 해결책들이 도움이 되지 않는다는 것을 발견했는데, 그 이유는 지침이 애초에 손실되고 있었던 것이 아니기 때문입니다. 오히려 이러한 방법들은 팽창 문제를 훨씬 더 악화시켰습니다. 특히 "고정" 방식은 어떤 경우에는 팽창률을 50% 이상으로 급증시켰습니다. 규칙을 있는 그대로 반복하도록 강제함으로써, 요약본은 그 규칙들이 일시적이라는 맥락을 잃어버렸습니다. 시스템은 더 이상 상설 규칙과 일회성 요청 사이의 차이를 구분할 수 없게 되었습니다.

마지막으로, 연구진은 이러한 팽창된 규칙들이 실제로 디지털 비서의 행동을 변화시키는지 확인했습니다. 결과는 그러했습니다. 요약본에 팽창된 규칙이 포함되어 있으면, 비서는 해당 규칙이 적절하지 않은 미래의 작업에도 그 규칙을 적용할 가능성이 현저히 높아졌습니다. 비서가 모든 경우에 팽창된 규칙을 따르는 것은 아니었지만, 오류율이 충분히 높아서 심각한 우려가 될 수준이었습니다. 연구는 현재의 긴 대화를 처리하는 방식이 바뀌어야 한다고 결론짓습니다. 단순히 규칙을 유지하는 것만으로는 부족합니다. 시스템은 또한 그 규칙들이 얼마나 오래 지속되어야 하는지도 추적해야 합니다. 그렇지 않으면 디지털 비서는 오래된 임시 지침을 영원한 법처럼 따르는 경직된 노동자가 될 위험이 있습니다.