전체 도서관을 읽거나, 복잡한 소프트웨어를 작성하거나, 몇 주에 걸쳐 연구 프로젝트를 관리할 수 있는 디지털 비서를 상상해 보십시오. 이를 위해 이 비서는 자신이 보고 행한 모든 것의 실행 기록을 유지하며, 이 기록은 행동할 때마다 점점 길어집니다. 이 기록은 '컨텍스트 윈도우(context window)'라고 불리는 임시 메모리 공간에 저장됩니다. 이 창은 수십만 단어를 담을 수 있을 만큼 방대하지만, 무한하지는 않습니다. 작업이 너무 길어지면 메모리가 가득 차게 되고, 비서는 시작 부분의 가장 중요한 세부 사항들을 잊어버릴 위험에 처합니다. 이를 해결하기 위해 엔지니어들은 '요약(summarization)'이라는 기술을 사용합니다. 아이디어는 간단합니다. 메모리가 너무 가득 차기 전에, 비서가 긴 기록을 더 짧고 응축된 버전으로 압축하여 노이즈는 버리고 신호(핵심 정보)만을 남긴 뒤, 그 요약본을 바탕으로 작업을 계속하는 것입니다. 이는 긴 대화를 기억하기 위해 노트를 작성하는 디지털 형태의 방식입니다.

하지만 펜실베이니아 주립 대학교 연구진의 새로운 연구는 이 안전망이 미묘하지만 결정적인 방식으로 실패하고 있음을 시사합니다. 연구진은 인공지능 모델에게 요약할 때 더 많은 세부 사항을 유지하라고 실제로 지시할 수 있는지 조사했습니다. 그들은 역사가 길어짐에 따라 요약도 함께 길어져서, 원래 정보의 일정 비율을 일정하게 보존할 수 있는지 알고 싶었습니다. 대신, 그들은 모델들이 일종의 하드 리밋(hard limit, 한계치)을 가지고 있다는 것을 발견했습니다. 이야기가 아무리 길어져도 요약의 크기는 거의 동일하게 유지되며, 이는 보존되는 정보의 양을 아주 작은 파편으로 줄여버립니다. 인간이 컴퓨터에게 더 긴 요약을 작성하라고 명시적으로 요청하더라도, 컴퓨터는 그 요청을 따르지 않고 자신의 짧은 습관을 고수합니다. 연구진은 이 행동을 바꾸는 유일한 방법이 정중하게 부탁하는 것이 아니라, 더 긴 요약의 예시를 통해 컴퓨터를 재학습시키는 것임을 발견했습니다.

연구팀은 일반 목적의 비서부터 전문적인 코딩 및 추론 도구에 이르기까지 11가지의 서로 다른 대규모 언어 모델을 대상으로 이 동작을 테스트했습니다. 그들은 긴 문서와 에이전트가 코딩 문제를 해결하는 실제 로그를 모두 사용하여, 입력값이 단 1,000단어에서 100,000단어까지 늘어나는 입력을 모델에 제공했습니다. 완벽한 시스템이라면 입력이 100배 커지면 상세 수준을 유지하기 위해 요약도 비례하여 커져야 합니다. 하지만 모델들은 마치 틀에 박힌 듯 행동했습니다. 입력이 10만 단어로 불어났음에도 요약은 거의 늘어나지 않았습니다. 실제로 그 거대한 규모에서 원래 입력 중 요약에 살아남은 것은 1% 미만이었습니다. 그 정도 크기의 문서라면, 원래 텍스트의 문장 100개당 약 1개의 문장만이 최종 요약에 포함되었다는 뜻입니다. 나머지는 사라졌습니다. 이 패턴은 모델이 코드를 작성하도록 설계되었든, 일반적인 대화를 나누도록 설계되었든, 혹은 복잡한 추론을 하도록 설계되었든 상관없이 동일하게 나타났습니다. 모델의 크기 자체가 도움이 되지도 않았습니다. 가장 크고 강력한 모델들조차 해당 작업에 비해 너무 짧은 요약을 만들어냈습니다.

연구진은 그다음 더 직접적인 접근 방식을 시도했습니다. 그들은 모델들에게 단순히 명령어가 부족한 것이 아닐지도 모른다고 생각했습니다. 그들은 동일한 방대한 입력을 가져온 뒤, 단어, 글자 또는 토큰 수를 기준으로 특정 길이의 요약을 작성하라는 구체적인 명령을 프롬프트에 추가했습니다. 그들은 원래 텍스트 크기의 4분의 1, 3분의 1, 혹은 절반 크기의 요약을 요청했습니다. 결과는 좌절스러울 정도로 일관적이었습니다. 모델들은 요청을 받았을 때 요약이 약간 길어지기는 했지만, 매우 빠르게 한계점에 도달했습니다. 만약 연구진이 16,000 단어 분량의 요약을 요청하면, 모델들은 요청받은 나머지 부분을 무시한 채 몇 천 단어 정도를 쓴 뒤 멈춰버렸습니다. 모델은 요청의 형식이 어떻게 측정되든, 혹은 요청이 어떻게 표현되든 상관없이 자신의 출력 길이를 확장하지 못하는 것처럼 보였습니다. 제공된 지침은 길이를 약간 높이는 데는 효과가 있었지만, 정보 손실을 막기에는 턱없이 부족했습니다.

이는 연구진을 놀라운 결론으로 이끌었습니다. 문제는 프롬프트나 입력이 아니라 학습 데이터에 있다는 것입니다. 이를 증명하기 위해, 연구진은 두 개의 모델을 가져와서 다양한 길이의 요약을 사용하는 가벼운 재학습(fine-tuning)을 실시했습니다. 한 그룹은 매우 짧은 요약들로 학습되었고, 다른 한 그룹은 훨씬 긴 요약들로 학습되었습니다. 동일한 중립적 지침을 가지고 이 재학습된 모델들을 테스트했을 때, 결과는 극적으로 변했습니다. 짧은 요약으로 학습된 모델은 훨씬 더 짧은 텍스트를 썼고, 긴 요약으로 학습된 모델은 프롬프트에 길이에 대한 언급이 전혀 없었음에도 불구하고 훨씬 더 긴 텍스트를 썼습니다. 이는 모델들이 학습 데이터로부터 짧게 작성하는 기본 습관을 배웠으며, 이 습관이 다른 요청을 무시한다는 것을 시사합니다. 요약의 길이는 입력 크기에 따른 유연한 계산 결과가 아니라, 모델의 DNA에 각인된 경직된 행동입니다.

이러한 함의는 자율 에이전트에게 매우 중요합니다. 이 시스템들은 장기적인 과업을 수행하기 위해 요약에 의존하지만, 만약 요약이 너무 짧다면 파일 경로, 실패한 시도, 혹은 특정 제약 조건과 같은 중요한 정보가 영원히 누락될 수 있습니다. 한 번 잃어버린 정보는 에이전트가 다시 찾아내기 위해 시간을 낭비하거나, 혹은 앞을 보지 못한 채 나아가야 하는 상황을 초래합니다. 이 연구는 단순히 에이전트에게 더 긴 요약을 요청함으로써 "더 많이 기억하라"고 말하는 것이 신뢰할 수 있는 해결책이 아님을 보여줍니다. 해결책은 프롬프트를 개선하는 것이 아니라, 요약기를 학습시키는 데이터를 바꾸는 데 있습니다. 학습 데이터가 컨텍스트가 커짐에 따라 더 많은 세부 사항을 보존하도록 모델을 가르치기 전까지, 우리가 장기적인 과업을 위해 의존하는 디지털 비서들은 길고 변화 불가능한 하나의 요약과 함께 계속해서 기억을 잃어갈 것입니다.