A Model That Does Not Forget. A Logbook That Corrects and a Sleep That Consolidates, on a Frozen Language Model

당신의 주머니 속에 살며 매일 당신의 질문에 답하는 디지털 비서가 있다고 상상해 보십시오. 이 비서가 진정으로 유용해지려면, 단순히 세상에 대한 사실을 아는 것을 넘어 당신과의 대화 기록을 기억해야 합니다. 지난주에 당신이 반려견의 이름이 토비라고 말했던 것을 기억하고, 이번 주에 당신이 사실은 토비와 루나라는 두 마리의 강아지를 키운다고 말을 정정했을 때 그 변화를 혼란 없이 붙잡고 있어야 합니다. 또한, 한 번도 들어본 적 없는 것에 대해 질문받았을 때 "모릅니다"라고 말할 줄도 알아야 합니다. 이것이 바로 인공지능을 연구하는 과학자들을 오랫동안 골머리 썩게 만든 문제, 즉 이미 알고 있는 것을 잊지 않으면서 지속적으로 학습하는 기계를 만드는 도전 과제입니다.

핵심적인 어려움은 이러한 컴퓨터 프로그램이 정보를 저장하는 방식에 있습니다. 전통적으로 모델이 새로운 것을 배울 때, 모델은 내부 메모리를 다시 써야 하며, 이 과정에서 종종 기존의 기억을 실수로 지워버리곤 합니다. 이는 마치 공책에 새 노트를 쓰기 위해 예전 노트를 낙서로 덮어버리는 것과 같습니다. 새로운 정보는 들어오지만, 예전 것은 사라지게 됩니다. 다른 방법들은 메인 메모리 외부에 별도의 사실 목록을 유지하려고 시도하지만, 이 목록이 늘어남에 따라 시스템은 느려지고 비용이 많이 들게 됩니다. 연구자들은 고정된 구조(내부 구조가 변하지 않는 모델)를 가진 컴퓨터 모델이 수백 개의 사실을 기억하고, 사실이 변할 때 이를 수정하며, 여전히 무지를 인정할 줄 알면서도, 역사가 길어진다고 해서 속도가 느려지지 않게 하는 방법을 찾고자 했습니다.

막시밀리아노 스페란자(Maximiliano Speranza)라는 연구자는 작은 고정 언어 모델을 대상으로 이 두 부분으로 구성된 시스템을 테스트함으로써 이 문제를 해결하고자 했습니다. 첫 번째 부분은 "로그북(logbook)"으로, 모든 사실과 그 버전 이력을 저장하는 외부 기록입니다. 이 로그북은 모델이 이야기의 최신 버전을 확인해야 할 때마다 참조할 수 있는 빠른 참조 시트 역할을 합니다. 두 번째 부분은 주기적으로 발생하는 "수면(sleep)"이라는 과정입니다. 이 수면 주기 동안 모델은 로그북에서 가장 최근의 사실들을 가져와 연습하며, 이를 메인 모델에 부착된 작고 조절 가능한 메모리 구성 요소로 천천히 이동시킵니다. 이러한 통합 과정을 통해 최근의 기억은 모델의 영구적인 지식의 일부가 되며, 따라서 모델은 로그북에 계속 의존할 필요가 없게 됩니다.

실험은 모델이 매주 100개의 새로운 사실을 배우는 8주간의 과정으로 진행되었습니다. 이 작업이 성공하기 위한 핵심은 로그북이나 수면 주기 그 자체만이 아니라, 수면 중에 사용된 특정 기술이었습니다. 모델은 이전 주에 배웠던 사실들을 새로운 정보와 함께 복습하도록 요구받았습니다. 이 '재생(replay)' 과정은 매우 중요했습니다. 연구진이 이 재생 단계를 제거하자, 모델은 첫 번째 주에 배웠던 모든 사실을 거의 즉시 잊어버렸으며, 단 한 번의 세션 만에 정확도가 거의 완벽한 수준에서 거의 0에 가깝게 떨어졌습니다. 재생은 새로운 것이 추가되는 동안 오래된 기억을 붙들어 매는 접착제 역할을 했습니다.

결과는 이 방법이 망각을 방지하는 데 매우 효과적임을 보여주었습니다. 8주간의 학습 후에도 모델은 첫 번째 주의 사실들을 88%에서 97% 사이의 정확도로 기억하고 있었습니다. 반면, 이 수면 및 재생 과정 없이 모델의 메모리를 직접 업데이트하려고 시도한 다른 기존 방법들은 처참하게 실패했습니다. 그 방법들은 8주째에 첫 주 사실의 1~10%만을 유지했을 뿐만 아니라, 더 나아가 모델이 배우지 않은 다른 작업을 수행하는 능력까지 손상시켰습니다. 그러나 새로운 접근 방식은 모델의 다른 기술들을 온전하게 유지함으로써, 이미 알고 있는 것을 망가뜨리지 않고도 새로운 것을 배울 수 있음을 증명했습니다.

이 시스템은 자신이 모르는 것을 아는 데에도 뛰어난 성능을 보였습니다. 배우지 않은 사실에 대해 질문을 받았을 때, 모델은 대부분의 경우 올바르게 "모릅니다"라고 답했습니다. 하지만 연구진은 이 능력에 특정한 한계가 있음을 발견했습니다. 모델이 알고 있는 두 가지 요소—알고 있는 인물과 알고 있는 관계—를 결합하여 본 적 없는 새로운 조합으로 질문했을 때, 모델은 무지를 인정하는 대신 때때로 답을 지어냈습니다. 실험 끝 무렵에는 이런 경우가 약 절반 정도 발생했습니다. 연구진은 사실들을 더 고르게 분산시켜 해결하려 했으나 결과는 바뀌지 않았습니다. 이는 모델이 질문의 일부를 인식하면, 설령 그 구체적인 조합이 생소하더라도 추측하려는 경향이 있음을 시사합니다.

마지막으로, 연구는 이 두 채널 시스템을 대화 기록 전체를 모델의 프롬프트에 붙여넣는 '검색 증강 생성(RAG)'이라는 흔한 대안과 비교했습니다. 두 방법 모두 유사한 정확도를 달랬지만, 새로운 시스템이 훨씬 더 효율적이었습니다. 로그북 시스템은 질문당 16개의 단어만을 처리한 반면, 대안적인 방법은 역사가 길어짐에 따라 수백 또는 수천 개의 단어를 처리해야 했습니다. 이 차이는 새로운 시스템이 몇 달간 사용된 후에도 빠르고 저렴하게 실행될 수 있는 반면, 다른 방법은 결국 실용적이지 않을 정도로 느리고 비싸질 것임을 의미합니다.

이 연구는 컴퓨터 모델이 과거를 잊지 않으면서 긴 변화하는 역사를 기억하도록 가르칠 수 있다는 것을 보여주며, 이를 위해서는 새로운 것을 배우는 동안 오래된 사실을 함께 복습하는 과정이 필요함을 입증했습니다. 이는 지속적인 학습의 핵심이 단순히 정보를 저장하는 것이 아니라, 오래된 것을 강화하면서 새로운 것을 통합하는 방식으로 능동적으로 연습하는 데 있음을 보여줍니다. 비록 시스템이 알려진 사실들을 결합할 때 발생하는 특정 유형의 추측 오류에는 여전히 어려움을 겪고 있지만, 이는 사용자로부터 진정으로 기억하고 학습할 수 있는 비서를 구축하기 위한 명확한 길을 제시합니다.