당신이 수년간 항해해 온 우주선의 선장이라고 상상해 보십시오. 항해를 위해 당신의 우주선 컴퓨터는 지나온 모든 별, 모든 센서 측정값, 그리고 내린 모든 결정을 방대한 로그로 기록합니다. 하지만 우주선의 메모리는 제한되어 있어서, 전체 로그를 활성 뇌(active brain)에 모두 담아둘 수는 없습니다. 그래서 컴퓨터는 영리한 속임수를 사용합니다. 가장 중요한 순간들을 **KV 캐시(KV cache)**라고 불리는 특수한 고속 메모리 뱅크에 "스냅샷" 형태로 남겨두는 것이죠. 이 캐시를 단순히 단어들의 일기가 아니라, 컴퓨터가 이미 어려운 수학적 계산을 끝내 놓은 '포스트잇'이라고 생각하십시오. 우주선이 무언가를 알아내야 할 때, 전체 역사를 다시 읽는 대신 이 포스트잇들을 봅니다.

여기서 큰 질문이 생깁니다. 만약 포스트잇을 만든 원래의 로그 페이지를 버린다면 어떻게 될까요? 컴퓨터가 "엔진이 뜨겁다"라고 적힌 페이지를 삭제하고, "엔진 상태: 위급"이라고 적힌 포스트잇만 남겨두었다면, 컴퓨터는 여전히 엔진이 뜨겁다는 것을 알 수 있을까요? 아니면 그 메모는 의미 없는 낙서가 되어버릴까요? 이것이 바로 **희소 이벤트-KV 서빙(sparse event-KV serving)**의 퍼즐입니다. 이는 AI가 생각의 '재료'를 잊어버린 후에도 그 생각의 '결과'를 기억할 수 있는지에 대한 문제입니다. 만약 답이 '예'라면, 우리는 행성 크기만한 도서관 없이도 수년간의 대화를 기억하는 초지능 에이전트를 구축할 수 있습니다. 만약 '아니오'라면, 우리는 AI를 똑똑하게 만드는 바로 그 요소들을 버리고 있는 것일지도 모릅니다.

---

"유령 메모(Ghost Note)"의 마법

이 논문에서 연구자 Zefeng Cai와 Zerui Cai는 이 아이디어를 테스트하기 위해 매우 구체적이고 거의 마법에 가까운 실험을 진행했습니다. 그들은 AI의 기억을 약간의 변형이 가해진 "전화기 놀이(Telephone)" 게임처럼 다루었습니다. 그들은 AI 에이전트에게 "스위치는 ON 상태이다"라고 말하는 시나리오를 설정했습니다. 나중에 에이전트에게 "거울은 스위치를 반사한다"라는 메시지를 주었습니다. 그다음, 연구자들은 AI의 기억에서 첫 번째 메시지("스위치는 ON 상태이다")를 삭제하여, 두 번째 메시지("거울은 스위치를 반사한다")만 남겨두었습니다. 마지막으로 그들은 AI에게 물었습니다: "거울은 ON입니까, 아니면 OFF입니까?"

여기 놀라운 사실이 있습니다: AI의 답변이 숨겨진 스위치에 실제로 의존했던 특정 사례들에서, AI는 거의 매번 정답을 맞혔습니다.

정확히 말하면, 연구자들은 AI의 답변이 숨겨진 스위치에 따라 실제로 변하는 경우(즉, "기여자 민감형(donor-sensitive)" 항목)에, Qwen3-8B 모델이 99번 중 99번 모두 숨겨진 값을 정확히 따랐다는 것을 발견했습니다. 하지만 이 완벽한 기록은 AI가 마음을 바꿀 수 있었던 항목들에만 해당되는 것이지, 세상의 모든 질문에 대해 정답을 맞혔다는 뜻은 아닙니다. 256개의 전체 테스트 쌍 중에서, 125개는 숨겨진 스위치와 상관없이 AI가 동일한 답을 냈습니다(이미 답이 명확하거나 AI가 무관심했기 때문입니다). 하지만 숨겨진 스위치가 중요했던 130개의 사례에서, AI는 삭제된 소스를 완벽하게 따랐습니다.

비록 AI가 허용된 메시지 안에서 스위치의 값을 한 번도 듣지 못했음에도 불구하고, AI는 답이 ON이라는 것을 알고 있었습니다. 연구자들은 이를 **"의미적 구체화(Semantic Materialization)"**라고 부릅니다. 마치 AI가 교과서를 버리기 전에 수학 문제의 답을 포스트잇에 미리 적어둔 것과 같습니다. "포스트잇"(두 번째 문장의 캐시된 기억)은 문장 자체에는 드러나지 않지만, 비밀스러운 답을 간직하고 있었습니다.

"도너 페어(Donor Pair)" 테스트: 추측이 아님을 증명하는 방법

당신은 "AI가 그냥 흔한 단어인 'ON'을 골라 맞춘 게 아닐까?"라고 생각할 수도 있습니다. 이를 증명하기 위해 연구자들은 **"도너 페어(Donor Pair)"**라는 영리한 트릭을 사용했습니다.

두 가지 실행을 아주 미세한 차이를 두고 수행한다고 상상해 보십시오:

1. 실행 A: 숨겨진 스위치는 ON입니다.
2. 실행 B: 숨겨진 스위치는 OFF입니다.

두 실행 모두 AI가 볼 수 있는 메시지는 동일합니다. 유일한 차이점은 삭제된 비밀 메시지뿐입니다. AI에게 거울에 대해 물었을 때, AI는 실행 A에서는 ON이라고 답했고, 실행 B에서는 OFF라고 답했습니다.

Qwen3-8B 모델에서, 정답이 스위치에 달려 있던 항목들에 대해 이 현상은 99번 중 99번 발생했습니다. AI는 숨겨진, 삭제된 메시지를 완벽하게 따랐습니다. 이는 AI가 추측을 한 것이 아니라, 비밀 값을 품고 있는 자신의 기억 속에 숨겨진 "유령 메모"를 읽고 있었다는 것을 증명합니다.

함정: 그것은 마법이 아니라 계약이다

이것이 초능력처럼 들리겠지만, 논문은 이 "유령 메모" 능력이 까м 까다로우며 엄격한 규칙이 있다고 밝힙니다. 이것은 모든 것에 작동하는 보편적인 마법이 아닙니다.

1. 메모를 올바른 방식으로 작성해야 합니다.
연구자들은 "거울" 문장을 표현하는 16가지 다른 방법을 시도했습니다. 어떤 방식은 효과가 좋았지만, 어떤 방식은 완전히 실패했습니다.

• 승리자: "레지스터가 소스를 반사한다(mirrors)"와 같은 문구는 아주 잘 작동했습니다(성공률 약 80%).
• 패배자: "레지스터가 소스로부터 작성되었다(was written from)"와 같은 문구는 거의 작동하지 않았습니다(약 50%, 이는 그냥 찍는 수준입니다).
• 교훈: 중요한 것은 문장의 의미가 아니라, 문장이 어떻게 들리는가입니다. 의미가 같은 두 문장이라도 사용된 특정 단어에 따라 결과가 완전히 달라질 수 있습니다. 이는 비밀스러운 악수(handshake)와 같습니다. 리듬을 틀리면 문은 열리지 않습니다.

2. 단순한 비밀에만 작동합니다.
"유령 메모"는 단순한 Yes/No 답변(예: ON/OFF)을 기억하는 데는 탁월합니다.

• 성공률: 이진 선택(binary choices)의 경우, AI는 **93%**의 확률로 정확히 기억했습니다.
• 실패: 만약 4가지 선택지 중 하나를 기억하라고 하면 성공률은 **22%**로 떨어졌습니다(찍는 것과 별 차이가 없습니다).
• 완전한 실패: 만약 3자리 숫자(예: "123")를 기억하라고 하면 성공률은 **0%**였습니다. "메모"는 크고 무거운 데이터를 담을 수 없으며, 오직 작고 압축된 상태만을 담을 수 있습니다.

3. "우연한" 기억을 믿지 마십시오.
연구자들은 실제 친구 사이의 긴 대화처럼 자연스러운 대화 속에서도 이런 현상이 발생하는지 테스트했습니다. 그 결과, 단순히 AI가 대화하면서 "우연히" 좋은 유령 메모를 작성하기를 기대한다면, 그것은 작동하지 않는다는 것을 발견했습니다. 성공률은 메모가 없는 경우와 같았습니다.

• 해결책: 비밀을 담을 수 있도록 설계된 특별한 "캐리어(carrier)" 문장을 의도적으로 작성해야 합니다. 그렇게 했을 때, 성공률은 6%에서 51%로 급증했습니다. 이것은 우연히 일어나는 것이 아니라, 직접 만들어야 하는 도구입니다.

AI 개발자를 위한 중요한 경고

AI 시스템을 구축하는 사람들에게 이 논문이 주는 가장 중요한 교훈은 우리가 메모를 테스트하는 방식에 대한 경고입니다.

보통, AI의 기억에서 정보의 일부를 삭제했는데도 AI가 정답을 맞히면, 엔지니어들은 "좋아! 이 정보는 중요하지 않았구나. 공간을 아끼기 위해 삭제해도 되겠어"라고 가정합니다.

이 논문은 말합니다: 멈추십시오.

만약 소스를 삭제한 후에도 AI가 정답을 맞힌다면, 그것은 AI가 이전에 이미 답을 "유령 메모"로 작성해 두었기 때문일 수 있습니다. 당신은 소스가 쓸모없다는 것을 증명한 것이 아니라, 단지 AI가 나중을 위해 답을 저장할 만큼 똑똑하다는 것을 증명했을 뿐입니다. 만약 소스와 그 메모를 동시에 삭제한다면, AI는 실패할 것입니다.

결론

이 논문은 컴퓨터가 답을 "사전 계산"하여 원본 질문이 사라진 후에도 살아남는 방식으로 저장할 수 있는, AI 메모의 숨겨진 층위를 발견했습니다. 이는 마치 요리사가 레시피를 냅킨에 적어두고, 재료 목록을 버린 뒤에도 여전히 요리를 완벽하게 해내는 것과 같습니다.

하지만 이 능력은 매우 취약합니다. 적절한 "비밀 악수"(표현 방식)를 사용해야만 작동하며, 오직 작은 비밀(Yes/No)만을 담을 수 있고, 우연히 일어나지도 않습니다. 긴 이야기를 기억하는 AI를 만들려는 이들에게 교훈은 명확합니다: 단순히 과거를 삭제하지 마십시오. AI가 이미 포스트잇에 답을 적어두었는지 확인하십시오. 만약 그렇다면, 당신은 그 "기억"이 우리가 생각했던 것보다 훨씬 더 강력하고 복잡하다는 것을 알게 될 것입니다.