컴퓨터가 단순히 "안녕"이나 "고양이가 앉아 있다"와 같은 단어로 대화하는 것이 아니라, 순수한 사고의 덩어리인 보이지 않고 압축된 묶음을 주고받는 세상을 상상해 보십시오. 인공지능 분야의 연구자들은 여러 AI "에이전트"들이 이러한 숨겨진 묶음, 즉 잠재 상태(latent states) 또는 **KV 캐시(KV caches)**라고 불리는 것들을 교환함으로써 서로의 생각을 공유하는 방법을 탐구하고 있습니다. 이것을 문장이 아니라, 모든 군더더기를 제거한 계산의 정수나 말로 표현할 수 없는 생생한 "아하!" 모먼트라고 생각하십시오. 목표는 어떤 에이전트라도 나중에 새로운 문제를 해결하기 위해 꺼내 쓸 수 있는 이러한 생각들의 공유 도서관을 구축하는 것입니다.

하지만 여기에는 함정이 있습니다. 만약 이 생각의 묶음들을 그냥 하나의 더미로 던져놓고 한꺼번에 읽으려고 한다면, 마치 누군가가 다른 페이지들을 전부 붙여버린 책에서 특정 페이지를 읽으려는 것처럼 정보들이 서로 번져버릴 것입니다. 정보는 그곳에 존재하지만, 나머지에 의해 혼란을 겪지 않고 정확한 조각을 찾아내는 것은 불가능합니다. 이것이 바로 **주소 지정(addressability)**의 문제입니다. 즉, 무엇을 찾고 있는지 정확히 알지 못하는 상태에서 거대하고 엉망진창인 생각의 더미 속에서 어떻게 특정 생각을 찾아낼 것인가 하는 문제입니다. 이 논문은 바로 그 퍼즐을 다룹니다. 질문은 다음과 같습니다. 거대하고 무질서하게 성장하더라도 깨끗하고 읽기 쉬운 상태를 유지하는 숨겨진 생각의 도서관을 구축할 수 있을까?

문제: "페이지가 붙어버린" 도서관

저자들은 이 생각의 묶음들을 담은 공유 도서관을 "옛날 방식"으로 읽으려 할 때 어떤 일이 발생하는지 보여주는 것으로 시작합니다. 각각의 에이전트(앨리스, 밥, 찰리라고 부릅시다)가 자신만의 투명한 잉크로 비밀 노트를 작성하여 거대한 공유 공책에 붙이는 상황을 상상해 보십시오. 이 공책은 마법 같습니다. 누가 먼저 추가하든, 혹은 얼마나 많이 복사되든 상관없이 모두의 노트를 완벽하게 병합합니다. 이것을 **충돌 없는 복제 데이터 타입(CRDT, Conflict-Free Replicated Data Type)**이라고 부르는데, 이는 도서관이 항상 일관성을 유지하며 데이터를 잃어버리지 않는다는 것을 의미하는 멋진 표현입니다.

문제는 새로운 에이전트 데이브가 나중에 질문을 가지고 나타날 때 발생합니다. 데이브는 앨리스, 밥, 찰리가 어떤 노트를 썼는지 모릅니다. 그는 단지 질문 하나만을 가지고 있을 뿐입니다. 만약 데이브가 공책 전체를 한꺼번에 읽으려고 시도한다면, 노트들이 서로 간섭하게 됩니다. 이는 마치 모든 사람이 동시에 속삭이고 있는 붐비는 방 안에서 한 사람의 속삭임을 들으려고 애쓰는 것과 같습니다. 목소리들이 뒤섞여 웅얼거리는 소음이 되어버립니다. 저자들은 이 "페이지가 붙어버린" 접근 방식이 도서관이 커질수록 점점 더 악화된다는 것을 발견했습니다. 도서관에 노트가 단 두 개만 있어도 답변은 거의 신뢰할 수 없게 됩니다. 노트가 여덟 개가 되면 정확도는 0으로 추락합니다. 정보는 여전히 그곳에 있지만, 독자가 그것을 분리해낼 수 없는 것입니다.

해결책: MaSRead (The "Magic Mask")

이를 해결하기 위해 저자들은 MaSRead(Masked Signature Read)를 발명했습니다. 엉망이 된 공책 전체를 읽으려고 하는 대신, MaSRead는 **콘텐츠 주소 지정(Content Addressing)**과 **하드 마스킹(Hard Masking)**이라는 영리한 2단계 트릭을 사용합니다.

먼저, 콘텐츠 주소 지정에 대해 이야기해 봅시다. 노트는 투명한 잉크로 쓰여 있기 때문에, 매운 고추에 대한 노트를 찾기 위해 단순히 "매운"이라는 단어를 검색할 수는 없습니다. 대신, 저자들은 모든 노트에 비밀 태그로 구성된 고유하고 불투로 된 "지문"을 부여합니다. 이 태그들은 노트 내부의 단어들로부터 파생된 일련의 투명한 바코드와 같습니다. 데이브가 질문을 가질 때, 그는 자신의 질문으로부터 자신만의 바코드 세트를 생성합니다. 그러면 시스템은 그의 바코드와 겹치는 노트를 찾습니다. 이는 보물을 직접 찾는 것이 아니라, 당신의 단서와 일치하는 지도 조각을 찾는 보물 찾기와 같습니다. 이것은 단어(또는 그들의 비밀 태그)에 의존하기 때문에 **렉시컬 라우팅(lexical routing)**이라고 불립니다.

둘째, 시스템이 적절한 노트를 찾으면 **하드 어텐션 마스크(Hard Attention Mask)**를 사용합니다. 도서관이 긴 두루마리라고 상상해 보십시오. 데이브가 앨리스의 노트를 읽고 싶을 때, MaSRead는 단순히 두루마리 전체를 보는 것이 아닙니다. 앨리스의 페이지를 제외한 나머지 모든 페이지 위에 무겁고 불투명한 마스크를 씌웁니다. 이는 독자가 오직 그 하나의 페이지에만 집중하도록 강제하며, 밥과 찰리의 소음으로부터 차단합니다. 이를 통해 답변이 다른 것들의 간섭 없이 데이브가 요청한 특정 노트로부터 순수하게 나오도록 보장합니다.

연구 결과

저자들은 다양한 유형의 "도서관"을 사용하여 이 시스템을 테스트했습니다:

• 단순 체인(Simple Chains): 한 노트가 다음 노트로 이어지는 구조.
• 파이프라인(Pipelines): 노트들이 조립 라인처럼 서로에게 공급되는 구조.
• 대칭 시스템(Symmetric Systems): 모든 노트가 한꺼번에 연결된 구조.
• 허브(Hubs): 하나의 큰 노트가 여러 작은 노트들과 연결된 구조.

이 테스트에서 "페이지가 붙어버린" 방식(모든 것을 한꺼번에 읽는 방식)은 도서관이 커질수록 특히 최악의 결과를 보였습니다. 하지만 MaSRead는 영웅이었습니다. 도서관에 완전히 관련 없는 수십 개의 방해되는 노트(오염)를 추가했음에도 불구하고, MaSRead는 정확도를 약 90% 수준으로 높게 유지했습니다. "지문" 검색이 그 잡동사니들을 잡아내지 못하고 "마스크"가 그것들을 통과시키지 않았기 때문에, MaSRead는 잡동사니를 성공적으로 무시할 수 있었습니다.

또한 저자들은 실제 언어 질문(다단계 퀴즈 등)을 대상으로 테스트했습니다. 도서관이 깨끗할 때는 MaSRead도 괜찮았지만, 때로는 "페이지가 붙어버린" 방식이 모든 것을 볼 수 있기 때문에 약간 더 나은 모습을 보이기도 했습니다. 그러나 "방해 요소"(같은 주제이지만 오답을 담고 있는 노트)를 추가하자마자, 기존 방식은 무너졌지만 MaS-Read는 굳건히 버텼습니다. 이는 MaSRead가 **오염에 강하다(robust against contamination)**는 것을 증명합니다.

한계: 읽기 vs. 답하기

이 논문은 MaSRead가 하지 못하는 것에 대해서도 매우 솔직합니다. 이 기술은 적절한 정보를 찾고 격리하는 문제를 해결합니다. 하지만 이것이 AI가 그 정보를 이해하고 결합하여 완벽한 답을 낼 것까지 보장하지는 않습니다.

정보의 "허브"를 다룬 한 테스트에서, MaSRead는 필요한 모든 사실을 성공적으로 찾고 격리했습니다. 사실들은 깨끗하게 준비되어 있었습니다. 그러나 AI가 그 사실들을 결합하여 수학 문제를 풀려고 했을 때, 정답률은 **40%**에 불과했습니다. 규칙을 따르는 단순한 컴퓨터 프로그램("기호적 합성기", symbolic composer)은 **99%**의 정답률을 기록했습니다. 이는 "읽기" 부분은 완벽하게 작동하지만, "생각하기"(답을 합성하는 과정)는 도서관이 아닌 AI 자신의 뇌 능력에 의해 제한된다는 것을 보여줍니다.

결론

MaSRead는 공유된 숨겨진 AI 생각의 도서관을 읽는 방법에 있어서 획기적인 돌파구입니다. 이는 단순히 생각들을 쌓아두고 그것들이 이해되기를 바랄 것이 아니라, 그 내용으로 **주소를 지정(address)**하고 그것들을 분리하기 위해 **마스킹(mask)**해야 한다는 것을 증명합니다.

• 작동하는 것: 지저지고 거대한 더미 속에서 올바른 노트를 찾고, 그것을 독립적으로 읽어내는 것. (단, 찾고자 하는 바늘이 어떤 모양인지 모른다면 찾을 수 없습니다.)
• 작동하지 않는 것: 만약 필요한 노트가 질문과 단어(또는 태그)를 공유하지 않는다면, 시스템은 그것을 찾을 수 없습니다. 이는 건초더미 속에서 바늘을 찾는데, 바늘이 어떻게 생겼는지 모르는 것과 같습니다.
• 주의점: 적절한 사실들을 찾아냈다고 해서 AI가 그것들을 어떻게 조합하여 문제를 풀지 자동으로 알게 되는 것은 아닙니다. 그 부분은 여전히 독자의 지능에 달려 있습니다.

요약하자면, MaSRead는 우리가 보이지 않는 생각들의 깨끗하고 조직된 도서관을 구축할 수 있는 방법을 제공하지만, 우리는 여전히 그 도서관에서 찾은 책들로 좋은 이야기를 써 내려가는 법을 사서에게 가르쳐야 합니다.