당신에게 세상에 대해 아주 많이 알고 있는 똑똑한 로봇 친구가 있다고 상상해 보세요. 하지만 당신이 방금 새로 산 특정 책에 대해 물어보면, 그 로봇은 그 안에 무엇이 들어있는지 전혀 모릅니다. 보통 이 책에 대한 질문에 답하기 위해서는 "검색 엔진" 방식을 사용해야 합니다. 즉, 적절한 페이지를 찾고, 텍ently 텍스트를 복사해서 로봇의 프롬프트에 붙여넣어 로봇이 읽을 수 있게 하는 것이죠. 이것을 검색 증강 생성(RAG)이라고 부릅니다. 이 방식도 작동은 하지만, 질문을 던질 때마다 무거운 도서관 카드 목록을 매번 들고 다녀야 하는 것과 같습니다. 느리고, 때로는 검색 엔진이 엉뚱한 페이지를 가져오기도 하죠.

만약 검색하는 대신, 로봇에게 그 책을 아주 잘 암기하도록 가르쳐서 다시는 텍스트를 들여다보지 않고도 질문에 답할 수 있게 만든다면 어떨까요? 이것을 "내재화(internalizing)"라고 합니다. 당신이 읽게 될 논문은 바로 이 점을 탐구합니다. 특정 문서 집합을 LoRA라는 특별하고 가벼운 학습 기법을 사용하여 로봇의 뇌 속에 직접 구워 넣는 방법을 말이죠. 핵심 질문은 이겁니다: 이를 어떻게 효과적으로 수행할 것인가? 로봇의 뇌를 더 크게 만드는 것이 관건일까요? 아니로 더 똑똑한 검색 알고리즘을 사용하는 것일까요? 아니면 훨씬 더 단순한 방법일까요?

---

위대한 기억력 대결 (The Great Memory Bake-Off)

이 논문은 연구자들이 언어 모델에게 특정 문서 모음에 대해 질문에 답하도록 가르치되, 실제 테스트 중에는 해당 문서들을 전혀 보지 못하게 하는 인공지능의 특정 영역을 깊이 있게 파고듭니다. 이는 마치 학생이 "오픈북"이 아닌 "클로즈드 북(closed-book)" 시험을 치르는 것과 같습니다. 학생은 노트를 볼 수 없으며, 오직 이전에 공부하고 암기한 것에만 의존해야 합니다.

연구진은 Gemma-4-e4b(더 큰 뇌를 압축하여 효율적으로 만든 4비트 버전)라는 모델을 사용하였고, LoRA 어댑터를 사용하여 최대 99개의 문서를 그 지식으로 직접 "구워(bake)" 넣으려고 시도했습니다. 이 어댑터들은 모델의 전체 뇌를 다시 쓰는 대신 새로운 사실을 가르치는 작고 탈착 가능한 학습 모듈과 같습니다. 목표는 이 "내재화된" 기억이 속도와 정확도 측면에서 전통적인 검색 방식(RAG)을 이길 수 있는지 확인하는 것이었습니다.

거대한 반전: 문제는 뇌의 크기가 아니었다

연구진은 아주 작은 학습 세트(문서 1개)부터 큰 학습 세트(문서 99개)까지 모든 것을 시도하며 약 100번의 서로 다른 학습 실험을 진행했습니다. 그들은 성공의 열쇠가 "용량(capacity)", 즉 정보를 담기 위해 학습 모듈을 더 크거나 복잡하게 만드는 것에 있을 것이라고 예상했습니다. 그들은 "문서가 많아지면, 그것을 담을 더 큰 뇌가 필요하겠지?"라고 생각했습니다.

하지만 그들은 틀렸습니다.

논문에 따르면, 일단 학습 모듈(LoRA 어댑터)이 정보를 담기에 충분히 커지고 나면, 그보다 더 크게 만드는 것은 별로 도움이 되지 않았습니다. 진짜 비법은 뇌의 크기나 아키텍처의 복잡성이 아니었습니다. 그것은 바로 학습 노트의 품질이었습니다.

가장 생생한 발견은 다음과 같습니다. 연구진은 15개의 문서로 구성된 데이터셋을 사용했습니다. AI가 생성한 지저치고 길며 잡다한 정보가 가득한 학습 노트를 사용했을 때, 로봇의 클로즈드 북 정확도는 실망스러운 **57.7%**였습니다. 이는 마치 너무 많은 각주와 무관한 농담이 섞인 교과서로 시험 공부를 하는 것과 같았습니다.

하지만, 그들은 간단한 "큐레이션 과정"을 거쳤습니다. 데이터를 검토하며 두 가지 작업을 수행했습니다:

1. 정답을 짧고 강렬한 구절(1~6단어)로 줄였습니다.
2. 중요하지 않은 잡다한 정보와 무작위 사실들을 모두 버렸습니다.

그러자 갑자기 정확도가 **85.7%**로 치솟았습니다. 단지 데이터를 정리했을 뿐인데 28포인트나 상승한 것입니다. 이 단 한 번의 변화가 그 어떤 화려한 아키텍처의 수정이나 학습 규모의 확대보다 더 강력했습니다. 논문은 만약 당신의 학습 노트가 어수선하다면, 아무리 강력한 "두뇌 능력"도 당신을 구원할 수 없다고 주장합니다.

"너무 커서 들어가지 않는" 문제

데이터 품질이 주인공이었지만, 논문은 크기에 관한 한 가지 규칙을 찾아냈습니다: 도서관이 커지면 학습 모듈도 커져야 한다는 것입니다.

그들이 25개를 담도록 설계된 모듈에 50개의 문서를 넣으려고 했을 때, 성능이 급락했습니다. 이는 마치 25인용 배낭에 50개의 여행 가방을 쑤셔 넣으려는 것과 같아서, 모든 것이 뒤섞이고 로봇이 사실을 혼동하기 시작했습니다(이를 "미스 바인딩(mis-binding)" 현상이라고 합니다). 이를 해결하기 위해 그들은 학습 모듈의 크기(rank)를 두 배로 키워야 했습니다.

그러나 그들은 또한 까다로운 부작용을 발견했습니다. 모듈을 더 크게 만들었을 때, 그들은 더 조심스럽게 가르쳐야 했습니다. 만약 큰 모듈에 대해 작은 모듈과 동일한 "학습 속도(learning rate)"를 사용한다면, 로봇은 모든 것을 잊어버렸습니다. 그들은 큰 모듈이 제대로 학습할 수 있도록 학습 과정을 늦춰야 했습니다. 이는 그들이 모듈이 단순히 "너무 꽉 찼다"고 생각할 뻔했던 흔한 실수였는데, 실제로는 단지 너무 빠르게 가르쳤던 것이었습니다.

검색 엔진을 이기다

마지막으로, 연구진은 이 "암기" 방식이 표준적인 "검색 후 읽기" 방식보다 실제로 더 나은지 알고 싶었습니다.

그들은 15개 문서 코퍼스를 대상으로 실제 환경에서의 경주를 설정했습니다.

• 검색 엔진 (BM25-RAG): 이 방식은 첫 번째 시도에서 올바른 페이지를 53%의 확률로만 찾아냈습니다. 설령 올прав은 페이지를 찾더라도, 로봇이 정답을 맞힌 확률은 58.9%에 불과했습니다.
• "완벽한" 검색 (Oracle): 심지어 로봇에게 정확히 읽어야 할 페이지를 제공했을 때조차(현실적인 최선의 시나리오), 로봇은 65.6%의 확률로만 정답을 맞혔습니다.
• 내재화된 로봇: 문서를 직접 암기한 로봇은 **84.2%**의 확률로 정답을 맞혔습니다.

내재화된 로봇은 더 정확했을 뿐만 아니라 훨씬 더 빨랐습니다. 검색 방식은 질문 하나당 거의 3초가 걸린 반-로, 내재화된 로봇은 0.3초에서 0.8초 사이가 걸렸습니다. 이는 서가로 걸어가 책을 찾고 읽어야 하는 사서와, 책의 내용을 이미 머릿속에 외우고 있는 사람을 비교하는 것과 같았습니다.

요점 (The Takeaway)

이 논문은 우리가 AI를 어떻게 훈련시키는지 디버깅하는 사례 연구입니다. 저자들은 처음에 데이터의 문제가 아니라 모델의 크기나 텍스트의 길이를 탓했던 자신들의 실수를 인정하며, 실제 원인은 지저한 데이터였다고 말합니다.

핵심 교훈은 명확합니다: 데이터 품질이 왕입니다. 만약 당신이 특정 문서들을 검색 없이 기억하게 하고 싶다면, 단순히 더 많은 컴퓨팅 파워를 쏟아붓지 마세요. 대신, 학습 데이터를 정제하세요. 답변을 짧게 만들고, 군더더기를 제거하며, 사실 관계를 명확히 하세요. 일단 데이터가 깨끗해지고 학습 모듈이 충분히 커지면, 로봇은 도서관에서 정보를 찾는 것보다 더 잘 그 내용을 학습할 수 있습니다.

비록 이 논문이 단 하나의 "시드(seed, 특정 무작위 시작점)"와 작은 데이터셋(최대 99개 문서)에 기반하고 있다는 점을 언급하고 있지만, 결과는 강력한 신호를 보냅니다. 즉, 클로즈드 북 작업에서는 정교하게 큐레이션된 단순한 접근 방식이 복잡하고 지저분한 방식보다 항상 승리한다는 것입니다.