A Storage-Retrieval Gap in Parametric Knowledge Graph Memory

거대 언어 모델은 질문에 답하고 글을 쓸 수 있는 강력한 도구이지만, 근본적인 한계가 있습니다. 바로 초기 학습 과정에서 배운 것만을 알고 있다는 점입니다. 만약 모델이 새로운 영화의 출연진이나 산업용 기계의 사양과 같이 최신의 구체적인 사실을 알아야 한다면, 대개 질문을 받는 순간 그 정보를 제공받아야 합니다. 이를 수행하는 표준적인 방법은 '검색 증강 생성(retrieval-augmented generation)'이라고 불립니다. 이 과정에서 시스템은 데이터베이스에서 관련 사실을 찾아 대화 속에 붙여넣고, 모델에게 이를 읽고 답을 제공하도록 요청합니다. 이 방식은 효과적이긴 하지만 두 가지 단점이 있습니다. 첫째, 방대한 양의 텍스트를 대화창에 붙여넣는 것은 '컨텍스트 윈도우(context window)'라고 불리는 제한된 공간을 소모하여 속도를 늦추고 비용을 발생시킵니다. 둘째, 원시 데이터를 모델이 실행되는 컴퓨터로 전송해야 하므로, 해당 데이터가 민감하거나 독점적인 정보일 경우 보안 위험이 발생할 수 있습니다.

연구자들은 다른 아이디어를 탐구해 왔습니다. 사실을 매번 대화에 붙여넣는 대신, 그 사실들을 모델의 메모리에 직접 심어 넣을 수는 없을까 하는 점입니다. 모델을 하나의 도서관이라고 상상해 보십시오. 표준적인 방법은 질문이 들어올 때마다 사서에게 책 한 권을 건네주는 것입니다. 새로운 접근 방식은 도서관 안에 모든 주제에 대한 특정 책장을 영구적으로 설치하여, 사서가 책 자체를 직접 보지 않고도 적절한 책장에서 책을 꺼내 읽을 수 있게 할 수 있는지 묻는 것입니다. 이 논문은 지식 그래프, 즉 영화, 인물, 그리고 그들의 관계와 같은 사실들에 대한 구조화된 지도를 대상으로 이것이 가능한지를 조사합니다. 연구진은 이 지도의 작은 조각을 가져와 모델의 내부 설정에 대한 아주 작은 조정값으로 변환한 뒤, 그곳에 저장할 수 있는지 알고 싶어 했습니다. 만약 성공한다면, 모델은 특정 영화의 데이터를 전혀 보여주지 않고도, 단지 적절한 내부 조정을 '착용'하는 것만으로 그 영화에 관한 질문에 답할 수 있게 됩니다.

연구팀은 영화 정보 데이터셋을 사용하여 이 아이디어를 테스트했습니다. 그들은 감독, 개봉 연도, 배우와 같은 개별 영화의 세부 사항을 가져와 이러한 사실들을 텍스트로 변환했습니다. 그런 다음 '로우 랭크 적응(low-rank adaptation)'이라는 기술을 사용하여 각 영화를 위한 작고 특화된 가중치 세트를 훈련시켰습니다. 이 가중치들을 해당 영화의 세부 사항을 알 수 있도록 모델의 행동을 미세하게 조정하는 고유하고 미세한 '지문(fingerprint)'이라고 생각하면 됩니다. 그들은 150개의 서로 다른 영화 각각에 대해 하나씩, 총 150개의 지문 뱅크를 만들었습니다. 결정적인 테스트는 모델이 영화의 텍스트나 다른 어떤 정보도 보여받지 않은 상태에서, 해당 영화의 지문을 '착용'했을 때 그 영화에 관한 질문에 답할 수 있는지 확인하는 것이었습니다.

결과는 이 방법이 지식을 저장하는 데 효과적임을 보여주었습니다. 모델이 특정 영화의 올바른 지문을 부여받았을 때, 영화의 데이터를 한 번도 본 적이 없음에도 불구하고 높은 정확도로 해당 영화에 관한 질문에 답할 수 있었습니다. 실제로 감독이나 개봉 연도와 같은 단일 사실에 관한 질문의 경우, 모델의 성능은 거의 제로에 가까운 수준에서 강력한 성공률로 급증했습니다. 이는 모델이 단순히 제시된 정보를 읽는 법을 배운 것이 아니라, 사실을 진정으로 학습하여 자신의 구조 내부에 저장했음을 입증했습니다. 이 지식은 특정 영화에 국한되었습니다. 만약 모델이 다른 영화의 지문을 착용했다면 질문에 답할 수 없었으며, 무작위로 훈련되지 않은 지문을 착용했을 때는 이전보다 성능이 더 떨어졌습니다. 이는 정보가 특정 엔티티를 위한 조정값 안에 진정으로 잠겨 있음을 확인시켜 주었습니다.

하지만 이 연구는 중대한 난관도 밝혀냈습니다. 지식을 저장할 수는 있었지만, 그것을 쉽게 찾아낼 수는 없었습니다. 연구진은 질문을 보고 어떤 지문을 사용해야 할지 결정하려고 시도했습니다. 그들은 텍el 의미를 기반으로 질문과 가장 유사한 영화를 매칭하는 방법과, 수학적 형태를 기반으로 질문과 가장 유사한 지문을 매칭하는 방법을 모두 시도했습니다. 두 방법 모두 완전히 실패했습니다. 시스템은 무작위 추측보다 나은 성과를 내지 못했습니다. 그 이유는 지식이 로컬(local)로 저장되며 전이되지 않기 때문입니다. 설령 두 영화가 매우 유사하더라도(예를 들어 같은 감독이 만들었거나 같은 장르에 속하더라도), 그들의 지문은 완전히 다릅니다. 한 영화의 지문은 다른 영화에 대한 질문에 대한 답을 포함하지 않습니다. 영화들이 영화계에서 서로 가까운 이웃이라 할지라도 마찬가지입니다. 지문 사이의 수학적 거리는 영화가 얼마나 유사한지를 반영할 수는 있지만, 어떤 지문이 특정 질문에 대한 답을 가지고 있는지는 알려주지 않습니다.

이는 저장과 검색 사이의 간극을 만들어냅니다. 연구진은 대화 공간을 소모하지 않고도 모델의 가중치에 지식을 저장할 수 있음을 증명했지만, 현재로서는 이미 무엇이 필요한지 알고 있지 않은 상태에서 적절한 저장 단위를 자동으로 찾는 방법이 없습니다. 실제 시스템에서는 여전히 별도의 도구를 사용하여 올바른 영화 제목을 찾아내고 적절한 지문을 선택해야 하겠지만, 일단 그렇게 되면 모델은 원시 데이터를 다시 볼 필요 없이 질문에 답할 수 있습니다. 이는 원시 데이터가 대화 중에 모델로 전송될 필요가 없으므로 개인정보 보호와 효율성 측면에서 잠재적인 이점을 제공합니다. 그러나 이 접근 방식이 모든 문제에 대한 마법 같은 해결책은 아닙니다. 지문을 만드는 데 일회성 비용이 들며, 지문이 차지하는 저장 공간은 그들이 나타내는 텍스트보다 훨씬 큽니다. 따라서 이 방식은 끊임없이 변하는 정보보다는 자주 질문되는 안정적인 데이터 세트에 가장 유용합니다.

연구는 지식 그래프를 파라메트릭 메모리(parametric memory)로 성공적으로 전환할 수는 있지만, 복잡한 질문을 위해 적절한 메모리 조각을 자동으로 선택하고 결합하는 과제는 여전히 해결되지 않은 상태로 남아 있다고 결론짓습니다. 단일 항목에 대한 단순한 질문에는 이 방법이 잘 작동하지만, 여러 항목에 걸친 정보를 연결해야 하는 질문의 경우 시스템은 아직 어떤 메모리들을 조합해야 할지 판단하지 못합니다. 연구진은 다음 단계가 단순한 유사성에 의존하는 것이 아니라, 어떤 지문을 사용하고 그것들을 어떻게 섞어야 할지 결정할 수 있는 학습 메커니즘을 개발하는 것이라고 제안합니다. 이 문제가 해결되기 전까지, 스스로 사실의 도서관을 소지하고 다니는 모델의 약속은 절반만 실현된 것입니다. 책들은 서가에 꽂혀 있지만, 사서는 여ยัง 그것을 찾기 위한 안내 색인이 필요합니다.