MegaMem: A Retrieval Solution for Ultra-Large Context Windows
MegaMem은 시맨틱 검색과 제한된 증거 추출을 분리함으로써 초거대 지속 메모리(최대 10억 토큰)에 대한 정확한 생성을 가능하게 하는 소스 해결형 듀얼 뷰 검색 시스템으로, EnterpriseRAG-Bench에서 상당한 성능 향상을 달성했습니다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
현대 인공지능은 질문에 답하는 데 매우 뛰어나게 발전했지만, 근본적인 한계에 직면해 있습니다. 바로 한 번에 활성 "정신"에 담을 수 있는 정보의 양이 제한되어 있다는 점입니다. 거대한 도서관의 전체 내용을 머릿속에 동시에 간직하면서 단 한 권의 책을 읽으려고 노력하는 모습을 상상해 보십시오. 더 많은 책을 기억하려고 할수록, 실제로 읽고 있는 그 한 권에 집중하는 것은 더 어려워집니다. 수년 동안 연구자들은 컴퓨터의 즉각적인 주의력 밖에 방대한 양의 데이터를 저장해 두었다가, 질문이 던져질 때만 필요한 특정 페이지를 검색하는 시스템을 구축함으로써 이 문제를 해결하려 노력해 왔습니다. 이 방식은 작은 규모의 컬렉션에는 효과적이지만, 소프트웨어 회사의 전체 코드나 기업 기록 수년 치와 같이 라이브러리가 수억 페이지에 달할 정도로 커지면 무너지기 시작합니다. 문제는 단순히 그 거대한 더미 속에서 올바른 페이지를 찾는 것뿐만 아니라, 컴퓨터를 너무 많은 텍스트로 압도하여 속도를 늦추거나 답변을 혼란스럽게 만들지 않으면서 찾아내는 것입니다.
한 연구팀은 이 특정한 문제를 해결하기 위해 '메가멤(MegaMem)'이라 불리는 새로운 시스템을 개발했습니다. 그들의 연구는 인공지능이 거대하고 지속적인 메모리를 처리할 때 발생하는 결정적인 병목 현상을 다룹니다. 팀은 컴퓨터가 질문을 받을 때마다 수백만 개의 문서를 억지로 읽게 만드는 대신, 검색하는 행위와 답변하는 행위를 분리하는 2단계 프로세스를 만들었습니다. 그들은 먼저 고도로 응축된 요약본을 사용하여 정보를 찾고, 유망한 단서가 발견된 후에만 상세한 전체 텍스트를 검색하는 시스템을 구축했습니다. 이를 통해 시스템은 수억 단어가 포함된 라이브러리를 검색하면서도, 답변을 생성하기 위해 컴퓨터에 입력하는 텍스트의 양은 적고 관리 가능한 수준으로 유지할 수 있습니다.
연구진은 이 시스템을 약 6억 5천만 단어에 달하는 50만 개 이상의 실제 기업 문서 데이터셋을 통해 테스트했습니다. 이 컬렉션에는 기술 매뉴얼과 법률 계약서부터 회의록과 제품 사양서에 이르기까지 모든 것이 포함되었습니다. 실험에서 그들은 메가멤을 원본 문서를 직접 검색하려고 시도하는 표준 방식들과 비교했습니다. 결과는 놀라웠습니다. 이 거대한 라이브러리 내에서 정보를 찾도록 요청되었을 때, 시스템은 전반적인 답변의 품질을 약 68%에서 82% 이상으로 성공적으로 향상시켰습니다. 더 중요한 것은, 라이브러리의 크기가 2,000만 단어에서 2억 5,000만 단어로 증가함에 따라에도 높은 수준의 정확도를 유지했다는 점입니다. 이는 이 시스템이 높은 정확도를 잃지 않으면서 소규모 국가의 전체 저작물 규모에 육박하는 라이브러리까지도 처리할 수 있음을 입증했습니다.
이 성공의 비결은 시스템이 정보를 조직하고 검색하는 방식에 있습니다. 라이브러리가 처음 구축될 때, 컴퓨터는 모든 문서를 읽고 두 가지 다른 버전의 데이터를 생성합니다. 한 버전은 원래 쓰인 그대로의 상세한 원본 텍스트입니다. 두 번째 버전은 해당 문서들의 주요 아이디어, 사실, 절차를 포착한 정제되고 압축된 노트 세트입니다. 사용자가 질문을 하면, 시스템은 먼저 이 압축된 노트를 검색합니다. 노트는 짧고 집중되어 있기 때문에, 컴퓨터는 수백만 단어에 달하는 전체 라이브러리를 순식간에 훑어볼 수 있습니다. 만약 검색이 관련 있는 노트를 찾아내면, 시스템은 고유 식별자를 사용하여 그 노트가 온 정확한 원본 문서를 찾아냅니다. 시스템은 최종 답변을 구성하는 데 도움이 될 구체적이고 변형되지 않은 증거만을 추출합니다. 이를 통해 컴퓨터는 관련 없는 정보에 의해 방해받지 않으면서도 정밀한 증거를 확보할 수 있습니다.
연구진은 또한 이 방법이 기존의 접근 방식보다 훨씬 더 효율적이라는 것을 발견했습니다. 압축된 노트를 사용하여 검색을 안내함으로써, 시스템은 답변 하나를 위해 처리해야 하는 텍스트의 양을 거의 70% 줄였음에도 불구하고, 전체 문서를 모두 읽었을 때와 거의 유사한 정확도의 답변을 만들어냈습니다. 이러한 효율성은 시스템이 관리하는 메모리가 커지더라도 빠르고 반응성 있게 유지될 수 있다는 점에서 매우 중요합니다. 또한 연구는 거대한 라이브러리를 다룰 때의 주된 어려움은 컴퓨터가 텍스트를 일단 찾은 뒤에 그것을 이해하는 능력이 아니라, 올바른 텍ex스트를 찾는 것 자체에 있다는 것을 밝혀냈습니다. 라이브러리가 커짐에 따라 성능이 약간 저하되기도 했으나, 이는 컴퓨터가 발견한 증거를 이해하지 못해서가 아니라 더 많은 방해 요소들 사이에서 올-바른 증거를 찾아내는 과정의 어려움 때문이었습니다.
시스템의 신뢰성을 보장하기 위해 연구진은 컴퓨터가 자신의 답변을 검토하고 어떤 문서가 자신의 주장을 뒷받침하는지 식별하는 마지막 단계를 추가했습니다. 이 과정은 검색되었지만 실제로 사용되지 않은 출처들을 걸러내어, 더 깔끔하고 정확한 참조 목록을 만들어냈습니다. 팀은 여러 문서에 걸친 복잡한 추론이나 상충하는 정보가 포함된 질문 등 다양한 유형의 질문으로 시스템을 테스트했습니다. 모든 경우에서, 요약본을 먼저 검색한 후 세부 사항을 추출하는 2단계 접근 방식이 원본 텍스트를 직접 검색하려는 방식보다 우수함을 입증했습니다. 이 연구는 인공지능이 진정으로 조직을 위한 장기 기억으로서 기능하기 위해서는, 검색할 수 있는 규모와 한 번에 읽을 수 있는 규모를 분리해야 함을 시사합니다. 그렇게 함으로써, 메가멤은 현대 기업의 방대하고 복잡한 역사를 소음 속에서 길을 잃지 않고 기억하고 추론할 수 있는 시스템을 구축하기 위한 실질적인 경로를 제시합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.