A Framework for Dynamic Memory Management and Personalized Agent Decision-Making in Retrieval- Augmented Generation

급격히 진화하는 인공지능의 세계에서 대규모 언어 모델은 인간과 유사한 텍스트를 생성하고, 질문에 답하며, 대화를 나누는 데 매우 능숙해졌습니다. 그러나 이러한 시스템은 근본적인 한계에 직면해 있습니다. 바로 자연스럽게 성장하거나 대화를 통해 적응하지 못하는 정적인 지식 기반을 가지고 있다는 점입니다. 사용자가 며칠 또는 몇 주에 걸쳐 일련의 질문을 던질 때, 모델은 종종 이전의 세부 사항을 잊어버리고, 각 상호작용을 새로운 시작으로 취급하며, 사용자가 이미 무엇을 알고 있는지 또는 무엇을 선호하는지를 기억하지 못합니다. 이를 해결하기 위해 연구자들은 이러한 강력한 언어 모델을 외부 데이터베이스와 결합하는 방법인 검색 증강 생성(retrieval-augmented generation)이라는 방법을 개발했습니다. 이를 통해 AI는 답변하기 전에 사실을 찾아볼 수 있게 되었지만, 이러한 개선된 시스템조차도 긴 대화 속에서 일관된 이야기를 유지하거나 개별 사용자의 특정 요구와 학습 스타일에 맞춤화된 응답을 제공하는 데는 여전히 어려움을 겪는 경우가 많습니다.

중국의 헤치 대학교(Heichi University)와 말레이시아의 INTI 국제 대학교(INTI International University) 연구진은 이러한 구체적인 격차를 해결하기 위해 설계된 새로운 프레임워크를 제안했습니다. 그들은 이 시스템을 DMAP-RAG라고 부르며, 이는 검색 과정에 동적 메모리 관리와 개인화된 의사결정을 통합하는 구조입니다. 대화를 단순히 과거 메시지의 목록으로 취급하는 대신, 연구진은 정보를 성장하는 나무처럼 조직하여 최근의 상호작용과 장기적인 이력을 분리하는 시스템을 구축했습니다. 이를 통해 AI는 채팅의 즉각적인 맥락을 기억하는 동시에, 며칠 또는 몇 주 전의 요약된 사건들을 구조화된 방식으로 저장할 수 있습니다. 또한, 이 시스템은 사용자가 말하는 동안 사용자의 지식 수준, 선호하는 학습 스타일, 관심 분야를 기록하며 프로필을 능동적으로 구축하고, 이 프로-파일을 사용하여 정보를 어떻게 검색할지, 그리고 최종 답변을 어떻게 구성할지를 결정합니다.

연구진은 학술 연구 질문, 복잡한 다단계 추론 작업, 그리고 컴퓨터 프로그래밍 교육을 위해 특별히 제작된 데이터셋을 포함한 여러 가지 시나리오에서 이 프레임워크를 테스트했습니다. 이 테스트에서 새로운 시스템은 기존 방식들을 지속적으로 능가했습니다. 과학 논문을 바탕으로 질문에 답하도록 요청받았을 때, 이 시스템은 기존 방식보다 크게 향상된 78.9%의 점수를 기록했습니다. 여러 문서에 걸친 정보를 연결해야 하는 테스트에서는 66.1%의 지식 정확도 점수에 도달했습니다. 가장 주목할 만한 점은, 인간 평가자들이 대화의 품질을 판단했을 때, 시스템의 주제 유지 능력과 논리적 일관성은 5점 만점에 4.4점을, 응답의 개인화 능력은 4.3점을 받았습니다. 이러한 결과는 AI에게 구조화된 기억 방식과 대화 상대방을 이해하는 구체적인 방식을 부여함으로써, 시스템이 더욱 자연스럽고 도움이 되는 안내를 제공할 수 있음을 시사합니다.

이러한 개선의 핵심은 시스템이 메모리를 처리하는 방식에 있습니다. 연구진은 모든 과거 메시지를 평평하고 무질서한 목록으로 저장하는 대신, 이중 저장 시스템을 만들었습니다. 한 부분은 대화의 마지막 10번의 교환 내용을 보유하여 AI가 즉각적인 맥락을 이해할 수 있도록 하는 단기 캐시 역할을 합니다. 대화가 중단되거나 종료되면, 시스템은 이 교환 내용들을 요약하여 장기 메모리 뱅크로 이동시킵니다. 이 장기 뱅크는 단순한 텍스트 폴더가 아닙니다. 이는 관련 주제들이 서로 가지를 치며 뻗어 나가는 트리 구조로 조직되어 있습니다. 만약 사용자가 오늘 특정 개념에 대해 질문하고 다음 주에 다시 돌아와 관련 질문을 한다면, 시스템은 이 트리를 탐색하여 연결 고리를 찾아낼 수 있으며, 관련 없는 데이터의 바다 속에서 길을 잃지 않습니다. 이 구조는 AI가 휴식기 이후 대화의 흐름을 잊어버리는 흔한 문제를 피하도록 도와줍니다.

이 메모리 시스템과 더불어, 연구진은 사용자의 프로필을 지속적으로 업데이트하는 모듈을 구현했습니다. 사용자가 말함에 따라 시스템은 그들의 배경에 대한 단서를 찾습니다. 만약 사용자가 기초적인 개념에 대해 간단한 질문을 던지면, 시스템은 그들을 초보자로 추론합니다. 만약 사용자가 기술적인 용어를 사용하거나 복잡한 디버깅 문제에 대해 질문하면, 시스템은 그들의 전문성 평가를 상향 조정합니다. 또한 학습 선호도를 추적합니다. 만약 사용자가 비유나 시각적 설명에 잘 반응한다면, 시스템은 이를 "시각적 학습자"로 기록합니다. 이 프로필은 고정된 것이 아니라 모든 상호작용과 함께 성장하고 변화합니다. 시스템이 질문에 답할 준비가 되면, 이 프로필을 참조하여 응답을 어떻게 구성할지 결정함으로써, 초보자에게는 쉬운 설명을 제공하고 전문가에게는 상세한 기술적 분석을 제공하도록 보장합니다.

프레임워크의 마지막 조각은 운영의 두뇌 역할을 하는 에이전트 결정 코어(agent decision core)입니다. 답변을 생성하기 전에, 이 구성 요소는 시스템이 정보를 찾아봐야 할지, 아니면 이미 알고 있는 내용으로 답변할 수 있을지를 결정합니다. 이는 질문의 복잡성, 사용자의 지식 수준, 현재 대화 상태와 같은 요소들을 검토합니다. 검색이 필요한 경우, 시스템은 원래의 쿼리에 사용자의 프로피과 최근 이력을 결 сочета하여, 검색에 더 효과적이도록 사용자의 질문을 재작성합니다. 이는 검색된 정보가 단순히 입력된 단어에만 관련되는 것이 아니라, 질문하는 특정 개인에게도 맞춤화되도록 보장합니다. 관련 정보가 수집되면, 시스템은 이를 일관되고 정확하며 개인화된 최종 응답으로 합성합니다.

C 프로그래밍 언어를 배우는 학생을 대상으로 한 특정 테스트 사례에서, 이 새로운 시스템과 기존 방식의 차이가 명확히 드러났습니다. 스스로를 시각적 학습자라고 밝힌 학생이 함수가 왜 가끔 값을 변경하지 못하는지 묻자, 표준 시스템은 "값에 의한 전달(pass-by-value)"에 대한 건조하고 기술적인 정의를 제공했습니다. 그러나 새로운 시스템은 학생이 시각적 학습자이며 이전에 포인터에 대해 논의했다는 사실을 기억했습니다. 시스템은 책과 복사본의 비유를 사용하여, 함수가 원본이 아닌 책의 복사본에 작동하고 있다는 것을 설명했습니다. 이 응답은 질문에 올바르게 답했을 뿐만 아니라, 이전 학습 내용과 연결하였고 학생의 필요에 맞춰 설명 스타일을 조정했습니다. 인간 평가자들은 이 응답의 일관성과 개인화 측면에서 다른 모델의 응답보다 유의미하게 높은 점수를 부여했습니다.

연구진은 이 접근 방식이 복잡한 메모리 구조를 유지하고 추가적인 의사결정 단계를 실행해야 하므로, 더 단순한 시스템보다 더 많은 컴퓨로 파워를 필요로 한다는 점을 인정합니다. 그러나 현대적인 하드웨어에서는 증가한 계산 비용이 관리 가능한 수준임을 확인했습니다. 또한, 신뢰할 수 있는 사용자 프로필을 처음부터 구축하는 데 걸리는 시간과 현재 텍는 텍스트만을 처리한다는 점 등의 한계도 존재합니다. 그럼에도 불구하고, 이 연구는 구조화된 메모리와 개인화된 에이전트 의사결정을 결합하는 것이 유망한 경로를 제공한다는 점을 시사합니다. AI에게 맥락적으로 기억하고 개인에게 적응하는 능력을 부여함으로써, 이러한 시스템은 교육, 기술 지원 및 장기적 대화의 진정한 조력자에 더 가까워지고 있습니다.