💬 NLP

MixLoRA-DSI: Dynamically Expandable Mixture-of-LoRA Experts for Rehearsal-Free Generative Retrieval over Dynamic Corpora

MixLoRA-DSI는 동적인 코퍼스로 모델을 업데이트할 때 효율적인 아단위(sublinear) 파라미터 성장과 훈련 비용 절감을 가능하게 하는 레이어별 OOD 기반 확장 전략을 활용하여 저계수 적응(Low-Rank Adaptation) 전문가를 선택적으로 추가하는, 리허설이 필요 없는 생성적 검색을 위한 새로운 프레임워크이다.

원저자: Tuan-Luc Huynh, Thuy-Trang Vu, Weiqing Wang, Trung Le, Dragan Gašević, Yuan-Fang Li, Thanh-Toan Do

게시일 2026-08-25

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tuan-Luc Huynh, Thuy-Trang Vu, Weiqing Wang, Trung Le, Dragan Gašević, Yuan-Fang Li, Thanh-Toan Do

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인터넷이라는 거대한 디지털 도서관에서 수십억 개의 문서 중 특정 문서를 찾는 작업은 정교한 인덱스에 의존합니다. 전통적으로 이러한 인덱스는 검색 엔진의 두뇌 외부에 존재하는 카드 카탈로그나 데이터베이스와 같은 별개의 구조였습니다. 그러나 '생성적 검색(generative retrieval)'이라 불리는 새로운 접근 방식은 이 인덱스를 모델 자체에 직접 통합하려고 시도합니다. 문서를 목록에서 찾아보는 대신, 모델은 사용자의 질문으로부터 문서의 고유 식별자를 직접 생성하는 법을 학습합니다. 이는 검색 엔진과 도서관이 하나가 되는 매끄러운 시스템을 만듭니다. 하지만 이 우아한 해결책은 고집스러운 현실 세계의 문제에 직면해 있습니다. 바로 도서관은 결코 정지해 있지 않다는 점입니다. 새로운 책, 기사, 페이지들이 매초 추가됩니다. 전통적인 인덱스를 업데이트하는 것은 관리 가능한 수준이지만, 전체 도서관을 암기한 모델을 업데이트하는 것은 매우 비용이 많이 들며, 이전에 알고 있던 것을 잊어버리는 현상인 '파괴적 망각(catastrophic forgetting)'을 유발하곤 합니다. 과제는 모델이 기존의 정보를 지우지 않으면서 새로운 정보를 배우도록 가르치는 것이며, 이를 위해 모든 오래된 문서를 저장하고 검토할 필요 없이 수행해야 합니다. 이는 개인정보 보호 문제를 일으키고 막대한 저장 공간을 소비하기 때문입니다.

모나쉬 대학교(Monash University)의 연구진들은 이러한 딜레마에 대한 해결책으로, 생성적 검색 모델이 과거를 잊지 않으면서 새로운 정보에 적응하고 성장할 수 있도록 설계된 프레임워크인 MixLoRA-DSI를 제안했습니다. 핵심 아이디어는 모델을 단일하고 경직된 실체가 아니라, 전문화된 전문가들의 유연한 팀으로 취급하는 것입니다. 메인 매니저(기본 모델)가 일반적인 업무를 처리하지만, 특정하고 어려운 문제는 필요할 때만 추가되는 전문 컨설턴트(전문가)에게 전달되는 큰 사무실을 상상해 보십시오. 이 시스템에서 전문가들은 '저차원 적응(Low-Rank Adaptation)' 모듈이라고 불리는 작고 효율적인 부가 요소입니다. 이들은 매우 가벼워서 이를 추가하더라도 시스템 속도가 느려지거나 모델의 전체 두뇌를 재학습시킬 필요가 없습니다. 혁신은 이 새로운 전문가들을 어떻게, 그리고 언제 투입하느냐에 있습니다. 새로운 문서 묶음이 생길 때마다 맹목적으로 새로운 컨설턴트를 추가하는 대신, 시스템은 새로운 정보가 새로운 전문가를 요구할 만큼 충분히 다른지를 결정하기 위해 스마트한 탐지 방법을 사용합니다.

연구진은 새로운 문서들이 종종 기존 문서들과 동일한 구조적 패턴을 공유하며, 주로 모델의 현재 경험 범위를 벗어나는 특정 키워드나 주제에서만 차이가 난다는 점을 관찰하며 이 시스템을 구축했습니다. 그들은 이 '분포 외(out-of-distribution)' 신호를 측정하는 방법을 개발했는데, 본질적으로 모델에게 "이 새로운 문서가 익숙하게 느껴지는가, 아니면 완전히 새로운 것인가?"라고 묻는 것입니다. 만약 시스템이 상당한 수의 생소한 문서를 감지하면, 확산 프로세스를 트리거하여 팀에 새로운 전문가를 추가합니다. 이 과정은 모델의 아키텍처 내에서 레이어 단위로 발생하여 성장이 느리고 통제된 방식으로 이루어지도록 보장합니다. 또한 연구진은 어떤 전문가가 쿼리의 어느 부분을 처리할지 결정하는 메커니즘을 개선했습니다. 이전 방식들은 최신 전문가를 선호하여 오래된 숙련된 전문가들을 소외시키는 경향이 있었습니다. 새로운 시스템은 균형 잡힌 작업 부하를 보장하는 다른 정렬 방법을 사용하여, 모델이 새로운 것을 배우면서도 역사를 기억할 수 있도록 합니다.

그들은 이 접근 방식을 테스트하기 위해 두 가지 주요 데이터셋, 즉 수십만 개의 질의-문서 쌍을 포함하는 Natural Questions와 약 900만 개의 구절을 모은 거대한 컬렉션인 MS MARCO에 적용했습니다. 그들은 시간이 지남에 따라 단계적으로 새 문서가 추가되는 동적인 환경을 시뮬레이션했습니다. 결과는 그들의 방식인 MixLoRA-DSI가 이전의 시도들보다 훨씬 더 효율적임을 보여주었습니다. 다른 방법들이 망각을 방지하기 위해 전체 모델을 재학습시키거나 방대한 양의 오래된 데이터를 저장해야 했던 반면, MixLoRA-DSI는 파라미터의 아주 작은 부분만을 업데이트함으로써 높은 성능을 달 achievement 했습니다. 더 작은 데이터셋에 대한 테스트에서, 이 새로운 방법은 오래된 문서와 새로운 문서 모두에 대해 강력한 성능을 유지한 반면, 다른 모델들은 오래된 정보를 잊어버리거나 새로운 것을 배우는 데 어려움을 겪었습니다. 더 큰 데이터셋에서도 시스템은 견고하게 작동을 지속하며, 다른 접근법들이 겪었던 메모리 비용 문제 없이 수백만 개의 문서를 처리할 수 있음을 입증했습니다.

핵적인 발견은 시스템이 꼭 필요할 때만 확장하는 능력이 매우 중요하다는 것이었습니다. 모델이 새로운 용량을 진정으로 필요로 할 때까지 기다림으로써, 연구진은 파라미터 수가 데이터 처리량에 비해 하위 선형(sublinear) 비율로 증가하도록 보장했습니다. 이러한 효율성은 정보 회상 능력을 희생하지 않으면서 달성되었습니다. 또한 연구는 모델이 사용하는 문서 식별자의 중요성을 강조했습니다. 모델이 방대한 어휘를 요구하는 단순한 원자적 코드 대신, 연구팀은 문서를 효율적으로 표현할 수 있는 압축 코딩 시스템을 사용했습니다. 이 선택은 동적 확장 전략과 결합되어, 모델이 동적인 말뭉치를 다루면서도 가볍게 유지될 수 있도록 했습니다.

연구진은 자신들의 방법이 모든 시나리오에 완벽한 해결책은 아니라는 점을 인정합니다. 이 시스템은 가장 큰 데이터셋에서는 여전히 전통적인 검색 방식보다 약간 뒤처지며, 실험은 계산상의 제약으로 인해 특정 크기의 모델로 제한되었습니다. 그러나 이 연구는 지속적으로 학습할 수 있는 검색 엔진을 향한 실행 가능한 경로를 보여줍니다. 유연한 아키텍처와 데이터 기반의 스마트한 확장 전략을 결합함으로써, MixLoRA-DSI는 디지털 도서관을 실시간으로 최신 상태로 유지하여 검색 엔진이 조직하고자 하는 세상만큼이나 지식 풍부한 상태를 유지할 수 있게 합니다. 이 연구는 검색의 미래가 더 크고 정적인 모델을 구축하는 것이 아니라, 세상이 요구할 때 새로운 능력을 유기적으로 추가할 수 있는 시스템을 만드는 데 있다는 것을 시사합니다.

기술 요약: MixLoRA-DSI

문제 정의
생성적 검색(Generative Retrieval, GR), 특히 미분 가능한 검색 인덱스(Differentiable Search Index, DSI)는 코퍼스의 정보를 모델 파라미터에 직접 인코딩하여 검색을 수행한다. 이러한 방식은 정적인 코퍼스에는 효과적이지만, 새로운 문서가 지속적으로 추가되는 동적인 코퍼스 환경에서는 어려움을 겪는다. 기존의 GR 방식은 전체 모델을 재학습해야 하며, 이는 계산 비용 측면에서 매우 비효율적이다. 기존의 지속 학습(Continual Learning, CL) 방법들은 종종 이전 문서에 접근하는 리허설(rehearsal) 방식에 의존하는데, 이는 개인정보 보호 문제를 야기하거나, 원자적 문서 식별자(docid)를 사용할 경우 대규모 데이터셋으로 확장하기 어렵다는 단점이 있다. 또한, 현재의 많은 솔루션들은 특정 태스크에 국한되어 있거나, 과거 문서에 대한 지식 유지(안정성, stability)와 새로운 문서 학습(가소성, plasticity) 사이의 균형을 맞추지 못해 치명적 망각(catastrophic forgetting) 문제를 겪는다.

방법론
저자들은 동적인 코퍼스를 위한 리허설 프리(rehearsal-free) GR을 위해 설계된 파라미터 효율적 미세 조정(PEFT) 프레임워크인 MixLoRA-DSI를 제안한다. 이 프레임워크는 세 가지 핵심 구성 요소를 통합한다:

LoRA 전문가의 혼합(Mixture of LoRA Experts, MixLoRA): 전체 모델을 미세 조정하는 대신, T5 디코더의 표준 피드 포워드 네트워크(FFN) 레이어를 MixLoRA 레이어로 대체한다. 각 레이어는 여러 개의 저차원 적응(Low-Rank Adaptation, LoRA) 전문가를 포함한다. 사전 학습된 백본은 동결된 상태로 유지되며, 새로운 LoRA 전문가가 동적으로 추가된다.
개선된 라우팅 메커니즘: 전문가 혼합(Mixture of Experts, MoE)의 표준 소프트맥스 기반 라우터를 **top-k 코사인 분류기(top-k cosine classifier)**로 교체한다. 이 라우터는 두 가지 항으로 구성된 새로운 보조 손실 함수를 통해 최적화된다:
- 토큰의 은닉 표현(hidden representation)을 라우터 가중치와 정렬하는 코사인 임베딩 손실(cosine embedding loss).
- 새로운 라우터 가중치가 이전 가중치와 구별되도록 하여 가중치 붕괴를 방지하고 전문가의 다양성을 장려하는 정규화 항.
  이 설계는 토큰이 새로 추가된 전문가에게 불균형하게 할당되는 "최신성 편향(recency bias)"을 완화하여, 기존 전문가의 유용성을 보존한다.
레이어별 OOD 기반 동적 확장: 새로운 코퍼스가 추가될 때마다 전문가를 추가하여 발생하는 선형적 파라미터 증가를 피하기 위해, 시스템은 분포 외(Out-of-Distribution, OOD) 탐지 전략을 사용한다.
- 각 MixLoRA 레이어의 라우터는 분류기 역할을 한다. 시스템은 입력 토큰에 대한 **에너지 점수(energy score)**를 계산한다.
- 이전 코퍼스로부터의 분포 내(in-distribution, ID) 에너지 점수의 지수 이동 평균(exponential moving average)을 유지한다.
- 새로운 코퍼스를 인덱싱하기 전, 시스템은 훈련용 의사 쿼리(pseudo-queries)를 스캔한다. 특정 레이어에서 에너지 점수가 임계값을 초과하는 토큰(OOD 데이터를 나타냄)의 수가 미리 정의된 제한치( $\delta$ )를 넘어서면, 해당 레이어에 새로운 LoRA 전문가가 추가된다.
- 이를 통해 **부선형 파라미터 성장(sublinear parameter growth)**을 보장하며, 상당한 수준의 새로운 정보가 감지될 때만 용량을 확장한다.
RQ 기반 Docid 전략: 프레임워크는 여러 코드북으로부터의 코드 시퀀스로 문서를 인코딩하는 잔차 양자화(Residual Quantization, RQ) 기반 docid를 활용한다. RQ docid의 구조적 특성을 처리하기 위해 저자들은 다음을 도입했다:
- RQ 기반 docid 마스킹: 각 디코딩 단계에서 로짓(logit) 간의 불필요한 경쟁을 방지하기 위해 관련 코드북 세그먼트에 대해서만 소프트맥스 계산을 명시적으로 제한한다.
- RQ 임베딩을 위한 CL 전략: 출력 어휘집(vocabulary)에 대한 그래디언트 업데이트를 축소하고, 현재 모델의 사후 예측 분포를 이전 모델과 정렬시키기 위해 KL 발산(KL divergence) 정규화를 적용하는 "느린 학습자(slow-learner)" 전략을 도입하여 망각을 완화한다.

주요 기여

최초의 OOD 기반 동적 확장 프레임워크: MixLoRA-DSI는 리허설 프리 GR 환경에서 동적으로 확장되는 MoE 전문가를 위해 OOD 탐지를 적용한 최초의 프레임워크이며, 부선형 파라미터 성장을 달현했다.
개선된 라우터 아키텍처: 표준 라우터를 새로운 보조 손실 함수와 함께 공동 최적화되는 top-k 코사인 분류기로 교체함으로써, 전문가 전문화를 개선하고 토큰-전문가 할당의 균형을 맞추었다.
RQ 기반 Docid CL 전략: 마스킹 및 정규화 기술을 포함하여, RQ 기반 문서 식별자의 구조적 특성에 특화된 구체적인 지속 학습 전략을 제시했다.
확장성 및 효율성: PEFT, 동적 확장, RQ 기반 docid를 결합함으로써, 기존의 원자적 docid나 소규모 데이터셋에 의존하던 GR 방식의 확장성 한계를 해결했다.

실험 결과
실험은 코퍼스를 점진적으로 추가하여 동적 코퍼스를 시뮬레이션한 NQ320k 및 MS MARCO Passage 데이터셋에서 수행되었다.

성능: MixLoa-DSI 변형 모델들은 평균 성능(Average Performance, AP) 및 역방향 전이(Backward Transfer, BWT/Forgetting) 측면에서 전체 모델 업데이트 베이스라인(DSI++ 등) 및 다른 PEFT 기반 CL 방법(PromptDSI, CorpusBrain++ 등)보다 우수한 성능을 보였다.
파라미터 효율성: 이 방법은 상당한 파라미터 효율성을 입증했다. 예를 들어, NQ320k에서 MixLoRA-DSI는 전체 업데이트 방식(235.4M)에 비해 약 0.9M의 학습 가능한 파라미터만을 사용하면서도 높은 검색 성능(Recall@10 및 MRR@10)을 유지했다.
부선형 성장: OOD 기반 확장 전략은 파라미터 성장을 성공적으로 제한했다. NQ320k에서 MixLoRA-DSI-OOD 모델은 비확장 변형 모델의 학습 가능한 파라미터의 60%만을 사용하면서도 성능 지표의 98% 이상을 보존했다.
메모리 풋프린트: 거대한 피셔 정보 행렬(Fisher Information Matrix)과 이전 체크포인트를 저장해야 하는 EWC 기반 방식(예: CLEVER)과 달리, MixLoRA-DSI는 훈련 및 추론 중에 훨씬 적은 메모리를 요구하며, KL 발산 계산을 위해 최신 모델과 임시 복사본만을 저장한다.

의의 및 주장
본 논문은 MixLoRA-DSI가 지속적인 생성적 검색을 위한 견고하고 태스크 불가지론적(task-agnostic)이며 확장 가능한 솔루션을 제공한다고 주장한다. 이 방식은 (리허설 없이) 과거 데이터에 접근하지 않고도 동적인 환경에서의 치명적 망각과 자원 제약이라는 핵심 과제를 해결한다. 저자들은 자신들의 접근 방식이 안정성-가소성 트레이드오프를 효과적으로 조절하여, 이전에 인덱싱된 코퍼스의 지식을 보존하면서도 새로운 문서를 효율적으로 통합할 수 있음을 강조한다. 이 연구는 원자적 docid가 GR의 CL에 필수적이라는 기존의 가설에 도전하며, 확장 가능한 RQ 기반 docid와 동적 확장이 결속될 때 대규모 벤치마크에서 더 우수한 결과를 얻을 수 있음을 보여준다.

저자가 인정한 한계점
저자들은 자신들의 방법이 다단계 훈련을 요구하는 최신 랭킹 최적화 기술을 포함하지 않았으며, 이로 인해 MS MARCO와 같은 매우 큰 데이터셋에서 전통적인 IR 모델에 비해 성능이 제한될 수 있다고 언급했다. 또한 자원 제약으로 인해 실험이 T5-base로 제한되었으며, 광범한 하이퍼파라미터 튜닝이 수행되지 않았음을 인정했다. 마지막으로, GR은 인덱싱을 위해 모델 업데이트가 필요하므로 제로샷 검색(zero-shot retrieval)에는 본질적으로 부적합하다는 점을 명시했다.

유사한 논문