기존에 가장 잘하는 AI(트랜스포머 기반 모델) 는 모든 단어를 한눈에 동시에 보며 문맥을 파악합니다.
비유: 마치 거대한 도서관에서 책 한 권을 읽을 때, 책의 모든 페이지를 동시에 펼쳐서 한눈에 비교하는 사람이라고 생각해보세요.
문제점: 책이 짧으면 (짧은 문장) 아주 빠르고 똑똑합니다. 하지만 책이 두꺼워질수록 (긴 문서), 펼쳐야 할 페이지 수가 기하급수적으로 늘어납니다.
페이지가 2 배가 되면, 동시에 펼쳐야 할 페이지 수는 4 배가 됩니다.
결국 메모리 (RAM) 가 금방 부족해져서 긴 문서를 처리할 수 없게 됩니다.
💡 2. 해결책: "조각조각 나누어 읽는 똑똑한 비서"
연구팀은 **재귀적 언어 모델 (Mamba2, RWKV 등)**을 이용해 이 문제를 해결했습니다.
비유: 이 새로운 AI 는 한 번에 한 장씩 (또는 한 묶음씩) 책을 읽어가며 내용을 기억하는 유능한 비서와 같습니다.
장점:
메모리: 책이 아무리 두꺼워져도, 비서가 기억해야 할 '핵심 요약'만 일정하게 유지하면 되므로 메모리 사용량이 일정하게 유지됩니다.
속도: 책의 길이에 비례해서만 시간이 걸리므로, 긴 문서일수록 기존 AI 보다 훨씬 효율적입니다.
🧩 3. 핵심 기술: "수직으로 잘라낸 조각 (Vertically Chunked Inference)"
이 논문이 제시한 가장 혁신적인 아이디어는 '수직 조각화' 전략입니다.
기존 방식 (수평 처리):
책의 **한 장 (한 페이지)**을 온전히 읽은 후, 다음 페이지로 넘어갑니다.
하지만 AI 가 여러 층 (Layer) 으로 이루어져 있을 때, 각 층마다 한 장 전체의 내용을 모두 기억해 둬야 해서 메모리가 많이 듭니다.
새로운 방식 (수직 처리):
책의 한 장을 세로로 잘게 쪼개서 (예: 4096 자씩), 그 작은 조각을 모든 AI 층을 통과시킨 후, 다음 조각을 처리합니다.
비유: 책을 읽을 때, 한 페이지 전체를 다 읽지 않고 세로로 1 줄씩 읽어가면서 내용을 기억하는 방식입니다.
효과: AI 가 기억해야 할 정보가 '한 줄'만 되므로, 책이 아무리 두꺼워져도 메모리 사용량이 일정하게 유지됩니다.
🏆 4. 결과: "기존 AI 와 똑똑함은 비슷하지만, 훨씬 가볍다"
연구팀은 이 기술을 적용하여 Mamba2라는 모델을 훈련시켰고, 그 결과를 검증했습니다.
똑똑함 (성능):
짧은 문장이나 일반적인 질문에서는 기존 AI(트랜스포머) 와 비슷하거나 거의 같은 수준의 지능을 보여줍니다.
특히 다국어나 긴 문서 검색에서는 오히려 더 잘하기도 합니다.
효율성 (메모리 & 속도):
긴 문서를 다룰 때, 기존 AI 는 메모리가 부족해서 멈추지만, 이 모델은 메모리 사용량이 거의 변하지 않습니다.
비유: 기존 AI 는 긴 글을 읽을 때 트럭으로 짐을 나르다가 트럭이 꽉 차서 멈추지만, 이 모델은 자전거로 짐을 나르면서도 메모리라는 짐을 계속 줄여가며 끝까지 갈 수 있습니다.
🚀 5. 결론: 왜 이 연구가 중요한가요?
이 논문은 **"긴 문서를 처리해야 하는 현실적인 문제"**를 해결합니다.
실제 활용: 긴 법률 문서, 긴 뉴스 기사, 긴 회의록 등을 AI 가 분석할 때, 고가의 고성능 서버가 아니라도 일반적인 컴퓨터로 처리할 수 있게 됩니다.
미래: 앞으로 AI 는 더 긴 문맥을 이해해야 할 것입니다. 이 연구는 AI 가 메모리 부족이라는 병목 현상 없이 자유롭게 긴 글을 읽을 수 있는 길을 열었습니다.
한 줄 요약:
"기존 AI 는 긴 글을 읽을 때 메모리가 터지지만, 이 새로운 기술은 조각조각 나누어 읽으면서 메모리 사용량을 일정하게 유지해, 긴 문서도 가볍고 빠르게 처리할 수 있게 해줍니다."
이 논문은 **재귀적 언어 모델 (Recurrent Language Models)**을 기반으로 하여, 긴 텍스트 시퀀스에 대해 선형 시간 (Linear-Time) 과 상수 메모리 (Constant-Memory) 복잡도를 가지면서도 고품질의 텍스트 임베딩을 생성할 수 있는 새로운 접근법을 제안합니다.
주요 내용은 다음과 같습니다.
1. 문제 정의 (Problem)
변환기 (Transformer) 기반 모델의 한계: 현재 텍스트 임베딩의 표준인 변환기 기반 모델 (예: BERT, E5 등) 은 입력 시퀀스 길이에 대해 이차적 (Quadratic) 인 계산 복잡도와 선형적 (Linear) 인 메모리 복잡도를 가집니다.
긴 문서 처리의 어려움: 이로 인해 긴 문서나 리소스가 제한된 환경에서 변환기 모델의 활용도가 떨어집니다. 특히 긴 컨텍스트를 처리할 때 메모리 사용량이 급증하여 실용적인 제약이 발생합니다.
기존 재귀 모델의 미탐구: Mamba, RWKV, xLSTM 과 같은 최신 재귀 아키텍처는 생성 작업에서 선형 시간과 상수 메모리 효율성을 입증했으나, 범용 텍스트 임베딩 생성으로서의 가능성은 아직 충분히 연구되지 않았습니다.
2. 방법론 (Methodology)
A. 모델 아키텍처 및 학습
모델 선택: Mamba2 를 중심으로 재귀적 아키텍처를 활용합니다.
학습 전략: E5mistral-7b 의 훈련 절차를 차용하여 사전 학습된 언어 모델을 임베딩 모델로 미세 조정 (Fine-tuning) 합니다.
구조: 언어 모델링 헤드를 제거하고, 시퀀스 끝 (EOS) 토큰의 은닉 상태를 임베딩 벡터로 사용합니다.
손실 함수: InfoNCE 손실 함수를 사용하여 긍정 쌍과 부정 쌍을 구분하도록 훈련합니다.
지시어 튜닝 (Instruction Tuning): 다양한 다운스트림 작업에 적응할 수 있도록 쿼리에 지시어 (Instruction) 를 추가하여 훈련합니다.
B. 핵심 기술: 수직 청킹 추론 전략 (Vertically Chunked Inference)
논문은 재귀 모델의 이점을 극대화하기 위해 수직 청킹 (Vertical Chunking) 추론 전략을 제안합니다. 이는 기존 변환기의 수평적 처리 (전체 시퀀스를 한 레이어씩 처리) 와는 대조적입니다.
이중성 (Duality) 활용: Mamba2 와 같은 구조적 상태 공간 모델 (SSM) 은 **선형 재귀 (Linear Recurrence)**와 병렬 행렬 변환 (Parallel Matrix Transformation) 두 가지 방식으로 표현될 수 있는 이중성을 가집니다.
청킹 (Chunking) 방식:
수평적 청킹 (Intra-chunk): 입력 시퀀스를 작은 청크로 나누어 각 청크 내에서는 병렬 행렬 연산을 통해 처리합니다.
수직적 청킹 (Inter-chunk/Cross-layer): 입력 시퀀스를 고정된 크기의 '수직 청크'로 나누고, 한 청크를 모든 레이어 (Layer) 를 통과시킨 후 다음 청크로 이동합니다.
메모리 최적화:
이 방식은 전체 시퀀스의 중간 활성화 (Intermediate Activations) 를 메모리에 저장할 필요가 없습니다.
대신, 현재 처리 중인 수직 청크의 활성화와 각 레이어당 하나의 재귀 상태 (Latent State) 만을 저장하면 됩니다.
결과: 입력 길이가 수직 청크 크기 (V) 를 초과하면, 메모리 사용량은 입력 길이에 무관하게 **상수 (Constant)**가 됩니다. 계산 복잡도는 O(T⋅V)로 선형적으로 유지됩니다.
3. 주요 기여 (Key Contributions)
재귀 모델 기반 임베딩의 유효성 입증: Mamba2 기반 모델을 E5mistral-7b 와 동일한 훈련 절차로 미세 조정하여, 다양한 벤치마크에서 변환기 기반 모델과 경쟁력 있는 성능을 보임을 증명했습니다.
효율적인 추론 전략 제안: 재귀 아키텍처의 이중성을 활용한 수직 청킹 추론을 제안하여, 긴 시퀀스에서도 메모리 사용량을 일정하게 유지하면서 병렬 처리의 이점을 살렸습니다.
범용성 검증: 제안된 추론 전략이 Mamba2 뿐만 아니라 RWKV와 xLSTM과 같은 다른 재귀 아키텍처에서도 동일하게 적용 가능하고 효율적임을 실험적으로 검증했습니다.
4. 실험 결과 (Results)
A. 성능 (Quality)
벤치마크: MTEB (영어 및 다국어), LongEmbed (긴 컨텍스트 검색) 에서 평가했습니다.
성능 비교:
다국어 및 긴 컨텍스트: Codestral Mamba2 7B 모델은 Mistral 7B (변환기) 를 능가하거나 비슷한 성능을 보였습니다. 특히 LongEmbed 벤치마크에서 긴 문서 처리 시 성능 격차가 거의 없었습니다.
영어 작업: 일부 영어 태스크 (특히 검색) 에서 변환기 모델보다 약 1~2% 포인트 낮았으나, 이는 사전 학습 데이터의 규모 차이 (Mamba2 1.3B 는 700B 토큰, Qwen2 1.5B 는 7T 토큰) 에 기인한 것으로 분석됩니다.
결론: 재귀 모델이 범용 임베딩 모델로서 충분히 경쟁력 있음을 입증했습니다.
B. 효율성 (Efficiency)
메모리 사용량:
변환기 모델 (Mistral 7B) 은 시퀀스 길이가 증가함에 따라 메모리 사용량이 선형적으로 증가하여 긴 시퀀스 (예: 32k 토큰) 에서 GPU 메모리 부족이 발생했습니다.
반면, 제안된 수직 청킹 전략을 적용한 재귀 모델 (Mamba2, RWKV, xLSTM) 은 시퀀스 길이가 증가해도 메모리 사용량이 일정하게 유지되었습니다.
실행 시간 (Runtime):
짧은 시퀀스에서는 변환기 모델과 유사하거나 약간 느릴 수 있으나, 시퀀스 길이가 길어질수록 (특히 4k 토큰 이상) 변환기 모델의 이차적 복잡도 증가로 인해 재귀 모델이 더 빠른 실행 시간을 기록했습니다.
배치 처리 (Batch Size > 1) 시에도 수직 청크 크기를 적절히 설정하면 병렬화 효율이 포화되어 변환기 수준의 속도를 유지하면서도 메모리 이점을 얻었습니다.
5. 의의 및 결론 (Significance)
리소스 효율적인 임베딩: 긴 문서를 처리하거나 리소스가 제한된 환경 (예: 엣지 디바이스, 대규모 배치 처리) 에서 변환기 모델의 대안으로 재귀 모델을 강력하게 추천합니다.
확장성: 제안된 수직 청킹 전략은 모델의 깊이에만 의존하는 메모리 사용 패턴을 가능하게 하여, 매우 긴 컨텍스트를 가진 애플리케이션 (예: 긴 문서 요약, 법률 문서 분석, 의료 기록 처리) 에 적합합니다.
미래 방향: 더 대규모로 사전 학습된 재귀 기반 베이스 모델을 개발한다면, 현재 남아있는 영어 태스크의 미세한 성능 격차도 해소될 것으로 기대됩니다.
요약하자면, 이 논문은 재귀적 아키텍처가 변환기 기반 임베딩 모델의 메모리 병목 현상을 해결하면서도 동등한 품질을 제공할 수 있는 유망한 대안임을 입증하고, 이를 실현하기 위한 구체적인 수직 청킹 추론 알고리즘을 제시했습니다.