기술 요약: Co-LMLM (연속 쿼리 제한 메모리 언어 모델)

문제 정의

대규모 언어 모델(LLM)은 일반적으로 파라미터 내에 사실적 지식을 내재화합니다. 이러한 방식은 심각한 한계를 가집니다: 사실적 회상은 모델 크기와 노출 빈도에 따라 스케일링되며, 이로 인해 롱테일 지식을 포착하기 어렵습니다; 사실적 연관성이 언어적 표현과 얽혀 있어 개별 사실을 속성화, 편집 또는 제거하기 어렵습니다; 그리고 이러한 얽힘은 환각 현상과 오래된 지식 문제를 야기합니다.

최근 연구는 사실적 지식을 사전 학습 과정에서 암기하는 대신, 인간이 읽을 수 있는 지식 베이스(KB)로 외재화하는 제한 메모리 언어 모델(LMLM)을 도입했습니다. 그러나 기존의 구현 방식인 REL-LMLM(Relational LMLM)은 사실을 주어-관계-목적어 튜플 형태의 구조화된 관계로 저장하는 관계형 KB에 의존합니다. 이러한 설계는 다음과 같은 제약을 부과합니다:

1. 데이터 제한: 외재화 가능한 데이터를 관계형 튜플로 표현 가능한 항목으로 제한하여, 주로 위키피디아 스타일의 구조화된 데이터로 범위를 국한시킵니다.
2. 쿼리 표현력: 검색이 명시적으로 디코딩된 텍스트 쿼리(자연어 주어-관계 질문)에 의존하므로, 추론 오버헤드가 발생하고 검색 메커니즘이 단순한 쿼리에 국한됩니다.
3. 사전 결정된 경로: 학습 과정에서 데이터 전처리 중에 정확한 쿼리를 합성하므로, 검색 경로를 일정하게 유지하고 학습된 검색 메커니즘의 표현력을 제한합니다.

방법론

저자들은 관계형 LMLM의 한계를 해결하면서도 외재화 및 편집 가능한 메모리의 이점을 유지하는 Co-LMLM(Continuous-Query Limited Memory Language Models) 패러다임을 제안합니다.

핵심 아키텍처

Co-LMLM은 언어 모델이자 밀집 검색기(dense retriever) 역할을 하는 디코더 전용 트랜스포머(decoder-only Transformer)로 기능합니다.

• 연속 쿼리(Continuous Queries): 텍스트 쿼리를 디코딩하는 대신, 모델은 특수 <FACT> 토큰을 방출합니다. 이 토큰 위치에서의 은닉 상태(hidden state)를 추출하여 직접 밀집 벡터 쿼리로 사용합니다.
• 비구조화 KB(Unstructured KB): 지식 베이스는 벡터 키(연속 쿼리)와 문자열 값(축자적 사실 텍스트 스팬)의 쌍을 저장합니다. 이를 통해 주어-관계-목적어 튜플의 제약 없이 자유 형식의 사실적 스팬을 저장할 수 있습니다.
• 추론(Inference): 생성 중 모델이 <FACT>를 방출하면 검색 단계가 트리거됩니다. 상위-1개의 사실 스니펫이 <FACT> 바로 뒤에 컨텍스트로 삽입되고, </FACT> 닫는 토큰이 뒤따르며, 이후 디코딩이 재개됩니다. 이는 검색당 단 하나의 자기회귀(autoregressive) 단계만을 추가합니다.

학습 목표

모델은 두 가지 목표에 대해 공동으로 학습됩니다:

1. 다음 토큰 예측(NTP): 모델은 시퀀스의 토큰을 예측하지만, 결정적으로 <FACT>와 </FACT> 사이에 포함된 사실적 스팬을 암기하도록 최적화되지 않습니다. 손실(loss)은 사실이 아닌 토큰과 검색을 트리거하는 시작 <FACT> 토큰에 대해서만 계산됩니다.
2. 대조 검색 손실(Contrastive Retrieval Loss): 양방향 InfoNCE 손실은 문서 내의 <FACT> 토큰에서의 쿼리 표현과 쌍이 되는 자연어 질문 내의 <FACT-q> 토큰에서의 쿼리 표현을 정렬합니다. 이는 모델이 쿼리 시 적절한 사실 스팬을 효과적으로 검색할 수 있는 은닉 상태를 방출하도록 가르칩니다.

데이터 어노테이션 파이프라인

위키피디아를 넘어 확장하기 위해 저자들은 임의의 텍스트(예: FineWeb-Edu)를 처리하는 자동화된 어노테이션 파이프라인을 개발했습니다:

1. 시드 어노테이션(Seed Annotation): 프런티어 모델(Gemini 3.1 Pro)이 소수의 문서 세트를 어노테이션하여, 사실적 스팬을 <FACT q="..." a="...">span</FACT> 형태로 태깅합니다.
2. 지식 증류(Distillation): 이 시드 세트에 기반하여 두 개의 경량 어노테이터가 학습됩니다:
   • 사실 스팬 어노테이터(Fact Span Annotator): 원문 텍스트에서 사실적 스팬을 식별하기 위해 BIO 태깅을 수행하는 ModernBERT 인코더입니다.
   • 질문 생성기(Question Generator): 각 스팬에 대해 독립적인 질문과 답변 쌍을 생성하는 Qwen2.5 디코더입니다.
3. 코퍼스 처리: 이 어노테이터들은 전체 사전 학습 코퍼스를 처리하여, Co-LMLM 학습에 필요한 어노테이션된 형식으로 변환합니다. 이 파이럽은 일반적인 웹 텍스트로부터 사실을 추출할 수 있게 하여, 구조화된 백과사전적 항목에 국한되지 않는 확장을 가능하게 합니다.

주요 기여

1. 연속 쿼리 메커니즘: 텍stual 쿼리를 디코딩하는 대신 은닉 상태에서 방출되는 연속 벡터 쿼리로 대체했습니다. 이는 추론 오버헤드를 줄이고(쿼리 디코딩 불필요), 검색 메커니즘이 짧고 제한된 디코딩 쿼리가 아닌 전체 생성 컨텍스트를 활용할 수 있게 합니다.
2. 자유 형식 지식 외재화: 관계형 튜플에서 비구조화된 자유 형식의 사실적 스팬으로 전환했습니다. 이를 통해 역할이나 관계적 제약 없이 더 넓은 범위의 지식을 외재화할 수 있으며, FineWeb-Edu와 같은 일반 코퍼스로의 확장을 용이하게 합니다.
3. 확장 가능한 어노테이션 파이프라인: 수천억 개의 토큰에 사실적 스팬과 쌍이 되는 질문을 어노테이션하는 방법을 개발하여, 위키피디아의 제한을 제거하고 다양한 웹 데이터에 대한 학습을 가능하게 했습니다.
4. 제어 가능성 및 언러닝(Unlearning): 지식을 외재화함으로써 단순한 데이터베이스 작업(엔트리 삭제)을 통해 모델을 재학습시키거나 일반적 효용을 희생하지 않고도 "언러닝"할 수 있음을 입증했습니다. 이는 파라미터 얽힘으로 인해 흔히 발생하는 파라미터 기반 지식 편집의 한계를 극복한 것입니다.

실험 결과

저자들은 135M 및 360M 파라미터 규모에서 위키피디아와 FineWeb-Edu를 사용하여 Co-LMLM을 표준 LLM(STANDARD) 및 관계형 베이스라인(REL-LMLM)과 비교 평가했습니다.

• Perplexity(혼란도): Co-LMLM은 동일한 크기의 표준 모델보다 일관되게 낮은 perplexity를 달s합니다. 360M 규모에서 위키피디아로 학습된 Co-LMLM은 40배 더 많은 데이터로 학습된 off-the-shelf HF/SMOLLM2-360M 모델보다 낮은 perplexity를 달성했습니다.
• 사실적 정밀도(Factual Precision): Co-LMLM은 여러 벤치마크(TriviaQA, PopQA, SimpleQA, T-REx, FactScore)에서 사실적 정밀도를 크게 향상시켰습니다.
  • 360M 규모에서 Co-LMLM은 21.2의 SimpleQA 점수(FineWeb-Edu의 경우 21.7)를 기록했으며, 저자들은 이것이 공개 리더보드에 따르면 gpt-4o-mini와 유사하며 Claude Sonnet 4.5보다 높다고 언급했습니다.
  • REL-LMLM보다 우수한 성능을 보였으며, 이는 연속 쿼리와 자유 형식 스팬이 관계형 튜플 및 텍스트 쿼리보다 더 견고함을 입증합니다.
• NLU 성능: Co-LMLM은 동일한 크기의 표준 모델과 대등한 다운스트림 자연어 이해(NLU) 성능을 유지하여, 사실을 오프로딩하는 것이 일반적인 언어 능력을 저하시키지 않음을 보여주었습니다.
• 언러닝(Unlearning): TOFU 언러닝 실험에서 Co-LMLM은 직접적인 KB 삭제를 통해 지정된 사실을 성공적으로 망각했으며, 유지된 지식에 대한 높은 효용을 유지했습니다. 반면 NPO와 같은 학습 기반 언러닝 방식은 파라미터 얽힘으로 인해 효용이 저하되었습니다.
• 효율성: Co-LMLM은 텍스트 질문을 디코딩하고 후속 인코딩을 수행하는 방식의 약 28ms와 비교하여, 단일 은닉 상태 순방향 패스(~2.2ms)로 쿼리 형성 비용을 줄였습니다.

의의 및 주장

본 논문은 Co-LMLM이 검증 가능하고, 제어 가능하며, 투명한 지식 사용을 위한 확장 가능한 방법을 제공한다고 주장합니다. 연속 쿼리를 사용하고 스키마가 없는 인덱스로 지식을 외재화함으로써, 이 접근 방식은 이전의 관계형 LMLM이 가진 표현력 및 스케일링 한계를 극복합니다.

저자들은 이 설계가 더 넓은 도메인과 메모리 크기에 걸친 지식 스케일링 법칙을 연구하기 위한 토대를 마련한다고 강조합니다. 또한 현재의 한계점으로, 파이프라인이 일반 코퍼스로 확장 가능하긴 하지만, 다양한 지식 도메인에 대한 체계적인 평가는 향후 과제로 남아 있음을 인정합니다. 결론적으로 Co-LMLM은 단순히 사실적으로 정확할 뿐만 아니라 편집 가능하고 설명 가능한 LLM을 향한 실행 가능한 경로를 제시합니다.