Enhancing Lexicon-Based Text Embeddings with Large Language Models

이 논문은 LLM 의 어휘 중복 문제를 해결하기 위해 토큰 클러스터링을 활용한 새로운 어휘 기반 임베딩 (LENS) 을 제안하여, 기존 밀집 임베딩과 비교해 경쟁력 있는 성능과 효율적인 차원 축소를 달성하고 밀집 임베딩과 결합 시 MTEB 검색 태스크에서 최첨단 성능을 입증했습니다.

핵심

📚 LENS: 거대 AI 가 '단어장'을 정리해서 만든 똑똑한 요약본

이 논문은 최근 화두인 **거대 언어 모델 **(LLM, 예: 챗지피티 같은 AI)을 어떻게 하면 더 효율적이고 정확하게 활용할 수 있을지 연구한 내용입니다.

기존에는 AI 가 문장을 이해할 때 "밀집된 벡터 (Dense Embeddings)"라는 복잡한 암호화된 숫자 나열을 사용했는데, 이 논문은 **"단어장 기반 **(Lexicon-based)이라는 새로운 방식을 제안합니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제점: AI 의 '단어장'이 너무 지저분해요 🤯

기존의 거대 AI 모델 (LLM) 은 문장을 처리할 때 **토크나이저 **(Tokenizer)라는 장치를 사용합니다. 하지만 이 장치에는 두 가지 큰 문제가 있습니다.

• **문제 1: 같은 단어인데 이름이 달라요 **(중복)

  • 예를 들어, "What", "what", " what"(앞에 공백이 있는 경우) 는 모두 같은 뜻인데, AI 는 이들을 완전히 다른 단어로 취급합니다. 마치 "김철수", "김철수 ", "김철수 (공백)"을 세 명의 다른 사람으로 인식하는 것과 같아요.
  • 또한, "Education"이라는 단어 하나를 "Edu"와 "cation"으로 잘게 부순 뒤 따로 처리하기도 합니다.
  • 비유: 도서관에 책이 있는데, 같은 책인데 표지 색이 조금 다르면 다른 책으로 분류하고, 책 제목을 자른 조각별로 따로 번호를 매겨서 정리해 둔 상태예요. 찾는 사람이 미쳐버리죠.

• **문제 2: 앞만 보고 읽어요 **(일방향 주의)

  • 대부분의 AI 는 글을 읽을 때 앞의 단어만 보고 다음 단어를 예측합니다. 뒤의 문맥은 모릅니다.
  • 비유: 영화를 볼 때 앞부분만 보고 결말을 추측하라고 하는 거예요. "그가 총을 쏘았다"라는 문장을 볼 때, 뒤에 "그는 경찰관이었다"라는 문장이 있는지 모르면 맥락을 완전히 이해하기 어렵습니다.

2. 해결책: LENS(렌즈) 의 등장 🔍

이 논문에서 제안한 LENS는 이 지저분한 단어장을 정리하고, AI 가 앞뒤를 모두 볼 수 있게 도와주는 새로운 방법입니다.

① 단어장 정리하기 (클러스터링) 🧹

AI 가 사용하는 수만 개의 단어들을 **의미가 비슷한 것끼리 묶어서 **(클러스터링) 하나의 그룹으로 만듭니다.

• "What", "what", "What"은 모두 **'질문'**이라는 하나의 그룹으로 합칩니다.
• "Edu"와 "cation"은 **'교육'**이라는 하나의 그룹으로 합칩니다.
• 비유: 지저분한 옷장 속 옷들을 '상의', '하의', '코트'로 분류해서 정리한 거예요. 이제 옷장 크기는 작아졌는데, 찾는 속도는 훨씬 빨라졌습니다.

② 앞뒤 다 보기 (양방향 주의) 👀

AI 가 글을 읽을 때, 앞의 문맥뿐만 아니라 뒤의 문맥도 함께 보게 훈련시킵니다.

• 비유: 영화의 앞부분만 보지 말고, 스토리 전체를 훑어보고 결말을 예측하는 훈련을 시킨 거예요.

3. 왜 이것이 특별한가요? 🌟

• **투명성 **(Transparency)

  • 기존 AI 의 암호화된 숫자 나열은 "왜 이걸 찾았지?"를 알기 어렵습니다. 하지만 LENS 는 **"어떤 단어 그룹이 중요한지"**를 바로 보여줍니다.
  • 비유: AI 가 "이 책을 추천합니다"라고 할 때, 기존 방식은 "신비한 기운이 느껴져서요"라고 말하지만, LENS 는 "'교육'과 '성장' 관련 단어가 많이 포함되어 있어서요"라고 명확하게 이유를 설명해 줍니다.

• **효율성 **(Sparsity)

  • LENS 는 필요 없는 단어를 자동으로 0 으로 만들 수 있습니다. 마치 **필요한 부분만 남긴 스키마 **(Top-K Pruning)처럼 작동해서, 저장 공간과 계산 비용을 아낄 수 있습니다.
  • 비유: 4,000 개의 단어가 있는 문서를 볼 때, 중요한 256 개의 단어만 골라서 요약본을 만들어내는 것과 같습니다.

• **성능 **(Performance)

  • 실험 결과, LENS 는 기존에 가장 성능이 좋다고 알려진 '밀집형' AI 모델들과 비슷하거나 더 좋은 성능을 냈습니다. 특히 검색 (Retrieval) 작업에서는 기존 모델과 LENS 를 합치면 **최고의 성능 **(SOTA)을 기록했습니다.

4. 결론: AI 의 눈과 뇌를 다듬다 🧠✨

이 논문은 거대 AI 가 가진 '지저분한 단어장'과 '제한된 시야'라는 약점을, **단어들을 묶어 정리하고 **(클러스터링) 해결했습니다.

그 결과, 더 작고, 더 빠르며, 더 설명 가능한 AI 모델을 만들 수 있게 되었습니다. 마치 거대한 도서관을 정리해서, 필요한 책만 빠르게 찾아주고 그 이유도 명확히 알려주는 **'스마트 도서관 사서'**를 만든 것과 같습니다.

이 기술은 앞으로 검색 엔진, 질문 답변 시스템, 문서 분류 등 다양한 분야에서 AI 를 더 효율적이고 투명하게 만들어 줄 것으로 기대됩니다.

기술 요약

논문 요약: LLM 을 활용한 어휘 기반 텍스트 임베딩 (LENS) 의 고도화

이 논문은 대규모 언어 모델 (LLM) 의 성능을 활용하면서도 기존 밀집형 (Dense) 임베딩의 한계를 극복하는 새로운 어휘 기반 임베딩 (Lexicon-Based Embeddings, LENS) 프레임워크를 제안합니다. 저자들은 LLM 의 어휘 공간의 중복성과 단방향 주의 (Unidirectional Attention) 의 한계를 해결하여, 희소 (Sparse) 임베딩이 밀집 임베딩과 경쟁력 있는 성능을 낼 수 있음을 입증했습니다.

1. 문제 제기 (Problem)

기존의 어휘 기반 임베딩 (예: SPLADE) 은 주로 작은 규모의 Masked Language Model (MLM) 을 사용했으나, 최근 LLM 의 발전과 함께 이를 확장하려는 시도가 있었습니다. 그러나 LLM 을 어휘 기반 임베딩에 적용할 때 다음과 같은 두 가지 주요 문제가 발생했습니다.

• 토큰의 중복성 및 노이즈 (Token Redundancy & Noise): LLM 의 서브워드 토크나이저 (Subword Tokenizer) 는 같은 단어를 여러 형태로 분할하거나 (예: "education" → "edu", "cation"), 대소문자/공백 차이로 인해 동일한 의미의 토큰을 여러 개 생성합니다. 이로 인해 어휘 매칭 시 불일치가 발생하고 임베딩의 효율성이 떨어집니다.
• 단방향 주의의 한계 (Unidirectional Attention Limitation): 대부분의 생성형 LLM 은 사전 훈련 시 단방향 (Causal) 어텐션을 사용합니다. 이는 각 토큰이 앞쪽 문맥만 볼 수 있게 하여, 어휘 기반 임베딩이 모든 토큰의 출력을 기반으로 생성된다는 특성상 문맥 이해도가 제한됩니다.

2. 방법론 (Methodology: LENS Framework)

저자들은 위 문제를 해결하기 위해 LENS라는 프레임워크를 제안하며, 다음과 같은 핵심 기법을 사용합니다.

• 토큰 임베딩 클러스터링 (Token Embedding Clustering):
  • LLM 의 언어 모델링 헤드의 토큰 임베딩을 K-means 클러스터링을 통해 그룹화합니다.
  • 의미적으로 유사하거나 같은 어근 (Lexeme) 에서 파생된 토큰들을 하나의 클러스터로 묶고, 클러스터의 중심점 (Centroid) 을 새로운 토큰 임베딩으로 대체합니다.
  • 효과: 어휘 공간의 중복성을 제거하고, 임베딩 차원을 밀집 임베딩과 유사한 수준 (예: 4,000 차원) 으로 축소하여 희소 임베딩의 효율성을 높입니다.
• 양방향 어텐션 (Bidirectional Attention):
  • 기존 LLM 의 단방향 어텐션을 미세 조정 (Fine-tuning) 단계에서 양방향으로 변경합니다.
  • 이를 통해 각 토큰이 전체 문맥을 고려할 수 있게 하여 어휘 기반 임베딩의 표현력을 극대화합니다.
• 최적화 및 풀링 전략:
  • 풀링 (Pooling): 시퀀스 차원에서의 Max-pooling 을 사용하여 최종 임베딩을 생성합니다.
  • Top-K 가지치기 (Pruning): 학습 시 별도의 특수 목적 함수 (Matryoshka Representation Learning 등) 없이도, 추론 시 상위 K 개의 활성화된 차원만 유지하여 임베딩을 희소화할 수 있습니다. 이는 자연스러운 어휘 기반 설계에서 비롯된 특성입니다.
• 하이브리드 접근: LENS(어휘 기반) 와 BGE-en-ICL(밀집 기반) 을 결합하여 상호 보완적인 성능을 달성합니다.

3. 주요 기여 (Key Contributions)

1. LLM 기반 어휘 임베딩의 선구적 연구: LLM 을 활용하여 어휘 기반 임베딩을 생성하는 첫 번째 프레임워크 (LENS) 를 제시했습니다.
2. 성능 경쟁력 확보: MTEB(Massive Text Embedding Benchmark) 에서 공개 데이터로만 학습된 모델 중 밀집 임베딩을 능가하거나 경쟁하는 성능을 달성했습니다.
3. 효율성과 투명성:
   • 고차원의 희소 임베딩을 저차원 (4,000~8,000 차원) 으로 압축하면서도 성능을 유지했습니다.
   • 각 차원이 특정 토큰 클러스터에 대응하므로, 어떤 단어가 임베딩에 기여했는지 해석이 용이합니다 (Transparency).
4. 자연스러운 희소화: 별도의 학습 없이 추론 시 Top-K 프루닝만으로도 성능 저하가 적은 컴팩트한 임베딩을 제공합니다.

4. 실험 결과 (Results)

• MTEB 벤치마크:
  • LENS-8000은 공개 데이터로 학습된 모든 모델 중 평균 성능이 가장 높았습니다 (71.63).
  • 특히 검색 (Retrieval) 과 재순위화 (Reranking) 태스크에서 밀집 임베딩인 BGE-en-ICL 보다 우수한 성능을 보였습니다.
  • 검색 태스크만 평가하는 BEIR 하위셋에서는 LENS 와 BGE-en-ICL 을 결합한 모델이 SOTA(State-of-the-Art) 성능 (63.00) 을 기록했습니다.
• AIR-Bench: 다양한 도메인 (법률, 의료, 금융 등) 에서의 질의응답 (QA) 태스크에서도 우수한 일반화 능력을 입증했습니다.
• 품질 분석:
  • 정성적 분석: "hypoxia(저산소증)"라는 입력에 대해 "oxygen(산소)" 클러스터가 높은 가중치를 받는 등, 단순 토큰 매칭을 넘어 심층적인 의미 이해를 보여줍니다.
  • 클러스터링 효과: "rapid", "quickly", "swift" 등 동의어와 "education", "Edu" 등 형태가 다른 동일 어근을 하나의 클러스터로 성공적으로 묶었습니다.

5. 의의 및 결론 (Significance)

이 연구는 어휘 기반 임베딩이 LLM 시대에 다시 부활할 수 있음을 증명했습니다. 기존에는 어휘 기반 임베딩이 검색 태스크에 국한되거나 성능이 밀집 임베딩에 미치지 못한다고 여겨졌으나, LENS 는 LLM 의 어텐션 메커니즘과 어휘 공간의 구조를 재설계함으로써 이를 극복했습니다.

• 기술적 의의: LLM 의 잠재력을 활용하면서도 해석 가능성 (Interpretability) 을 유지하는 새로운 임베딩 패러다임을 제시했습니다.
• 실용적 의의: 희소 임베딩의 장점 (효율적인 인덱싱, 투명성) 과 밀집 임베딩의 장점 (강력한 일반화) 을 결합하여, 향후 검색 및 정보 검색 시스템의 성능을 획기적으로 개선할 수 있는 가능성을 열었습니다.

한계점: 현재는 영어 데이터에 국한되어 있으며, Mistral-7B 모델에 적용되었으므로 다른 아키텍처나 다국어 환경으로의 확장성은 추가 연구가 필요합니다. 또한 LLM 기반이므로 기존 경량 모델 대비 계산 비용이 높다는 점은 여전히 존재합니다.