Retrieval with Multiple Query Vectors through Anomalous Pattern Detection

기술적 요약: 이상 패턴 감지를 통한 다중 쿼리 벡터 기반 검색

문제 정의
고전적인 벡터 검색 시스템은 일반적으로 단일 쿼리 패러다임 하에서 작동하며, 근접성 지표 (예: 코사인 유사도, 유클리드 거리) 를 기반으로 단일 임베딩 벡터를 사용하여 데이터베이스에서 가장 유사한 벡터를 검색합니다. 그러나 복잡한 추론 및 검색 작업은 종종 사용자의 의도를 다양한 측면에서 포착하는 다중 쿼리 벡터를 포함합니다 (예: 각 문장이 고유한 제약 조건이나 특징을 나타내는 단락). 다중 쿼리 검색에 대한 기존 접근 방식들은 이러한 벡터들을 휴리스틱을 통해 단일 임베딩으로 집계하거나 독립적으로 처리함으로써, 가치 있는 쿼리 간 관계를 무시합니다. 또한, 표준 거리 기반 지표는 특히 대규모 언어 모델 (LLM) 에서 생성된 고차원 임베딩에 내재된 복잡하고 비선형적이며 문맥에 의존적인 관계를 포착하는 데 실패할 수 있습니다.

본 연구는 사전에 검색할 벡터의 수를 지정할 필요 없이, 다중 쿼리 벡터 집합 $Q = \{q_1, q_2, \dots, q_M\}$이 주어졌을 때 관련 있는 데이터베이스 벡터를 검색하는 과제를 해결합니다.

방법론
저자들은 **이상 패턴 감지 (anomalous pattern detection)**에 기반한 검색 프레임워크를 제안합니다. 핵심 가설은 쿼리 벡터 집합이 데이터베이스 $D$에서 관찰된 분포와 비교하여 값들이 공동으로 현저히 벗어나는 특정 "이상 패턴" (벡터 차원의 하위 집합) 을 공유한다는 것입니다. 가장 관련성 높은 데이터베이스 벡터는 바로 이러한 동일한 공동 이상 패턴을 보이는 것들입니다.

이 접근 방식은 검색 설정으로 심층 스캔 알고리즘 (McFowland, Speakman, Neill 2013; Cintas et al. 2021, 2022) 을 확장하여 다음 두 단계 프로세스를 통해 구현됩니다:

1. 이상 차원 식별: 쿼리 집합 $Q$가 주어지면, 알고리즘은 쿼리의 구별되는 특성을 가장 잘 포착하는 벡터 차원의 하위 집합 $O^*_S$를 식별합니다.

   • 이 방법은 이상 패턴이 데이터베이스 분포에 비해 특히 낮은 값 (하위 $\alpha$-꼬리) 에 해당한다고 가정합니다.
   • z-점수 ($z_{ml} = \frac{q_{ml} - \mu_l}{\sigma_l}$) 를 사용하여 차원을 표준화하며, 여기서 $\mu_l$과 $\sigma_l$은 데이터베이스 $D$ 전체에 걸친 $l$차원의 평균과 표준 편차입니다.
   • 비모수적 스캔 통계량 (특히 Berk–Jones 통계량) 을 차원 하위 집합에 대한 이상 점수를 최대화하는 스코어링 함수 $F(S)$로 사용합니다.

2. 데이터베이스 벡터 검색: 식별된 차원 $O^*_S$를 사용하여 알고리즘은 데이터베이스 $D$를 스캔하여 해당 특정 차원에서 동일한 공동 이상 패턴을 보이는 벡터 하위 집합 $R^*_S$를 검색합니다.

전통적인 방법과 달리, 이 접근 방식은 고정된 거리 임계값이나 사전 지정된 검색 수 $K$에 의존하지 않습니다. 대신, 검색된 집합의 크기는 이상 스코어링 프로세스에 의해 동적으로 결정됩니다.

실험 설정 및 결과
저자들은 네 가지 다양한 데이터셋에서 이 방법을 평가했습니다:

• 이미지: MNIST 및 Fashion-MNIST (UMAP 를 통해 30 차원으로 평탄화 및 투영됨).
• 텍스트: Persona (특정 페르소나에 동의하는 문장의 LLM 임베딩) 및 Ailuminate (위험 범주에 대한 프롬프트의 LLM 임베딩).
• 표 (Tabular): 유방암 관련 의료 데이터셋 (31 개의 수치적 특징).

이 방법은 두 가지 적응형 KDTree 베이스라인과 비교되었습니다:

• KDTree pre: 검색 전에 모든 쿼리 벡터를 단일 벡터로 평균화합니다.
• KDTree post: 각 쿼리에 대해 벡터를 독립적으로 검색한 후 결과를 병합합니다.

주요 발견 사항:

• 쿼리 집합 크기의 영향: 대부분의 데이터셋에서 쿼리 벡터의 수 ($M$) 를 1 에서 8 로 늘리면 정밀도 (precision) 와 재현율 (recall) 모두에서 유의미한 개선이 있었습니다. $M$을 8 을 넘어 증가시키면 이득은 감소했습니다.
• 데이터셋별 성능:
  • Persona (LLM 텍스트): 제안된 방법은 $M=64$에서 거의 완벽한 정밀도와 재현율 (1.00 에 근접) 을 달성하여, 두 KDTree 변형 (~0.70–0.80) 보다 현저히 우수했습니다.
  • 표 데이터: 이 방법은 베이스라인 (0.90) 보다 높은 정밀도 (1.00) 를 달성했으나 재현율은 더 낮았습니다 (~0.77 대 ~0.90).
  • Fashion-MNIST: 이 방법은 베이스라인에 비해 더 높은 재현율을 보였으나 정밀도는 더 낮았습니다.
  • MNIST: 제안된 방법과 베이스라인 사이에 유의미한 차이는 관찰되지 않았으나, 모든 방법의 절대적 성능은 높았습니다.
• 검색 크기: 제안된 방법은 검색 집합 크기를 동적으로 결정합니다. 제거 실험 (ablation studies) 에서 KDTree 를 제안된 방법과 유사한 수의 벡터를 검색하도록 강제했을 때, 제안된 방법은 여전히 표 데이터와 Persona 데이터셋에서 정밀도와 재현율 측면에서 약간의 우위를 유지했습니다.

의의 및 주장
이 논문은 이 작업을 견고한 다중 쿼리 검색을 향한 새로운 단계로 위치시킵니다. 저자들은 고정된 지표가 놓치는 복잡하고 비선형적인 관계를 포착할 수 있도록, 전통적인 거리 기반 측정 대신 이상 스코어링 함수를 통해 관련성을 정의한다고 주장합니다.

이 연구는 이러한 방향에 대한 "첫걸음"으로 그 기여를 겸손하게 규정합니다. 저자들은 각 데이터셋당 고정된 관심 클래스를 사용한다는 점과, 최적화된 벡터 유사도 검색과 같은 더 정교한 벡터 검색 방법 대신 KDTree 를 베이스라인으로 사용한다는 점 등 한계를 인정합니다. 또한 이 방법은 축소된 차원의 이미지 임베딩 및 표 데이터에 비해 LLM 텍스트 임베딩에서 가장 잘 수행되었으며, 이는 서로 다른 데이터 유형 및 임베딩 아키텍처에 대한 일반화 가능성을 향후 조사할 필요가 있음을 시사합니다. 이 작업은 모든 다중 쿼리 검색 과제를 해결한다고 주장하지는 않지만, 쿼리 집합의 이상 패턴을 활용하면 특히 LLM 임베딩과 관련된 특정 맥락에서 우수한 검색 성능을 얻을 수 있음을 입증합니다.