🤖 AI

Clark Hash: Stateless Sparse Johnson-Lindenstrauss Quantization for Neural Embeddings

Clark Hash는 학습된 코드북이나 사전 계산된 통계를 요구하지 않으면서 높은 코사인 유사도 검색 정확도를 유지하며 32 배의 저장 공간 감소를 달성하는, 신경 임베딩을 48 바이트의 희소 부호화 존슨 - 린덴스트라uss 스케치로 압축하는 무상태 및 학습이 불필요한 코덱입니다.

원저자: Stanislav Kirdey, Clark Labs Inc

게시일 2026-05-28

📖 3 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Stanislav Kirdey, Clark Labs Inc

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 책 도서관이 있다고 상상해 보세요. 하지만 모든 책의 전체 텍스트를 저장하는 대신, 각 책마다 48바이트 크기의 아주 작은 '엽서'만 보관합니다. 이 엽서들은 공간을 거의 차지하지 않을 정도로 작지만, 질문을 할 때 올바른 책을 찾을 수 있게 해줍니다.

이것이 바로 Clark Hash가 수행하는 일입니다. 다만 이는 '신경 임베딩'(AI 가 사용하는 문장이나 아이디어의 복잡한 수학적 요약) 을 대상으로 한다는 점이 다릅니다.

다음은 이 기술이 단순한 개념으로 분해된, 해당 논문이 설명하는 방식입니다:

1. 문제: 지나친 혼란

일반적으로 AI 시스템은 문장을 긴 숫자 목록 (벡터) 으로 저장합니다. 단일 문장 요약은 1,536 바이트의 공간을 차지할 수 있습니다. 수백만 개의 문장이 있다면, 이는 엄청난 양의 디지털 혼란입니다. 이는 메모리를 소모하고 컴퓨터 속도를 늦추며, 저장 비용을 증가시킵니다.

2. 해결책: '엽서' 방식 (Clark Hash)

Clark Hash 는 특별한 AI 모델을 먼저 학습시킬 필요 없이 이러한 큰 목록을 48 바이트(32 배 축소!) 로 줄이는 새로운 방법입니다. 이는 상태가 없는 일방향 기계처럼 작동합니다:

학습 불필요: 다른 방법들은 엽서를 만들 수 있기 전에 전체 도서관을 '학습'해야 하는 것과 달리, Clark Hash 는 즉시 작동합니다. 문장 하나를 입력하면 즉시 아주 작은 코드를 출력합니다. '학습 과정'이나 사전에 만들어진 사전이 필요하지 않습니다.
과정:
1. 정규화: 먼저 문장 의미의 '방향'을 확인하고 문장의 길이는 무시합니다.
2. 마법 같은 투영 (해시): 거대한 384 차원 목록을 훨씬 작은 96 개의 숫자 목록으로 압축하는 수학적 트릭 (희소 부호화 존슨 - 린덴스트라uss 투영) 을 사용합니다. 이는 큰 지도를 작은 주머니 스카프로 접는 것과 같습니다. 이는 무작위적이지만 결정적입니다 (동일한 '시드' 또는 키를 사용하면 항상 동일한 접힘을 얻습니다).
3. 클리핑 및 패킹: 너무 큰 숫자는 잘라내고 (클리핑), 그 다음 4 비트 슬롯에 맞도록 반올림합니다. 이로써 숫자는 초소형 코드로 변환됩니다.

3. 검색 방법: '비대칭' 트릭

이 부분이 영리한 부분입니다.

데이터베이스: 도서관은 작은 48 바이트 엽서 (압축된 코드) 만 저장합니다.
질문: 질문을 할 때, 컴퓨터는 메모리에 질문의 완전한 고품질 버전 (부동 소수점) 을 보관합니다.
일치: 시스템은 고품질 질문을 작은 엽서들과 비교합니다. 고해상도 사진을 작은 스케치와 비교하는 것과 같습니다. 수학은 한쪽은 작고 다른 쪽은 크지만, 시스템이 여전히 두 가지가 얼마나 유사한지를 매우 정확하게 판단할 수 있도록 설계되었습니다.

4. 결과: 작동할까요?

저자들은 9,000 개 이상의 문장 쌍을 포함한 다국어 데이터셋 (여러 언어의 문장) 에서 이를 테스트했습니다.

테스트: 어떤 문장들이 유사한지에 대해 '엽서' 점수와 '전체 크기' 점수가 일치하는지 비교했습니다.
점수: 0 에서 1 사이의 척도에서, 작은 48 바이트 스케치는 큰 전체 버전과 0.91 에서 0.95의 상관관계를 보였습니다.
의미: 원래 AI 모델이 문장을 이해하는 데 능했다면, 작은 엽서들은 그 이해의 거의 대부분을 보존했습니다. 데이터가 축소되었다고 해서 시스템이 '혼란'을 겪지 않았습니다.

5. 그것이 무엇인지 (그리고 무엇이 아닌지)

논문은 한계를 매우 명확히 합니다:

새로운 수학적 정리가 아닙니다. 이는 해싱, 투영, 양자화 같은 기존 수학적 트릭을 새로운 실용적 도구로 결합한 것입니다.
대규모 데이터베이스에서 '가장 가까운 이웃'을 찾는 고급 검색 엔진을 대체하는 것이 아닙니다. 이는 단지 저장용 코덱일 뿐입니다.
공간을 절약하기 위한 단순한 상태가 없는 도구입니다. 데이터를 하나씩 받아 즉시 저장해야 하며 복잡한 모델을 학습할 시간을 기다릴 수 없는 상황에 완벽합니다.

요약 비유

거대하고 정교한 도시의 3D 조각상 (원본 데이터) 이 있다고 상상해 보세요.

전통적 저장은 조각상 전체를 보관합니다.
학습된 압축은 먼저 도시의 모델을 만든 다음 설계도를 저장할지도 모릅니다.
Clark Hash는 특정 각도에서 조각상을 찍은 사진을 찍어 평평하게 누른 다음, 그것을 48 바이트 크기의 작은 QR 코드로 변환하는 것과 같습니다. 이 코드에서 3D 조각상을 다시 만들 수는 없지만, 새로운 조각상을 가지고 와서 그것이 이전 것과 비슷한지 알고 싶다면, 새로운 조각상을 스캔하여 QR 코드와 비교할 수 있습니다. 이는 빠르고, 공간을 거의 차지하지 않으며, 도시를 먼저 학습할 필요 없이 즉시 수행할 수 있습니다.

기술 요약: Clark Hash

문제 정의

신경 임베딩 시스템은 종종 방대한 수의 조밀한 부동소수점 벡터를 저장해야 합니다. f32 형식의 표준 384 차원 문장 임베딩은 벡터당 1,536 바이트를 소비하여 메모리, 로컬 캐시, 디스크 저장소 및 네트워크 전송에 상당한 비용을 초래합니다. 기존 압축 방법 (예: 곱셈 양자화) 은 높은 품질을 달성할 수 있지만, 일반적으로 대표 코퍼스에서 중심점, 회전 또는 코드북을 학습하는 데 의존합니다. 이러한 접근 방식은 벡터가 개별적으로 도착하고 사전 학습 세트나 코퍼스 통계에 접근할 수 없는 상태에서 즉시 저장되어야 하는 "온라인" 시나리오에는 적합하지 않습니다.

방법론

Clark Hash 는 학습 단계 없이 신경 임베딩을 압축하도록 설계된 상태 비저장 (stateless) 결정론적 코덱입니다. 이는 희소 부호화 Johnson-Lindenstrauss (JL) 투영, 고정 스칼라 양자화, 비대칭 점수 산출이라는 세 가지 확립된 기법을 결합합니다. 과정은 다음과 같습니다:

정규화: 코사인 검색을 위해 입력 벡터 $x$ 는 단위 방향 $u = x / \|x\|_2$ 로 정규화됩니다.
희소 부호화 투영: 벡터는 희소 랜덤 행렬 $R$ $R$ 을 사용하여 저차원 스케치 공간 ( $m$ $m$ 차원) 으로 투영됩니다. 이 행렬은 특징 해싱을 통해 구성되며, 입력 좌표가 랜덤 부호 ( $\sigma \in \{-1, +1\}$ $σ \in {- 1, + 1}$ ) 와 함께 버킷에 매핑됩니다. 투영은 데이터 무관적이며 시드 (seed) 가 주어지면 결정론적입니다.
- 투영은 양자화를 위해 좌표 크기를 안정화시키기 위해 $\sqrt{m}$ 로 스케일링됩니다.
고정 스칼라 양자화: 투영된 좌표는 대칭 범위 $[-c, c]$ 로 클리핑되고 $b$ 비트로 균일하게 양자화됩니다. 이는 고정 폭 정수 코드를 생성합니다.
비대칭 점수 산출: 쿼리 벡터는 부동소수점 형식으로 유지됩니다. 이들은 양자화 없이 동일한 스케치 공간으로 투영되어 저장된 양자화된 데이터베이스 스케치와 비대칭 내적을 통해 점수가 산출됩니다. 이는 쿼리 측의 양자화 오차를 방지합니다.
내적 확장: 내적 지표를 위해, 원래 벡터의 크기를 저장하는 2 바이트 로그-노름(side channel) 채널이 추가되어 코사인 추정치와 노름으로부터 내적을 재구성할 수 있게 합니다.

구현은 상태 비저장 Rust 크레이트 (clark-hash) 이며, 버킷 위치와 부호는 입력 인덱스와 시드를 기반으로 SplitMix64 스타일 해시 함수를 사용하여 온더플라이 (on-the-fly) 로 생성됩니다.

주요 기여

이 논문은 Clark Hash 를 새로운 수학적 정리가 아닌, 기존 개념을 통합하여 컴팩트하고 상태 비저장 솔루션을 제공하는 엔지니어링 패키지로 제시합니다. 주요 기여는 다음과 같습니다:

상태 비저장 온라인 인코딩: 사전 코퍼스 통계, 학습된 코드북 또는 보정 파라미터 없이 개별적으로 벡터를 인코딩할 수 있는 능력.
극단적인 압축: 384 차원 임베딩을 위한 기본 구성에서 저장 공간을 1,536 바이트에서 48 바이트로 줄입니다 (32 배 감소).
결정론적 코덱: 스케치 공간에서 압축된 벡터를 정확하게 스캔할 수 있는 고정 폭 스칼라 양자화 표현.
구현: 공개 사용을 위한 참조 Rust 구현 및 벤치마크 하네스.

결과

이 방법은 29 개의 하위 집합 (MTEB 를 통한 STS17 및 STS22) 의 9,304 개의 레이블이 지정된 쌍을 사용하여 다국어 문장 유사성 작업에서 평가되었습니다. 평가는 MiniLM 계열 인코더를 사용하여 조밀한 코사인 점수와 Clark Hash 스케치 점수를 비교했습니다.

저장 효율성: 기본 프로필 ( $m=96, b=4$ ) 은 벡터를 48 바이트에 저장합니다.
조밀한 점수와의 상관관계:
- 다국어 MultiMiniLM-L12 모델을 사용한 STS17에서 48 바이트 스케치는 조밀한 코사인 점수와 0.9099의 매크로 피어슨 상관관계를 달성했습니다.
- STS22에서는 상관관계가 0.9460에 달했습니다.
성능: 양자화 및 점수 산출 단계는 임베딩 생성 단계에 비해 계산적으로 무시할 수 있습니다. 예를 들어, 17,000 개의 고유 문장을 양자화하는 데 약 0.025 초가 소요되었고, 점수 산출에는 0.005 초가 소요되었습니다.
모델 의존성: 결과는 스케치의 품질이 근본적인 임베딩 모델에 크게 의존함을 나타냅니다. 모델 (예: all-MiniLM-L6-v2) 이 교차 언어 데이터에 적합하지 않은 경우, 조밀한 기준선 자체가 약했고 스케치는 추가적인 손실을 초래했습니다.

중요성과 한계

저자들은 Clark Hash 를 단순한 저장 코덱 및 스케치 점수 산출 방법으로 위치시키며, 명시적으로 이는 근사 최근접 이웃 (ANN) 인덱스 (HNSW 등) 나 학습된 양자화기 (곱셈 양자화 등) 의 대체물이 아님을 명시합니다.

중요성: 벡터가 온라인으로 도착하고 학습 세트가 없는 상황에서 임베딩의 컴팩트하고 결정론적인 저장이 필요한 시나리오에 대한 실용적인 솔루션을 제공합니다. 임베딩 모델이 데이터에 잘 맞을 때 조밀한 점수 행동의 상당 부분 (높은 피어슨 상관관계) 을 유지합니다.
한계:
- 코퍼스에 적응하지 않으므로 동일한 바이트 예산에서 학습된 방법보다 품질이 낮을 수 있습니다.
- ANN 인덱스가 아닙니다. 포함된 FlatIndex 는 스케치 공간에서 정확한 스캔을 수행하므로 추가 인덱싱 구조 없이는 대량의 생산 데이터셋으로 확장되지 않을 수 있습니다.
- 고정 스케치 차원은 무제한 스트림의 모든 쌍을 보존할 수 없으며, 사용자는 특정 품질 목표에 따라 파라미터 ( $m, b, s, c$ ) 를 조정해야 합니다.

결론적으로 Clark Hash 는 코퍼스 특정 적응을 상태 비저장의 단순성과 극단적인 저장 효율성과 교환하는 신경 임베딩 저장을 위한 "작은 방법"을 제공합니다.