🤖 AI

Clark Hash: Stateless Sparse Johnson-Lindenstrauss Quantization for Neural Embeddings

Clark Hash es un códec sin estado y sin entrenamiento que comprime incrustaciones neuronales en bocetos Johnson-Lindenstrauss dispersos y con signo compactos de 48 bytes, logrando una reducción de almacenamiento de 32 veces mientras mantiene una alta precisión en la búsqueda por similitud coseno sin requerir libros de códigos aprendidos ni estadísticas precalculadas.

Autores originales: Stanislav Kirdey, Clark Labs Inc

Publicado 2026-05-28

📖 5 min de lectura🧠 Análisis profundo

CC0 1.0

Autores originales: Stanislav Kirdey, Clark Labs Inc

Artículo original dedicado al dominio público bajo CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una biblioteca masiva de libros, pero en lugar de almacenar el texto completo de cada uno, solo guardas una pequeña "postal" de 48 bytes para cada libro. Estas postales son tan pequeñas que ocupan casi ningún espacio, y sin embargo, te permiten encontrar el libro correcto cuando haces una pregunta.

Eso es esencialmente lo que hace Clark Hash, pero para "incrustaciones neuronales" (que son simplemente resúmenes matemáticos complejos de oraciones o ideas utilizados por la IA).

Así es como el artículo explica esta tecnología, desglosada en conceptos simples:

1. El Problema: Demasiado Desorden

Por lo general, los sistemas de IA almacenan las oraciones como listas largas de números (vectores). Un solo resumen de oración puede ocupar 1.536 bytes de espacio. Si tienes millones de oraciones, eso es mucho desorden digital. Consume memoria, ralentiza tu computadora y cuesta dinero almacenarlo.

2. La Solución: El Método de la "Postal" (Clark Hash)

Clark Hash es una nueva forma de reducir estas grandes listas a solo 48 bytes (una reducción de 32 veces) sin necesidad de entrenar primero un modelo de IA especial. Funciona como una máquina sin estado y unidireccional:

No se requiere entrenamiento: A diferencia de otros métodos que necesitan "estudiar" toda una biblioteca de libros antes de poder hacer postales, Clark Hash funciona instantáneamente. Puedes alimentarlo con una oración y, de inmediato, arroja un código diminuto. No necesitas un "paso de entrenamiento" ni un diccionario preelaborado.
El Proceso:
1. Normalizar: Primero verifica la "dirección" del significado de la oración, ignorando la longitud de la misma.
2. La Proyección Mágica (El "Hash"): Utiliza un truco matemático (llamado proyección de Johnson-Lindenstrauss con signo disperso) para aplastar la gran lista de 384 dimensiones en una lista mucho más pequeña de 96 números. Piensa en esto como doblar un mapa grande en un pañuelo de bolsillo diminuto. Es aleatorio pero determinista (si usas la misma "semilla" o clave, siempre obtienes el mismo doblez).
3. Recorte y Empaquetado: Recorta cualquier número que sea demasiado grande (recorte) y luego los redondea para que quepan en diminutos espacios de 4 bits. Esto convierte los números en un código súper compacto.

3. Cómo Buscas: El Truco "Asimétrico"

Esta es la parte ingeniosa.

La Base de Datos: La biblioteca solo almacena las postales diminutas de 48 bytes (los códigos comprimidos).
La Pregunta: Cuando haces una pregunta, tu computadora mantiene la versión completa y de alta calidad de tu pregunta en su memoria (punto flotante).
La Coincidencia: El sistema compara tu pregunta de alta calidad contra las postales diminutas. Es como comparar una foto de alta definición con un boceto diminuto. Las matemáticas están diseñadas de modo que, aunque un lado sea diminuto y el otro grande, el sistema aún puede determinar con gran precisión qué tan similares son.

4. Los Resultados: ¿Funciona?

Los autores probaron esto en un conjunto de datos multilingüe (oraciones en muchos idiomas diferentes) con más de 9.000 pares de oraciones.

La Prueba: Compararon las puntuaciones de las "postales" contra las puntuaciones de "tamaño completo" para ver si coincidían en qué oraciones eran similares.
La Puntuación: En una escala de 0 a 1, los bocetos diminutos de 48 bytes coincidieron con las versiones grandes y de tamaño completo con una correlación de 0.91 a 0.95.
Lo que esto significa: Si el modelo de IA original era bueno entendiendo las oraciones, las postales diminutas preservaron casi todo ese entendimiento. El sistema no se "confundió" solo porque los datos se redujeron de tamaño.

5. Qué Es (y Qué No Es)

El artículo es muy claro sobre los límites:

NO es un nuevo teorema matemático. Combina trucos matemáticos existentes (hashing, proyección, cuantización) en una nueva herramienta práctica.
NO es un reemplazo para motores de búsqueda avanzados que encuentran al "vecino más cercano" en bases de datos masivas. Es simplemente un códec de almacenamiento.
SÍ es una herramienta simple y sin estado para ahorrar espacio. Es perfecta para situaciones donde recibes datos uno por uno y necesitas almacenarlos inmediatamente sin esperar a entrenar un modelo complejo.

Analogía de Resumen

Imagina que tienes una escultura 3D gigante y detallada de una ciudad (los datos originales).

El almacenamiento tradicional guarda toda la escultura.
La compresión aprendida podría construir primero un modelo de la ciudad y luego guardar un plano.
Clark Hash es como tomar una foto de la escultura desde un ángulo específico, aplastar esa foto plana y convertirla en un código QR diminuto de 48 bytes. No puedes reconstruir la escultura 3D a partir del código, pero si tienes una nueva escultura y quieres saber si se parece a la antigua, puedes escanear la nueva y compararla con el código QR. Es rápido, ocupa casi ningún espacio y puedes hacerlo instantáneamente sin estudiar la ciudad primero.

Resumen Técnico: Clark Hash

Enunciado del Problema

Los sistemas de incrustación neuronal requieren frecuentemente almacenar vastas cantidades de vectores densos de punto flotante. Una incrustación de oración estándar de 384 dimensiones en formato f32 consume 1.536 bytes por vector, generando costos significativos para la memoria, la caché local, el almacenamiento en disco y la transferencia de red. Si bien los métodos de compresión existentes (como la cuantización de producto) pueden lograr alta calidad, generalmente dependen del aprendizaje de centroides, rotaciones o libros de códigos a partir de un corpus representativo. Estos enfoques son inadecuados para escenarios "en línea" donde los vectores llegan individualmente y deben almacenarse inmediatamente sin acceso a un conjunto de entrenamiento preexistente o a estadísticas del corpus.

Metodología

Clark Hash es un códec sin estado y determinista diseñado para comprimir incrustaciones neuronales sin una fase de entrenamiento. Combina tres técnicas establecidas: proyección Johnson-Lindenstrauss (JL) escasa y con signo, cuantización escalar fija y puntuación asimétrica. El proceso opera de la siguiente manera:

Normalización: Para la búsqueda por coseno, el vector de entrada $x$ se normaliza a una dirección unitaria $u = x / \|x\|_2$ .
Proyección Escasa y con Signo: El vector se proyecta en un espacio de boceto de menor dimensión ( $m$ $m$ dimensiones) utilizando una matriz aleatoria escasa $R$ $R$ . Esta matriz se construye mediante hashing de características, donde las coordenadas de entrada se mapean a cubetas con signos aleatorios ( $\sigma \in \{-1, +1\}$ $σ \in {- 1, + 1}$ ). La proyección es a prueba de datos y determinista dado una semilla.
- La proyección se escala por $\sqrt{m}$ para estabilizar las magnitudes de las coordenadas para la cuantización.
Cuantización Escalar Fija: Las coordenadas proyectadas se recortan a un rango simétrico $[-c, c]$ y se cuantizan uniformemente a $b$ bits. Esto produce un código entero de ancho fijo.
Puntuación Asimétrica: Los vectores de consulta permanecen en formato de punto flotante. Se proyectan en el mismo espacio de boceto (sin cuantización) y se puntúan contra los bocetos de la base de datos cuantizada almacenada utilizando un producto interno asimétrico. Esto evita el error de cuantización en el lado de la consulta.
Extensión de Producto Puntual: Para métricas de producto puntual, se añade un canal lateral de log-norma de dos bytes para almacenar la magnitud del vector original, permitiendo la reconstrucción del producto puntual a partir de la estimación de coseno y las normas.

La implementación es un paquete Rust sin estado (clark-hash), donde las ubicaciones de las cubetas y los signos se generan sobre la marcha utilizando una función hash estilo SplitMix64 basada en el índice de entrada y una semilla.

Contribuciones Clave

El artículo presenta Clark Hash no como un nuevo teorema matemático, sino como un paquete de ingeniería que integra conceptos existentes en una solución compacta y sin estado. Sus contribuciones principales son:

Codificación En Línea sin Estado: La capacidad de codificar vectores individualmente sin estadísticas previas del corpus, libros de códigos aprendidos o parámetros de calibración.
Compresión Extrema: En la configuración predeterminada para incrustaciones de 384 dimensiones, el método reduce el almacenamiento de 1.536 bytes a 48 bytes (una reducción de 32x).
Códec Determinista: Una representación cuantizada escalar de ancho fijo que permite el escaneo exacto de vectores comprimidos en el espacio de boceto.
Implementación: Una implementación de referencia en Rust y un marco de referencia disponibles para uso público.

Resultados

El método fue evaluado en tareas de similitud de oraciones multilingües utilizando 9.304 pares etiquetados de 29 subconjuntos (STS17 y STS22 a través de MTEB). La evaluación comparó puntuaciones de coseno densas contra puntuaciones de boceto de Clark Hash utilizando codificadores de la familia MiniLM.

Eficiencia de Almacenamiento: El perfil predeterminado ( $m=96, b=4$ ) almacena vectores en 48 bytes.
Correlación con Puntuaciones Densas:
- En STS17 con el modelo multilingüe MultiMiniLM-L12, los bocetos de 48 bytes lograron una correlación de Pearson macro de 0,9099 con las puntuaciones de coseno densas.
- En STS22, la correlación alcanzó 0,9460.
Rendimiento: Los pasos de cuantización y puntuación son computacionalmente insignificantes en comparación con el paso de generación de incrustaciones. Por ejemplo, cuantizar 17.000 oraciones únicas tomó aproximadamente 0,025 segundos, mientras que la puntuación tomó 0,005 segundos.
Dependencia del Modelo: Los resultados indican que la calidad del boceto depende en gran medida del modelo de incrustación subyacente. Cuando el modelo (por ejemplo, all-MiniLM-L6-v2) no era adecuado para datos multilingües, la línea base densa ya era débil, y el boceto añadió una pérdida adicional.

Significancia y Limitaciones

Los autores posicionan a Clark Hash como un códec de almacenamiento simple y un método de puntuación de bocetos, indicando explícitamente que no es un reemplazo para índices de vecinos más cercanos aproximados (ANN) (como HNSW) o cuantizadores aprendidos (como la Cuantización de Producto).

Significancia: Ofrece una solución práctica para escenarios que requieren almacenamiento compacto y determinista de incrustaciones donde los vectores llegan en línea y no hay un conjunto de entrenamiento disponible. Preserva una gran parte del comportamiento de la puntuación densa (alta correlación de Pearson) cuando el modelo de incrustación se ajusta bien a los datos.
Limitaciones:
- No se adapta al corpus, lo que potencialmente resulta en una calidad inferior a los métodos aprendidos con el mismo presupuesto de bytes.
- No es un índice ANN; el FlatIndex incluido realiza escaneos exactos en el espacio de boceto, lo cual puede no escalar a conjuntos de datos de producción masivos sin estructuras de indexación adicionales.
- La dimensión fija del boceto no puede preservar cada par en un flujo ilimitado; los usuarios deben ajustar los parámetros ( $m, b, s, c$ ) según sus objetivos de calidad específicos.

En conclusión, Clark Hash proporciona un "método pequeño" para almacenar incrustaciones neuronales que sacrifica la adaptación específica del corpus por la simplicidad sin estado y la eficiencia extrema de almacenamiento.