🤖 machine learning

PRQ-KMeans: Projection Residual Quantization for Semantic ID Tokenization

Este artículo presenta PRQ-KMeans, un método de tokenización de ID semántico post-hoc que mejora la cuantificación residual tradicional mediante la eliminación de componentes de media global, el refinamiento de los centroides con actualizaciones ponderadas por similitud y el empleo de residuales de proyección para lograr un rendimiento superior en tareas de recuperación generativa y recomendación.

Autores originales: Yunxiao Luo, Siyuan Wang, Ben Chen, Chenyi Lei

Publicado 2026-08-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yunxiao Luo, Siyuan Wang, Ben Chen, Chenyi Lei

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En las vastas bibliotecas digitales de internet, donde miles de millones de productos, artículos y videos compiten por la atención, las computadoras necesitan una forma de organizar la información que vaya más allá de las simples etiquetas. Los sistemas tradicionales suelen depender de códigos únicos para cada artículo, de forma muy similar a un catálogo de fichas de una biblioteca donde cada libro tiene un número distinto. Sin embargo, la inteligencia artificial moderna está aprendiendo a comprender el significado detrás de estos elementos, agrupándolos por lo que son en lugar de solo por cómo se llaman. Este enfoque, conocido como recuperación generativa, permite que las máquinas predigan y encuentren contenido relevante generando secuencias cortas de palabras o tokens que describen la esencia de un artículo. Para que esto funcione de manera eficiente, los investigadores han desarrollado métodos para descomponer datos complejos en capas jerárquicas, donde los primeros tokens describen una categoría amplia y los tokens posteriores se centran en detalles específicos. El desafío radica en cómo eliminar las características comunes y compartidas de un grupo de artículos en cada paso, de modo que la información restante sea puramente aquello que hace que el siguiente nivel de detalle sea único. Si el sistema no logra eliminar estas características comunes de forma limpia, desperdicia su capacidad repitiendo información que ya ha aprendido, dejando menos espacio para distinguir entre los artículos que más importan.

Un equipo de investigadores de Kuaishou Technology ha abordado este problema específico con un nuevo método llamado PRQ-KMeans. Su trabajo se centra en la mecánica de cómo se construyen estos códigos jerárquicos, identificando un fallo sutil en la forma en que los sistemas anteriores manejaban la transición de un nivel de detalle al siguiente. En el enfoque estándar, cuando una computadora selecciona un "centro" representativo para un grupo de artículos similares, simplemente resta ese centro de los datos del artículo para crear una pieza sobrante, o residuo, para ser analizada más a fondo. Los investigadores descubrieron que esta simple resta a menudo deja atrás un eco tenue del centro original, un componente sobrante que viaja con los datos al siguiente nivel. Este eco es problemático porque provoca que la siguiente capa del sistema pierda tiempo reanalizando diferencias que ya han sido contabilizadas, empañando efectivamente la distinción entre artículos que deberían estar claramente separados.

Para resolver esto, el equipo introdujo un proceso de "eliminación progresiva de la comunalidad", que actúa como un filtro más preciso. En lugar de restar simplemente un promedio estándar, su método primero elimina un componente de fondo global que es compartido por todo el conjunto de datos, asegurando que el sistema comience con un lienzo limpio. Luego, a medida que construye cada capa de la jerarquía, utiliza una técnica llamada proyección para eliminar la influencia específica del centro elegido. Imagine un vector de datos como una línea que apunta en una dirección específica; el método de los investigadores asegura que los datos sobrantes enviados al siguiente nivel sean perfectamente perpendiculares a la dirección del centro por el que acaban de pasar. Esto garantiza que ninguna parte de la decisión anterior se filtre a la siguiente etapa, obligando al sistema a concentrarse enteramente en las nuevas diferencias únicas que definen los detalles más finos. También refinaron la forma en que el sistema agrupa los artículos al permitir que los puntos de datos influyan no solo en su vecino más cercano, sino en un pequeño círculo de candidatos cercanos, creando un mapa más preciso del paisaje de datos antes de tomar una decisión final.

Los resultados de aplicar este método se midieron frente a los sistemas existentes utilizando un enorme conjunto de datos de un motor de búsqueda de comercio electrónico industrial que contiene millones de artículos y consultas. El nuevo enfoque demostró una clara ventaja en qué tan bien organizaba los datos y qué tan efectivamente ayudaba al motor de búsqueda a encontrar los productos adecuados. En este conjunto de datos industrial, el nuevo método mejoró la capacidad del sistema para alcanzar el artículo correcto en los cincuenta primeros resultados en un 7.4 por ciento y mejoró el ranking del artículo correcto en un 11.8 por ciento en comparación con el mejor método anterior. Estos avances no se limitaron a un solo tipo de datos; los investigadores también probaron el método en cuatro comparativas públicas de recomendación que cubren deportes, juguetes, ropa y música. En cada caso, el nuevo método funcionó tan bien como o mejor que las alternativas líderes, demostando que la técnica funciona a través de diferentes tipos de contenido.

Más allá de los números, los investigadores visualizaron cómo cambiaron los mapas internos del sistema con su nuevo método. En los sistemas antiguos, las capas de organización tendían a amontonarse, con las capas posteriores agrupándose estrechamente en el centro porque todavía cargaban con el "eco" de las decisiones anteriores. Con el nuevo método de proyección, las capas se distribuyen de manera más uniforme, utilizando todo el espacio disponible para distinguir entre los artículos. Esta mejora estructural significó que el sistema pudiera asignar códigos más únicos a diferentes productos, reduciendo el número de veces que artículos no relacionados se veían obligados a compartir el mismo identificador. Al controlar cuidadosamente exactamente qué información se pasa de un nivel de análisis al siguiente, los investigadores demostraron que es posible construir un sistema más eficiente y preciso para encontrar cosas en un mundo digital, convirtiendo una sutil corrección matemática en una ganancia práctica significativa para la forma en que buscamos y descubrimos contenido en línea.

Resumen Técnico: PRQ-KMeans

Planteamiento del Problema
Los Identificadores Semánticos (SIDs) representan entidades como secuencias de tokens jerárquicos para la recuperación y recomendación generativa. Un enfoque común para construir estos identificadores es la Cuantización Residual (RQ), donde se selecciona un código en cada nivel para representar un componente de la entidad, y el residuo (la diferencia entre la representación y el código) se pasa al siguiente nivel.

Los autores identifican tres limitaciones específicas en los cuantificadores RQ estándar (como RQ-KMeans y RQ-VAE) que dificultan la eficiencia de la construcción de SIDs jerárquicos:

Dominancia de Componentes Globales: Un componente compartido en todo el corpus (media global) puede dominar las representaciones iniciales. En la RQ estándar, el primer libro de códigos debe gastar capacidad modelando este trasfondo global en lugar de distinguir diferencias gruesas entre entidades.
Limitaciones de la Asignación Rígida (Hard Assignment): El K-Means estándar utiliza asignación rígida, donde una representación actualiza únicamente su centroide más cercano. Esto ignora las similitudes graduadas con codewords cercanos, descartando información útil cerca de los límites de los clusters.
Arrastre de Residuo (Residual Carryover): La RQ estándar resta el vector completo del centroide de la representación. Sin embargo, si una representación individual contiene una magnitud diferente de la componente direccional del centroide que el propio centroide, la resta deja un "arrastre de residuo" (positivo o negativo) a lo largo de la dirección del centroide seleccionado. Esto obliga a los libros de códigos subsiguientes a revisar la variación ya representada por el token actual, reduciendo la utilización de los niveles posteriores del SID.

Metodología: PRQ-KMeans
El artículo propone PRQ-KMeans (K-Means de Cuantización de Residuo por Proyección), un cuantificador de SID jerárquico post-hoc diseñado para abordar estas limitaciones mediante la "eliminación progresiva de la comunalidad". A diferencia de los métodos basados en VAE restringidos por la reconstrucción aditiva, PRQ-KMeans opera sobre embeddings existentes sin requerir que los codewords reconstruyan la entrada, permitiendo que el residuo preserve solo las diferencias necesarias para los niveles futuros.

El método consta de tres mecanismos centrales:

Eliminación del Componente Global: Antes de ajustar el primer libro de códigos, PRQ-KMeans proyecta cada embedding de entrada sobre la media global del corpus y resta este componente. Esto evita que el trasfondo global consuma la capacidad del primer libro de códigos.
Refinamiento Suave de Top-k Centroids: Durante el ajuste de cada libro de códigos, el algoritmo emplea un paso de refinamiento suave. En lugar de actualizar solo el centroide más cercano, identifica los $k$ centroides más cercanos basados en la similitud de coseno. Luego, actualiza estos centroides utilizando pesos proporcionales a las puntuaciones de similitud (mediante un softmax con un parámetro de concentración $\beta$ ). Esto permite que las representaciones cerca de los límites de los clusters contribuyan a múltiples centroides cercanos, mejorando la estimación del centroide.
Construcción del Residuo de Proyección: Después de que la asignación rígida selecciona un centroide, PRQ-KMeans no resta el vector completo del centroide. En su lugar, calcula el residuo de proyección. Elimina solo la componente de la representación que reside a lo largo de la dirección del centroide seleccionado, asegurando que el residuo resultante sea estrictamente ortogonal a dicho centroide. Esto elimina el problema del "arrastre de residuo", asegurando que el siguiente nivel reciba una representación libre de la variación ya capturada por el token actual.

Contribuciones Clave

Marco Conceptual: Los autores introducen la visión de la construcción de SIDs jerárquicos como "eliminación progresiva de la comunalidad", identificando que la construcción del residuo determina qué información se pasa entre niveles. Caracterizan explícitamente el "arrastre de residuo" como una fuente de ineficiencia en la RQ estándar.
Innovación Algorítmica: Proponen PRQ-KMeans, que integra la eliminación del componente global, el refinamiento suave de Top-k y la construcción de residuos basada en proyecciones.
Validación Empírica: El método se evalúa en un conjunto de datos de búsqueda de comercio electrónico a gran escala y en cuatro benchmarks públicos de recomendación (Amazon Sports, Toys, Clothing y LastFM).

Resultados Experimentales

Dataset Industrial: PRQ-KMeans logró el rendimiento general más fuerte entre los cuantificadores evaluados. Comparado con la sólida línea base RQ-KMeans, mejoró el HitRate en un 7.4% y el MRR en un 11.8% en la tarea de Orden (Order), y un 6.4% y 8.9% en la tarea de Clic (Click). También demostró una calidad de libro de códigos superior, con mayor utilización de prefijos y coeficientes de Gini más bajos (indicando una mejor distribución de tokens).
Benchmarks Públicos: PRQ-KMeans alcanzó el mejor rendimiento o empató en el mejor desempeño en los ocho métricas (Recall y NDCG) en los cuatro conjuntos de datos públicos, superando consistentemente a RQ-KMeans y otras líneas base como RQ-VAE y RQ-GMM.
Estudios de Ablación: Eliminar cualquiera de los tres componentes (eliminación global, refinamiento suave o proyección) resultó en una degradación del rendimiento, confirmando que los tres mecanismos contribuyen a la efectividad del método.
Robustez: El método mantuvo su superioridad cuando se probó con diferentes embeddings de entrada (Qwen3 vs. BGE), demostrando robustez ante variaciones de embedding.

Significancia y Reivindicaciones
El artículo afirma que PRQ-KMeans demuestra la efectividad de controlar explícitamente la información pasada entre los sucesivos niveles de SID. Al eliminar la media global y asegurar que los residuos sean ortogonales a los centroides seleccionados, el método permite que los niveles posteriores de la jerarquía utilicen un conjunto más amplio de prefijos y distingan las entidades de manera más efectiva. Los autores concluyen que su enfoque proporciona una base más sólida para la recuperación y recomendación generativa al optimizar el proceso de cuantificación en sí mismo, en lugar de depender únicamente de que el modelo descendente aprenda de identificadores subóptimos. Los resultados sugieren que modelar y eliminar el "arrastre de residuo" es un factor crítico y previamente poco explorado en la cuantificación jerárquica.

Más como este