🤖 machine learning

Tokens are All You Need: Dual-purpose Semantic IDs for Achieving LLM-Level I/O Efficiency in recommendation systems

Este artículo propone IDs Semánticos de doble propósito, un método que utiliza la cuantificación jerárquica para convertir incrustaciones densas en tokens discretos tanto para la identidad colaborativa como para la reconstrucción de contenido, logrando así una eficiencia de E/S de nivel de LLM y desplegándose con éxito en sistemas de recomendación a escala de producción para superar los cuellos de botella de memoria.

Autores originales: Baolei Li, Yiping Yuan, Yilin Zheng, Likang Yin, Ling Liu, Fabio Soldo, Romer Rosales, Xinyang Yi, Lichan Hong

Publicado 2026-07-29

📖 3 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Baolei Li, Yiping Yuan, Yilin Zheng, Likang Yin, Ling Liu, Fabio Soldo, Romer Rosales, Xinyang Yi, Lichan Hong

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando construir el motor de recomendación definitivo para una plataforma de video masiva, uno que sepa exactamente qué es lo que quieres ver a continuación. Para lograr esto, el sistema necesita entender dos cosas: quién eres (tu historial) y qué son los videos (su contenido). Tradicionalmente, las computadoras han almacenado esta información como listas gigantescas y pesadas de números llamadas "embeddings densos". Piensa en esto como si fueran planos masivos de alta resolución para cada uno de los videos y usuarios. Aunque estos planos son detallados, son increíblemente pesados de transportar. Cada vez que la computadora intenta hacer una sugerencia, tiene que cargar estos pesados planos desde el depósito de almacenamiento hasta el procesador, creando un embotellamiento conocido como la "Pared de la Memoria" (Memory Wall). Esto ralentiza todo, especialmente cuando tienes miles de millones de usuarios y videos.

En el otro lado del mundo tecnológico, los Modelos de Lenguaje Extensos (LLMs)—los cerebros detrás de los chatbots inteligentes—han descubierto un truco. Ellos no usan planos pesados; usan "tokens" discretos y simples, como palabras en una oración. Estos tokens son ligeros, rápidos y fáciles de procesar. La gran pregunta que se ha planteado para los sistemas de recomendación ha sido: ¿Podemos intercambiar esos planos pesados y lentos por estos tokens ligeros y veloces sin perder los detalles ricos necesarios para hacer buenas sugerencias? Si pudiéramos, finalmente podríamos darle a los sistemas de recomendación la misma velocidad y eficiencia que tienen los modelos de IA más inteligentes.

Este artículo, titulado "Tokens are All You Need", propone una solución ingeniosa a este problema mediante la introducción de "IDs Semánticos de Doble Propósito". Los autores, que trabajan en una importante plataforma de intercambio de videos, sugieren que podemos comprimir esos pesados planos de video en una secuencia corta de tokens, de forma muy similar a cómo se convierte una foto de alta definición en un código simple. Pero aquí está el truque de magia: estos tokens cumplen una doble función. Primero, actúan como un ID único para ayudar al sistema a aprender de las interacciones del usuario (como en qué videos hiciste clic). Segundo, y más importante, pueden ser "decodificados" instantáneamente de vuelta a una aproximación aproximada de los detalles originales del video cada vez que la computadora los necesite.

Los investigadores probaron esta idea en un sistema de producción real con miles de millones de ejemplos. Descubrieron que, al usar este método de reconstrucción "sobre la marcha", podían reducir drásticamente la cantidad de datos que el sistema tenía que mover. En sus experimentos, este enfoque no solo ahorró espacio; de hecho, hizo que el sistema fuera más rápido y mejoró la calidad de las recomendaciones, particularmente para nuevos usuarios o videos oscuros sobre los cuales el sistema aún no tenía muchos datos. El artículo sugiere que, al tratar los datos de alta dimensión como tokens, los sistemas de recomendación pueden liberarse de la "Pared de la Memoria" y volverse tan eficientes como los modelos de IA más avanzados, demostando que, a veces, realmente solo necesitas tokens para hacer el trabajo.

Resumen Técnico: Los tokens lo son todo: IDs semánticos de doble propósito para lograr la eficiencia de E/S de nivel LLM en sistemas de recomendación

1. Planteamiento del problema

Los sistemas de recomendación a gran escala enfrentan un cuello de botella crítico de "Muro de Memoria" causado por la dependencia de tablas de embeddings densos masivos de punto flotante. Mientras que los Grandes Modelos de Lenguaje (LLMs) escalan eficientemente debido a su espacio de tokens discretos unificado y su naturaleza limitada por cómputo, los sistemas de recomendación están limitados por la E/S (entrada/salida) y el ancho de banda de memoria requeridos para ingerir, almacenar y unir vectores continuos de alta dimensión (por ejemplo, historial de usuario, embeddings de contenido) durante el entrenamiento y la inferencia.

Esta limitación se vuelve particularmente aguda a medida que los sistemas evolucionan para manejar actividades de usuario secuenciales con longitudes que escalan a $10^4$ o más. Los enfoques tradicionales que intentan incorporar señales de contenido ricas mediante embeddings densos sufren de huellas de datos y latencias de servicio prohibitivas. Además, aunque la "Recuperación Generativa" ha introducido tokens semánticos para reemplazar los IDs categóricos, los métodos existentes tratan estos tokens estrictamente como identificadores, fallando en aprovecharlos para la reconstrucción eficiente de características de contenido continuas de alta dimensión.

2. Metodología: IDs semánticos de doble propósito

Los autores proponen un marco que transforma los embeddings de contenido continuos de alta dimensión en secuencias de tokens discretos compactos. Este enfoque se inspira en las técnicas de compresión de datos de visión por computadora (específicamente VQ-VAE y VQGAN), demostrando que los datos espaciales continuos pueden comprimirse en tokens discretos sin perder el significado semántico.

La metodología central consiste en dos roles concurrentes para los IDs semánticos ( $S_i$ ) generados:

A. Generación de ID semántico mediante cuantización

Los embeddings de contenido de alta dimensión ( $e_i \in \mathbb{R}^d$ ), típicamente derivados de modelos multimodales pre-entrenados, se comprimen en una secuencia de $K$ tokens discretos utilizando cuantización jerárquica (por ejemplo, Cuantización Residual o RQ-VAE).
$S_i = [t_{i,1}, t_{i,2}, \dots, t_{i,K}]$
Esto reduce los requisitos de almacenamiento de $d \times 32$ bits a $K \times \log_2(V)$ bits, logrando ratios de compresión de 50–100 $\times$ .

B. Marco de doble propósito

El marco utiliza estos tokens para dos funciones simultáneas dentro del modelo de recomendación:

Identidad Colaborativa (Aprendizaje In-Graph): La secuencia de tokens se trata como características categóricas. El modelo aprende embeddings para cada token (o combinaciones de n-gramas) para capturar patrones de interacción usuario-ítem. Las estrategias incluyen:
- Unigrama: Embeddings de tokens independientes.
- Bigrama superpuesto: Ventana deslizante para capturar transiciones locales.
- N-grama anidado: Prefijos jerárquicos para forzar el agrupamiento semántico (por ejemplo, todos los videos de "Jazz" comparten un embedding de nivel superior).
- Modelo Sentence Piece (SPM): Combinación de tokens adaptativa basada en la distribución de los datos.
  Este componente maneja la memorización y la generalización, particularmente para ítems de inicio en frío (cold-start) y de cola larga (long-tail).
Reconstrucción de Contenido (SiDec): Para recuperar la señal de contenido "pura" sin el costo de E/S de unir vectores densos, el sistema emplea un Decodificador Semántico ( $f_\theta$ ).
- Proceso: Los tokens discretos $S_i$ se buscan en un libro de códigos estático ( $\phi$ ) para recuperar embeddings latentes, que luego se pasan a través de un decodificador ligero (MLP o Transformer poco profundo) para reconstruir una aproximación del embedding original ( $\hat{e}_i$ ).
- Integración: Esta reconstrucción ocurre on-the-fly (sobre la marcha) dentro del grafo del modelo. Esto reemplaza la necesidad de almacenar o registrar vectores densos en los datos de entrenamiento. El decodificador puede ser congelado (usando un libro de códigos pre-entrenado) o entrenable (para alinearse con tareas específicas de downstream).

3. Contribuciones clave

Nuevo marco de doble propósito: El artículo introduce un sistema que aborda el "Muro de Memoria" integrando el aprendizaje de ID semántico estándar con la decodificación de ID semántico on-the-fly (SiDec). Esto equilibra la memorización de ítems específicos (vía tokens discretos) con la generalización consciente del contenido (vía reconstrucción de semántica continua).
Avance en la eficiencia de E/S: Al reemplazar el almacenamiento de vectores masivos con la reconstrucción bajo demanda, el marco reduce drásticamente las huellas de datos y la sobrecarga del sistema. Desplaza la carga del sistema de la recuperación de vectores densos limitada por disco hacia la reconstrucción on-the-fly limitada por cómputo.
Validación a escala de producción: Los autores proporcionan evidencia empírica extensa de una importante plataforma de intercambio de videos (YouTube), demostrando la efectividad del marco tanto en modelos de ranking como de recuperación.

4. Resultados experimentales

El marco fue evaluado mediante benchmarks offline y pruebas A/B online en producción.

Evaluación Offline (Modelo de Recuperación)

El estudio comparó cinco brazos experimentales para analizar el compromiso entre la fidelidad de la representación y el rendimiento de entrenamiento:

Control: IDs estándar, sin embeddings de contenido (Máximo rendimiento: 16.80 pasos/s, menor calidad).
Brazo 1 (Densidad Raw): Ingestión directa de embeddings de 64 dimensiones (La calidad mejoró, pero el rendimiento cayó un 28.2% a 12.07 pasos/s debido a cuellos de botella de E/S).
Brazo 2 y 3 (SiDec): Usando decodificadores de libro de códigos (v0 y v1). Estos brazos recuperaron el rendimiento a ~15.3 pasos/s (cerca de los niveles de Control) mientras mantenían o superaban la calidad del enfoque de densidad raw.
Brazo 4 (SiDec + Escalamiento): Combinando el libro de códigos v1 con escalamiento arquitectónico se logró la mejor pérdida global (2.681) y Hit Rate @100 (0.2910), con una aceleración de rendimiento del 20.4% sobre el enfoque de densidad raw.

Conclusión: La tokenización discreta rompe con éxito el cuello de botella de E/S, permitiendo el escalamiento concurrente de la profundidad del modelo y la precisión de la recuperación.

Despliegue Online

El marco se desplegó en modelos de ranking multitarea y modelos de recuperación transformer fundacionales.

Modelos de Ranking: Agregar el flujo de reconstrucción de contenido SiDec a las características de ID semántico existentes produjo ganancias significativas en el "Engagement Satisfactorio Online" (una métrica compuesta de tiempo de visualización e interacciones).
- Ranking de Watchpage: Mejora de +0.80%.
- Ranking de Homepage: Mejora de +0.22%.
Modelos de Recuperación: +0.13% de mejora en la Homepage.
Impacto: Las mejoras fueron estadísticamente significativas y beneficiaron desproporcionadamente a cuentas nacientes con historiales dispersos y contenido de cola larga, aliviando efectivamente el sesgo de popularidad.

5. Significado y Reivindicaciones

El artículo afirma que "Los tokens lo son todo" para recomendaciones altamente eficientes y ricas en contenido. La importancia de este trabajo reside en su cambio filosófico y arquitectónico:

Desacoplamiento de la E/S Continua: Los autores argumentan que las distribuciones continuas de alta dimensión no necesitan procesarse en su formato nativo de punto flotante para retener poder predictivo. Al cuantizar todo el espacio de características (incluyendo contexto de usuario, densidades históricas y embeddings de contenido) en un vocabulario unificado de tokens discretos, los sistemas de recomendación pueden desacoplarse de la E/S de punto flotante continua.
Alineación con las Leyes de Escalamiento de LLM: Este enfoque alinea a los sistemas de recomendación con las leyes de escalamiento limitadas por cómputo de las que disfrutan los LLMs, alejándose de las restricciones de memoria de los embeddings densos tradicionales.
Utilidad Dual: El marco demuestra que los tokens discretos pueden servir un doble propósito: actuando como características categóricas estructuradas para el filtrado colaborativo y como representaciones comprimidas para la reconstrucción de contenido on-the-fly, eliminando la necesidad de tablas de embeddings pesadas y separadas.

Los autores concluyen que este paradigma ofrece un camino para manejar secuencias de usuario ultra-largas y espacios de características masivos sin los costos prohibitivos asociados con el almacenamiento y la recuperación tradicional de vectores densos.