🤖 AI

TokenMinds: Pretrained User Tokens and Embeddings for User Understanding in Large Recommender Systems

TokenMinds es un sistema a escala industrial que extiende el marco PLUM para generar tanto tokens de usuario discretos y semánticamente fundamentados como embeddings densos mediante una arquitectura de LLM preentrenada, unificando con éxito los comportamientos de video de formato largo y corto para reducir costos mientras demuestra un valor complementario en sistemas de clasificación de YouTube a gran escala.

Autores originales: Qingyun Liu, Bo Yan, Yang Liu, Yuji Roh, Ekansh Sharma, Likang Yin, Emma Olowo, Min-hsuan Tsai, Yuxuan Li, Diego Uribe, Saksham Aggarwal, Siqi Wu, Yuan Hao, Vikas Kedigehalli, Lukasz Heldt, Lichan Hon

Publicado 2026-06-25

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Qingyun Liu, Bo Yan, Yang Liu, Yuji Roh, Ekansh Sharma, Likang Yin, Emma Olowo, Min-hsuan Tsai, Yuxuan Li, Diego Uribe, Saksham Aggarwal, Siqi Wu, Yuan Hao, Vikas Kedigehalli, Lukasz Heldt, Lichan Hong, Li Wei, Xinyang Yi

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando comprender el gusto de una persona por las películas. En los viejos tiempos, los sistemas de recomendación (como los de YouTube) intentaban hacer esto tomando todo el historial de videos vistos por una persona y comprimiéndolo en una única y diminuta "tarjeta de resumen" densa. Piensa en esto como intentar describir una novela entera escribiendo solo una oración en una nota adhesiva. Pierdes mucha de la sutileza, los detalles específicos y el sabor único de la historia.

Otros sistemas intentaban escribir un párrafo largo y detallado sobre el usuario. Pero esos párrafos solían ser vagos, capturando temas generales (como "le gustan los gatos") en lugar de los patrones específicos y profundos de lo que realmente vio y cuándo.

TokenMinds es un nuevo sistema creado por Google DeepMind y YouTube que resuelve esto proporcionando a los usuarios una "tarjeta de identidad digital" hecha de tokens discretos (como un conjunto de códigos específicos y significativos) y manteniendo la antigua "tarjeta de resumen" (embeddings densos) como respaldo.

Así es como funciona, desglosado con analogías sencillas:

1. El "ID Semántico" (El Código Postal Mágico)

En lugar de darle a cada video un número aleatorio (como "Video #49201"), TokenMinds le da a cada video un ID Semántico (SID).

La Analogía: Imagina que cada video tiene un "código postal" basado en lo que realmente trata. Un video sobre "cómo hornear pan de masa madre" podría tener un código postal que comience con Comida-Horneado-Pan. Un video sobre "reparar un fregadero" podría comenzar con Hogar-Fontanería.
Por qué ayuda: Si un usuario ve un video sobre "masa madre", el sistema no solo ve un número aleatorio; ve la parte de "Comida-Horneado" del código. Esto ayuda al sistema a entender el significado detrás de la visualización, no solo el ID.

2. El Motor de "Salida Dual" (El Kit de Dos Herramientas)

TokenMinds utiliza una arquitectura de IA especial (codificador-decodificador) que actúa como una navaja suiza. Produce dos cosas a la vez:

El Embedding Denso (La Tarjeta de Resumen): Es el vector numérico continuo de la vieja escuela que los sistemas existentes ya saben usar. Es como una instantánea rápida de la "vibra" del usuario.
Los Tokens SID (El Código Detallado): Esta es la parte nueva. La IA genera una lista de "códigos postales" específicos que representan los intereses futuros del usuario. Es como si la IA dijera: "Basado en lo que viste, es probable que quieras: Comida-Horneado-Pan, Tecnología-Programación-Python y Deportes-Baloncesto".

El Beneficio: El sistema obtiene lo mejor de ambos mundos. Mantiene felices a los sistemas antiguos (usando la tarjeta de resumen) mientras añade una nueva capa de comprensión semántica precisa (los tokens). El artículo encontró que usar ambos juntos funciona mejor que usar cualquiera de los dos por separado.

3. La Entrega "Asincrónica" (El Sistema de Preventa)

Generar estos tokens detallados es un trabajo pesado, como cocinar una comida compleja. Si intentaras cocinar mientras el cliente espera en el mostrador, sería demasiado lento.

La Analogía: TokenMinds utiliza un sistema de "preventa". Genera la "tarjeta de identidad" y los "tokens" del usuario en segundo plano (asincrónamente) mientras el usuario solo está navegando. Cuando el usuario realmente hace clic en "recomendar", el sistema simplemente toma la tarjeta ya preparada de un casillero de almacenamiento rápido. Esto significa que el sistema puede manejar miles de millones de usuarios sin ralentizarse.

4. El "Traductor Universal" (Un Modelo para Todos los Videos)

YouTube tiene dos tipos de videos muy diferentes: Formato Largo (como un documental de 20 minutos) y Formato Corto (como los Shorts de 15 segundos). Normalmente, necesitas dos modelos diferentes para entenderlos porque la gente los consume de forma distinta.

La Analogía: TokenMsnds es como un traductor universal. Utiliza el mismo sistema de "código postal" tanto para videos largos como cortos. Puede observar el historial de un usuario que ve un programa de cocina de 20 minutos y un truco de cocina de 15 segundos y darse cuenta: "¡Ah, a esta persona le encanta la cocina!".
El Resultado: En lugar de entrenar y ejecutar dos modelos separados y costosos, utilizan un solo modelo para hacer ambos trabajos. Esto redujo sus costos computacionales en un 50% para el entrenamiento y un 31% para el servicio, sin perder calidad.

5. Los Resultados (La Prueba)

El equipo probó esto con tráfico real de YouTube (miles de millones de usuarios).

Mejores Recomendaciones: Cuando añadieron estos nuevos tokens al sistema de clasificación, vieron un aumento mensurable en cómo la gente interactuaba con los videos y qué tan satisfechos estaban.
Eficiencia: Al combinar los modelos de video largo y corto, ahorraron una cantidad masiva de potencia informática.
Diversidad: El sistema no solo adivinaba lo mismo una y otra vez; generó una lista diversa de intereses potenciales, de forma muy similar a como un amigo humano sugeriría una variedad de cosas que podrían gustarte.

En resumen: TokenMinds es una forma más inteligente y eficiente de entender lo que los usuarios quieren. Deja de intentar comprimir el complejo gusto de una persona en un solo número y, en su lugar, le otorga un conjunto de "códigos" significativos que describen sus intereses, todo mientras se ejecuta en un motor único y rentable que gestiona todos los tipos de contenido de video.

Resumen Técnico: TokenMinds

Planteamiento del Problema

Los sistemas de recomendación industriales dependen tradicionalmente de embeddings de usuario densos y de dimensión fija para modelar los intereses del usuario. Si bien son efectivos, estas representaciones sufren de limitaciones inherentes, como la pérdida de señales detalladas al comprimir todo el espectro de intereses de un usuario en un solo vector. Por el contrario, los enfoques emergentes que utilizan Modelos de Lenguaje de Gran Escala (LLMs) para generar perfiles de usuario basados en texto enfrentan cuellos de botella significativos: a menudo capturan solo coocurrencias tópicas en lugar de dinámicas profundas de comportamiento secuencial, tienen dificultades para anclar los resultados textuales a atributos específicos de los ítems e introducen brechas de modalidad al integrarse en sistemas no textuales de procesamiento posterior (downstream). Además, aunque los IDs Semánticos (SIDs) han demostrado ser efectivos para la tokenización de ítems en la recomendación generativa, su aplicación al modelado de usuarios sigue siendo ampliamente inexplorada.

Metodología

TokenMinds es un sistema a escala industrial diseñado para cerrar estas brechas extendiendo el marco PLUM desde la recuperación de ítems hacia el modelado de usuarios. Emplea una arquitectura unificada de codificador-decodificador adaptada de LLMs pre-entrenados para generar simultáneamente dos salidas complementarias:

Embeddings de Usuario Densos: Extraídos del codificador, asegurando la compatibilidad con los modelos existentes que dependen de vectores continuos.
Tokens de Usuario Basados en SID Discretos: Generados de forma autorregresiva por el decodificador, proporcionando representaciones discretas y semánticamente ancladas de los intereses del usuario.

Componentes Principales

Arquitectura: El sistema utiliza una configuración de codificador-decodificador. El codificador procesa secuencias de características de usuario (historiales de visualización, consultas de búsqueda) para producir embeddings densos. El decodificador atiende a la salida del codificador mediante atención cruzada (cross-attention) para generar tokens de usuario basados en SID. Este diseño de doble salida permite que el sistema sirva tanto a modelos de embedding denso heredados como a nuevos modelos basados en tokens.
Tokenización de Entrada: Los comportios del usuario se tokenizan en una secuencia que comprende:
- Tokens SID: Codewords discretos jerárquicos derivados de las características de contenido de video mediante un Autoencoder Variacional de Cuantización Residual (RQ-VAE). Para fomentar la diversidad y mitigar la memorización, solo se utiliza el prefijo- $L$ del SID completo.
- Tokens Suaves (Soft Tokens): Las características que no son SID (por ejemplo, tiempo de visualización, dispositivo) se codifican como tokens suaves mediante proyección MLP.
- Tokens de Condición: Tokens específicos de escenario (por ejemplo, <LFV>, <SFV>, <Search>) se anteponen para distinguir tipos de contenido e intercalar consultas de búsqueda.
Objetivo de Entrenamiento: El modelo se entrena mediante Ajuste Fino Supervisado (SFT) tras un Pre-entrenamiento Continuo (CPT) sobre el vocabulario de SID. Emplea un muestreo de mirada hacia adelante (look-ahead sampling), seleccionando aleatoriamente múltiples visualizaciones objetivo futuras de una ventana de 24 horas en lugar de solo el siguiente ítem inmediato. Esto evita el sobreajuste a sesiones inmediatas y mejora la generalización a intereses futuros. La función de pérdida minimiza la entropía cruzada de los prefijos de SID predichos, ponderada por una señal de recompensa de interacción (engagement).
Modelado de Escenarios Cruzados: TokenMinds unifica el modelado de Video de Formato Largo (LFV) y Video de Formato Corto (SFV) dentro de un único marco. Al anteponer tokens de condición específicos de cada escenario, un solo modelo puede procesar secuencias intercaladas cronológicamente. En la inferencia, el decodificado de múltiples contextos permite al sistema generar tokens de usuario específicos de cada escenario a partir de una única pasada del codificador compartido, eliminando la necesidad de ejecuciones de inferencia redundantes.
Infraestructura de Servicio: Para manejar miles de millones de usuarios bajo estrictas restricciones de latencia, el sistema desacopla la generación de representaciones del scoring en tiempo real. Los embeddings y tokens de usuario se generan de forma asíncrona a través de un servicio de fondo y se almacenan en caché en un almacén de clave-valor. El scoring en tiempo real recupera estas representaciones precomputadas, asegurando una latencia constante independientemente de la complejidad del modelo subyacente.

Contribuciones Clave

Arquitectura de Doble Salida: La propuesta de TokenMinds, una arquitectura unificada que genera conjuntamente embeddings continuos densos estándar y tokens de usuario discretos basados en SID, permitiendo la compatibilidad con sistemas existentes mientras introduce nuevas capacidades de representación.
Representaciones de Usuario Tokenizadas: La novedosa aplicación de tokens discretos basados en SID para la representación de usuarios. El trabajo identifica estrategias de adaptación óptimas (específicamente, Embeddings Aprendibles) para integrar estos tokens en modelos de ranking posteriores, demostrando que los tokens y los embeddings densos capturan señales complementarias.
Modelado de Escenarios Cruzados: Un paradigma altamente eficiente que consolida el entrenamiento y el servicio para distintos escenarios (LFV y SFV) en un solo modelo. Este enfoque utiliza el decodificado de múltiples contextos para lograr salidas conscientes del escenario sin la sobrecarga de múltiples modelos.
Despliegue a Escala Industrial: La validación exitosa del sistema mediante extensos experimentos offline y pruebas A/B en vivo en múltiples superficies de YouTube, sirviendo el tráfico total de usuarios (miles de millones de usuarios).

Resultados

Desempeño Offline: Los estudios de ablación confirman que el muestreo de mirada hacia adelante y los prefijos de SID de grano grueso son críticos para la generalización. El uso de la inicialización mediante CPT supera significamente a la inicialización aleatoria o a los checkpoints pre-entrenados estándar.
Desempeño Online: Las pruebas A/B en vivo en sistemas de ranking de producción muestran ganancias estadísticamente significativas:
- Métricas Principales de Usuario: Mejora de hasta +0.11%.
- Métricas Principales de Interacción (Engagement): Mejora de hasta +0.62%.
- Complementariedad: La combinación de ambos, embeddings densos y tokens discretos, produce ganancias amplificadas en comparación con el uso de cualquiera de los dos por separado, validando el diseño de doble salida.
Eficiencia:
- Entrenamiento: La consolidación de LFV y SFV en un solo modelo reduce el cómputo de entrenamiento upstream en un 50%.
- Servicio: El decodificado de múltiples contextos reduce el cómputo de servicio upstream en un 31% en comparación con mantener modelos separados.
- Almacenamiento: Las representaciones de tokens discretos requieren un 72% menos de almacenamiento (1,280 bytes frente a 4,608 bytes) que los embeddings densos.
Escalabilidad: Los estudios de escalado indican que el rendimiento del modelo se satura aproximadamente a los 1,000 ítems de historial de visualización, y que los tamaños de lote (batch sizes) más grandes aceleran la convergencia y mejoran la calidad de la representación.

Significancia

El artículo afirma que TokenMinds demuestra la viabilidad práctica de los tokens de usuario basados en SID a escala industrial. Establece que las representaciones de usuario discretas y semánticamente ancladas ofrecen una dirección prometedora para escalar el modelado de usuarios más allá de las limitaciones de los embeddings densos por sí solos. Al integrar con éxito estos tokens en sistemas de ranking de producción y mostrar su valor complementario con los embeddings densos, el trabajo sugiere un nuevo paradigma para la comprensión del usuario en grandes sistemas de recomendación que equilibra la generalización, la eficiencia y la compatibilidad.