Resumen Técnico: Aprendizaje de Representaciones de Tokens Contextuales Descompuestas a partir de Señales Preentrenadas y Colaborativas para Recomendación Generativa

1. Declaración del Problema

El artículo aborda dos limitaciones críticas inherentes a los paradigmas actuales de recomendación generativa en dos etapas, que típicamente involucran la tokenización de ítems seguida del entrenamiento de un Modelo de Lenguaje Grande (LLM):

1. Tokenización Estática Subóptima (C1): Los métodos existentes dependen de IDs semánticos fijos generados por un tokenizador preentrenado (por ejemplo, RQ-VAE) para reconstruir los metadatos de los ítems. Estos tokens estáticos no logran adaptarse a diversos contextos de interacción del usuario. En consecuencia, ítems semánticamente distintos (por ejemplo, auriculares para oficina vs. para dormir) pueden compartir tokens prefijos idénticos, creando una "ambigüedad de prefijo" que ciega al modelo ante la intención del usuario hasta el paso final de generación. Esta asignación estática crea un cuello de botella en la representación que limita el poder discriminativo del mecanismo de atención.
2. Semánticas Preentrenadas Descartadas (C2): Durante la etapa de entrenamiento del recomendador, el rico conocimiento semántico codificado en las incrustaciones preentrenadas se descarta efectivamente. Aunque el tokenizador aprende a reconstruir estas incrustaciones, las incrustaciones de tokens utilizadas por el LLM se inicializan aleatoriamente y se entrenan únicamente sobre datos de interacción del usuario. Este proceso sobrescribe el conocimiento mundial preentrenado (por ejemplo, el doble significado de "Apple" como fruta o marca tecnológica), lo que conduce a recomendaciones desalineadas, particularmente para ítems dispersos.

Los autores señalan que los intentos existentes de resolver estos problemas, como la optimización conjunta de extremo a extremo (por ejemplo, ETEGRec), a menudo introducen inestabilidad en el entrenamiento y sobrecarga computacional debido a la re-tokenización repetida.

2. Metodología: DECOR

Los autores proponen DECOR (Representaciones de Tokens Contextuales Descompuestas), un marco unificado diseñado para preservar las semánticas preentrenadas mientras mejora la adaptabilidad de los tokens sin requerir re-tokenización iterativa. DECOR consta de dos componentes principales:

3.1 Fusión de Incrustaciones Descompuestas

Para abordar la pérdida de semánticas preentrenadas (C2), DECOR mantiene dos espacios de incrustaciones paralelos:

• Incrustaciones Semánticas Preentrenadas Congeladas ($E_{pre}$): Derivadas de los libros de códigos de un tokenizador RQ-VAE preentrenado. Estas se mantienen congeladas para preservar las capacidades originales de reconstrucción semántica.
• Incrustaciones Colaborativas Aprendibles ($E_{collab}$): Entrenadas desde cero basándose en secuencias de interacción del usuario para capturar patrones secuenciales y dinámicas de co-ocurrencia.

Estas dos modalidades se fusionan a través de una red ligera. Ambas incrustaciones se proyectan en un espacio latente compartido, se normalizan, se concatenan y se mapean de nuevo a la dimensión original mediante una matriz de fusión aprendible. Esto permite que el modelo integre conocimiento semántico estático con señales colaborativas dinámicas de manera adaptativa.

3.2 Composición de Tokens Contextualizados

Para abordar la tokenización estática subóptima (C1), DECOR introduce un mecanismo de interpretación dinámica aplicado durante la fase de generación autoregresiva. En lugar de depender únicamente de la incrustación estática de un token, el modelo refina la representación del token basándose en el contexto de interacción del usuario:

• Vector de Contexto: Un mecanismo de agrupación basado en atención agrega las incrustaciones fusionadas de la secuencia histórica de interacciones para generar un vector de contexto ($u_c$).
• Composición Suave: Para cada token en la secuencia, el modelo realiza una composición suave sobre un conjunto candidato de tokens (específicamente, todos los tokens de la misma capa del libro de códigos RQ-VAE). La incrustación compuesta final es una suma ponderada de las incrustaciones candidatas, guiada por el vector de contexto.
• Fusión Residual: La incrustación compuesta contextualmente se fusiona con la incrustación estática original mediante un enlace residual controlado por un hiperparámetro $\alpha$. Esto permite que el modelo reinterprete dinámicamente los tokens estáticos sin alterar el tokenizador subyacente.

3.3 Composición de BOS (Inicio de Secuencia) Aprendible

Reconociendo que el primer token actúa como un ancla semántica global, los autores introducen un conjunto de vectores de consulta BOS aprendibles. Estos vectores se componen contextualmente para refinar el prefijo inicial, asegurando que el proceso de generación comience con un ancla semántica alineada con el historial específico del usuario, reduciendo así la propagación de ambigüedades.

3. Contribuciones Clave

• Análisis del Problema: El artículo es el primero en analizar explícitamente cómo la tokenización estática limita la capacidad de los recomendadores generativos para adaptar las representaciones de ítems a diversas dinámicas de contexto del usuario, identificando la ambigüedad de prefijo como un modo de fallo clave.
• Marco Novel (DECOR): Los autores proponen un marco que fusiona incrustaciones semánticas preentrenadas congeladas con incrustaciones colaborativas aprendibles. Crucialmente, introduce un mecanismo de composición de tokens dinámico y consciente del contexto que interpreta los tokens de entrada estáticos durante la generación, evitando la inestabilidad de la re-tokenización de extremo a extremo.
• Eficiencia y Estabilidad: El método logra una convergencia más rápida y una mayor precisión en comparación con las líneas base de entrenamiento conjunto, con una sobrecarga computacional solo moderada.

4. Resultados Experimentales

Los autores evaluaron DECOR en tres conjuntos de datos del mundo real de la colección de Reseñas de Amazon: Scientific, Instrument y Game.

• Rendimiento: DECOR superó consistentemente a las líneas base más avanzadas, incluidos los recomendadores secuenciales tradicionales (SASRec, GRU4Rec) y los modelos generativos (TIGER, LETTER, CoST, ETEGRec).
  • En el conjunto de datos Scientific, DECOR logró una mejora relativa de más del 14% en NDCG@10 en comparación con la línea base más fuerte.
  • En el conjunto de datos Instrument (notado por su terminología especializada y texto disperso), DECOR mejoró el NDCG@10 en un 5.0% sobre la mejor línea base, demostrando robustez donde los modelos basados en priores de texto lucharon.
• Estudios de Ablación: Eliminar ya sea la Fusión de Incrustaciones Descompuestas (DEF) o la Composición de Tokens Contextualizados (CTC) resultó en caídas significativas del rendimiento, confirmando que tanto preservar las semánticas preentrenadas como permitir la adaptación contextual son necesarios. La adición de consultas BOS aprendibles mejoró aún más el rendimiento, particularmente en la alineación de semánticas de alto nivel con el contexto del usuario.
• Convergencia: DECOR alcanzó el 95% de su rendimiento máximo 23 épocas más rápido que la línea base de entrenamiento conjunto (ETEGRec) y evitó el estancamiento del aprendizaje observado en ETEGRec durante las fases intermedias de entrenamiento.
• Utilización de Incrustaciones: DECOR mejoró significativamente la utilización de las entradas del libro de códigos. Mientras que TIGER utilizó solo ~26% de las incrustaciones activas en la primera capa de cuantificación, DECOR activó el 100% de las incrustaciones en los conjuntos de datos Instrument y Game aprovechando tokens inactivos durante la composición.
• Eficiencia: La latencia de inferencia aumentó aproximadamente 0.85 ms por muestra (con un tamaño de lote de 128) en comparación con la línea base TIGER, manteniendo ~82% del rendimiento de la línea base. Este compromiso se presenta como altamente favorable dados las ganancias de precisión del 5–14%.

5. Significado y Afirmaciones

El artículo afirma que DECOR proporciona una solución novedosa que evita la inestabilidad de la re-tokenización mientras retiene los beneficios de las semánticas preentrenadas. Al desacoplar la estructura semántica estática de las señales colaborativas dinámicas y permitir la reinterpretación contextual en el momento de la generación, DECOR cierra la brecha entre el conocimiento mundial y el comportamiento del usuario. Los autores posicionan esto como una alternativa más estable y expresiva a los marcos existentes de recomendación generativa, particularmente efectiva en escenarios con datos dispersos o terminologías especializadas de ítems donde los priores de texto estáticos son insuficientes.