Grounded Token Initialization for New Vocabulary in LMs for Generative Recommendation

Resumen Técnico: Inicialización de Tokens Anclados (GTI)

1. El Problema: Colapso Semántico en la Extensión de Vocabulario

Los Modelos de Lenguaje (LMs) preentrenados se adaptan cada vez más a dominios específicos (como la recomendación generativa) extendiendo su vocabulario con miles de nuevos tokens aprendibles (por ejemplo, IDs Semánticos o SIDs).

• Práctica Actual: El estándar de la industria inicializa estos nuevos tokens como la media (promedio) de las incrustaciones (embeddings) del vocabulario existente.
• La Limitación Diagnóstica: Los autores demuestran que esta estrategia provoca un colapso geométrico. Al inicializar todos los nuevos tokens en un único punto (el promedio), se elimina cualquier distinción inter-token y se pierde la estructura semántica del dominio.
• Fallo del Ajuste Fino (Fine-tuning): El análisis espectral y geométrico revela que el ajuste fino supervisado posterior no logra recuperar completamente la estructura perdida. Los nuevos tokens permanecen en un subespacio degenerado de rango bajo, lo que limita la capacidad del modelo para transferir su conocimiento general al nuevo dominio.

2. Metodología: Grounded Token Initialization (GTI)

Para abordar este cuello de botella, los autores proponen la Hipótesis de Inicialización de Tokens Anclados: anclar lingüísticamente los nuevos tokens en el espacio de incrustaciones preentrenado antes del ajuste fino permite al modelo aprovechar mejor su conocimiento general.

El enfoque GTI consta de las siguientes etapas:

1. Congelamiento del Backbone: Se mantiene fijo el modelo de lenguaje preentrenado (backbone) y sus embeddings originales.
2. Fase de Anclaje (Grounding Stage): Antes del ajuste fino estándar, se introduce una etapa ligera donde solo se entrenan las incrustaciones de los nuevos tokens ($E_{new}$).
   • Supervisión Lingüística: Se utiliza un corpus de pares $(texto, token\_nuevo)$. Por ejemplo, se entrena al modelo para generar el token SID a partir de la descripción del artículo (y viceversa).
   • Mecanismo: Se minimiza la pérdida de verosimilitud negativa (NLL) sobre estos pares, permitiendo que los nuevos tokens se mapeen a regiones semánticamente distintas y coherentes dentro del espacio preexistente del LM.
3. Ajuste Fino Estándar: Una vez anclados, se procede al ajuste fino completo del modelo para la tarea final (recomendación).

Algoritmo Clave:

• Se utiliza una máscara binaria para actualizar únicamente las filas de la matriz de embeddings correspondientes a los nuevos tokens, dejando congelados el resto de los parámetros del LM.

3. Contribuciones Clave

1. Diagnóstico Riguroso: Mediante análisis espectral (descomposición en valores singulares) y geométrico (similitud coseno), se caracteriza el colapso de rango bajo causado por la inicialización por media, demostrando que el ajuste fino posterior no es suficiente para repararlo.
2. Método GTI: Se introduce un método simple pero efectivo que separa la fase de "anclaje semántico" de la fase de "adaptación de tarea". Esto proporciona un punto de partida estructurado semánticamente.
3. Validación Empírica: Se demuestra que la inicialización es un cuello de botella crítico. GTI supera consistentemente a la inicialización por media y a métodos de adaptación multi-tarea existentes (como LC-Rec).

4. Resultados Experimentales

El método se evaluó en el dominio de Recomendación Generativa (Generative Retrieval), donde el modelo genera IDs de artículos token a token.

• Datasets:
  • Industrial: Un sistema de recuperación de candidatos a nivel industrial (LinkedIn), con restricciones de privacidad que obligaron a reportar ganancias relativas.
  • Público: Dataset de alquiler de ropa "Vibrent".
• Comparativas:
  • Baseline: Inicialización por media + Ajuste Fino Supervisado (SFT) estándar.
  • LC-Rec: Inicialización por media + SFT con tareas auxiliares lingüísticas durante el entrenamiento.
  • GTI (Propuesto): Anclaje lingüístico previo + SFT estándar.
• Rendimiento:
  • En el dataset industrial, GTI logró una ganancia relativa de +21.63% en Precisión@5 (Good Match) frente al baseline, superando significativamente a LC-Rec (+6.38%).
  • En el dataset público, GTI mostró mejoras sustanciales en Recall@K (ej. +26.02% en Recall@20) y NDCG, incluso sin tareas auxiliares durante el ajuste fino final.
• Análisis de Estructura:
  • Las matrices de similitud coseno muestran que GTI preserva una estructura jerárquica en bloques entre los tokens SID, mientras que la inicialización por media produce bloques uniformes (colapso) y la inicialización aleatoria produce ruido no estructurado.
  • El análisis RSA (Representational Similarity Analysis) confirma que las incrustaciones de GTI preservan mejor la geometría semántica original del códigobook RQ-VAE tras el entrenamiento.

5. Significado e Impacto

• Cambio de Paradigma: El trabajo establece que la calidad de la inicialización es tan crítica como el proceso de entrenamiento posterior. No basta con "inyectar" tokens; deben "anclarse" semánticamente.
• Eficiencia: GTI es un método ligero que no requiere reentrenar todo el modelo ni añadir complejidad arquitectónica significativa, solo una etapa previa de entrenamiento de embeddings.
• Generalidad: Aunque se prueba en recomendación, la hipótesis sugiere que cualquier extensión de vocabulario en LMs (herramientas, conceptos visuales, dominios científicos) se beneficiará de un anclaje lingüístico previo para evitar el colapso dimensional.
• Implicación Teórica: Refuerza la idea de que los LMs preentrenados poseen una geometría rica que debe ser respetada y aprovechada al introducir nuevos símbolos, en lugar de tratarlos como puntos ciegos que el modelo debe aprender desde cero.

En conclusión, el paper demuestra que anclar lingüísticamente los nuevos tokens antes del ajuste fino es una estrategia superior para la extensión de vocabulario, resolviendo el problema de la degeneración semántica y mejorando drásticamente el rendimiento en tareas de recuperación generativa.