Resumen Técnico: Tokenización de Características Numéricas y de Embedding para LLM en Sistemas de Recomendación

Planteamiento del Problema

Si bien los Grandes Modelos de Lenguaje (LLMs) han emergido como arquitecturas potentes para los sistemas de recomendación debido a sus capacidades de modelado de secuencias y comprensión semántica, existe un desajuste fundamental entre las interfaces de entrada de los LLMs y los flujos de trabajo industriales de recomendación. Los LLMs consumen principalmente tokens de texto discretos, mientras que los sistemas de recomendación prácticos dependen fuertemente de características numéricas continuas (por ejemplo, precio, calificaciones) y características de embedding densas generadas por ingeniería ascendente o codificadores preentrenados.

Las estrategias existentes para cerrar esta brecha —como la verbalización de señales en texto, la discretización de representaciones de ítems o el anexo de características externas solo después de la codificación del LLM— a menudo oscurecen la información numérica sensible a la escala, descartan señales continuas de grano fino o limitan la interacción entre las características textuales y no textuales dentro del modelo. Este artículo aborda el desafío de incorporar estas señales heterogéneas y no textuales directamente en el espacio de embedding del LLM sin perder su naturaleza continua ni requerir un procesamiento post-hoc.

Metodología

Los autores proponen un marco de fusión de tokens suaves (soft-token fusion framework) que mapea las características numéricas y de embedding en "tokens suaves" (vectores continuos) compatibles con la interfaz de tokens estándar del LLM. Este marco se instancia dentro de un modelo de recuperación de dos torres basado en LLM con parámetros compartidos.

1. Construcción de Tokens Suaves

El método convierte las características no textuales en secuencias de tokens suaves utilizando estrategias específicas de codificación y compresión:

• Características de Embedding: Las características de embedding densas (derivadas de metadatos de ítems o historial de usuario) son primero codificadas por un codificador de texto LLM auxiliar (Qwen3-4B). Para gestionar la longitud de la secuencia, se aplica un pooling de media (mean pooling) sobre los embeddings de los tokens consecutivos. Estos embeddings agrupados se comprimen luego en un número fijo de tokens suaves de embedding utilizando un adaptador Q-Former. El Q-Former utiliza tokens de consulta (query tokens) aprendibles para atender a las características de longitud variable, actuando como un cuello de botella de información.
• Características Numéricas: Las características numéricas continuas (específicamente el precio) se codifican utilizando codificación de características de Fourier para preservar las diferencias de valor de grano fino y la sensibilidad a la escala. Estos valores codificados se proyectan en la dimensión oculta del LLM y posteriormente se comprimen en tokens suaves numéricos a través de un Q-Former numérico dedicado.

2. Fusión Basada en la Interacción

Un componente crítico del marco es el módulo de fusión basado en la interacción. En lugar de simplemente concatenar tokens textuales, tokens suaves de embedding y tokens suaves numéricos (lo cual los autores encontraron subóptimo), el método propuesto refina los tokens suaves heterogéneos antes de su inserción.

• Los tokens suaves de embedding y numéricos se concatenan y se pasan a través de un módulo ligero de fusión Transformer.
• Este módulo modela las relaciones entre los dos tipos de características utilizando mecanismos de atención (atención cruzada bidireccional o unidireccional).
• Los tokens suaves refinados se insertan luego en la secuencia de entrada final del LLM (Qwen3-0.6B) junto con los tokens de prompt textual y el token de fin de secuencia ([EOS]).

3. Arquitectura

El sistema emplea una arquitectura de recuperación de dos torres donde ambas torres comparten los mismos parámetros del LLM. Las torres codifican las secuencias de entrada fusionadas en representaciones de recuperación densa mediante un pooling del último token sobre el token [EOS]. El modelo se entrena con un objetivo de contraste utilizando negativos dentro del lote (in-batch negatives).

Contribuciones Clave

1. Identificación del Desajuste: El artículo identifica explícitamente la desconexión entre las entradas de los LLM basadas en tokens y las características de embedding densas y numéricas continuas estándar en los flujos de trabajo de recomendación.
2. Marco de Fusión de Tokens Suaves: Propone un método para convertir características no textuales en tokens suaves compatibles con LLM, permitiendo que las señales heterogéneas sean consumidas a través de la interfaz de tokens estándar.
3. Fusión Basada en la Interacción: Los autores introducen un módulo específico que modela las interacciones entre los tokens suaves derivados de embeddings y numéricos antes de la codificación del LLM, demostrando que esto es superior a la concatenación directa.
4. Validación Empírica: El marco se instancia en un modelo de recuperación de dos torres de parámetros compartidos y se evalúa en tres benchmarks de recomendación de Amazon (Beauty, Sports and Outdoors, Toys and Games).

Resultados Experimentales

Los autores evaluaron su método contra varias líneas base, incluyendo variantes de LLM de solo texto, variantes de token suave de fuente única, líneas base de concatenación directa y modelos de recomendación secuencial/generativa establecidos (por ejemplo, SASRec, TIGER).

• Efectividad de las Características No Textuales: Tanto los tokens suaves numéricos como los de embedding proporcionaron mejoras de rendimiento sobre las líneas base de solo texto. La utilidad relativa varió según el conjunto de datos (las características numéricas fueron más impactantes en Beauty y Sports; las características de embedding fueron más impactantes en Toys).
• Superioridad de la Interacción: Se encontró que la concatenación directa de tokens suaves heterogéneos era inconsistente y a menudo rendía por debajo de las variantes de fuente única. En contraste, el enfoque de fusión basada en la interacción logró el mejor rendimiento o empató en el mejor rendimiento en la mayoría de las métricas (Recall@K, NDCG@K) en los tres conjuntos de datos.
• Comparación con Líneas Base: El modelo propuesto basado en la interacción superó a la línea base TIGER en Recall@10 en todos los conjuntos de datos y logró el mejor rendimiento general en el conjunto de datos de Toys and Games. También superó a los modelos secuenciales tradicionales como GRU4Rec, Caser y HGN.
• Estudios de Ablación: Experimentos adicionales confirmaron la necesidad de decisiones de diseño específicas:
  • Reemplazar los adaptadores Q-Former con proyecciones MLP degradó significamente el rendimiento (hasta una caída del 60% en R@5 en Sports).
  • Reemplazar la codificación de Fourier con la representación numérica basada en tokenizador redujo consistentemente el rendimiento.
  • La concatenación de prompts ingenua fue menos efectiva que la construcción de tokens suaves y la interacción explícita.

Significado y Reivindicaciones

El artículo sostiene que la fusión de tokens suaves sirve como una interfaz práctica para unir los LLMs con los flujos de trabajo de sistemas de recomendación ricos en características. Al representar las características numéricas continuas y los embeddings densos como tokens suaves y modelar explícitamente sus interacciones antes de la codificación del LLM, el método permite que los recomendadores basados en LLM exploten señales no textuales de grano fino sin abandonar la arquitectura basada en tokens.

Los autores posicionan este trabajo como un paso hacia el movimiento de arquitecturas de recomendación específicas para tareas hacia modelos centrados en LLM que pueden consumir nativamente tipos de datos heterogéneos. Señalan que el trabajo futuro podría extender este marco a tipos de características adicionales, modelos de backbone más grandes y entornos de recuperación a gran escala más realistas. Los resultados sugieren que modelar las relaciones entre características no textuales es crucial para maximizar el potencial de los LLM en las tareas de recomendación.