Resumen Técnico: Eliminación de Recomendaciones Fuera de Dominio en Sistemas de Recomendación Basados en LLM

1. Planteamiento del Problema

Los Modelos de Lenguaje Extensos (LLMs) se están aplicando cada vez más a los sistemas de recomendación conversacionales debido a su capacidad superior de razonamiento y seguimiento de instrucciones. Sin embargo, un modo de fallo crítico en los recomendadores basados en LLM actuales es la generación de ítems Fuera de Dominio (OOD, Out-of-Domain). A diferencia de los sistemas tradicionales basados en IDs que operan estrictamente dentro de un catálogo conocido, los LLMs suelen alucinar ítems que no existen en el dominio objetivo, lo que conlleva impactos negativos en el mundo real.

Los enfoques existentes para mitigar las recomendaciones OOD generalmente caen en tres paradigmas aislados:

1. Basado en recuperación (Retrieval-based): Mapeo de la información de usuario/ítem a embeddings para recuperar ítems dentro del dominio.
2. Generación con restricciones (Constrained Generation): Restricción de la decodificación a un subespacio dependiente del catálogo (por ejemplo, mediante árboles de prefijos sobre los títulos de los ítems).
3. Tokenizadores de ítems (Item-Tokenizers): Mapeo de ítems a secuencias de tokens discretos y generación sobre este espacio aprendido.

Estos métodos se desarrollan típicamente con diferentes backbones y prompts, lo que dificulta la comparación sistemática de sus fortalezas relativas o la comprensión de los compromisos entre recuperación, generación y tokenización en un entorno unificado.

2. Metodología: El Marco RecLM

Los autores proponen RecLM, un marco unificado que une la recuperación y la generación bajo una única arquitectura y protocolo de entrenamiento. La innovación central es el uso de tokens de control especiales para demarcar segmentos de recomendación, permitiendo que diferentes mecanismos de fundamentación se integren en el mismo proceso de decodificación.

2.1 Tokens Especiales de Indicador de Ítem

RecLM equipa al LLM base (Llama3-8B-Instruct) con dos tokens especiales:

• <SOI> (Start-of-Item / Inicio de Ítem): Señala que el modelo está entrando en un segmento de recomendación donde se aplican restricciones de fundamentación.
• <EOI> (End-of-Item / Fin de Ítem): Marca la terminación del segmento, tras lo cual el modelo reanuda la generación de texto general.

Entre <SOI> y <EOI>, el marco delega en una de tres variantes:

A. RecLM-ret (Basado en recuperación)

• Mecanismo: Utiliza el estado oculto en <SOI> para recuperar el ítem más cercano de un índice de embeddings preconstruido (construido con BGE-M3).
• Entrenamiento: Optimizado con una pérdida de modelado de lenguaje estándar más una pérdida de recuperación auxiliar que alinea el estado oculto de <SOI> con el embedding del ítem real (ground-truth).

B. RecLM-cgen (Generación restringida sobre títulos reescritos)

• Mecanismo: Genera títulos de ítems bajo una restricción de árbol de prefijos construida sobre un catálogo de títulos reescritos.
• Reescritor de Títulos (TR): Un módulo ligero entrenado mediante Optimización de Política Relativa de Grupo (GRPO) para transformar metadatos de ítems verbosos en títulos concisos y legibles para humanos. El TR se optimiza utilizando cinco componentes de recompensa:
  • Similitud Ítem-a-Ítem (I2I): Preserva la estructura de vecindad.
  • Alineación Usuario-a-Ítem (U2I): Asegura que los títulos reflejen las preferencias del usuario.
  • Complejidad de Decodificación (DC): Minimiza la perplejidad condicional.
  • Concisión (CR): Favorece títulos más cortos.
  • Poder Discriminativo (DPR): Asegura que los títulos sean distinguibles de ítems similares.
• Entrenamiento: Emplea Entrenamiento de Máscara de Alcance (Scope Mask Training), donde el denominador softmax durante el cálculo de la pérdida se restringe a los tokens válidos en el árbol de prefijos, asegurando que el entrenamiento coincida con las restricciones de inferencia.

C. RecLM-token (Generación de Token de Ítem Discreto)

• Mecanismo: Mapea cada ítem del catálogo a una secuencia corta de tokens discretos (por ejemplo, <a_11><b_2>...) utilizando un codificador RQ-VAE (Cuantización de Vector Residual). El LLM genera estas secuencias de tokens entre <SOI> y <EOI>.
• Entrenamiento: Implica un ajuste fino supervisado para alinear al LLM con el libro de códigos (codebook), seguido de un aprendizaje por refuerzo basado en GRPO. La función de recompensa combina recompensas de clasificación sensibles a la posición y recompensas basadas en inclusión.

2.2 Entrenamiento de Diálogo Multironda

Para evitar que el modelo se convierta en una herramienta de QA rígida, los autores incorporan muestras de diálogo de múltiples rondas (combinando diálogos de ShareGPT con tareas de recomendación) en los datos de entrenamiento, asegurando que el modelo pueda intercalar recomendaciones naturalmente con la conversación general.

3. Contribuciones Clave

1. Marco Unificado: RecLM unifica los paradigmas de recuperación, generación restringida y tokenización de ítems bajo una única arquitectura utilizando la interfaz <SOI>/<`, permitiendo una comparación justa entre distintas estrategias de fundamentación.
2. Módulos de Mejora Ligeros: Introducción de un Reescritor de Títulos entrenado con GRPO para comprimir metadatos y una estrategia de entrenamiento de Máscara de Alcance para alinear la decodificación restringida con los objetivos de entrenamiento.
3. Evaluación Sistemática: Un estudio empírico exhaustivo en tres conjuntos de datos públicos (Steam, Amazon Movies, Amazon Toys) que demuestra que todas las variantes eliminan estrictamente las recomendaciones OOD mientras alcanzan una precisión competitiva o de vanguardia (state-of-the-art).

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos Steam, Amazon Movies y Amazon Toys, comparando RecLM contra 12 líneas base (ID-based tradicionales, LLMs congelados, LLMs ajustados y LLMs con tokenizador de ítems).

• Eliminación de OOD: Todas las tres variantes de RecLM lograron un OOD@10 = 0, eliminando estrictamente las recomendaciones fuera de dominio en todos los conjuntos de datos. Esto contrasta fuertemente con los LLMs congelados (ej. GPT-4o, Llama3) que mostraron tasas de OOD que oscilaban entre ~15% y más del 90%.
• Precisión: Las variantes de generación restringida (RecLM-cgen y RecLM-token) alcanzaron un rendimiento de vanguardia, superando a las líneas base fuertes basadas en ID (como SASRec) y otros LLMs ajustados (como BIGRec, CtrlRec) en HR@10 y NDCG@10.
  • En el conjunto de datos Steam, RecLM-cgen alcanzó un HR@10 de 0.0868, una mejora del 14.8% sobre la mejor línea base que no sea RecLM.
  • En el conjunto de datos Toys, RecLM-token logró el NDCG@5 más alto (0.0643), una mejora del 19.1%.
• Fiabilidad de Control: En pruebas de diálogo multiturno, RecLM-cgen y RecLM-token lograron puntuaciones de símbolo de control (CSN) casi perfectas, generando exactamente 10 tokens <SOI> para turnos de recomendación y cero para turnos de razonamiento, sin sacrificar las capacidades de razonamiento general (MMLU, GSM8K).
• Estudios de Ablación: Se observaron mejoras incrementales con cada componente: la generación restringida mejoró el ranking respecto al ajuste fino sin restricciones; la máscara de alcance aumentó aún más la precisión; y el Reescritor de Títulos (especialmente con recompensas completas de RL) proporcionó las ganancias finales de rendimiento.

5. Significación y Reivindicaciones

El artículo sostiene que RecLM proporciona una base sistemática para comparar distintos paradigmas para reducir las alucinaciones de ítems. Al integrar la recuperación, la generación restringida y la tokenización en un marco unificado, los autores demuestran que:

• La fiabilidad y la calidad no son mutuamente excluyentes: Es posible imponer estrictamente la fidelidad del catálogo (OOD@10 = 0) y, simultáneamente, alcanzar una precisión de recomendación de vanguardia.
• Compromisos de Paradigma: La visión unificada revela fortalezas complementarias; mientras que la recuperación (RecLM-ret) es efectiva, la generación restringida (RecLM-cgen/token) ofrece una mayor precisión de clasificación y flexibilidad conversacional.
• Utilidad Práctica: El marco ofrece una herramienta práctica para diseñar sistemas de recomendación basados en LLM tanto en entornos académicos como industriales, proporcionando un camino claro para mitigar el problema OOD que afecta a los actuales recomendadores generativos.

Los autores reconocen limitaciones respecto a la latencia de inferencia debido a la naturaleza autorregresiva de los LLM y la necesidad de trabajos futuros sobre diversidad, equidad y métricas de satisfacción del usuario a largo plazo. Sin embargo, posicionan a RecLM como un paso fundacional hacia recomendadores de LLM fiables y libres de alucinaciones.