MVIGER: Multi-View Variational Integration of Complementary Knowledge for Generative Recommender

A continuación se presenta un resumen técnico detallado del artículo "MVIGER: Integración Variacional Multi-Vista de Conocimiento Complementario para Recomendadores Generativos."

1. Planteamiento del Problema

El artículo aborda una inconsistencia crítica en los Sistemas de Recomendación Generativos (sistemas que utilizan Modelos de Lenguaje Grandes para generar directamente IDs de ítems). Si bien estos sistemas aprovechan las capacidades de razonamiento de los Modelos de Lenguaje, su rendimiento es altamente sensible a dos factores:

1. Plantillas de Prompt: Las variaciones en las instrucciones en lenguaje natural (por ejemplo, "predecir el siguiente ítem" frente a "recomendar otro ítem") conducen a distribuciones de salida diferentes.
2. Tipos de Índice de Ítems: Los diferentes métodos de codificación de ítems en tokens (por ejemplo, IDs Colaborativos basados en el comportamiento del usuario frente a IDs Semánticos basados en metadatos de texto) capturan distintos aspectos del conocimiento del ítem.

El Problema Central: Incluso con el mismo historial de interacciones del usuario, cambiar el prompt o el tipo de índice resulta en predicciones top-$k$ significativamente diferentes. Un análisis preliminar revela que estas variaciones no son meramente ruido; codifican conocimiento complementario. Por ejemplo, menos del 50% de los ítems predichos correctamente se superponen entre diferentes tipos de índices, y los diferentes prompts capturan matices contextuales distintos. Los métodos existentes dependen o bien de una sola vista (omitendo información complementaria) o concatenan índices de manera ingenua (fallando en modelar la relación probabilística entre vistas), lo que conduce a recomendaciones subóptimas e inconsistentes.

2. Metodología: MVIGER

Los autores proponen MVIGER (Integración Variacional Multi-Vista de Recomendadores Generativos), un marco variacional unificado diseñado para integrar sistemáticamente estas diversas vistas.

A. Generación de Índices de Ítems Heterogéneos

MVIGER construye dos tipos distintos de índices de ítems para cada ítem con el fin de capturar diferentes fuentes de conocimiento:

• Índice Colaborativo (CeID): Derivado de incrustaciones de interacciones usuario-ítem (utilizando LightGCN).
• Índice Semántico (SeID): Derivado de metadatos de ítems (títulos, descripciones) codificados mediante Sentence-T5.
• Cuantización: Ambas incrustaciones se convierten en secuencias de tokens discretos jerárquicos utilizando un Autoencoder Variacional Cuantizado Residual (RQ-VAE). Esto permite que el Modelo de Lenguaje genere IDs de ítems token a token de manera autoregresiva.

B. Marco Variacional Multi-Vista

MVIGER trata la combinación de una plantilla de prompt específica y un tipo de índice de ítem como una "vista" distinta.

• Variable Latente: Se introduce una variable latente categórica $z$ para representar la selección de una vista específica (plantilla + índice) para un usuario dado.
• Formulación Probabilística: El objetivo es maximizar la verosimilitud marginal del ítem objetivo $y^*$ dado el historial del usuario $H(u)$:
  $$p(y^*|H(u)) = \sum_{z} p_\theta(y^*|z) p_\psi(z|H(u))$$
  Donde:
  • $p_\theta(y^*|z)$: La Red de Verosimilitud (el recomendador generativo) que predice el ítem dada una vista específica.
  • $p_\psi(z|H(u))$: La Red de Prior, una función aprendible que estima la probabilidad de que una vista sea relevante basándose en el historial del usuario.

C. Procedimiento de Entrenamiento (Estilo EM Variacional)

El modelo se entrena para optimizar la Cota Inferior de Evidencia (ELBO).

1. Cálculo de la Posterior: La posterior variacional óptima $q^*(z|H(u), y^*)$ se deriva en forma cerrada como el producto de la verosimilitud y la prior, normalizada sobre todas las vistas.
2. Optimización Desacoplada:
   • La Red de Verosimilitud ($\theta$) se actualiza para maximizar la log-verosimilitud esperada bajo la posterior óptima fija $q^*$.
   • La Red de Prior ($\psi$) se actualiza para minimizar la divergencia KL entre la prior aprendida y la posterior óptima.
   • Innovación Clave: Dado que $q^*$ se calcula en forma cerrada, los gradientes no fluyen a través de ella, lo que permite actualizaciones estables y desacopladas de las dos redes.

D. Inferencia Flexible

En el momento de la inferencia, el ítem objetivo es desconocido, por lo que la posterior no es accesible. MVIGER utiliza la Red de Prior aprendida para guiar la integración:

1. Selección de Vista Única: Seleccionar la vista más probable $z^* = \arg\max_z p_\psi(z|H(u))$ para una predicción eficiente.
2. Agregación Multi-Vista: Agregar predicciones a través de todas las vistas ponderadas por la prior aprendida: $p(y|H(u)) = \sum_z p_\theta(y|z) p_\psi(z|H(u))$. Esto aprovecha el conocimiento complementario para una mayor precisión.

3. Contribuciones Clave

1. Nueva Formulación del Problema: El artículo demuestra empíricamente que las variaciones en prompts e índices en recomendadores generativos no son solo fuentes de inestabilidad, sino que codifican conocimiento complementario que, si se integra, aumenta significativamente el rendimiento.
2. Marco Variacional Unificado: MVIGER introduce un modelo probabilístico que trata las diversas combinaciones de plantilla-índice como vistas latentes. Aprende una prior condicionada al usuario para seleccionar o agregar adaptativamente estas vistas, superando las limitaciones de los enfoques de índice fijo o concatenación simple.
3. Mecanismo de Inferencia Flexible: El marco soporta un equilibrio entre eficiencia y precisión. Los usuarios pueden optar por ejecutar una sola vista (rápido) o agregar múltiples vistas (preciso) sin reentrenamiento, controlado por la distribución de prior aprendida.
4. Rendimiento de Vanguardia: Experimentos extensivos muestran que MVIGER supera a las líneas base existentes (incluyendo P5, TIGER, EAGER y métodos basados en LLM) en múltiples conjuntos de datos.

4. Resultados Experimentales

• Conjuntos de Datos: Evaluado en Amazon Beauty, Amazon Sports y Yelp.
• Rendimiento: MVIGER logró la mayor Tasa de Acierto (H@5, H@10) y NDCG (N@5, N@10) en todos los conjuntos de datos.
  • Cabe destacar que MVIGER superó a líneas base más grandes basadas en LLM (como EAGER-LLM basado en Llama-7B) a pesar de utilizar una arquitectura base más pequeña (T5-small), demostrando que la integración efectiva de conocimiento complementario es más crítica que la escala del modelo en este contexto.
• Estudios de Ablación:
  • Selección de Índice: Los modelos de vista única (solo CeID o solo SeID) tuvieron un rendimiento significativamente peor que el MVIGER integrado, confirmando la complementariedad de las señales colaborativas y semánticas.
  • Agregación: La agregación de prior aprendida de MVIGER superó a líneas base simples como "Autoconsistencia" (votación mayoritaria) y "Prior Uniforme" (ponderación igual), demostrando el valor de aprender pesos de vista específicos del usuario.
• Análisis de Prior: La visualización de la prior aprendida reveló que los usuarios de inicio en frío tienden a depender más de los IDs Semánticos (basados en texto), mientras que los usuarios con historiales de interacción ricos dependen más de los IDs Colaborativos (basados en comportamiento). Esto confirma que el modelo aprende estrategias de ponderación significativas y conscientes del contexto.
• Eficiencia: La sobrecarga de inferencia para la red de prior es insignificante (~0.01s por usuario), y el procesamiento por lotes permite una inferencia multi-prompt eficiente.

5. Significado

• Estabilidad en Recomendadores Generativos: MVIGER resuelve el problema de "inestabilidad" de los recomendadores generativos causado por la sensibilidad a prompts/índices, transformándolo en una característica (vistas complementarias) en lugar de un defecto.
• Integración Probabilística: Va más allá de la concatenación heurística o métodos de ensamble simples, proporcionando un marco probabilístico riguroso (Inferencia Variacional) para fusionar fuentes de información heterogéneas.
• Escalabilidad y Adaptabilidad: El marco no está atado a tipos de índices específicos (funciona con CeID/SeID o CID/SemID de P5) y puede adaptarse a diferentes presupuestos computacionales seleccionando el número de vistas a agregar.
• Dirección Futura: El trabajo destaca que el aprendizaje "Multi-Vista" es una dirección prometedora para los sistemas de recomendación de próxima generación, sugiriendo que el trabajo futuro podría expandirse para incluir visual, precio o conocimiento externo como vistas adicionales.