Resumen Técnico: BACH (Bayesian Admixture of Contrastive Heads)

1. Planteamiento del Problema

Los recuperadores de dos torres (two-tower retrievers) son el estándar para la generación de candidatos a gran escala en sistemas de recomendación, mapeando usuarios e ítems en un espacio de embeddings compartido que se puntúa mediante el producto interno. Sin embargo, los modelos estándar de vector único luchan por representar usuarios con intereses diversos y débilmente relacionados, forzando a menudo todos los intereses a colapsar en un único punto en el espacio de embeddings. Esto conduce a listas de recuperación que sobre-representan los intereses dominantes mientras sub-sirven otros.

Los modelos de interés múltiple intentan resolver esto emitiendo $k$ embeddings de usuario (cabezales o heads) y puntuando los ítems mediante el producto interno máximo a través de estos cabezales. Sin embargo, los enfoques existentes sufren dos limitaciones críticas:

1. Colapso de Enrutamiento (Routing Collapse): El entrenamiento mediante "enrutamiento duro" (hard-routing, donde solo el cabezal con la puntuación más alta hacia el ítem positivo recibe gradientes) crea una dinámica de ganador-se-lleva-todo. Los cabezales inicializados ligeramente peor son seleccionados con menos frecuencia, reciben menos actualizaciones y progresivamente colapsan en copias del cabezal dominante, dejando la capacidad efectiva por debajo de $k$.
2. Falta de Ponderación de Interés por Usuario: Los métodos existentes tratan los $k$ cabezales de forma simétrica, sin proporcionar una estimación por usuario de qué tan probable es que cada cabezal explique el siguiente ítem. En consecuencia, las reglas de servicio eligen el cabezal con la puntuación máxima o toman una unión de las listas superiores bajo un prior uniforme implícito, fallando en reflejar la heterogeneidad de la importancia de los intereses para usuarios específicos.

2. Metodología: BACH

Los autores proponen BACH (Bayesian Admixture of Contrastive Heads), que replantea la recuperación de interés múltiple de dos torres como una mezcla de softmaxes por usuario, ajustada mediante inferencia variacional.

Modelo Generativo

BACH trata los $k$ cabezales de usuario como componentes de un modelo de mezcla finita. Para un usuario $u$ y un ítem $i$:

• Se introduce un indicador de componente latente $z_n \in \{1, \dots, k\}$ con un prior por usuario $\pi_u$ (un vector de pesos de la mezcla).
• Condicional a $z_n = r$, el ítem se genera a partir de una distribución de softmax muestreada definida por el $r$-ésimo embedding de usuario $u^{(r)}$.
• La log-verosimilitud de los datos observados es la marginal sobre los cabezales latentes: $p(i|u) = \sum_r \pi_u^{(r)} p_r(i|u)$.

Inferencia Variacional y Posterior de Reconocimiento

La optimización directa de la log-verosimilitud es desafiante debido al término de log-de-la-suma. BACH emplea inferencia variacional para maximizar la cota inferior de evidencia (ELBO).

• Posterior de Reconocimiento: En lugar de usar el propio posterior dependiente de la negatividad del modelo (que es intratable en el tiempo de servicio), BACH introduce un posterior de reconocimiento esférico $\gamma_n$ sobre los cabezales.
• Elección del Kernel: El posterior se modela utilizando una densidad esférica (por defecto Power-Spherical, con von Mises-Fisher como alternativa). La densidad está parametrizada por la dirección del cabezal $u^{(r)}$ y un parámetro de concentración $\kappa_r$.
• Responsabilidades: La distribución variacional (responsabilidad) $\gamma_n^{(r)}$ se calcula como:
  $$\gamma_n^{(r)} = \frac{\pi_u^{(r)} \sigma_r(n)}{\sum_{r'} \pi_u^{(r')} \sigma_{r'}(n)}$$
  donde $\sigma_r(n)$ es el valor de la densidad esférica basado en la alineación entre el cabezal y el ítem positivo.

Optimización

El modelo maximiza el ELBO conjuntamente sobre:

1. Embeddings ($\theta, \phi$): Los cabezales de usuario y la torre de ítems se entrenan mediante una pérdida contrastiva ponderada por responsabilidad. A diferencia del enrutamiento duro, los gradientes fluyen a través de todos los $k$ cabezales, ponderados por su responsabilidad $\gamma_n^{(r)}$, mitigando el colapso de enrutamiento.
2. Pesos de la Mezcla ($\pi_u$): Una torre de compuerta $\pi_\xi(x_u)$ produce pesos por usuario. Estos pesos actúan como un prior en el ELBO y se reutilizan en el tiempo de servicio para ponderar la recuperación por cabezal.
3. Concentraciones ($\psi$): Los parámetros de concentración $\kappa_r$ se aprenden para ajustar la nitidez del posterior contrastivo. Crucialmente, debido a que $\kappa_r$ entra en el ELBO solo a través del término de divergencia KL, están autorregulados y no requieren un prior explícito ni recorte (clipping).

Servicio (Serving)

En el tiempo de servicio, BACH clasifica los ítems mediante la densidad de mezcla auto-normalizada:
$$m(i|u) = \sum_{r=1}^k \pi_u^{(r)} C_d(\kappa_r) \omega_{\kappa_r}(\langle u^{(r)}, v_i \rangle)$$
Esto permite una recuperación eficiente:

• Ranking Suave (Soft Ranking): Los ítems se clasifican por una mezcla suave en lugar de un max duro, permitiendo que los cabezales colapsados o de baja masa contribuyan mínimamente.
• Variante de Libro de Códigos Global (Global Codebook): BACH soporta un modo "global" donde los cabezales se comparten entre todos los usuarios (un libro de códigos fijo de tópicos), mientras que $\pi_u$ permanece personalizado. Esto permite la recuperación precomputable, donde las listas de candidatos por cabezal se computan fuera de línea y se reponderan por $\pi_u$ en el servicio, eliminando las consultas de nearest-neighbor por usuario.

3. Contribuciones Clave

• Formulación Variacional: Tratar la recuperación de interés múltiple como una mezcla de softmaxes por usuario ajustada mediante inferencia variacional, reemplazando el enrutamiento de arg-max duro con responsabilidades suaves.
• Mitigación del Colapso de Enrutamiento: Al distribuir los gradientes a través de todos los cabezales basados en responsabilidades suaves, BACH evita la dinámica de "ganador-se-lleva-todo" común en los modelos de interés múltiple de enrutamiento duro.
• Ponderación de Interés por Usuario: El modelo aprende pesos de mezcla explícitos por usuario ($\pi_u$) que cuantifican la importancia del cabezal, los cuales se reutilizan en el servicio para ponderar la recuperación, abordando la falta de heterogeneidad de interés en los métodos existentes.
• Concentraciones Autorreguladas: Los parámetros de concentración $\kappa_r$ se ajustan a los datos a través del término KL del ELBO, requiriendo ningún prior externo y permaneciendo acotados naturalmente.
• Puntuación Consistente con el Servicio: El artículo demuestra que entrenar con un objetivo "consistente con el servicio" (puntuando cada candidato por su mejor cabezal, en lugar de solo el positivo) supera al entrenamiento tradicional de enrutamiento de objetivos (target-routed training).

4. Resultados Experimentales

Los autores evaluaron BACH en tres benchmarks a gran escala: MovieLens-20M, Taobao y Netflix.

• Rendimiento: BACH superó a todos los baselines (vector único, interés múltiple de enrutamiento duro como MIND/ComiRec, y variantes de max-routing) en todas las métricas (Recall@K, NDCG@K, AUPRC) y en cada conteo de cabezales ($k \in \{8, 16, 32\}$).
• Ganancias en la Parte Superior del Ranking: Las mejoras fueron más significativas en la parte superior del ranking (AUPRC, R@10), indicando un mejor alineamiento con la intención del usuario.
• Ablación de Enrutamiento: El artículo encontró que "all-multihead" (puntuando cada candidato por su mejor cabezal) superó significativamente a "pos-multihead" (enrutamiento de objetivo), con brechas que se amplían a medida que $k$ aumenta. BACH mejoró aún más sobre el baseline de all-multihead.
• Variantes de Kernel: Las variantes Power-Spherical (p-BACH) y von Mises-Fisher (v-BACH) se desempeñaron de manera comparable, con ganancias atribuidas a la estructura de mezcla variacional más que al kernel esférico específico.
• Libro de Códigos Global: La variante de libro de códigos global (cabezales compartidos, pesos personalizados) logró un fuerte rendimiento (superando a los baselines de popularidad por 2–5 veces) ofreciendo un servicio precomputable de baja latencia y robustez ante el arranque en frío (cold-start), aunque sacrificó algo de precisión en comparación con los cabezales totalmente personalizados.

5. Significado y Reivindicaciones

El artículo afirma que BACH proporciona un marco probabilístico con principios para la recuperación de interés múltiple que aborda directamente las fallas estructurales de los métodos de enrutamiento duro. Al tratar el problema como una mezcla variacional, logra:

1. Robustez: Eliminación del colapso de cabezales sin heurísticas de regularización complejas.
2. Calibración: Producción de pesos de interés calibrados por usuario que mejoran la consistencia del servicio.
3. Flexibilidad: Un espectro de opciones de despliegue que van desde cabezales totalmente personalizados hasta un libro de códigos global precomputable, permitiendo compromisos entre precisión y eficiencia de servicio.

Los autores enfatizan que el método mejora la calidad de la recuperación en conjuntos de datos del mundo real y a gran escala, manteniendo una arquitectura de servicio tratable, lo que lo convierte en un avance práctico sobre los baselines de interés múltiple existentes.