Resumo Técnico: BACH (Bayesian Admixture of Contrastive Heads)

1. Definição do Problema

Os recuperadores de duas torres (two-tower retrievers) são o padrão para a geração de candidatos em larga escala em sistemas de recomendação, mapeando usuários e itens em um espaço de incorporação (embedding) compartilhado pontuado por produto interno. No entanto, modelos de vetor único padrão lutam para representar usuários com interesses diversos e fracamente relacionados, muitas vezes forçando todos os interesses a colapsarem em um único ponto no espaço de incorporação. Isso leva a listas de recuperação que super-representam interesses dominantes enquanto subatendem outros.

Modelos de múltiplos interesses tentam resolver isso emitindo $k$ incorporações de usuário (user embeddings/heads) e pontuando itens pelo produto interno máximo entre essas heads. No entanto, as abordagens existentes sofrem de duas limitações críticas:

1. Colapso de Roteamento (Routing Collapse): O treinamento via "roteamento rígido" (hard-routing — onde apenas a head com a maior pontuação para o item positivo recebe gradientes) cria uma dinâmica de vencedor leva tudo. Heads inicializadas ligeiramente pior são selecionadas com menos frequência, recebem menos atualizações e progressivamente colapsam em cópias da head dominante, deixando a capacidade efetiva abaixo de $k$.
2. Falta de Ponderação de Interesse por Usuário: Os métodos existentes tratam todas as $k$ heads simetricamente, não fornecendo uma estimativa por usuário de quão provável é cada head explicar o próximo item. Consequentemente, as regras de serviço acabam escolhendo a head de pontuação máxima ou pegando uma união de listas de topo sob um prior uniforme implícito, falhando em refletir a importância heterogênea dos interesses para usuários específicos.

2. Metodologia: BACH

Os autores propõem o BACH (Bayesian Admixture of Contrastive Heads), que reformula a recuperação de múltiplos interesses de duas torres como uma mistura de softmaxes por usuário, ajustada via inferência variacional.

Modelo Generativo

O BACH trata as $k$ user heads como componentes de um modelo de mistura finito. Para um usuário $u$ e um item $i$:

• Um indicador de componente latente $z_n \in \{1, \dots, k\}$ é introduzido com um prior por usuário $\pi_u$ (um vetor de pesos de mistura).
• Condicional a $z_n = r$, o item é gerado a partir de uma distribuição de softmax amostrada definida pela $r$-ésima incorporação de usuário $u^{(r)}$.
• A log-verossimilhança dos dados observados é a marginal sobre as heads latentes: $p(i|u) = \sum_r \pi_u^{(r)} p_r(i|u)$.

Inferência Variacional e Posterior de Reconhecimento

A otimização direta da log-verossimilhança é desafiadora devido ao termo log-de-soma. O BACH emprega inferência variacional para maximizar o Limite Inferior de Evidência (ELBO).

• Posterior de Reconhecimento: Em vez de usar o próprio posterior negativo-dependente do modelo (que é intratável no tempo de serviço), o BACH introduz um posterior de reconhecimento esférico $\gamma_n$ sobre as heads.
• Escolha do Kernel: O posterior é modelado usando uma densidade esférica (padronizando para Power-Spherical, com von Mises-Fisher como alternativa). A densidade é parametrizada pela direção da head $u^{(r)}$ e por um parâmetro de concentração $\kappa_r$.
• Responsabilidades: A distribuição variacional (responsabilidade) $\gamma_n^{(r)}$ é computada como:
  $$\gamma_n^{(r)} = \frac{\pi_u^{(r)} \sigma_r(n)}{\sum_{r'} \pi_u^{(r')} \sigma_{r'}(n)}$$
  onde $\sigma_r(n)$ é o valor da densidade esférica baseado no alinhamento entre a head e o item positivo.

Otimização

O modelo maximiza o ELBO conjuntamente sobre:

1. Incorporações ($\theta, \phi$): As user heads e a torre de itens são treinadas via uma perda contrastiva ponderada por responsabilidade. Diferente do roteamento rígido, os gradientes fluem através de todas as $k$ heads, ponderados por sua responsabilidade $\gamma_n^{(r)}$, mitigando o colapso de roteamento.
2. Pesos de Mistura ($\pi_u$): Uma torre de portão (gating tower) $\pi_\xi(x_u)$ produz pesos por usuário. Esses pesos atuam como um prior no ELBO e são reutilizados no tempo de serviço para ponderar a recuperação das heads.
3. Concentrações ($\psi$): Os parâmetros de concentração $\kappa_r$ são aprendidos para ajustar a nitidez do posterior contrastivo. Crucialmente, como $\kappa_r$ entra no ELBO apenas através do termo de divergência KL, eles são autorregularizados e não requerem prior explícito ou limitação (clipping).

Serviço (Serving)

No tempo de serviço, o BACH classifica os itens pela densidade de mistura auto-normalizada:
$$m(i|u) = \sum_{r=1}^k \pi_u^{(r)} C_d(\kappa_r) \omega_{\kappa_r}(\langle u^{(r)}, v_i \rangle)$$
Isso permite uma recuperação eficiente:

• Classificação Suave (Soft Ranking): Os itens são classificados por uma mistura suave em vez de um max rígido, permitindo que heads colapsadas ou de baixa massa contribuam minimamente.
• Variante de Codebook Global: O BACH suporta um modo "global" onde as heads são compartilhadas entre todos os usuários (um codebook fixo de tópicos), enquanto $\pi_u$ permanece personalizado. Isso permite a recuperação pré-computável, onde listas de candidatos por head são computadas offline e reponderadas por $\pi_u$ no tempo de serviço, eliminando consultas de vizinho mais próximo por usuário.

3. Principais Contribuições

• Formulação Variacional: Tratar a recuperação de múltiplos interesses como uma mistura de softmaxes por usuário ajustada via inferência variacional, substituando o roteamento arg-max rígido por responsabilidades suaves.
• Mitigação do Colapso de Roteamento: Ao distribuir gradientes entre todas as heads baseadas em responsabilidades suaves, o BACH evita a dinâmica de "vencedor leva tudo" comum em modelos de múltiplos interesses de roteamento rígido.
• Ponderação de Interesse por Usuário: O modelo aprende pesos de mistura explícitos por usuário ($\pi_u$) que quantificam a importância da head, que são reutilizados no serviço para ponderar a recuperação, abordando a falta de heterogeneidade de interesse nos métodos existentes.
• Concentrações Autorregularizadas: Os parâmetros de concentração $\kappa_r$ são ajustados aos dados via termo KL do ELBO, não requerendo priors externos e permanecendo naturalmente limitados.
• Pontuação Consistente com o Serviço: O artigo demonstra que o treinamento com um objetivo "consistente com o serviço" (pontuando cada candidato por sua melhor head, em vez de apenas o positivo) supera o treinamento de roteamento alvo tradicional.

4. Resultados Experimentais

Os autores avaliaram o BACH em três benchmarks de larga escala: MovieLens-20M, Taobao e Netflix.

• Desempenho: O BACH superou todos os baselines (vetor único, roteamento rígido de múltiplos interesses como MIND/ComiRec, e variantes de roteamento max) em todas as métricas (Recall@K, NDCG@K, AUPRC) e em cada contagem de heads ($k \in \{8, 16, 32\}$).
• Ganhos no Topo do Ranking: As melhorias foram mais significativas no topo do ranking (AUPRC, R@10), indicando um melhor alinhamento com a intenção do usuário.
• Ablação de Roteamento: O artigo descobriu que o "all-multihead" (pontuando cada candidato por sua melhor head) superou significativamente o "pos-multihead" (roteamento alvo), com lacunas que aumentam conforme $k$ aumenta. O BACH melhorou ainda mais sobre o baseline all-multihead.
• Variantes de Kernel: As variantes Power-Spherical (p-BACH) e von Mises-Fisher (v-BACH) tiveram desempenhos comparáveis, com ganhos atribuídos à estrutura de mistura variacional em vez do kernel esférico específico.
• Codebook Global: A variante de codebook global (as heads são compartilhadas, os pesos são personalizados) alcançou um desempenho forte (superando baselines de popularidade em 2–5x) ao mesmo tempo em que oferece serviço de baixa latência e pré-computável, além de robustez ao cold-start, embora tenha trocado algum desempenho em relação às heads totalmente personalizadas.

5. Significância e Alegações

O artigo afirma que o BACH fornece um arcabouço probabilístico principiado para a recuperação de múltiplos interesses que aborda diretamente as falhas estruturais dos métodos de roteamento rígido. Ao tratar o problema como uma mistura variacional, ele alcança:

1. Robustez: Eliminação do colapso de heads sem heurísticas de regularização complexas.
2. Calibração: Produção de pesos de interesse calibrados por usuário que melhoram a consistência do serviço.
3. Flexibilidade: Um espectro de opções de implantação, variando de heads totalmente personalizadas a um codebook global pré-computável, permitindo trocas (trade-offs) entre precisão e eficiência de serviço.

Os autores enfatizam que o método melhora a qualidade da recuperação em conjuntos de dados reais e de larga escala, mantendo uma arquitetura de serviço tratável, tornando-o um avanço prático sobre os baselines de múltiplos interesses existentes.