One Pass, Any Order: Position-Invariant Listwise Reranking for LLM-Based Recommendation

1. Declaração do Problema

O artigo aborda uma questão crítica de confiabilidade no uso de Modelos de Linguagem de Grande Escala (LLMs) para reranking listwise em sistemas de recomendação.

• O Descompasso: Os candidatos de recomendação formam um conjunto matemático, mas os LLMs baseados apenas em decodificador processam entradas como sequências.
• A Consequência: Rerankers padrão de LLM são sensíveis à ordem. Permutar a ordem do mesmo conjunto de candidatos pode levar a diferentes pontuações de itens e classificações finais. Esse "viés de posição" significa que a classificação reflete a serialização do prompt em vez de uma preferência genuína do usuário.
• Limitações das Soluções Existentes:
  • Métodos no momento da inferência (por exemplo, ensembles de permutação) melhoram a estabilidade, mas exigem múltiplas passagens para frente, aumentando a latência e o custo.
  • Regularização no momento do treinamento penaliza a discordância entre permutações, mas não impede que o modelo acesse informações de ordem durante o cálculo.
  • Calibração post-hoc ajusta as pontuações após o fato, mas não corrige a instabilidade subjacente.

2. Análise da Causa Raiz

Os autores identificam duas fontes arquitetônicas específicas de dependência de ordem em LLMs baseados apenas em decodificador:

1. Vazamento de Atenção entre Candidatos: Na atenção causal padrão, tokens de um candidato podem atender a tokens de outros candidatos na sequência. Isso cria interferência onde a pontuação de um item depende de seus vizinhos.
2. Deriva de Deslocamento Induzida por RoPE: Sob Embeddings Posicionais Rotacionais (RoPE), os deslocamentos posicionais relativos entre candidatos e o contexto compartilhado do usuário mudam quando a ordem dos candidatos é permutada. Isso altera os padrões de atenção e as pontuações, mesmo que o conteúdo permaneça o mesmo.

3. Metodologia: InvariRank

Os autores propõem o InvariRank, um framework que impõe invariância de permutação diretamente no nível arquitetural, em vez de através de objetivos de treinamento ou agregação de inferência. Ele opera em uma única passagem para frente.

Componentes Arquiteturais Chave:

• Mascaramento de Atenção Estruturado (Isolamento de Candidatos):
  • O modelo impõe uma máscara de segmento estruturada que bloqueia a atenção entre candidatos.
  • Cada token de candidato é permitido atender apenas ao contexto compartilhado do usuário (histórico/instrução) e aos seus próprios tokens.
  • Isso previne interferência entre candidatos, garantindo que $s_i = g_\theta(H, c_i)$ independentemente de outros itens na lista.
• Enquadramento Posicional Compartilhado:
  • Para contrabalançar a deriva do RoPE, os autores atribuem posições usando um "quadro compartilhado".
  • Enquanto os tokens do contexto do usuário ocupam as posições $1 \dots |T_H|$, cada segmento de candidato é atribuído posições começando imediatamente após o contexto ($|T_H| + 1 \dots$), independentemente da ordem do candidato na sequência de entrada.
  • Isso garante que o deslocamento posicional relativo entre qualquer candidato e o contexto do usuário permaneça constante, independentemente da permutação.
• Objetivo de Treinamento Listwise:
  • Apesar da pontuação independente durante a passagem para frente, o modelo é treinado usando um objetivo LambdaRank.
  • A função de perda otimiza preferências em pares ponderadas pela mudança no nDCG ($\Delta nDCG$). Isso preserva a supervisão listwise (qualidade de classificação) enquanto a arquitetura impõe a invariância.

4. Contribuições Principais

1. Diagnóstico: Identificou o vazamento de atenção entre candidatos e a deriva de deslocamento do RoPE como as fontes concretas de viés de posição no reranking de LLM.
2. Framework InvariRank: Propôs uma arquitetura inovadora que alcança invariância de permutação por design (via mascaramento estruturado e enquadramento compartilhado) sem exigir treinamento baseado em permutação ou ensembles.
3. Validação Empírica: Demonstrou que o modelo alcança robustez de permutação quase perfeita, mantendo ao mesmo tempo eficácia de classificação competitiva.

5. Resultados Experimentais

O modelo foi avaliado nos conjuntos de dados MovieLens-32M e Amazon Books usando os backbones LLaMA 3.2 3B e Mistral 7B.

• Robustez de Permutação:
  • O InvariRank alcançou métricas de robustez quase perfeitas: Kendall's $\tau \approx 0,99$ e Spearman's $\rho \approx 0,99$.
  • Em contraste, o Ajuste Fino Listwise Padrão (LFT) mostrou robustez significativamente menor ($\tau \approx 0,88$), indicando que suas classificações ainda flutuam com a ordem de entrada.
  • Baselines no momento da inferência (como Bootstrapping) melhoraram a robustez, mas exigiram múltiplas passagens e ainda ficaram aquém do desempenho de uma única passagem do InvariRank.
• Eficácia de Classificação:
  • O InvariRank manteve desempenho de classificação competitivo (HR@10 e nDCG@10).
  • Embora o LFT padrão tenha alcançado um nDCG ligeiramente superior (por exemplo, 0,8486 vs. 0,8166 no ML-32M), o desempenho do InvariRank foi estatisticamente comparável, provando que a invariância não exige um sacrifício massivo em precisão.
• Viés de Posição:
  • A análise de "Exposição Top-5" mostrou que os métodos padrão exibiam forte viés em direção a itens que aparecem mais cedo no prompt. O InvariRank achatou essa exposição, distribuindo-a uniformemente entre as posições de entrada.

6. Significado e Conclusão

• Confiabilidade: O InvariRank resolve o problema fundamental de confiabilidade de recomendadores baseados em LLM, garantindo que as classificações sejam baseadas em conteúdo e contexto do usuário, e não em serialização arbitrária.
• Eficiência: Ao alcançar invariância em uma única passagem para frente, evita a sobrecarga computacional de ensembles no momento da inferência.
• Filosofia de Design: O artigo argumenta que restrições arquitetônicas são necessárias para resolver a dependência de ordem, pois objetivos de treinamento sozinhos não podem desacoplar completamente o modelo de artefatos posicionais.
• Limitações: O isolamento estrito dos candidatos remove potenciais benefícios de interações entre candidatos (por exemplo, comparação direta). Trabalhos futuros podem explorar designs híbridos que permitam interação controlada enquanto mantêm a invariância.

Em resumo, o InvariRank fornece uma solução prática, eficiente e teoricamente sólida para implantar rerankers de LLM estáveis e invariantes à ordem em sistemas de recomendação de produção.