One Pass, Any Order: Position-Invariant Listwise Reranking for LLM-Based Recommendation

1. Enunciato del Problema

Il documento affronta un problema critico di affidabilità nell'utilizzo dei Large Language Models (LLM) per il reranking listwise nei sistemi di raccomandazione.

• La Discrepanza: I candidati di raccomandazione formano un insieme matematico, ma gli LLM basati su decoder elaborano gli input come sequenze.
• La Conseguenza: I reranker standard basati su LLM sono sensibili all'ordine. Permutare l'ordine dello stesso insieme di candidati può portare a punteggi diversi per gli elementi e a classifiche finali differenti. Questo "bias di posizione" significa che la classifica riflette la serializzazione del prompt piuttosto che una genuina preferenza dell'utente.
• Limiti delle Soluzioni Esistenti:
  • I metodi al momento dell'inferenza (ad esempio, ensemble di permutazioni) migliorano la stabilità ma richiedono più passaggi in avanti (forward passes), aumentando latenza e costi.
  • La regolarizzazione al momento dell'addestramento penalizza il disaccordo tra le permutazioni, ma non impedisce al modello di accedere alle informazioni sull'ordine durante il calcolo.
  • La calibrazione post-hoc aggiusta i punteggi a posteriori, ma non risolve l'instabilità sottostante.

2. Analisi della Causa Radice

Gli autori identificano due specifiche fonti architetturali di dipendenza dall'ordine negli LLM basati su decoder:

1. Perdita di Attenzione tra Candidati (Cross-Candidate Attention Leakage): Nell'attenzione causale standard, i token di un candidato possono attendere (attend to) token di altri candidati nella sequenza. Questo crea interferenze dove il punteggio di un elemento dipende dai suoi vicini.
2. Deriva dell'Offset Indotta da RoPE: Sotto gli Embedding Posizionali Rotativi (RoPE), gli offset posizionali relativi tra i candidati e il contesto utente condiviso cambiano quando l'ordine dei candidati viene permutato. Questo altera i pattern di attenzione e i punteggi anche se il contenuto rimane invariato.

3. Metodologia: InvariRank

Gli autori propongono InvariRank, un framework che impone l'invarianza alla permutazione direttamente a livello architettonico, piuttosto che attraverso obiettivi di addestramento o aggregazione all'inferenza. Opera in un singolo passaggio in avanti (single forward pass).

Componenti Architetturali Chiave:

• Mascheramento Strutturato dell'Attenzione (Isolamento dei Candidati):
  • Il modello impone una maschera di segmento strutturata che blocca l'attenzione tra candidati.
  • Ogni token di un candidato è autorizzato ad attendere solo al contesto utente condiviso (storia/istruzione) e ai propri token.
  • Questo previene le interferenze tra i candidati, garantendo che $s_i = g_\theta(H, c_i)$ indipendentemente dagli altri elementi nell'elenco.
• Inquadramento Posizionale Condiviso:
  • Per contrastare la deriva RoPE, gli autori assegnano le posizioni utilizzando un "quadro condiviso".
  • Mentre i token del contesto utente occupano le posizioni $1 \dots |T_H|$, ogni segmento di candidato viene assegnato a posizioni che iniziano immediatamente dopo il contesto ($|T_H| + 1 \dots$), indipendentemente dall'ordine del candidato nella sequenza di input.
  • Questo garantisce che l'offset posizionale relativo tra qualsiasi candidato e il contesto utente rimanga costante, indipendentemente dalla permutazione.
• Obiettivo di Addestramento Listwise:
  • Nonostante la valutazione indipendente durante il passaggio in avanti, il modello viene addestrato utilizzando un obiettivo LambdaRank.
  • La funzione di perdita ottimizza le preferenze a coppie ponderate dalla variazione di nDCG ($\Delta nDCG$). Questo preserva la supervisione listwise (qualità della classifica) mentre l'architettura impone l'invarianza.

4. Contributi Chiave

1. Diagnosi: Identificazione della perdita di attenzione tra candidati e della deriva dell'offset RoPE come fonti concrete del bias di posizione nel reranking basato su LLM.
2. Framework InvariRank: Proposta di una nuova architettura che raggiunge l'invarianza alla permutazione per progettazione (tramite mascheramento strutturato e inquadramento condiviso) senza richiedere addestramento basato su permutazioni o ensemble.
3. Validazione Empirica: Dimostrazione che il modello raggiunge una robustezza alla permutazione quasi perfetta mantenendo un'efficacia nella classifica competitiva.

5. Risultati Sperimentali

Il modello è stato valutato sui dataset MovieLens-32M e Amazon Books utilizzando i backbones LLaMA 3.2 3B e Mistral 7B.

• Robustezza alla Permutazione:
  • InvariRank ha raggiunto metriche di robustezza quasi perfette: Kendall's $\tau \approx 0.99$ e Spearman's $\rho \approx 0.99$.
  • Al contrario, il Fine-Tuning Listwise standard (LFT) ha mostrato una robustezza significativamente inferiore ($\tau \approx 0.88$), indicando che le sue classifiche fluttuano ancora in base all'ordine di input.
  • Le baseline al momento dell'inferenza (come il Bootstrapping) hanno migliorato la robustezza ma hanno richiesto più passaggi e sono comunque rimaste inferiori alle prestazioni in un singolo passaggio di InvariRank.
• Efficacia nella Classifica:
  • InvariRank ha mantenuto prestazioni di classifica competitive (HR@10 e nDCG@10).
  • Sebbene il LFT standard abbia raggiunto un nDCG leggermente superiore (ad esempio, 0.8486 contro 0.8166 su ML-32M), le prestazioni di InvariRank sono state statisticamente comparabili, dimostrando che l'invarianza non richiede un sacrificio massiccio di accuratezza.
• Bias di Posizione:
  • L'analisi dell'"Esposizione Top-5" ha mostrato che i metodi standard presentavano un forte bias verso gli elementi che apparivano all'inizio del prompt. InvariRank ha appiattito questa esposizione, distribuendola uniformemente tra le posizioni di input.

6. Significato e Conclusione

• Affidabilità: InvariRank risolve il problema fondamentale di affidabilità dei raccomandatori basati su LLM, garantendo che le classifiche siano basate sul contenuto e sul contesto utente, non su una serializzazione arbitraria.
• Efficienza: Raggiungendo l'invarianza in un singolo passaggio in avanti, evita il sovraccarico computazionale dell'ensemble al momento dell'inferenza.
• Filosofia di Progettazione: Il documento sostiene che i vincoli architetturali sono necessari per risolvere la dipendenza dall'ordine, poiché gli obiettivi di addestramento da soli non possono disaccoppiare completamente il modello dagli artefatti posizionali.
• Limitazioni: L'isolamento rigoroso dei candidati rimuove potenziali benefici derivanti dalle interazioni tra candidati (ad esempio, il confronto diretto). Il lavoro futuro potrebbe esplorare design ibridi che consentano un'interazione controllata mantenendo l'invarianza.

In sintesi, InvariRank fornisce una soluzione pratica, efficiente e teoricamente solida per il dispiegamento di reranker LLM stabili e invarianti all'ordine nei sistemi di raccomandazione di produzione.