One Pass, Any Order: Position-Invariant Listwise Reranking for LLM-Based Recommendation

1. Probleemstelling

Het paper behandelt een kritiek betrouwbaarheidsprobleem bij het gebruik van Large Language Models (LLM's) voor listwise reranking in aanbevelingssystemen.

• Het Mismatch: Aanbevelingskandidaten vormen een wiskundige set, maar decoder-only LLM's verwerken invoer als sequenties.
• Het Gevolg: Standaard LLM-rerankers zijn orde-gevoelig. Het permuteren van de volgorde van dezelfde kandidaatset kan leiden tot verschillende item-scores en uiteindelijke rangschikkingen. Deze "positiebias" betekent dat de rangschikking de serialisatie van de prompt weerspiegelt in plaats van een echte gebruikersvoorkeur.
• Beperkingen van Bestaande Oplossingen:
  • Inferentiemethoden (bijv. permutatie-ensembling) verbeteren de stabiliteit, maar vereisen meerdere forward passes, wat de latentie en kosten verhoogt.
  • Regularisatie tijdens het trainen straft onenigheid over permutaties af, maar voorkomt niet dat het model tijdens de berekening toegang krijgt tot orde-informatie.
  • Post-hoc kalibratie past scores achteraf aan, maar lost de onderliggende instabiliteit niet op.

2. Analyse van de Oorzaak

De auteurs identificeren twee specifieke architecturale bronnen van orde-afhankelijkheid in decoder-only LLM's:

1. Cross-Candidate Attention Leakage: Bij standaard causale attention kunnen tokens van de ene kandidaat attenderen op tokens van andere kandidaten in de sequentie. Dit creëert interferentie waarbij de score van een item afhankelijk is van zijn buren.
2. RoPE-Induced Offset Drift: Onder Rotary Positional Embeddings (RoPE) veranderen de relatieve positionele offsets tussen kandidaten en de gedeelde gebruikerscontext wanneer de kandidaatvolgorde wordt gepermuteerd. Dit verandert attentionpatronen en scores, zelfs als de inhoud gelijk blijft.

3. Methodologie: InvariRank

De auteurs stellen InvariRank voor, een raamwerk dat permutatie-invariantie direct op architecturaal niveau afdwingt in plaats van via trainingsdoelstellingen of inferentie-aggregatie. Het werkt in een enkele forward pass.

Belangrijkste Architecturale Componenten:

• Gestructureerde Attention Maskering (Kandidaatisolatie):
  • Het model legt een gestructureerd segmentmasker op dat cross-candidate attention blokkeert.
  • Elke kandidaat-token mag alleen attenderen op de gedeelde gebruikerscontext (geschiedenis/instructie) en zijn eigen tokens.
  • Dit voorkomt interferentie tussen kandidaten, waardoor $s_i = g_\theta(H, c_i)$ gegarandeerd is, ongeacht andere items in de lijst.
• Gedeelde Positionele Framing:
  • Om RoPE-drift tegen te gaan, wijzen de auteurs posities toe met een "gedeeld frame".
  • Terwijl de gebruikerscontext-tokens posities $1 \dots |T_H|$ bezetten, krijgt elk kandidaatsegment posities toegewezen die direct na de context beginnen ($|T_H| + 1 \dots$), onafhankelijk van de volgorde van de kandidaat in de invoersequentie.
  • Dit zorgt ervoor dat de relatieve positionele offset tussen elke kandidaat en de gebruikerscontext constant blijft, ongeacht de permutatie.
• Listwise Trainingsdoelstelling:
  • Ondanks de onafhankelijke scoring tijdens de forward pass, wordt het model getraind met een LambdaRank-doelstelling.
  • De verliesfunctie optimaliseert paarwise voorkeuren gewogen door de verandering in nDCG ($\Delta nDCG$). Dit behoudt listwise supervisie (rangschikkingskwaliteit) terwijl de architectuur invariantie afdwingt.

4. Belangrijkste Bijdragen

1. Diagnose: Identificatie van cross-candidate attention leakage en RoPE-offset drift als de concrete bronnen van positiebias bij LLM-reranking.
2. InvariRank Framework: Voorstellen van een nieuwe architectuur die permutatie-invariantie per ontwerp bereikt (via gestructureerde masking en gedeelde framing), zonder permutatie-gebaseerde training of ensembling.
3. Empirische Validatie: Aantonen dat het model bijna perfecte permutatie-robustheid bereikt terwijl het concurrerende rangschikkingseffectiviteit behoudt.

5. Experimentele Resultaten

Het model werd geëvalueerd op de MovieLens-32M en Amazon Books datasets met LLaMA 3.2 3B en Mistral 7B backbones.

• Permutatie-robustheid:
  • InvariRank behaalde bijna perfecte robustheidsmetrieken: Kendall's $\tau \approx 0.99$ en Spearman's $\rho \approx 0.99$.
  • Daarentegen toonde standaard Listwise Fine-Tuning (LFT) aanzienlijk lagere robustheid ($\tau \approx 0.88$), wat aangeeft dat hun rangschikkingen nog steeds fluctueren met de invoervolgorde.
  • Inferentie-baselines (zoals Bootstrapping) verbeterden de robustheid, maar vereisten meerdere passes en bleven toch achter bij de single-pass prestaties van InvariRank.
• Rangschikkingseffectiviteit:
  • InvariRank behield concurrerende rangschikkingsprestaties (HR@10 en nDCG@10).
  • Hoewel standaard LFT iets hogere nDCG-scores behaalde (bijv. 0.8486 versus 0.8166 op ML-32M), was de prestatie van InvariRank statistisch vergelijkbaar, wat bewijst dat invariantie geen enorme offer vereist in nauwkeurigheid.
• Positiebias:
  • Analyse van "Top-5 Exposure" toonde aan dat standaard methoden een sterke bias vertoonden naar items die eerder in de prompt verschenen. InvariRank egaliseerde deze blootstelling en verdeelde deze uniform over invoerposities.

6. Betekenis en Conclusie

• Betrouwbaarheid: InvariRank lost het fundamentele betrouwbaarheidsprobleem van op LLM gebaseerde aanbevelers op, en zorgt ervoor dat rangschikkingen gebaseerd zijn op inhoud en gebruikerscontext, niet op willekeurige serialisatie.
• Efficiëntie: Door invariantie te bereiken in een enkele forward pass, vermijdt het de rekenkundige overhead van inferentie-ensembling.
• Ontwerpphilosophie: Het paper betoogt dat architecturale beperkingen noodzakelijk zijn om orde-afhankelijkheid op te lossen, aangezien trainingsdoelstellingen alleen het model niet volledig kunnen ontkoppelen van positionele artefacten.
• Beperkingen: De strikte isolatie van kandidaten verwijdert potentiële voordelen van cross-candidate interacties (bijv. directe vergelijking). Toekomstig werk kan hybride ontwerpen verkennen die gecontroleerde interactie toestaan terwijl invariantie behouden blijft.

Kortom, InvariRank biedt een praktische, efficiënte en theoretisch onderbouwde oplossing voor het implementeren van stabiele, orde-invariante LLM-rerankers in productieve aanbevelingssystemen.