💻 computer science

Multi-Stage Alignment of Large Language Models for Popularity Bias Mitigation in Generative Movie Recommendation

Questo articolo propone una pipeline di allineamento multistadio che combina l'estrazione delle preferenze, il fine-tuning supervisionato e la Direct Preference Optimization per mitigare efficacemente il bias di popolarità nei sistemi di raccomandazione cinematografica basati su LLM, ottenendo una migliore novità e copertura del catalogo pur mantenendo un'accuratezza competitiva.

Autori originali: Subham Raj, Krishnakant Chourey, Sriparna Saha, Brijraj Singh, Niranjan Pedanekar

Pubblicato 2026-07-17

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Subham Raj, Krishnakant Chourey, Sriparna Saha, Brijraj Singh, Niranjan Pedanekar

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di entrare in una biblioteca magica e immensa che sa tutto di te. Tu dici: "Amo i film di fantascienza con viaggi nel tempo" e lei ti sussurra istantaneamente una lista di dieci film che potrebbero piacerti. Questa è la promessa dei moderni sistemi di raccomandazione, alimentati da enormi cervelli informatici chiamati Large Language Models (LLM). Questi modelli sono come super-lettori che hanno divorato quasi ogni libro, recensione e trama cinematografica su Internet. Sono incredibilmente intelligenti nel comprendere il linguaggio e il contesto. Tuttavia, c'è un problema subdolo con questi super-lettori: sono ossessionati dai "famosi". Poiché hanno letto così tanto, sanno che The Avengers o Titanic vengono menzionati ovunque, quindi continuano a suggerire quegli stessi successi popolari a tutti, anche se tu preferiresti un bizzarro e oscuro film indipendente del 1974. È come una guida turistica che conosce solo i cinque principali luoghi turistici e si rifiuta di mostrarti i tesori nascosti, indipendentemente da quanto tu lo chieda. Questo si chiama "bias di popolarità" (popularity bias), e rende la biblioteca noiosa e ripetitiva, nascondendo i tesori unici che potrebbero essere perfetti per te.

I ricercatori in questo articolo hanno deciso di correggere questa ossessione per la fama. Non si sono limitati a dire al cervello del computer di "impegnarsi di più"; hanno costruito un particolare campo di addestramento in tre fasi per ricollegare il modo in cui il modello pensa alle raccomandazioni. Prima, hanno insegnato al modello come essere un buon bibliotecario mostrandogli esempi di ciò che alla gente è piaciuto davvero (una fase chiamata Supervised Fine-Tuning). Poi, hanno giocato a un gioco di "questo o quello" dove il modello doveva scegliere tra un film famoso e uno meno famoso ma ugualmente interessante (premiandolo per aver scelto il tesoro nascosto) (una fase chiamata Direct Preference Optimization). Separando la parte di "imparare a essere utili" dalla parte di "imparare a essere diversificati", hanno creato un sistema che suggerisce film che ti piaceranno davvero, non solo film che tutti gli altri hanno visto. I loro esperimenti hanno dimostrato che questo nuovo metodo ha ridotto con successo del 50% il numero di film popolari suggeriti in alcuni casi, pur mantenendo le raccomandazioni accurate e divertenti.

La storia della soluzione in tre fasi

Pensa a un Large Language Model (LLM) come a un critico cinematografico molto talentuoso ma leggermente snob. Questo critico ha letto milioni di recensioni e guardato migliaia di film, ma poiché ha visto così tanto, ha una cattiva abitudine: raccomanda quasi sempre i blockbuster. Se chiedi un consiglio su un film, ti suggerirà quasi sempre i primi 1 alto 10 film più popolari di tutti i tempi, ignorando il fatto che potresti odiare i film d'azione e amare i documentari silenziosi. Questo è il "bias di popolarità" che l'articolo affronta.

Gli autori si sono resi conto che chiedere semplicemente al critico di "essere più diversificato" non funziona bene. Invece, hanno progettato una Multi-Stage Alignment Pipeline, che è come un dramma in tre atti per addestrare il modello a essere una guida migliore e più equa.

Atto 1: Il Profilo di Preferenza (La Preparazione)
Prima che l'addestramento inizi, il team prende la cronologia di un utente — i film che ha valutato positivamente e quelli che ha odiato — e la trasforma in una semplice storia. Inveve di alimentare il computer con una lista disordinata di numeri, scrivono un prompt come: "Questo utente ama The Godfather e Inception, ma ha odiato Gigli e Cats." Questo fornisce al modello un'immagine chiara e umana di ciò che l'utente piace davvero.

Atto 2: Supervised Fine-Tuning (SFT) – Imparare le Regole
In questa fase, il modello viene istruito su come essere un raccomandatore affidabile. I ricercatori mostrano al modello migliaia di esempi in cui la storia di un utente è accoppiata con una lista di film che sono effettivamente dei buoni abbinamenti ma non i più popolari. È come un insegnante che mostra a uno studente: "Ecco uno studente che ama l'horror; ecco un grande film horror che non è l'Esorcista. Memorizza questo schema". Il modello impara a generare liste coerenti e strutturate che corrispondono al gusto dell'utente, ma a questo punto, sta solo imparando a seguire le istruzioni, non sta ancora combattendo il suo bias.

Atto 3: Direct Preference Optimization (DPO) – Il Distruttore di Bias
Questa è la fase magica. Ora che il modello sa come fare una lista, gli insegnano a preferire gli outsider. Creano un gioco in cui il modello vede due liste per lo stesso utente:

Lista A (Il Rifiutato): Cinque film molto popolari e mainstream.
Lista B (Il Preferito): Cinque film meno popolari che però si adattano perfettamente al genere dell'utente.

Il modello viene addestrato a capire che la Lista B è la risposta "migliore". È come dire al critico snob: "Hai torto a scegliere il film famoso; il tesoro nascosto è la scelta giusta". Facendo questo, il modello impara ad aumentare attivamente la soppressione dell'impulso di raccomandare gli articoli più famosi e, invece, a potenziare la visibilità dei contenuti di nicchia e rilevanti.

Cosa hanno scoperto

I ricercatori hanno testato questo metodo in tre fasi su tre diversi dataset di film: MovieLens 1M (un dataset classico), Netflix Prize (un dataset enorme e disordinato con un estremo bias di popolarità) e Flickscore (un dataset focalizzato sul cinema indiano e sulla diversità regionale). Hanno confrontato il loro nuovo metodo contro il "vecchio modo" di chiedere semplicemente raccomandazioni al modello senza addestramento (Zero-Shot) e contro un semplice trucco in cui si rimescola la lista dopo che il modello l'ha creata (Re-Ranking).

I risultati sono stati piuttosto chiari:

Il Modello "Snob": Quando lasciato a se stesso (Zero-Shot), i modelli raccomandavano principalmente film famosi. Ad esempio, sul dataset Netflix, il rango di popolarità medio dei film raccomandati era intorno a 1.600 (il che significa che erano molto famosi).
Il Nuovo Metodo: Dopo l'addestramento in tre fasi, i modelli hanno iniziato a suggerire film molto più diversificati. Sul dataset Netflix, il rango di popolarità medio è sceso a circa 590. Questo significa che stavano raccomandando film significativamente meno famosi, ma comunque rilevanti per l'utente.
L'Accuratezza è Rimasta Alta: La parte migliore è che il modello non ha smesso di essere accurato. Non ha iniziato a raccomandare spazzatura casuale solo per essere diverso. La "Precisione" (quanto spesso la raccomandazione era effettivamente buona) è rimasta quasi la stessa, mentre la "Novità" (quanto le suggestioni erano nuove e uniche) è aumentata enormemente — a volte con incrementi di oltre il 170% sul dataset Netflix.

Hanno anche scoperto che questo nuovo metodo funziona meglio del trucco del "Re-Ranking". Il re-ranking è come dire al modello di fare una lista, e poi un essere umano (o un semplice script per computer) interviene e sostituisce i film famosi con quelli oscuri proprio alla fine. L'articolo ha dimostato che addestrare il modello stesso (Allineamento Intrinseco) a desiderare i film oscuri fin dall'inizio produceva risultati migliori e più stabili rispetto al semplice correggere la lista alla fine.

Perché questo è importante

Questo articolo suggerisce che non dobbiamo scegliere tra un sistema di raccomandazione che sia accurato e uno che sia equo. Dividendo il processo di addestramento in fasi — prima insegnando al modello a comprendere l'utente, e poi insegnandogli a dare valore alla diversità — possiamo costruire un'IA che ci aiuti a scoprire il prossimo grande film di cui non abbiamo mai sentito parlare, invece di dirci solo di guardare l'ultimo blockbuster di supereroi.

Gli autori notano che, sebbene il loro metodo funzioni bene, richiede molta potenza di calcolo per addestrare questi modelli. Evidenziano anche che non hanno testato il metodo su utenti che non hanno affatto una cronologia (il problema del "cold start"), che è una sfida per il futuro. Ma per gli utenti che hanno già condiviso i propri gusti, questo approccio multi-stadio offre un modo fondato e scalabile per rendere le raccomandazioni cinematografiche meno simili a un pitch di vendita per gli articoli più popolari e più simili a una genuina scoperta di qualcosa di speciale.

Riepilogo Tecnico: Allineamento Multi-stadio di Large Language Models per la Mitigazione del Bias di Popolarità nella Raccomandazione Generativa di Film

1. Definizione del Problema

I Large Language Models (LLM) integrati nei sistemi di raccomandazione esibiscono un forte e intrinseco bias di popolarità. A causa del loro pre-addestramento su corpora massivi contenenti pattern di interazione globali, gli LLM raccomandano sproporzionatamente articoli mainstream e ad alta frequenza, sottorappresentando contenuti di nicchia allineati all'utente. Questo bias crea un ciclo di feedback "il ricco diventa più ricco", limitando la diversità del catalogo e la scoperta da parte dell'utente.

Sebbene i sistemi di raccomandazione classici abbiano affrontato questo problema tramite strategie post-hoc (ad esempio, pesatura dell'inverso della propensione, re-ranking consapevole della popolarità), rimane poco chiaro se l'allineamento intrinseco degli LLM possa sistematicamente superare questi metodi classici in contesti di raccomandazione generativa. Gli approcci basati su LLM esistenti spesso si affidano al prompting zero-shot o al fine-tuning supervisionato (SFT) a stadio singolo, che o non riescono a mitigare il bias o riproducono la distribuzione di popolarità dei dati di addestramento. Inoltre, manca una valutazione sistematica su come i diversi stadi di allineamento interagiscano e se la correzione del bias debba essere decollata dall'ancoraggio comportamentale.

2. Metodologia

Gli autori propongono una Pipeline di Allineamento Multi-stadio che separa esplicitamente l'ancoraggio comportamentale (behavioral grounding) dall'allineamento correttivo del bias. Questa pipeline consiste in tre distinti stadi:

Stadio 1: Estrazione delle Preferenze e Prompt Engineering

Le cronologie di interazione degli utenti vengono trasformate in profili di preferenza in linguaggio naturale strutturato. Una funzione deterministica converte i top 10 film apprezzati e i bottom 5 non graditi di un utente in un prompt testuale coerente. Ciò unifica l'input attraverso diversi dataset (MovieLens 1M, Netflix Prize, Flickscore) e scale di valutazione (5 stelle vs binaria).

Stadio 2: Supervised Fine-Tuning (SFT)

L'LLM viene sottoposto a fine-tuning su coppie (prompt, target) per stabilire l'ancoraggio comportamentale.

Obiettivo: Insegnare al modello a generare liste di raccomandazione coerenti e strutturate che mappino i profili utente agli articoli rilevanti.
Costruzione dei Dati: I target sono generati selezionando film non valutati dal bottom 50% di popolarità che condividono un'alta similarità di genere (indice di Jaccard) con i film apprezzati dall'utente.
Ruolo: L'SFT stabilizza il formato di output del modello e la rilevanza, ma non risolve intrinsecamente il problema del bias, poiché il modello può ancora mantenere la conoscenza pregressa che favorisce gli articoli popolari.

Stadio 3: Direct Preference Optimization (DPO)

Costruito sul modello SFT, il DPO viene applicato per eseguire l'allineamento correttivo del bias.

Costruzione delle Coppie di Preferenza: Per ogni prompt utente, vengono costruite programmaticamente due liste:
- Preferita ( $y_w$ ): 5 film dal bottom 50% di popolarità con alta sovrapposizione di genere.
- Rifiutata ( $y_l$ ): 5 film dal top 50% di popolarità senza corrispondenza di genere.
Ottimizzazione: Il modello è addestrato per massimizzare la log-likelihood della lista preferita rispetto alla lista rifiutata utilizzando la funzione di perdita DPO. Ciò penalizza esplicitamente gli articoli ad alta popolarità premiando al contempo la rilevanza tematica.
Distinzione Chiave: Gli autori sottolineano che il DPO non è nuovo in sé, ma la sua applicazione dopo l'SFT è critica. Applicare il DPO senza un precedente ancoramento comportamentale porta a output instabili, mentre l'SFT da solo non riesce a correggere il bias.

3. Configurazione Sperimentale

Dataset:
- MovieLens 1M: Benchmark bilanciato con 1M di valutazioni.
- Netflix Prize: Dataset su larga scala e sparso con estremo bias di popolarità.
- Flickscore: Dataset regionale (cinema indiano) con valutazioni binarie e contesto multilingue.
Modelli: Tre LLM open-source che rappresentano diverse generazioni e architetture:
- LLaMA 3.1 8B: Modello state-of-the-art istruito per istruzioni.
- LLaMA 2 7B: Baseline della generazione precedente.
- Mistral 7B: Architettura focalizzata sull'efficienza con Grouped-Query Attention (GQA) e Sliding Window Attention.
Baseline:
- Zero-Shot Prompting: Modelli pre-addestrati non modificati.
- Popularity-Aware Re-Ranking: Una baseline classica post-hoc che penalizza gli articoli ad alta popolarità nella lista generata senza modificare i parametri del modello.

4. Risultati Chiave

Lo studio valuta le prestazioni utilizzando Metriche di Raccomandazione (Precision@5, nDCG@5, MAP@5) e Metriche di Mitigazione del Bias (Novità, Copertura del Catalogo, Popolarità Media).

Mitigazione del Bias vs. Accuratezza: L'allineamento multi-stadio (SFT + DPO) riduce significativamente il bias di popolarità mantenendo al contempo un'accuratezza competitiva.
- Su Netflix Prize, il DPO ha aumentato la Novità di circa il 170% e la Copertura del Catalogo di circa il 280% rispetto alle baseline zero-shot, mentre la Popolarità Media è scesa del 63%.
- Su MovieLens 1M, il DPO ha ridotto la Popolarità Media da ~1217 a ~575 (per LLaMA 3.1) con solo una marginale diminuzione della Precision@5.
Debiasing Intrinseco vs. Estrinseco: L'allineamento intrinseco proposto (SFT+DPO) ha superato costantemente la baseline classica di Popularity-Aware Re-Ranking.
- L'allineamento intrinseco ha ottenuto una Novità e una Copertura più elevate con una Popolarità Media inferiore in tutti i dataset e i modelli.
- I metodi di re-ranking hanno spesso introdotto cali maggiori nella qualità del ranking (Precision) rispetto ai trade-off più stabili osservati con SFT+DPO.
Generalizzabilità: La strategia si è dimostrata robusta attraverso diverse architetture di modelli (LLaMA 2, LLaMA 3.1, Mistral) e diversi contesti culturali (cinema occidentale vs. indiano), confermando che il decoupling di grounding e correzione del bias non è specifico dell'architettura.

5. Contributi Chiave

Decomposizione del Problema: Ha formulato la mitigazione del bias di popolarità negli LLM come un problema a due stadi (ancoraggio comportamentale + correzione del bias) piuttosto che come un singolo obiettivo di fine-tuning.
Analisi Empirica dei Limiti: Ha dimostrato che né l'SFT né il DPO da soli sono sufficienti; l'SFT da solo riproduce il bias, mentre il DPO senza ancoramento causa instabilità.
Strategia Multi-stadio: Ha validato un workflow in cui l'SFT ancora il modello e il DPO corregge il bias, consentendo una generazione stabile, riproducibile e priva di bias.
Costruzione Programmatica delle Preferenze: Ha introdotto un metodo completamente automatizzato e guidato dai dati per costruire le coppie di preferenza DPO utilizzando le statistiche di popolarità degli articoli, eliminando la necessità di annotazione umana.
Validazione Cross-Model/Dataset: Ha fornito ampie prove di robustezza attraverso tre famiglie di LLM e tre distinti dataset.
Confronto Intrinseco vs. Estrinseco: Ha confrontato sistematicamente l'allineamento intrinseco contro il classico re-ranking post-hoc, mostrando che l'inserimento degli obiettivi di equità direttamente nei parametri del modello produce un equilibrio di esposizione e una stabilità superiori.

6. Significato e Rivendicazioni

Il paper posiziona l'allineamento multi-stadio degli LLM come una strategia principiata e scalabile per mitigare il bias di popolarità nei sistemi di raccomandazione generativi. Gli autori affermano che:

Il Decoupling è Essenziale: Separare l'ancoraggio comportamentale (SFT) dalla correzione del bias (DPO) è necessario per ottenere sia un comportamento di raccomandazione stabile che un efficace debiasing.
Superiorità Intrinseca: Inserire gli obiettivi di esposizione direttamente nel modello tramite allineamento multi-stadio offre vantaggi sistematici rispetto ai metodi post-hoc classici (come il re-ranking), fornendo migliori trade-off tra rilevanza ed equità in contesti generativi senza candidati predefiniti.
Scalabilità: L'approccio è robusto attraverso diverse dimensioni di modelli e contesti culturali, suggerendo che può essere applicato ampiamente a diversi scenari di raccomandazione.

Gli autori riconoscono i limiti, notando che il framework non affronta esplicitamente gli scenari estremi di cold-start (dove non esiste cronologia utente) e che il costo computazionale del fine-tuning multi-stadio è superiore rispetto al tradizionale filtraggio collaborativo. Notano inoltre che, sebbene il bias di popolarità sia mitigato, altri stereotipi latenti (ad esempio, bias demografici) ereditati dai dati di pre-addestramento potrebbero persistere.