Sintesi Tecnica: Riproduzione di FACTER

Definizione del Problema

I Large Language Models (LLM) sono sempre più impiegati come sistemi di raccomandazione grazie alla loro capacità di generare suggerimenti personalizzati in linguaggio naturale. Tuttavia, questi modelli rischiano di amplificare i pregiudizi sociali presenti nei loro dati di addestramento, portando a raccomandazioni sistematicamente diverse per utenti appartenenti a diversi gruppi demografici. Sebbene il riaddestramento dei modelli sotto vincoli di equità sia una strategia di mitigazione comune, esso risulta spesso impraticabile per gli LLM "black-box" distribuiti tramite API. Ciò rende necessari interventi post-hoc e indipendenti dal modello (model-agnostic).

Il documento si concentra sulla riproduzione di FACTER (Fayyazi et al., 2025), un framework progettato per imporre l'equità nelle raccomandazioni basate su LLM senza alterare i parametri del modello. FACTER combina la predizione conforme (conformal prediction) per calibrare una soglia di non conformità con un meccanismo di riparazione iterativa del prompt che inietta vincoli "AVOID" (evita) basati sulle violazioni rilevate. Lo studio originale sosteneva che FACTER potesse ridurre le violazioni di equità senza degradare l'utilità della raccomandazione. Questo lavoro investiga la riproducibilità di tali affermazioni, affrontando le ambiguità nell'implementazione originale e valutando il framework sia nel setting originale di generazione aperta, sia in un'estensione controllata di re-ranking.

Metodologia

Implementazione del Framework

Gli autori hanno implementato FACTER da zero, aderendo alle formalizzazioni teoriche dello studio originale pur risolvendo le discrepanze di implementazione riscontrate nel codice pubblico. Il framework opera in due fasi:

1. Calibrazione Offline: Viene stabilita una soglia di accettazione iniziale ($Q^{(0)}_\alpha$) utilizzando la predizione conforme divisa (split conformal prediction). Un punteggio di non conformità ($S$) viene calcolato per le istanze di calibrazione, combinando un termine di errore predittivo (deviazione dalla verità di base) e una penalità di equità (distanza semantica dalle raccomandazioni date a "vicini controfattuali" con diversi attributi protetti).
2. Monitoraggio Online: Man mano che arrivano le query, il sistema controlla se il punteggio di non conformità supera l'attuale soglia. Se si verifica una violazione:
   • Riparazione del Prompt: Il sistema estrae le caratteristiche frequenti degli elementi associati alla violazione e inietta espliciti vincoli "AVOID" nel prompt di sistema (ad esempio, "Avoid: gender=F $\to$ Romance").
   • Adattamento della Soglia: La soglia viene aggiornata tramite smoothing esponenziale per ridimensionare dinamicamente la regione di accettazione.

Setup Sperimentale

Lo studio valuta FACTER attraverso due dataset (MovieLens-1M e Amazon Movies & TV) e tre backbone di LLM (Llama 2-7B, Llama 3-8B, Mistral-7B).

• Task: La valutazione copre il task originale di generazione open-ended (dove l'LLM genera titoli di elementi da zero) e un nuovo task di re-ranking vincolato (dove l'LLM classifica un pool fisso di candidati).
• Baseline: Lo studio introduce una baseline Fair Zero-Shot, che utilizza istruzioni di equità statiche senza il ciclo di riparazione iterativa, per isolare il contributo del meccanismo dinamico.
• Metriche: L'equità è misurata tramite il Sensitive-to-Neutral Similarity Ratio (SNSR) e il Counterfactual Fairness Ratio (CFR), insieme ai Conteggi delle Violazioni. L'utilità è misurata tramite Recall@k e NDCG@k.

Risultati Chiave

1. Riproducibilità della Generazione Open-Ended

Sotto una rigorosa riproduzione del task di generazione open-ended, gli autori hanno osservato una significativa divergenza nell'utilità della raccomandazione.

• Gap di Utilità: Il modello riprodotto ha prodotto punteggi NDCG@10 e Recall@10 vicini allo zero, contrastando nettamente con i forti risultati riportati nello studio originale. Questo gap è attribuito alla difficoltà della generazione zero-shot e ai protocolli di valutazione del set target sottospecificati nel lavoro originale (ad esempio, tolleranze di corrispondenza tra stringhe e costruzione del set di rilevanza).
• Tendenze di Equità: Nonostante il gap di utilità, FACTER ha costantemente ridotto i conteggi delle violazioni della soglia adattiva rispetto alla baseline neutrale. Tuttavia, queste riduzioni non si sono tradotte costantemente in miglioramenti dei parametri di equità globale (SNSR, CFR). In alcuni casi, il CFR di FACTER era peggiore della baseline neutrale.

2. Performance nell'Estensione di Re-Ranking

Nel setting controllato di re-ranking, dove il set di candidati è fisso:

• Utilità: L'utilità della raccomandazione è stata marcatamente superiore rispetto alla generazione aperta, confermando che gli LLM sottostanti possono identificare elementi rilevanti quando lo spazio di ricerca è vincolato.
• Equità: FACTER ha mantenuto bassi conteggi di violazione adattiva. Tuttavia, le istruzioni di equità statiche (Fair Zero-Shot) hanno ottenuto risultati di parità semantica (SNSR, CFR) e conteggi di violazione a soglia fissa comparabili al ciclo dinamico di FACTER.
• Dinamica della Soglia: Si è scoperto che la riduzione delle violazioni dipende fortemente dalla soglia adattiva. Quando valutato contro una soglia fissa, calibrata sulla popolazione, i conteggi delle violazioni di FACTER erano comparabili alle baseline, suggerendo che il miglioramento apparente derivi dal rilassamento della soglia piuttosto che da cambiamenti comportamentali fondamentali.

3. Analisi del Meccanismo

L'analisi dei componenti dei punteggi di non conformità ha rivelato che, mentre l'errore predittivo è migliorato marginalmente durante le iterazioni, la penalità di equità è effettivamente aumentata. Ciò indica che i vincoli "AVOID" iniettati spesso non sono riusciti a sovrascrivere la distribuzione predittiva del modello, potenzialmente destabilizzando la stabilità controfattuale. Il ciclo di riparazione dinamica ha fornito un beneficio aggiuntivo limitato rispetto al prompting statico nella formulazione di ranking vincolato.

Significato e Rivendicazioni

Il documento si pone come un audit di riproduzione basato sul miglior sforzo possibile piuttosto che come una giudicazione definitiva dei risultati originali, citando le ambiguità nel paper e nel codice originali. I suoi contributi primari sono:

1. Documentazione dei Limiti: Evidenzia che le rivendicazioni di utilità della generazione aperta originale non potevano essere riprodotte in contesti corrispondenti, probabilmente a causa di protocolli di valutazione sottospecificati.
2. Isolamento dei Meccanismi: Introducendo la baseline Fair Zero-Shot, lo studio dimostra che il ciclo di riparazione del prompt iterativo fornisce un beneficio marginale limitato rispetto alle istruzioni di equità statiche nei task di ranking vincolato.
3. Soglia vs Comportamento: L'analisi suggerisce che il meccanismo principale di FACTER per ridurre i conteggi delle violazioni sia il rilassamento della soglia adattiva piuttosto che la riuscita cancellazione del bias tramite riparazione del prompt.
4. Vincoli di Riproducibilità: Il lavoro sottolinea la necessità di protocolli di valutazione trasparenti nei compiti generativi open-ended e le sfide nel riprodurre framework di equità indipendenti dal modello quando i dettagli di implementazione (ad esempio, costruzione del set target, computazione delle metriche) sono ambigui.

Gli autori concludono che, sebbene la predizione conforme sia efficace nel delimitare i conteggi interni delle violazioni, la necessità pratica del ciclo di riparazione online è discutibile nei setting vincolati, dove le istruzioni statiche possono offrire un'alternativa più efficiente. Chiamano la ricerca futura a esplorare meccanismi che impongano limiti semantici durante la decodifica e a calibrare meglio le penalità di equità rispetto alla confidenza predittiva.