Pairwise Ranking Outperforms Single-Action RL for Offline Explanation Selection: A Practical Lesson

Nel mondo dello shopping online e dello streaming di contenuti multimediali, gli algoritmi fanno molto di più che limitarsi a indovinare ciò che potrebbe piacerti; sempre più spesso cercano di spiegare il perché. Quando un sistema suggerisce un film o un ristorante, aggiunge spesso una frase o due per giustificare la scelta, sperando che questo piccolo frammento di contesto costruisca fiducia e ti spinga a continuare a cliccare. Per far sì che queste spiegazioni suonino naturali e umane, molti sistemi moderni utilizzano potenti programmi informatici noti come modelli linguistici di grandi dimensioni (large language models). Questi modelli sono come vaste biblioteche di scrittura umana che possono generare nuovi testi su richiesta. Tuttavia, questa comodità ha un prezzo elevato. Ogni volta che un utente richiede un consiglio, il sistema deve ricorrere a questo enorme programma per scrivere una nuova spiegazione da zero. Questo processo richiede tempo — spesso centinaia di millisecondi — e costa denaro che cresce direttamente con il numero di persone che utilizzano il servizio. Per le aziende che servono milioni di richieste ogni secondo, questo ritardo e questa spesa diventano un collo di bottiglia significativo.

I ricercatori di Amazon hanno deciso di risolvere questo problema cambiando il modo in cui queste spiegazioni vengono create. Invece di chiedere al computer di scrivere una nuova spiegazione ogni volta che un utente effettua una richiesta, hanno proposto un processo in due fasi. Per prima cosa, generano un ampio pool di possibili spiegazioni in anticipo, mentre il sistema è inattivo. Successivamente, quando arriva una richiesta reale, un programma molto più piccolo e veloce si limita a scegliere l'opzione migliore da quell'elenco pre-costruito. Questo approccio elimina la necessità di costosi e lenti chip informatici durante il momento effettivo dell'interazione, permettendo al sistema di rispondere in meno di un decimo di secondo. Il team ha testato questo metodo contro i sistemi esistenti e ha scoperto una verità sorprendente su come addestrare il programma di selezione. Hanno scoperto che un metodo tradizionale per classificare gli elementi, che confronta coppie di opzioni l'una contro l'altra, funzionava significativamente meglio delle tecniche più complesse e moderne spesso usate nella ricerca sull'intelligenza artificiale.

Il nucleo di questo lavoro consiste in una semplice ma intelligente separazione dei compiti. I ricercatori hanno utilizzato due tipi diversi di modelli linguistici di grandi dimensioni per generare un insieme di spiegazioni candidate per ogni possibile combinazione di un utente e un elemento. Hanno creato questi candidati utilizzando sei diversi stili di scrittura, che vanno da semplici riassunti a ragionamenti più complessi basati sulle recensioni passate. Ciò ha prodotto una collezione congelata di opzioni per ogni coppia utente-elemento. Al momento in cui un utente effettua una richiesta, un programma selettore leggero, che gira su normali processori per computer senza alcuna hardware grafico specializzato, esamina questo piccolo pool e sceglie la singola spiegazione migliore. L'intero processo è progettato per essere veloce ed economico, evitando la latenza e il costo della generazione di nuovo testo in tempo reale.

Per vedere se questa idea funzionasse, il team l'ha testata su due diversi dataset: uno riguardante attività locali come i ristoranti e un altro riguardante i film. Hanno confrontato il loro nuovo selettore con diversi metodi esistenti, inclusi i sistemi che generano spiegazioni in tempo reale e varie tecniche di addestramento dell'intelligenza artificiale. Il risultato più sorprendente è arrivato dal confronto su come il selettore fosse stato addestrato. I ricercatori hanno testato un gruppo di avanzati metodi di addestramento basati su tentativi ed errori, dove il computer impara scegliendo un'opzione alla volta e vedendo quanto bene performa. Hanno anche testato un metodo più semplice e datato che impara confrontando due opzioni contemporaneamente per decidere quale sia la migliore.

I risultati sono stati chiari e coerenti. Il metodo più semplice, che confronta coppie di candidati, ha superato costantemente gli approcci di tentativi ed errori più complessi. Nel dataset delle attività locali, il metodo di confronto a coppie ha ottenuto un punteggio di 0,500, superando il miglior sistema esistente con un margine evidente. I metodi di tentativi ed errori, che sono spesso popolari nella ricerca attuale, sono rimasti indietro. I ricercatori hanno spiegato che ciò è accaduto perché il metodo di confronto a coppie utilizza tutte le informazioni disponibili in una volta sola. Quando il sistema ha una lista di candidati, ognuno con un punteggio di qualità noto, il metodo di confronto a coppie li esamina tutti per imparare. Al contrario, i metodi di tentativi ed errori guardano solo l'opzione che hanno scelto in un dato momento, ignorando i punteggi di qualità delle altre opzioni che hanno scartato. Ciò significava che i metodi più complessi stavano di fatto buttando via la maggior parte dei dati utili.

Lo studio ha esplorato anche un modo diverso per generare i candidati, utilizzando una mappa di relazioni tra utenti, elementi e altri fatti per tracciare percorsi e creare spiegazioni. Sebbene questo metodo producesse output molto diversificati che raramente ripetevano le stesse frasi, non raggiungeva la qualità del pool pre-generato quando misurato rispetto allo standard di quanto bene la spiegazione corrispondesse a un riferimento scritto da un essere umano. Ciò ha evidenziato un compromesso: il pool pre-generato era migliore nel corrispondere a stili di riferimento specifici, mentre il metodo basato sui percorsi era migliore nel garantire varietà.

Un altro importante risultato riguardava la scelta del programma informatico utilizzato per generare il pool iniziale di candidati. I ricercatori hanno testato se l'utilizzo di un modello linguistico più recente e avanzato per creare il pool avrebbe migliorato i risultati finali. Hanno scoperto che, sebbene il modello più recente producesse un testo leggermente più vario e meno ripetitivo, ciò comportava in realtà un piccolo calo nel punteggio di qualità finale. Questo accadeva perché lo stile del modello più recente deviava leggermente dallo stile specifico del testo di riferimento che il sistema cercava di emulare. Ciò suggerisce che il semplice aggiornamento del generatore non rende automaticamente il sistema migliore; il selettore e il generatore devono essere sintonizzati per lavorare insieme, e talvolta un generatore leggermente più vecchio e consistente è preferibile.

I ricercatori hanno anche testato se combinare diverse tecniche di addestramento potesse migliorare le prestazioni. Hanno provato a prendere un modello addestrato con il riuscito metodo di confronto a coppie e poi affinarlo con l'approccio di tentativi ed errori. Questa combinazione non ha aiutato; anzi, ha peggiorato leggermente i risultati. Il processo di fine-tuning ha spinto il modello lontano dalle scelte precise che aveva già appreso, facendolo diventare meno sicuro e meno accurato. Questo risultato negativo ha rafforzato l'idea che una volta che un modello ha appreso la classificazione corretta da dati densi, aggiungere complessi passaggi di apprendimento per rinforzo è inutile e potenzialmente dannoso.

Durante tutti gli esperimenti, il team è stato attento a garantire che i risultati fossero affidabili. Hanno eseguito i test più volte con diversi punti di partenza casuali per confermare che la classifica dei metodi non fosse solo un colpo di fortuna. Le differenze tra il top performer e gli altri erano abbastanza grandi da essere statisticamente significative, il che significa che la conclusione che il metodo di confronto a coppie sia superiore è robusta. L'intero sistema, inclusi il tempo per generare il pool iniziale e addestrare i selettori, può essere costruito su hardware standard per un costo molto basso, circa quindici dollari di tempo di calcolo. Al momento dell'interazione con l'utente, il sistema non costa quasi nulla, poiché richiede solo un rapido lookup in una cache e un semplice calcolo.

Questo lavoro offre una lezione pratica per la costruzione di sistemi di raccomandazione su larga scala. Suggerisce che, quando l'obiettivo è scegliere la migliore opzione da un elenco di candidati pre-costruiti, lo strumento più efficace è spesso un semplice metodo di classificazione che utilizza tutti i dati disponibili, piuttosto che un sistema di apprendimento complesso che campiona solo poche opzioni alla volta. Spostando il lavoro pesante della generazione di testo in una fase offline e utilizzando un selettore veloce ed efficiente per la decisione in tempo reale, le aziende possono fornire spiegazioni di alta qualità a milioni di utenti senza il ritardo e la spesa della generazione di nuovo testo per ogni singola richiesta. Lo studio dimostra che, a volte, la soluzione più efficace non è rendere l'intelligenza artificiale più complessa, ma strutturare il problema in modo che i dati disponibili possano essere utilizzati più completamente.