On the Role of Citations in Preference Data
Questo articolo investiga come i giudici umani e i modelli linguistici di grandi dimensioni (LLM) open-source valutino le citazioni nel question answering scientifico, rivelando che gli esseri umani preferiscono citazioni diverse ma meno numerose, mentre gli LLM esibiscono preferenze relative alle citazioni che variano in base al modello e ai dati, offrendo così approfondimenti critici per migliorare la raccolta di dati di preferenza nella modellazione della ricompensa.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel mondo in rapida evoluzione dell'intelligenza artificiale, un tipo specifico di compito è diventato centrale per il modo in cui questi sistemi apprendono e migliorano: chiedere a un computer di scegliere la migliore tra due risposte. Questo processo, noto come apprendimento delle preferenze (preference learning), è il motore dietro l'addestramento dell'IA moderna. Quando un sistema genera due risposte diverse a una domanda, un giudice — che sia un esperto umano o un altro programma di IA — decide quale sia la superiore. Queste scelte vengono poi utilizzate per insegnare al sistema originale come comportarsi in modo più simile a un esperto di fiducia. Tuttavia, un tassello critico del puzzle è rimasto poco chiaro: quando questi giudici esaminano risposte che includono riferimenti a fonti esterne, note come citazioni, cosa cercano esattamente? Valorizzano il numero puro di fonti, la varietà di tali fonti o la freschezza delle informazioni? Comprendere questo è vitale perché le citazioni sono intese come uno scudo contro la fabbricazione, permettendo agli utenti di verificare che l'IA stia dicendo la verità. Se i sistemi che addestrano l'IA non comprendono come pesare correttamente questi riferimenti, i modelli risultanti potrebbero imparare a dare priorità alle cose sbagliate, come elencare molte fonti senza controllarne la qualità, o ignorare completamente la credibilità delle informazioni.
Un team di ricercatori si è posto l'obiettivo di indagare proprio questa questione, esaminando come sia gli esperti umani che i programmi di intelligenza artificiale valutano risposte scientifiche che includono citazioni. Si sono concentrati su uno scenario in cui un'IA riceve una domanda scientifica complessa e fornisce una risposta lunga e dettagliata supportata da riferimenti a articoli accademici. I ricercatori hanno raccolto migliaia di queste coppie di risposte, in cui una risposta veniva scelta rispetto all'altra da esperti umani, e hanno poi chiesto a quattro diversi modelli linguistici di grandi dimensioni di compiere la stessa scelta. Per comprendere le regole nascoste dietro queste decisioni, il team ha utilizzato un metodo statistico che ha permesso di isolare specifiche caratteristiche delle risposte, come il numero di citazioni utilizzate, la diversità delle fonti e se i riferimenti corrispondevano al testo, controllando al contempo altri fattori come la lunghezza della risposta.
Lo studio ha rivelato un modello distinto e piuttosto sorprendente nel modo in cui gli esseri umani giudicano queste risposte. Quando le persone esaminavano le risposte scientifiche, preferivano quelle che attingevano da una vasta gamma di fonti diverse, suggerendo che valorizzavano la ampiezza e la prospettiva. Tuttavia, preferivano anche risposte che avevano meno citazioni complessive. Ciò indica che, sebbene gli esseri umani vogliano vedere che una risposta sia ben documentata, sono infastiditi da risposte che sembrano ingombre di un numero eccessivo di riferimenti. Inoltre, gli esseri umani erano pronti a penalizzare le risposte in cui i riferimenti nel testo non corrispondevano all'elenco delle fonti alla fine, un errore comune che suggerisce che l'IA possa stare inventando i riferimenti. Interessantemente, l'età delle fonti contava molto poco per i giudici umani; essi non mostravano una forte preferenza per articoli più recenti rispetto a quelli più vecchi.
Al contrario, i giudici di intelligenza artificiale si comportavano in modo quite diverso, e le loro preferenze variavano a seconda di quale specifico modello stesse effettuando il giudizio. Sebbene anche i modelli di IA tendessero a gradire le fonti diverse, spesso mostravano una reazione molto più forte al numero di citazioni rispetto agli umani. Alcuni giudici IA detestavano fortemente le risposte con molte citazioni, mentre altri erano indifferenti. Ancora più criticamente, i modelli di IA non riuscivano a notare o a penalizzare i riferimenti discordanti che gli umani trovavano così problematici. Inveve, i giudici IA erano pesantemente influenzati da caratteristiche superficiali, come la lunghezza della risposta. Diversi dei modelli preferivano costantemente risposte più lunghe, indipendentemente dal fatto che la lunghezza extra aggiungesse valore o servisse solo a riempire spazio. Ciò suggerisce che, senza un addestramento specifico o l'accesso ai documenti sorgente effettivi, questi sistemi di IA non stanno realmente "leggendo" le citazioni per verificarne l'accuratezza, ma stanno invece reagendo ai modelli visivi o strutturali del testo.
I ricercatori hanno scoperto che queste differenze non erano solo piccole stranezze, ma divergenze significative che potrebbero influenzare il modo in cui verranno addestrati i futi sistemi di IA. Poiché i modelli di IA sono spesso utilizzati per etichettare i dati per addestrare altri modelli, fare affidamento su di essi senza comprendere i loro specifici pregiudizi potrebbe portare a un sistema che impara a dare priorità alla lunghezza o al conteggio delle citazioni rispetto all'effettiva accuratezza e alla diversità delle fonti. Lo studio evidenzia che, sebbene l'IA possa imitare il giudizio umano in molti modi, manca della comprensione intuitiva di ciò che rende un riferimento credibile o coerente. Gli autori suggeriscono che, per costruire sistemi migliori, gli sviluppatori devono essere più cauti su come raccolgono i dati sulle preferenze, assicurandosi che le linee guida umane siano chiare sulla qualità delle citazioni e che i giudici IA abbiano accesso a strumenti per verificare le fonti o siano selezionati in base a una profonda comprensione dei loro specifici pregiudizi. In definitiva, questo lavoro serve da promemoria: nella ricerca di rendere l'IA più affidabile, i dettagli di come chiediamo di scegliere tra le risposte contano tanto quanto le risposte stesse.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.