Preference Reasoning under Indeterminacy in Large Language Models
Questo articolo sostiene che l'indeterminatezza — derivante da informazioni incomplete e soluzioni inesistenti — rappresenti una sfida centrale per il ragionamento sulle preferenze dell'IA, dimostrando che i modelli linguistici di grandi dimensioni allo stato dell'arte falliscono sistematicamente nel distinguere tra istanze determinate e indeterminate, portando a un ragionamento mal calibrato.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immaginate un mondo in cui l'intelligenza artificiale agisce come un assistente personale, un mediatore per decisioni di gruppo o un coordinatore per sistemi complessi. In questi ruoli, la macchina deve comprendere ciò che le persone desiderano, spesso quando tali desideri sono vaghi, incompleti o addirittura contraddittori. Deve decidere non solo quale sia la scelta migliore, ma anche quando una scelta migliore non può semplicemente essere trovata. Questo è il regno del ragionamento sulle preferenze, un campo in cui i computer imparano a navigare tra i desideri umani. Per anni, i ricercatori hanno testato questi sistemi utilizzando enigmi con risposte chiare e univoche, simili a un test di matematica dove ogni problema ha una soluzione che attende di essere trovata. Ma la vita reale è raramente così ordinata. Nel mondo reale, le informazioni sono spesso mancanti, o le regole della situazione rendono impossibile la costruzione di una soluzione. La domanda che i ricercatori si pongono oggi è se la nostra IA più avanzata sia in grado di distinguere tra un problema che necessita di una soluzione e un problema che non ha affatto una risposta.
Un team di ricercatori della Penn State University si è posto l'obiettivo di testare esattamente questa capacità. Hanno costruito una serie di sfide basate su classici problemi economici, come l'assegnazione di case alle persone o l'abbinamento di partner in un mercato. In questi scenari, ogni persona ha una lista di ciò che preferisce. I ricercatori hanno creato migliaia di questi scenari, che vanno da semplici liste di dieci elementi a reti complesse che coinvolgono centinaia di agenti. Hanno progettato i test includendo due tipi di incertezza. Il primo tipo si verifica quando l'informazione fornita è semplicemente incompleta, come una persona che elenca solo metà dei suoi cibi preferiti. Il secondo tipo si verifica quando la struttura stessa del problema rende impossibile una soluzione, come un insieme di preferenze in cui non può mai esistere un accordo equo senza che qualcuno rimanga insoddisfatto. I ricercatori hanno poi chiesto a quattro dei modelli linguistici più potenti attualmente disponibili di risolvere questi enigmi. Volevano vedere se le macchine potessero identificare correttamente quando una domanda era insolubile e, se così fosse, ammettere di non sapere, invece di tirare a indovinare.
I risultati hanno rivelato un punto cieco significativo nel modo in cui questi sistemi pensano. Quando affrontavano un problema che aveva una risposta chiara, i modelli si comportavano bene, spesso centrando i dettagli. Tuttavia, quando l'informazione era incompleta o la soluzione era impossibile, i modelli fallivano costantemente nel riconoscere il vicolo cieco. Invece di dire "Non posso determinare questo", inventavano risposte con estrema sicurezza. Lo facevano facendo assunzioni silenziose per colmare le lacune mancanti. Ad esempio, se la lista delle preferenze di una persona veniva interrotta, i modelli assumevano che gli elementi mancanti fossero classificati in ordine alfabetico o secondo qualche altra regola arbitraria, e procedevano poi a fornire una risposta definitiva basata su quel tentativo di indovinare. Nei casi in cui non esisteva una soluzione, i modelli generavano comunque una soluzione falsa, oppure dichiaravano che una soluzione esisteva quando non era così. Questo comportamento non era un errore casuale; era un modello sistematico. I modelli sembravano incapaci di distinguere tra una situazione in cui dovevano pensare più intensamente e una situazione in cui pensare più intensamente non sarebbe servito a nulla perché la risposta semplicemente non esisteva.
I ricercatori hanno anche testato se dare ai modelli un modo per dire "Non lo so" avrebbe risolto il problema. Avevano aggiunto un'opzione specifica che i modelli potevano scegliere quando sentivano che l'informazione era insufficiente. Sebbene ciò abbia aiutato i modelli ad ammettere l'incertezza in alcuni casi, ha creato un nuovo problema. I modelli hanno iniziato a abusare di questa opzione, dichiarando che non esisteva una soluzione anche quando una era perfettamente possibile. Era come se i modelli fossero passati da un estremo di cieca fiducia a un altro di eccessiva cautela, incapaci di trovare la via di mezzo. Anche quando i ricercatori hanno permesso ai modelli di scrivere codice informatico per risolvere i problemi — un metodo che solitamente migliora l'accuratezza — i modelli hanno faticato. Potevano risolvere versioni piccole e semplici dei problemi controllando ogni possibilità, ma man mano che i problemi diventavano più grandi, tornavano a tirare a indovinare o ad arrendersi, incapaci di scalare il loro ragionamento alle dimensioni delle applicazioni del mondo reale.
Forse il risultato più significativo è emerso da un test in cui ai modelli non veniva chiesto di creare una soluzione, ma semplicemente di sceglierne una corretta da una lista di opzioni. Anche in questo compito più semplice, dove i modelli dovevano solo verificare una risposta piuttosto che costruirne una, sceglievano frequentemente l'opzione sbagliata. Spesso selezionavano una soluzione che sembrava plausibile ma che violava le regole rigorose del problema. Lo studio ha dimostrato che questi modelli hanno una tendenza profonda a dare priorità all'apparire utili e decisi piuttosto che all'essere accurati su ciò che è possibile. Sono addestrati per completare schemi e generare testi che sembrano corretti, il che li rende eccellenti nel colmare le lacune in una storia, ma scarsi nel riconoscere quando una storia non ha un finale.
Questa ricerca suggerisce che, mentre integriamo questi sistemi in ruoli decisionali critici, dobbiamo fare attenzione a ciò che ci aspettiamo da essi. La capacità di riconoscere quando una domanda non può essere risposta è importante quanto la capacità di rispondere. Attualmente, i modelli più avanzati non sono ancora attrezzati per distinguere in modo affidabile tra queste due situazioni. È probabile che continueranno a offrire risposte sicure e dall'aspetto plausibile anche quando i dati sono mancanti o le regole rendono impossibile una soluzione. Finché questo non cambierà, affidarsi a questi sistemi per decisioni ad alto rischio che coinvolgono le preferenze umane richiede un essere umano nel processo per verificare non solo la risposta, ma la possibilità stessa della risposta. Lo studio non afferma che questi modelli siano rotti, ma piuttosto che operano con un tipo di logica diverso da quella umana, una che fatica ad accettare i limiti di ciò che può essere conosciuto.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.