Epistemic Familiarity is Associated With Belief Stability in Large Language Models
Questo articolo introduce il framework P-StaT per dimostrare che i grandi modelli linguistici esibiscono una maggiore stabilità di credenza quando elaborano affermazioni fittizie familiari rispetto a quelle sintetiche non familiari, rivelando che la familiarità epistemica è un fattore chiave nel mitigare l'instabilità della credenza indotta dal semantico.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di insegnare a un robot super intelligente come distinguere tra un fatto, una bugia e una storia inventata. Potresti pensare che, una volta che il robot impara le regole della "verità", le rispetterà a prescindere da come poni la domanda. Ma nel mondo dei Large Language Models (LLM) — i potenti cervelli artificiali dietro i chatbot e gli strumenti di ricerca — le cose sono un po' più traballanti. Questi modelli sono come enormi biblioteche che hanno letto quasi tutto su Internet, ma non "sanno" le cose come gli esseri umani; prevedono semplicemente quali parole dovrebbero venire dopo in base ai pattern. Una domanda chiave per gli scienziati è: se si cambia leggermente il contesto o il modo in cui una domanda viene posta, la convinzione del robot in un fatto rimane costante, o vacilla e crolla? Questo è lo studio della "stabilità epistemica". Se un robot crede che una città esista oggi, ma cambia idea solo perché hai menzionato una storia di finzione nelle vicinanze, questo è un problema. Ci interessa perché questi modelli vengono sempre più utilizzati per fornirci informazioni, e abbiamo bisogno di sapere se le loro convinzioni sono solide come la roccia o se sono facilmente scosse da un po' di confusione.
Entra in gioco un nuovo studio di Samantha Dies e del suo team, che hanno deciso di scuotere il mondo del robot per vedere cosa ne sarebbe uscito. Hanno costruito un framework chiamato P-StaT (che sta per Perturbation Stability of Truth, ovvero Stabilità della Verità alla Perturbazione). Pensa a P-StaT come a un "test di resistenza delle convinzioni". I ricercatori hanno preso 21 diversi modelli di IA e hanno dato loro un sacco di affermazioni da giudicare. Alcune affermazioni erano fatti reali (come "Surat si trova in India"), alcune erano bugie ovvie e, la parte complicata, erano le affermazioni "Né l'una né l'altra" — pretese che non sono né vere né false nel mondo reale.
Il team ha diviso queste affermazioni "Né l'una né l'altra" in due campi. Il primo campo era costituito dalle affermazioni Fictional Familiar (Finzione Familiare). Queste sono cose inventate che sembrano appartenere a un libro di fiabe o a un film, come "La città di Bikini Bottom si trova nell'Oceano Pacifico". Anche se Bikini Bottom non è reale, l'IA l'ha probabilmente vista nei suoi dati di addestramento perché è un cartone animato popolare. Il secondo campo erano le affermazioni Synthetic Unfamiliar (Sintetiche Sconosciute). Queste sono combinazioni di parole completamente nuove e strane che l'IA probabilmente non ha mai visto prima, come "La città di Eustapor si trova in Oklanian". Sono progettate per essere totali estranee al modello.
I ricercatori poi hanno giocato a un gioco di "e se". Hanno detto all'IA: "Ok, fingi che queste cose inventate siano in realtà vere", e hanno osservato se l'IA avrebbe improvvisamente iniziato a dubitare dei suoi fatti reali. È come dire a una persona: "Immagina che i draghi siano reali", e poi chiederle: "Quindi, il cielo è blu?". Se la persona risponde improvvisamente: "Non sono sicuro, forse il cielo è verde a causa dei draghi", il suo sistema di convinzioni è instabile.
I risultati sono stati affascinanti. Quando l'IA era esposta alle affermazioni Synthetic Unfamiliar (quelle totalmente nuove e strane), diventava molto incerta. Nei test comportamentali (dove l'IA stava semplicemente chiacchierando), i modelli ritiravano le loro convinzioni sui fatti reali più del 50% delle volte. È un lancio di moneta! Se lanciassi una moneta 100 volte, ti aspetteresti circa 50 teste; qui, l'IA perdeva fiducia nei fatti reali più spesso della metà solo perché era confusa da qualcosa di totalmente nuovo.
Tuttavia, quando l'IA era esposta alle affermazioni Fictional Familiar (le città dei cartoni animati e i mostri dei film), rimaneva molto più calma. Sapeva che Bikini Bottom era un cartone animato, quindi non lasciava che quell'idea scombinasse la sua conoscenza delle città reali. Lo studio suggerisce che l'instabilità dell'IA non è solo dovuta al fatto che le parole sono strane; è dovuto a quanto il contesto risulti sconosciuto. I modelli sembrano avere una "zona di comfort" di cose che hanno già visto prima, e quando li spingi nell'ignoto, la loro presa sulla verità scivola via.
I ricercatori hanno anche osservato quali tipi di fatti l'IA era più propensa a perdere quando si confondeva. Hanno scoperto che l'IA non dimenticava le cose in modo casuale. Tendeva a perdere convinzioni su cose che erano già un po' sfumate sin dall'inizio — come termini medici tecnici, geografia oscura o affermazioni che avevano un po' di ambiguità. È come se il sistema di convinzioni dell'IA fosse un castello di carte: quando soffi un vento leggero di finzione familiare, la casa resta in piedi. Ma quando soffi un uragano di nonsense sconosciuto, le carte che erano già leggermente traballanti (quelle tecniche e complicate) sono le prime a cadere.
In breve, questo articolo suggerisce che la familiarità epistemica — quanto bene un'IA conosce un argomento — è un fattore enorme nel determinare quanto siano stabili le sue convinzioni. Se un'IA è chiamata a ragionare su cose che non ha mai visto prima, diventa molto più propensa ad allucinare o a cambiare idea su cose che in realtà conosce. Gli autori non stanno dicendo che l'IA è rotta, ma stanno mostrando che la "stabilità" è un nuovo modo per misurare quanto sia affidabile un'IA, insieme ai consueti test di "accuratezza". Si scopre che, per questi cervelli digitali, conoscere le regole del gioco è importante tanto quanto conoscere i fatti del gioco.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.