Finetuning with Scientific Data Increases Hallucinations: A Multi-domain Factuality Evaluation of LLMs
Questo articolo introduce SciFactCheck, un benchmark multi-dominio che rivela come il fine-tuning scientifico aumenti paradossalmente le allucinazioni e l'assertività nei grandi modelli linguistici, diminuendo al contempo la loro fiducia interna, sfidando così gli attuali approcci di fine-tuning specifici per dominio volti a migliorare la fattualità.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di avere un bibliotecario brillante e colto che sa un po' di tutto. Questo bibliotecario è il tuo tipico Modello di Linguaggio di Grandi Dimensioni (LLM). È bravo a chiacchierare, ma a volte inventa le cose quando non è sicuro dei fatti. Questo si chiama "allucinazione".
Ora, immagina di prendere questo bibliotecario e mandarlo in un'università specializzata per studiare solo la scienza. Gli dai migliaia di libri di testo, articoli di ricerca e riviste. Ti aspetti che torni come un "Esperto Scientifico" ancora più affidabile di prima.
Questo articolo è il pagella di questo esperimento, e la notizia è sorprendentemente negativa.
Ecco cosa hanno scoperto i ricercatori, usando semplici analogie:
1. Lo "Specialista" è peggiorato nella verità
I ricercatori hanno creato un test massiccio chiamato SCIFACTCHECK. Hanno chiesto a 18 diversi modelli di IA (alcuni generali, altri "addestrati scientificamente") di scrivere brevi paragrafi su 2.500 diversi argomenti scientifici, dall'ingegneria alla filosofia.
Il Risultato: I modelli "scientifici" hanno commesso più errori rispetto a quelli generali.
- L'Analogia: È come prendere uno chef generico e mandarlo a scuola di cucina per imparare solo sulle spezie. Ti aspetteresti che fosse un miglior cuoco, ma invece ha iniziato a dimenticare come far bollire l'acqua e ha condito ogni piatto in modo eccessivo. L'addestramento specializzato sembra aver confuso i modelli, rendendoli meno affidabili sui fatti base rispetto ai loro cugini a scopo generale.
2. I tre tipi di "Bugia"
Lo studio non si è limitato a guardare le risposte "sbagliate"; ha guardato come erano sbagliate. Hanno trovato tre modi specifici in cui i modelli allucinavano:
- La bugia "Non Verificabile" (Inverificabilità): Il modello inventa un fatto che sembra reale ma che non si può trovare in alcun libro o articolo.
- Analogia: Il bibliotecario dice: "Nel 1995, una società segreta di gatti ha governato internet". Sembra specifico, ma non esiste alcuna registrazione di ciò.
- La bugia "Troppo Sicura di Sé" (Overclaim): Il modello prende una piccola verità e la trasforma in una grande certezza assoluta.
- Analogia: Uno studio dice: "Questo farmaco potrebbe aiutare alcuni pazienti". Il modello dice: "Questo farmaco guarisce tutti". Esagera l'ambito e la certezza.
- La bugia della "Citazione Falsa" (Attribuzione): Il modello inventa una fonte per supportare la sua affermazione.
- Analogia: Il bibliotecario dice: "Secondo l'articolo del famoso 'Journal of Space Physics' del Dr. Smith..." ma quell'articolo e quel dottore non sono mai esistiti.
3. Il paradosso "Sicuro ma Ignorante"
Uno dei risultati più strani riguardava il modo in cui i modelli "sentivano" le proprie risposte.
- La Scoperta: I modelli addestrati scientificamente usavano un linguaggio più sicuro (parole come "sicuramente", "provato", "sempre") ma erano in realtà meno sicuri internamente (il loro "istinto" informatico era incerto).
- L'Analogia: Immagina uno studente che non conosce la risposta a un problema di matematica. Inveve di dire "Non sono sicuro", si alza, alza la mano e urla la risposta con il 100% di convinzione. Ha imparato lo stile di uno scienziato sicuro di sé, ma non ha imparato la sostanza. Sono "sbagliati con convinzione".
4. Il problema del "Verificatore di Fatti"
Infine, i ricercatori hanno cercato di usare dei computer per valutare i loro modelli, e poi hanno chiesto anche a esperti umani di valutarli.
- Il Risultato: I valutatori computer e gli esperti umani non sempre concordavano. Persino gli umani faticavano a concordare su cosa contasse come un "fatto scientifico" che potesse essere verificato.
- L'Analogia: È come avere un gruppo di giudici che cercano di dare un punteggio a un'esecuzione di ginnastica, ma non riescono nemmeno a mettersi d'accordo sulle regole dello sport. In alcuni campi (come la matematica), tutti concordano sulle regole. In altri (come la filosofia o le scienze sociali), è molto difficile definire cosa sia "verificabile".
Conclusione
L'articolo conclude che semplicemente addestrare l'IA su libri scientifici non la rende un esperto scientifico affidabile. Anzi, potrebbe renderla più pericolosa perché suona più sicura di sé pur essendo meno accurata. Abbiamo bisogno di strumenti migliori per verificare le affermazioni scientifiche, e non possiamo semplicemente assumere che un'IA "specializzata" sia automaticamente migliore di un'IA "generale".
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.