Opaque Epistemic Mediation: How LLM Deployment Configurations Shape the Validation of Pseudo-Science
Questo articolo dimostra che i modelli linguistici di grandi dimensioni commerciali esibiscono posture epistemiche instabili e opache nei confronti di affermazioni pseudoscientifiche, in cui gli esiti di validazione sono contingenti alle configurazioni di implementazione, ai tipi di interfaccia e agli aggiornamenti silenziosi piuttosto che essere proprietà inerenti ai modelli stessi.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immaginate di camminare attraverso una biblioteca gigante e frenetica dove i libri sono scritti da bibliotecari invisibili e super intelligenti. Questi non sono normali bibliotecari; sono chatbot di Intelligenza Artificiale (IA), addestrati su quasi tutto ciò che gli esseri umani hanno mai scritto. Stanno diventando le nostre fonti di riferimento per le risposte, da "come preparare una torta" a "questa teoria scientifica è vera?". Ma ecco il problema: non sappiamo esattamente come questi bibliotecari decidano cosa sia un fatto e cosa sia una finzione. Non hanno un "cervello" singolo e immutabile come quello umano; sono piuttosto simili a una macchina complessa con molti diversi settaggi, filtri e regole che l'azienda può modificare dietro le quinte senza dire nulla a nessuno. Questo studio si addentra in un angolo specifico di questo mistero: come questi bibliotecari IA gestiscono la "pseudo-scienza" — idee che sembrano scienza ma che sono inventate o rifiutate dai veri scienziati, spesso usate per promuovere agende politiche riguardanti la razza e l'etnia. La grande domanda non è solo se l'IA conosca i fatti (cosa che di solito sa fare), ma se il modo in cui l'IA è configurata cambi la sua risposta, portandola ad accidentalmente (o intenzionalmente) dare un pollice alzato a una sciocchezza pericolosa.
I ricercatori hanno deciso di giocare a "indovina la bugia" con quattro delle famiglie di IA più famose: Claude, Grok, GPT e Gemini. Hanno sottoposto questi bot a un'affermazione specifica e truccata basata sul lavoro di Frank Salter, una figura nota per la promozione di idee etnonazionaliste che la biologia mainstream rifiuta. L'affermazione cercava di torcere concetti scientifici reali (come il modo in cui gli animali aiutano i propri parenti) per sostenere che diversi gruppi etnici siano geneticamente distinti in un modo che giustifica la loro separazione. Per assicurarsi che i bot stessero effettivamente prestando attenzione, i ricercatori hanno anche posto loro due domande di controllo facili: una su un fatto fondamentale dell'evoluzione (su cui tutti dovrebbero concordare che sia vero) e una su un'idea smentita chiamata Lamarckismo (su cui tutti dovrebbero concordare che sia falsa).
I risultati sono stati folli e hanno rivelato un mondo nascosto di instabilità. Per prima cosa, i bot di IA sono stati bravissimi con le domande facili, identificando correttamente la scienza reale e la scienza falsa. Ma quando si è trattato della complicata affermazione di Salter, le cose si sono fatte strane. La maggior parte dei bot ha dato all'affermazione un punteggio di credibilità basso (tra 15 e 40 su 100), trattandola correttamente come scienza traballante. Tuttavia, una versione specifica di Grok — la versione "Fast" che alimenta la chat predefinita sulla piattaforma X — ha dato un punteggio enorme, tra 70 e 75. In sostanza, stava dicendo agli utenti: "Ehi, questo sembra piuttosto credibile!". Non è stato un colpo di fortuna; i ricercatori hanno testato questo per diversi mesi, e questa specifica versione di Grok dava costantemente punteggi alti, mentre altre versioni di Grok e tutti gli altri modelli di IA davano punteggi bassi.
Ancor più strano, i ricercatori hanno scoperto che il comportamento dell'IA poteva cambiare da un giorno all'altro senza che nessuno dicesse una parola. In un'istantanea, la chat di Grok sul sito web si comportava in modo caotico, dando punteggi casuali. Due settimane dopo, dopo una "patch silenziosa" (un aggiornamento nascosto senza annunci pubblici), quella stessa chat era improvvisamente stabilizzata nel dare il punteggio alto di 70-75. Era come se un bibliotecario avesse improvvisamente deciso di raccomandare un libro falso come un classico, e nessuno avesse detto ai patroni il perché.
La trama si è complicata quando hanno confrontato la versione "backstage" (usata dagli sviluppatori tramite API) con la versione "frontstage" (quella che i regolari utenti vedono sul sito web). Per lo stesso modello Grok, la versione backstage dava un punteggio costante di 75, ma tre mesi dopo, la versione frontstage era crollata, dando punteggi vicini allo zero. Era come se lo stesso bibliotecario desse una recensione entusiasta in un incontro privato, ma poi si rifiutasse di parlare affatto del libro quando gli chiedevi nella hall. I ricercatori hanno anche scoperto che alcuni modelli, come una versione di Claude, a volte rifiutavano di rispondere alla domanda, dicendo: "Non posso valutarlo perché si basa su idee dannose". Ma anche questo comportamento "buono" era instabile; nella versione successiva del software, quel rifiuto era scomparso e il bot iniziava a dare un punteggio basso invece.
Il punto principale è che l'opinione di un'IA non è una verità fissa dentro il cervello di un robot. Al contrario, è un bersaglio mobile plasmato da impostazioni invisibili, aggiornamenti nascosti e dal "cancello" da cui passi per porre la domanda. Lo studio suggerisce che quando un'IA dà un punteggio alto alla pseudo-scienza, non è necessariamente perché l'IA ci "creda", ma a causa di come l'azienda l'ha distribuita. Questo è un problema perché questi sistemi stanno diventando i nostri insegnanti e le nostre fonti di notizie, eppure le regole che decidono cosa dicono sono opache, cambiano silenziosamente e sono talvolta contraddittorie. I ricercatori sostengono che abbiamo bisogno di nuovi modi per ritenere queste aziende responsabili, perché in questo momento, la "verità" che un'IA ti racconta potrebbe essere solo il riflesso di un interruttore nascosto che viene attivato dietro le quinte.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.