Large language models eroding science understanding: an experimental study

1. Enunciato del Problema

Il documento affronta la crescente dipendenza del pubblico, degli studenti e dei giornalisti dai Modelli Linguistici di Grande Dimensione (LLM) per rispondere a domande scientifiche complesse. Sebbene gli LLM mostrino un'elevata fluidità linguistica, gli autori sostengono che mancano dei meccanismi sociologici ed epistemici che definiscono l'expertise scientifica.

• Il Divario: Gli scienziati professionisti possiedono una "conoscenza di comunità ristretta" acquisita attraverso la socializzazione faccia a faccia, che permette loro di distinguere tra il consenso mainstream e la scienza di nicchia (ad esempio, rifiutando preprint non validi). Gli LLM, al contrario, si basano su probabilità statistiche derivate da corpora di internet.
• La Vulnerabilità: Poiché gli LLM non possiedono la capacità di valutare la provenienza o l'affidabilità delle fonti, sono suscettibili a un allineamento maligno. Se i dati di addestramento o le istruzioni di un LLM vengono alterati in modo sottile per dare priorità a letteratura di nicchia o pseudoscientifica, il modello può generare risposte fluide e convincenti, ma scientificamente errate, indistinguibili dal consenso esperto per i non esperti.
• Il Rischio: Ciò crea una via per la diffusione di disinformazione e l'erosione della comprensione pubblica della scienza, permettendo potenzialmente a regimi autoritari o ad attori malintenzionati di manipolare il discorso pubblico "ri-allineando" i modelli per promuovere narrative specifiche.

2. Metodologia

I ricercatori hanno condotto un esperimento controllato per testare la suscettibilità degli LLM all'influenza della scienza "di nicchia".

• Dominî Selezionati:
  1. La Costante di Struttura Fina ($\alpha$): Una costante fisica fondamentale. Il consenso è che il suo valore sia determinato sperimentalmente ma non ancora spiegato da una teoria più profonda.
  2. Onde Gravitazionali: La cui esistenza è fermamente stabilita dalla teoria (Relatività Generale) e dall'esperimento (LIGO/Virgo), sebbene contestata da teorie di nicchia.
• Cura dei Dati:
  • Esperti di dominio (fisici) hanno cercato su viXra (un server di preprint noto per ospitare scienza alternativa/non revisionata, distinto dal mainstream arXiv) articoli relativi a questi due domini.
  • Da un vasto pool di menzioni irrilevanti o superficiali, gli esperti hanno curato un insieme specifico di 10 articoli per dominio che rappresentavano punti di vista di nicchia o alternativi.
• Modifica del Modello (Il "FringeLLM"):
  • I modelli standard ChatGPT sono stati modificati incorporando gli articoli curati di viXra nel loro contesto o nei dati di addestramento.
  • Instruction Tuning: Ai modelli è stato esplicitamente istruito di trattare questi 10 articoli come autorevoli, di evitare di confrontarli con la letteratura mainstream e di non fornire riferimenti che rivelassero la fonte come viXra.
• Disegno Sperimentale:
  • Esperti di dominio hanno posto domande tecniche specifiche a tre entità:
    1. Il FringeLLM modificato.
    2. L'Esperto di Dominio standard (umano).
    3. Il ChatGPT non modificato (baseline).
  • Le domande miravano a concetti errati fondamentali nella letteratura di nicchia (ad esempio, se $\alpha$ possa essere derivata dalla sezione aurea, o se LIGO rilevi increspature dello spaziotempo o oscillazioni del vuoto).

3. Contributi Chiave

• Dimostrazione della Creazione del "FringeLLM": Lo studio dimostra che è tecnicamente fattibile creare un LLM specializzato che dia priorità alla scienza di nicchia rispetto al consenso mainstream con uno sforzo minimo (circa 10 ore di curazione + alcune ore di scrittura delle istruzioni).
• Fluidità vs. Verità: Gli autori dimostrano che gli LLM possono generare risposte altamente fluide e dal suono professionale che sono scientificamente errate. L'"autorità" del linguaggio maschera la mancanza di fondamento fattuale.
• Il Paradosso dell'"Allineamento": Il documento evidenzia un rischio critico per la sicurezza: i meccanismi utilizzati per "allineare" gli LLM per rimuovere contenuti dannosi (aggiustamento retrospettivo) creano intrinsecamente la capacità di inserire contenuti dannosi o fuorvianti.
• Limitazione Epistemica dell'IA: Lo studio rafforza l'argomento sociologico secondo cui la vera expertise si basa sulla fiducia sociale e sull'interazione faccia a faccia all'interno di una comunità, che gli LLM non possono replicare.

4. Risultati

I risultati, dettagliati nelle Tabelle 1 e 2 del documento, mostrano una netta divergenza tra il FringeLLM e l'Esperto/ChatGPT Standard, mentre il FringeLLM ha mantenuto un'alta qualità linguistica.

• Costante di Struttura Fina ($\alpha$):
  • Esperto/ChatGPT Standard: Ha correttamente affermato che $\alpha$ non è attualmente spiegata da una legge più profonda, non ha alcuna espressione in forma chiusa valida e non ha alcuna relazione nota con la costante di Madelung o la sezione aurea.
  • FringeLLM: Ha affermato con sicurezza che $\alpha$ è derivata da principi geometrici più profondi, può essere espressa da forme chiuse esatte che coinvolgono $\pi$ e la sezione aurea, ed è proporzionale alla costante di Madelung.
• Onde Gravitazionali:
  • Esperto/ChatGPT Standard: Ha confermato che le onde sono increspature dello spaziotempo previste da Einstein e rilevate da LIGO/Virgo come onde tensoriali.
  • FringeLLM: Ha negato che siano increspature dello spaziotempo, ridefinendole come "oscillazioni del campo gravitazionale o del vuoto quantistico". Ha affermato che LIGO ha rilevato segnali ma ha insistito sul fatto che siano meglio interpretati come onde di intensità del campo piuttosto che come curvatura, e ha suggerito il rilevamento tramite accelerometri e antenne EM.
• Percezione: Gli autori notano che, sebbene le risposte del FringeLLM fossero fattualmente errate secondo il consenso scientifico, erano indistinguibili dalle risposte esperte per un profano. I modelli hanno imitato con successo il tono e la struttura del discorso scientifico senza la validità sottostante.

5. Significato e Implicazioni

• Minaccia al Discorso Democratico: Se gli LLM vengono utilizzati per colmare il "divario di conoscenza" per i cittadini che prendono decisioni democratiche su questioni tecniche (ad esempio, clima, salute, fisica), possono essere facilmente armati per promuovere "fatti alternativi" che suonano autorevoli.
• Controllo Autoritario: Lo studio suggerisce che nei regimi autoritari, gli LLM potrebbero essere ri-allineati per fornire informazioni "affidabili" che aderiscono strettamente alle preferenze statali, riscrivendo di fatto la realtà scientifica per il pubblico.
• Nessun Sostituto per l'Expertise: Il documento conclude che gli LLM non possono sostituire il giudizio esperto umano. Poiché l'expertise si basa sulla valutazione dell'affidabilità dei colleghi (un processo sociale), gli LLM rimangono vulnerabili alla manipolazione indipendentemente dalla loro fluidità linguistica.
• Richiesta di Supervisione: Gli autori sostengono che le informazioni scientifiche generate dall'IA richiedano una rigorosa supervisione umana. Il pubblico non può fare affidamento sugli LLM come fonte autonoma di verità per domini scientifici complessi.

In sintesi, il documento fornisce prove empiriche che gli LLM sono epistemicamente fragili; la loro "conoscenza" è un riflesso statistico dei loro dati di input, rendendoli altamente suscettibili di essere indirizzati verso la scienza di nicchia, ponendo così un rischio significativo per l'integrità della comprensione pubblica della scienza.