Contemporary AI lacks the imagination to diverge or negate in science

Sintesi Tecnica: L'IA contemporanea manca dell'immaginazione per divergere o negare nella scienza

Problema
Nonostante le audaci proiezioni secondo cui l'intelligenza artificiale (IA) accelererà la scoperta scientifica, il campo manca di prove su larga scala con l'intervento degli scienziati (scientist-in-the-loop) per validare tali affermazioni. Gli attuali benchmark automatizzati spesso non riescono a catturare le sfumature del giudizio esperto, e vi è il rischio che un testo fluente possa sostituire la genuina intuizione. Il problema centrale affrontato è se gli attuali Large Language Models (LLM) possano realmente divergere dalla conoscenza stabilita per proporre ipotesi scientifiche nuove, fattibili e probabili, o se si limitino a ricombinare schemi esistenti. Inoltre, rimane incerto se gli valutatori automatizzati (LLM-as-a-judge, metriche) possano sostituire in modo affidabile la valutazione degli esperti umani nella generazione di idee scientifiche.

Metodologia
Gli autori hanno condotto l'audit più ampio mai effettuato dagli esperti sull'IA applicata alla scienza, coinvolgendo una pipeline di valutazione "human-in-the-loop":

1. Raccolta Dati: Lo studio ha assemblato 121.640 preprint empirici a testo completo pubblicati dopo il 2023 da sei piattaforme diverse da arXiv (BioRxiv, MedRxiv, ChemRxiv, SocArXiv, PsyArXiv, EdArXiv). arXiv è stato deliberatamente escluso per evitare la contaminazione dei dati, poiché il suo contenuto domina i corpora di pre-addestramento degli LLM.
2. Estrazione del Contesto: Utilizzando il modello di ragionamento o3-mini, gli autori hanno estratto il nucleo del puzzle scientifico, il contesto fattuale circostante e le ipotesi originali degli autori da ciascun articolo. Un rilevatore di leakage basato sulla parafrasi ha garantito che il contesto estratto non contenesse le ipotesi originali degli autori (tasso di conferma degli autori del 99,7%).
3. Generazione di Ipotesi: 26 diversi LLM (inclusi 19 modelli di chat non di ragionamento, 5 modelli di ragionamento e 2 sistemi agentici di "deep research") sono stati istruiti per generare ipotesi di approfondimento basandosi esclusivamente sul contesto e sul puzzle estratti.
4. Valutazione Esperta: 6.749 scienziati (autori degli articoli originali) hanno valutato 25.139 ipotesi generate dall'IA. Ogni ipotesi è stata valutata su quattro dimensioni: Novità Concettuale, Fattibilità Empirica, Probabilità di Verità e Favorevolezza dell'Adozione.
5. Benchmarking Automatizzato: Lo studio ha valutato vari valutatori automatizzati (LLM-as-a-judge, n-gram novelty, distanza semantica, perplexity e modelli di reward allo stato dell'arte) rispetto alla verità fondamentale (ground truth) umana.
6. Addestramento del Modello di Reward: Un modello Qwen3-14B è stato sottoposto a post-addestramento sulle preferenze pairwise umane utilizzando un obiettivo Bradley-Terry con un termine di margine per catturare le sfumature specifiche del campo.

Risultati Chiave

• Spazio delle Ipotesi e Divergenza: I modelli LLM non di ragionamento collassano in una stretta "mente alveare" (hivemind), generando idee altamente simili (alta similarità coseno pairwise). I modelli di ragionamento esplorano uno spazio di ipotesi più ampio, ma falliscono comunque nel proporre spontaneamente ipotesi nulle (affermazioni di assenza di effetto/relazione). Mentre gli esseri umani formulano raramente ipotesi nulle a causa del bias di pubblicazione, gli LLM le formulano ancora meno spesso, indicando un'incapacità strutturale di ragionare sull'assenza o sulla negazione.
• Bias del Giudizio Esperto:
  • Auto-similarità: Gli scienziati preferiscono fortemente le idee dell'IA che somigliano al proprio lavoro (coefficiente = 1,28). L'alta similarità correla con una maggiore percezione di fattibilità e probabilità, ma con una minore percezione di novità.
  • Anzianità e Campo: Gli scienziati senior sono critici più severi verso le idee dell'IA, specialmente nelle scienze sociali. I ricercatori sociali tollerano il rischio (minore probabilità) più facilmente rispetto ai ricercatori delle scienze della vita, che danno priorità a fattibilità e probabilità a causa dell'alto costo degli esperimenti falliti.
  • Performance per Campo: Le idee dell'IA sono state valutate più bassamente nelle scienze sociali in tutte le dimensioni (novità, fattibilità, probabilità), probabilmente perché i campi pluralistici con interpretazioni contestate sono difficili per i modelli ottimizzati per riprodurre pattern modali.
• Fallimento dei Valutatori Automatizzati: Gli attuali giudici automatizzati (inclusi i modelli allo stato dell'arte e l'LLM-as-a-judge) mostrano una debole correlazione con il giudizio esperto umano ($r < 0,35$). Essi esibiscono una forte tendenza centrale, raggruppando i punteggi verso la parte centrale della scala e fallendo nel assegnare punteggi estremi. Le metriche standard di novità (distanza semantica, perplexity, n-grams) performano vicino al caso.
• Successo del Modello di Reward: Un modello di reward post-addestrato sulle valutazioni umane (Qwen3-14B) ha superato significativamente i baseline allo stato dell'arte (miglioramento fino al 27%) e ha raggiunto un'accuratezza pairwise (61–69%) che eccede la coerenza dei revisori paritari umani indipendenti (61,0% ± 0,1%). I modelli specifici di dominio hanno performato meglio dei modelli generali quando disponevano di sufficienti dati nel dominio.

Contributi Chiave

1. Audit Empirico su Larga Scala: Ha fornito la prima valutazione su larga scala, con l'intervento degli scienziati, delle ipotesi scientifiche generate dall'IA attraverso molteplici discipline, andando oltre i benchmark sintetici o su piccola scala.
2. Identificazione dei Limiti Strutturali: Ha dimostrato che l'IA attuale manca della capacità di "cambiamento sottrattivo" (negazione/ipotesi nulle) e fatica nei campi pluralistici che richiedono interpretazioni sensibili al contesto.
3. Valutazione dei Giudici Automatizzati: Ha dimostrato sistematicamente che gli attuali metodi di valutazione automatizzata (LLM-as-a-judge, metriche) sono proxy insufficienti per il giudizio esperto scientifico.
4. Distillazione del Gusto Esperto: Ha avuto successo nel addestrare un modello di reward che cattura il "gusto" specifico del campo e raggiunge livelli di coerenza comparabili alla revisione paritaria umana, suggerendo che il giudizio esperto può essere parzialmente distillato nella macchina.

Significatività e Affermazioni
Il documento sostiene che, sebbene l'IA possa espandere lo spazio di ricerca e far emergere direzioni candidate, essa attualmente manca dell' "immaginazione" per divergere dai pattern stabiliti o per negare la conoscenza esistente. Gli autori affermano che:

• L'IA è un collaboratore, non un sostituto: L'IA scientifica odierna beneficia dell'ancoraggio umano; non può ancora formulare indipendentemente domande, riconoscere risultati significativi o contestare categorie.
• Il "Gap della Nulla" è Strutturale: L'incapacità di generare ipotesi nulle non è un piccolo bug, ma una caratteristica strutturale del modo in cui gli LLM apprendono da corpora dominati da affermazioni positive e risultati nulli soppressi.
• La Curiosità è Mancante: I modelli attuali sono ottimizzati per predire, non per interrogarsi. La vera accelerazione scientifica richiede la codifica della "curiosità computazionale" — un impulso intrinseco a sondare anomalie, contraddizioni e assenze.
• Riforma della Valutazione: Le affermazioni di accelerazione guidata dall'IA non possono essere giudicate solo tramite la fluidità o i benchmark automatizzati; richiedono la validazione rispetto agli esperti di dominio che definiscono il contributo.

Lo studio conclude che finché i sistemi di IA non saranno diretti verso le violazioni delle aspettative e non potranno attivamente raggiungere il mondo per accumulare dati su "ciò che non funziona", rimarranno limitati alla ricombinazione della letteratura pubblicata piuttosto che al suo ampliamento.