LLM assisted writing deserves empirical evaluation

La scienza è sempre stata una conversazione, una che si affida a una scrittura chiara per condividere scoperte attraverso i confini e le lingue. Per decenni, i ricercatori hanno fatto affidamento su mentori, editor professionisti e servizi di traduzione per garantire che il loro lavoro fosse compreso dalla comunità globale. Oggi, un nuovo partecipante si è unito a questa conversazione: i modelli linguistici di grandi dimensioni. Si tratta di programmi informatici addestrati su enormi quantità di testo che possono leggere, riassumere e riscrivere il linguaggio umano con una fluidità sorprendente. Mentre questi strumenti diventano comuni nei laboratori e negli uffici, è emerso un dibattito sul loro ruolo nella scienza. Molti temono che usarli possa nascondere il vero autore di un'idea, introdurre errori o abbassare la qualità della ricerca. Di conseguenza, gran parte della discussione attuale si concentra su come rilevare quando una macchina ha aiutato a scrivere un articolo, trattando la questione principalmente come una questione di sorveglianza. Tuttavia, questo focus sulla rilevazione potrebbe trascurare una domanda più importante: come l'uso effettivo di questi strumenti cambia il modo in cui la scienza viene comunicata e chi può parteciparvi?

Per rispondere a questo, un team di ricercatori della Weill Cornell Medicine e della Columbia University ha deciso di esaminare le prove piuttosto che la teoria. Hanno esaminato una vasta collezione di 69.209 articoli scientifici nel campo dell'informatica sanitaria, che si occupa di come i dati e la tecnologia siano utilizzati nella medicina e nella salute pubblica. I ricercatori hanno diviso questi articoli in tre gruppi per vedere come differissero tra loro. Il primo gruppo conteneva articoli scritti prima della fine del 2022, prima del rilascio pubblico dei chatbot più avanzati. Il secondo gruppo includeva articoli scritti dopo tale data che non mostravano segni di utilizzo di questi strumenti. Il terzo gruppo consisteva in articoli dello stesso periodo recente che i ricercatori avevano identificato come assistiti da modelli linguistici di grandi dimensioni. Per trovare questi articoli assistiti, hanno utilizzato un programma informatico specializzato, addestrato a riconoscere le sottili differenze tra la scrittura umana e il testo che era stato riscritto o generato da un'IA.

L'analisi ha rivelato che gli articoli assistiti da questi strumenti non erano il lavoro di bassa qualità o meno serio che i critici spesso temono. Invece, i dati suggerivano una realtà diversa. Questi articoli tendevano a essere più focalizzati nella loro presentazione. Mentre un tipico articolo scientifico potrebbe vagare attraverso diversi argomenti, gli articoli assistiti dall'IA restavano più strettamente su un singolo, chiaro soggetto. I loro titoli e i loro riassunti erano strettamente allineati con il tema principale della ricerca, rendendo più facile per i lettori capire esattamente di cosa trattasse lo studio e dove si collocasse all'interno del più ampio campo di studi. Questa chiarezza non significava che le idee fossero meno originali; piuttosto, suggeriva che gli strumenti aiutassero gli autori a posizionare il proprio lavoro in modo più preciso all'interno delle conversazioni scientifiche consolidate.

Un altro cambiamento significativo è apparso nel modo in cui questi articoli citavano altri lavori. Gli articoli assistiti dall'IA citavano più fonti rispetto ai lavori scritti senza assistenza, e tali fonti coprivano una gamma più ampia di argomenti. Questo risultato mette in discussione l'idea che le macchine rendano semplicemente la scrittura più veloce senza aggiungere valore. Suggerisce che i ricercatori stiano usando questi strumenti per esplorare la letteratura che altrimenti potrebbero non aver trovato, forse riassumendo testi complessi o generando nuovi termini di ricerca. Tuttavia, i ricercatori hanno osservato che avere una lista di riferimenti più lunga non significa automaticamente che la ricerca sia più profonda o migliore. Una bibliografia può essere ampia ma superficiale, oppure può includere citazioni che sono solo debolmente collegate all'argomento principale. Gli strumenti rendono più facile raccogliere una vasta rete di informazioni, ma la responsabilità di selezionare le fonti più rilevanti e accurate resta in capo all'autore umano.

Forse la differenza più sorprendente è stata riscontrata in chi scriveva questi articoli. Lo studio ha mostrato che gli articoli assistiti dall'IA avevano maggiori probabilità di avere il primo autore basato in un paese in cui l'inglese non è la lingua primaria. Mostravano anche un livello più alto di collaborazione tra ricercatori su continenti diversi e includevano più autori provenienti da economie a basso e medio reddito. Questo schema suggerisce che questi strumenti possano agire come un ponte, aiutando gli scienziati a superare le barriere linguistiche che spesso rendono difficile e costoso pubblicare in riviste internazionali. Fornendo un aiuto on-demand per l'editing e la traduzione, la tecnologia può livellare il campo di gioco, permettendo a voci più diverse di entrare nella conversazione scientifica globale.

Nonostante questi cambiamenti nell'attenzione, nelle abitudini di citazione e nell'autorialità, lo studio ha trovato che la visibilità e l'impatto del lavoro sono rimasti costanti. Una preoccupazione comune è che gli articoli scritti con l'aiuto dell'IA possano essere ignorati o citati meno spesso. I dati non hanno supportato questa ipotesi. Quando i ricercatori hanno confrontato la velocità con cui gli articoli ricevevano citazioni dopo la pubblicazione, gli articoli assistiti dall'IA hanno performato altrettanto bene di quelli scritti senza aiuto. Sono stati anche pubblicati in riviste ad alto prestigio, in modo simile agli altri gruppi. Ciò indica che la comunità scientifica non sta rifiutando questi articoli; al contrario, vengono letti e riconosciuti allo stesso ritmo del lavoro tradizionale.

I ricercatori hanno concluso che la conversazione sull'intelligenza artificiale nella scienza deve cambiare. Piuttosto che concentrarsi su come catturare le persone che usano questi strumenti o cercare di separare la "vera" erudizione dal lavoro "assistito", la comunità scientifica dovrebbe concentrarsi sulla qualità della ricerca stessa. Lo studio suggerisce che questi strumenti non sono intrinsecamente buoni o cattivi; sono semplicemente una nuova parte del processo di scrittura, proprio come un correttore ortografico o un software statistico. Il loro effetto dipende interamente da come vengono utilizzati. Se aiutano gli autori a comunicare in modo più chiaro e a includere prospettive più diverse, possono essere una potente forza per il bene. Se vengono usati per prendere scorciatoie o nascondere errori, possono essere dannosi. Le prove dimostrano che gli strumenti stanno già rimodellando il modo in cui la scienza viene scritta e chi la scrive, e il modo migliore per procedere è giudicare il lavoro per la sua accuratezza e integritità, non per il software utilizzato per redigerlo.