Intern-S2-Preview: Scientific Agentic Foundation Model
Il documento presenta Intern-S2-Preview, una serie di modelli fondativi agentici scientifici addestrati attraverso un processo specializzato di pre-addestramento multimodale e una pipeline di post-addestramento unificata che presenta apprendimento per rinforzo avanzato e architetture aumentate dalla memoria per raggiungere prestazioni allo stato dell'arte nel ragionamento scientifico, nell'interazione con gli strumenti e nei compiti a lungo orizzonte.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di cercare di insegnare a un robot come essere uno scienziato. In passato, fornivamo ai robot grandi biblioteche di testo e chiedevamo loro di rispondere a domande come in un quiz televisivo. Ma la vera scienza non è un quiz; è un'avventura lunga e disordinata. Comporta l'osservazione di immagini strane di cellule, la lettura di grafici che oscillano come battiti cardiaci, l'uso di strumenti informatici per eseguire esperimenti e il pensare a un problema per ore senza perdersi. Questo articolo parla della costruzione di un nuovo tipo di "super-cervello" per i robot che non si limita a memorizzare fatti, ma che in realtà fa scienza. È progettato per comprendere immagini complesse, prevedere numeri futuri e agire come un detective capace di usare strumenti per risolvere misteri su un lungo periodo di tempo. L'idea fondamentale è che, per essere un vero assistente scientifico, un'IA deve essere in grado di far convivere diversi tipi di informazioni (come testo, immagini e numeri) e continuare a lavorare costantemente su un problema difficile senza arrendersi o confondersi.
Il team dietro questo progetto, proveniente dallo Shanghai AI Laboratory, presenta una nuova famiglia di modelli IA chiamata Intern-S2-Preview. Pensa a questo modello come a un enorme scienziato "generalista" da 397 miliardi di parametri che ha letto quasi ogni articolo scientifico mai scritto. Ma invece di stare lì seduto a conoscere le cose, questo modello è costruito per agire. Può guardare un diagramma scientifico, comprenderne la storia sottostante e poi usare strumenti informatici per eseguire simulazioni o scrivere codice per testare un'ipotesi.
Ecco come hanno costruito questo super-scienziato:
Per prima cosa, hanno insegnato al modello mostrando milioni di documenti scientifici, ma non solo il testo. Hanno mostrato le pagine reali, con tutte le immagini, i grafici e le equazioni nella loro disposizione originale. È come insegnare a uno studente consegnandogli l'intero libro di testo, inclusi i diagrammi, piuttosto che leggere ad alta voce solo il testo. Questo aiuta il modello a capire come gli scienziati presentano effettivamente le loro idee.
Poi, hanno dato al modello una speciale abilità di "viaggio nel tempo". La maggior parte dei modelli IA è scarsa nel prevedere cosa accadrà dopo in una sequenza di numeri (come i modelli meteorologici o i prezzi azionari). Intern-S2-Preview ha ricevuto un aggiornamento dedicato per gestire questi dati di tipo "serie temporali" (time series). Ora può guardare una lunga linea di numeri e prevedere accuratamente cosa accadrà dopo, il che è fondamentale per cose come prevedere il cambiamento climatico o analizzare i segnali cerebrali.
Uno dei trucchi più interessanti che hanno usato è chiamato Memory Decoder (Decodificatore di Memoria). Immagina che il cervello principale da 397 miliardi di parametri sia un brillante generalista che sa un po' di tutto. Ma cosa succede se hai bisogno di un esperto in un campo minuscolo, come la biologia? Inveve di riaddestrare l'intero cervello gigante (il che sarebbe lento e potrebbe fargli dimenticare altre cose), hanno attaccato un piccolo "taccuino" specializzato chiamato Memory Decoder. Questo taccuino contiene conoscenze specifiche di biologia. Quando l'IA ha bisogno di rispondere a una domanda di biologia, consulta questo taccuino. Il risultato? I punteggi di biologia del modello sono passati da 56,92 a 60,32, mentre la sua conoscenza generale è rimasta esattamente la stessa. È come avere un amico genio che può estrarre istantaneamente un manuale specializzato ogni volta che fai una domanda specifica, senza dover frequentare un nuovo corso di laurea.
Il team ha anche insegnato al modello come essere un agente a lungo termine (long-horizon agent). Ciò significa che l'IA può pianificare una missione a più fasi. Inveve di rispondere semplicemente "Qual è la capitale della Francia?", può ricevergli l'incarico di "Progettare un nuovo farmaco". Potrebbe quindi: 1) cercare la ricerca esistente, 2) scrivere codice per simulare il comportamento del farmaco, 3) eseguire la simulazione, 4) rendersi conto che è fallita, 5) modificare il codice, 6) e riprovare. L'articolo mostra che, utilizzando un metodo di addestramento speciale chiamato "apprendimento per rinforzo" (reinforcement learning), il modello ha imparato a gestire questi flussi di lavoro lunghi e complessi senza bloccarsi o commettere errori banali.
Quando hanno testato Intern-S2-Preview-397B, si è comportato incredibilmente bene. Nei test che misurano quanto bene comprende la biologia, la chimica e la fisica, ha superato molti altri modelli all'avanguardia. Era particolarmente bravo a leggere grafici scientifici e a prevedere dati di serie temporali, superando spesso modelli molto più grandi o specializzati solo in tali compiti. Ad esempio, in un test chiamato Biology-Instructions, ha ottenuto 56,92, e con il Memory Decoder attaccato, è salito a 60,32. Nei test di ragionamento generale come MMLU-Pro, ha ottenuto 89,75, che è il migliore tra i modelli open-source.
Tuttavia, gli autori sono cauti nel definirlo una "Anteprima" (Preview). È uno strumento potente, ma non è ancora perfetto. Notano che, sebbene il modello sia bravo a collegare il ragionamento all'azione, c'è ancora del lavoro da fare per renderlo ancora più affidabile per flussi di lavoro scientifici molto lunghi e complessi. Sottolineano anche che questo modello è una base — un punto di partenza che può essere adattato con diversi "taccuini di memoria" per diversi campi scientifici senza dover ricostruire l'intero cervello.
In breve, questo articolo presenta un nuovo tipo di IA che è pronta a andare oltre il semplice rispondere alle domande e iniziare a fare il vero lavoro di scoperta scientifica, dalla lettura di grafici complessi all'esecuzione di esperimenti lunghi, il tutto mantenendo intatta la propria conoscenza generale e affinando le proprie abilità specializzate.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.