CEDAR-GRPO: Process-Aware Reinforcement Learning for General Abductive Reasoning in LLMs

Nel vasto panorama dell'intelligenza artificiale, i ricercatori cercano costantemente di insegnare alle macchine come pensare come gli esseri umani, non solo come prevedere la parola successiva in una frase. Uno dei modi di pensare più umani è chiamato ragionamento abduttivo. Questo è il processo mentale di osservare un insieme di indizi o osservazioni e lavorare a ritroso per trovare la spiegazione più probabile per essi. È il modo in cui un medico capisce cosa non va in un paziente basandosi su pochi sintomi, come un detective ricostruisce un crimine da prove sparse, o come un ingegnere diagnostica una macchina che si è improvvisamente fermata. Per molto tempo, gli scienziati hanno faticato a far sì che i grandi modelli linguistici lo facessero bene. Sebbene questi modelli siano eccellenti nel richiamare fatti o nel seguire rigide regole logiche, spesso inciampano quando viene chiesto loro di inferire cause nascoste da informazioni incomplete. Tendono a indovinare la risposta giusta per i motivi sbagliati, oppure inventano fatti che suonano plausibili ma che in realtà non si adattano all'evidenza fornita.

Un team di ricercatori della Sharif University of Technology e della University of Tehran si è posto l'obiettivo di risolvere questo problema. Volevano sapere se potevano addestrare questi modelli di IA a diventare migliori nel ragionamento abduttivo in un modo che li aiutasse a risolvere nuovi problemi mai visti, piuttosto che limitarsi a memorizzare gli specifici enigmi su cui sono stati addestrati. Hanno sviluppato un nuovo metodo di addestramento chiamato CEDAR-GRPO. Invece di premiare semplicemente il modello per aver ottenuto la risposta finale corretta, hanno progettato un sistema che premia anche il modello per il modo in cui vi è arrivato. Il sistema controlla due cose specifiche riguardo al processo di pensiero del modello: primo, se il modello abbia effettivamente esaminato e spiegato ogni singolo dettaglio dell'evidenza fornita, e secondo, se il modello abbia mosso il proprio ragionamento nella direzione corretta, partendo dalle osservazioni e costruendo verso una conclusione, piuttosto che partire da una conclusione e cercare di forzare l'evidenza affinché vi si adattasse.

Per testare questo, i ricercatori hanno preso quattro diversi modelli linguistici open-source e li hanno addestrati su un insieme di compiti accuratamente miscelati. Questi compiti includevano tutto, dalla scelta della migliore spiegazione per un breve racconto alla scrittura di codice che spieghi un pattern in un insieme di dati. Fondamentalmente, non hanno solo mostrato ai modelli le risposte; hanno utilizzato una tecnica di apprendimento per rinforzo che agiva come un allenatore, fornendo ai modelli feedback sui loro passaggi di ragionamento. I modelli hanno imparato che una risposta corretta non era sufficiente se avevano ignorato un dettaglio chiave o se la loro logica era invertita. Dopo questo addestramento, i ricercatori hanno testato i modelli su undici compiti completamente diversi che non avevano mai visto prima. Questi nuovi compiti spaziavano dalla diagnosi di condizioni mediche al debug di codice informatico, fino alla risoluzione di misteri complessi e alla comprensione di storie lunghe e complicate.

I risultati hanno mostrato un miglioramento evidente in ogni ambito. I modelli addestrati con il nuovo metodo hanno superato sia le loro versioni originali sia i modelli addestrati solo per ottenere la risposta corretta. In media, il nuovo metodo ha migliorato le prestazioni di 7,4 punti percentuali rispetto ai modelli originali e di 2,7 punti rispetto ai modelli addestrati solo per la correttezza. In alcuni casi specifici, il miglioramento è stato elevato fino a 30,8 punti. Più importante ancora, i ricercatori hanno analizzato il testo effettivo che i modelli scrivevano mentre stavano pensando. Hanno scoperto che i modelli addestrati si comportavano più come investigatori meticolosi. Erano più propensi a esplorare diverse possibilità prima di stabilirsi su una risposta, a escludere esplicitamente idee errate e ad ammettere quando erano incerti. Mostravano anche un'abitudine molto più forte di collegare le proprie conclusioni direttamente ai fatti specifici ricevuti, piuttosto che fare affidamento su assunzioni vaghe.

Lo studio ha anche escluso diverse spiegazioni alternative per questo successo. I ricercatori hanno dimostrato che il miglioramento non derivava semplicemente dal fatto che i modelli vedessero più esempi o da un potenziamento generale della capacità di ragionamento. Quando hanno addestrato i modelli su una quantità simile di dati di ragionamento generale che non si concentravano su compiti abduttivi, i modelli non hanno mostrato lo stesso livello di miglioramento nei test specifici. Ciò suggerisce che il modo specifico in cui i modelli venivano premiati per il loro processo di ragionamento fosse il fattore chiave. Le scoperte indicano che il ragionamento abduttivo può essere rafforzato come una competenza generale che si trasferisce in diversi campi, piuttosto che essere un trucco ristretto che funziona solo su tipi specifici di enigmi. Insegnando ai modelli a rispettare l'evidenza e a seguire un percorso logico dall'osservazione alla spiegazione, i ricercatori hanno compiuto un passo significativo verso la creazione di un'intelligenza artificiale capace di comprendere davvero e spiegare il mondo che la circonda.