AiDER: Auditing and Document Evaluation via Rule Compilation and Small Language Models - An Education Case Study

Immagina di cercare di insegnare a un robot come valutare i compiti di uno studente. Nel mondo dell'Intelligenza Artificiale, ci sono due modi principali per farlo. Il primo modo è lasciare che un enorme e super-intelligente "cervello" (chiamato Large Language Model) legga l'assegnazione e indovini semplicemente il voto basandosi sul suo intuito. È veloce, ma è una scatola nera; se sbaglia, non hai idea del perché e non puoi davvero controllare il suo lavoro. Il secondo modo è usare un libro di regole rigido. Scrivi istruzioni esatte come "Se lo studente menziona 'gravità', assegna 5 punti". Questo è trasparente e facile da controllare, ma è difficile scrivere regole per tutto, specialmente quando le istruzioni sono scritte in un linguaggio umano disordinato.

Questo articolo si colloca proprio all'intersezione di questi due mondi. Si chiede: Possiamo combinare la flessibilità di un'IA intelligente con l'onestà di un libro di regole rigido? I ricercatori stanno lavorando nel campo dell' "IA verificabile" (auditable AI), che riguarda tutto il rendere le decisioni dell'IA spiegabili e controllabili, piuttosto che accettarle come magia. Sono particolarmente interessati all'uso di "Small Language Models" (SLM) — cervelli artificiali più piccoli, economici e in grado di girare su un singolo computer senza la necessità di un enorme server cloud. La grande domanda è: Un'IA più piccola e semplice può essere abbastanza intelligente da trasformare le vaghe istruzioni di un essere umano in un libro di regole rigido che un computer possa seguire perfettamente?

Gli autori introducono un nuovo sistema chiamato AiDER (Auditing and Document Evaluation via Rule Compilation and Small Language Models). Pensa ad AiDER come a un intelligente traduttore e a un arbitro severo che lavorano insieme. Invece di lasciare che l'IA indovini il voto, AiDER costringe l'IA a svolgere due compiti separati. Primo, l'IA agisce come un traduttore: prende un requisito in linguaggio naturale (come "Gli studenti devono sapere come saranno valutati") e cerca di compilarlo in una regola di codice rigida ed eseguibile. Secondo, un programma per computer deterministico separato agisce come l'arbitro: esamina il documento, trova l'evidenza specifica richiesta dalla regola e controlla se la regola è soddisfatta. L'IA non decide mai il voto; stabilisce solo le regole e trova gli indizi.

Per testarlo, i ricercatori hanno utilizzato quattro diversi modelli di IA piccoli (con dimensioni che vanno da 2 a 4 miliardi di parametri) e un set di 200 documenti didattici reali, come sillabi e rubriche di valutazione. Hanno provato tre modi diversi per far scrivere le regole all'IA:

1. Regole scritte da umani: il "gold standard" in cui un essere umano ha scritto il codice rigido.
2. Compilazione diretta: l'IA prova a scrivere il codice in un unico passaggio.
3. Riparazione tramite ciclo di validazione: se l'IA scrive una regola errata, il sistema risponde "Errore!" e permette all'IA di riprovare fino a cinque volte per correggerla.

I risultati sono stati un misto di "grandi notizie" e "ottimismo cauto". Lo studio ha scoperto che quando l'IA scriveva con successo una regola valida, anche i modelli più piccoli erano sorprendentemente bravi a trovare l'evidenza corretta per prendere una decisione. Tuttavia, l'IA spesso faticava a scrivere la regola perfetta al primo tentativo. È qui che il "ciclo di riparazione" ha dato il meglio di sé. Permettendo all'IA di correggere i propri errori, il sistema ha migliorato significativamente la frequenza con cui le regole funzionavano correttamente.

Interessante è che il documento suggerisce che, una volta che la regola rigida (lo "scaffold") è in atto, l'IA non ha bisogno di molto altro aiuto per trovare l'evidenza. In effetti, aggiungere troppe istruzioni extra dall'IA a volte peggiorava le cose, specialmente per i modelli più piccoli. Lo studio conclude che la parte più importante del processo è scrivere la regola corretta. Se la regola è chiara, anche un'IA piccola e semplice può fare il lavoro pesante di trovare la prova.

In definitiva, il documento suggerisce che per compiti come la verifica dei materiali didattici, non dovremmo solo chiedere a un'IA di "giudicare" un documento. Invece, dovremmo usare l'IA per tradurre i requisiti umani in regole rigide e verificabili, e poi lasciare che un computer verifichi i fatti. Questo approccio rende l'intero processo trasparente: se una decisione è errata, puoi risalire per vedere se la regola è stata scritta male, o se l'IA ha mancato un pezzo di evidenza, invece di incolpare un misterioso verdetto di una "scatola nera". Sebbene lo studio sia stato limitato a un corso specifico e a un piccolo set di documenti, offre un modello promettente per rendere l'IA nell'istruzione più affidabile, equa e facile da comprendere.