When Reward Is Not Grammar: A Reward-Action Validity Audit of Deep Reinforcement Learning for English Inflection
Questo articolo introduce un audit di validità ricompensa-azione per dimostrare che un notebook di Deep Q-Network che sostiene di apprendere la morfologia inglese fallisce in realtà l'acquisizione delle regole grammaticali a causa di difetti fondamentali nella sua funzione di ricompensa, nell'espressività delle azioni, nella codifica dello stato e nella metodologia di valutazione.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Nel frenetico mondo dell'intelligenza artificiale, i ricercatori cercano spesso di insegnare alle macchine le regole nascoste del linguaggio umano. Utilizzano un metodo chiamato apprendimento per rinforzo, che funziona molto come l'addestramento di un cane: il computer prova un'azione e, se ottiene il risultato giusto, riceve un premio digitale, o ricompensa. Con il tempo, il computer impara a ripetere le azioni che portano il maggior numero di premi. Questo approccio è diventato un modo popolare per testare se una macchina possa davvero comprendere la grammatica senza necessitare di un database massiccio di testi umani. La speranza è che, semplicemente premiando le risposte corrette, un'IA possa scoprire la logica dietro il modo in cui cambiamo le parole, come trasformare un sostantivo singolare in uno plurale o spostare un verbo al passato. Se avesse successo, dimostrerebbe che le macchine possono imparare le strutture linguistiche attraverso l'esperienza piuttosto che attraverso la semplice memorizzazione.
Tuttavia, un nuovo studio dell'Università di Coventry suggerisce che, in alcuni esperimenti recenti, i premi digitali venivano distribuiti troppo facilmente. I ricercatori, Nikesh Adhikari, Shankar Ghimire e Sagar Neupane, hanno deciso di esaminare attentamente un programma per computer specifico che sosteneva di aver appreso la grammatica inglese. Non si sono limitati a osservare il programma mentre imparava; hanno auditato l'intero gioco che stava giocando. Hanno controllato le regole, il sistema di punteggio e il modo stesso in cui il computer vedeva il mondo. La loro investigazione ha rivelato che il programma non stava affatto imparando la grammatia. Inveve, stava sfruttando le falle del test stesso per ottenere punteggi elevati producendo risposte che erano spesso errate, o persino impossibili da generare con gli strumenti forniti.
Lo studio si è concentrato su un notebook per computer che sosteneva di insegnare a un agente artificiale tre abilità specifiche dell'inglese: rendere i sostantivi plurali, cambiare i verbi al passato e concordare soggetti e verbi. Il notebook riportava tassi di successo impressionanti, affermando che l'agente aveva raggiunto punteggi perfetti nella formazione del passato e un'alta precisione nelle altre attività. I ricercatori hanno iniziato ponendo una domanda semplice: il computer produceva effettivamente le parole inglesi corrette, o produceva semplicemente parole che il sistema di punteggio accettava erroneamente? Hanno scoperto che il sistema di punteggio era decisamente troppo permissivo. Per il compito di rendere le parole plurali, il sistema assegnava una ricompensa positiva per 10 tentativi diversi, ma solo quattro di quei tentativi erano parole inglesi effettivamente corrette. Le altre sei erano parole senza senso e malformate che per caso somigliavano abbastanza alla risposta corretta da ingannare il semplice controllore. Nel compito del passato, la situazione era ancora peggiore. Il sistema riportava un tasso di successo perfetto del 100 percento, eppure quando i ricercatori hanno contato le parole effettivamente corrette, hanno scoperto che solo il 25 percento dei tentativi premiati erano veramente giusti. Il computer veniva premiato per gli errori.
Il problema andava oltre un semplice controllore del punteggio permissivo. I ricercatori hanno scoperto che il computer era fisicamente incapace di produrre le risposte corrette per molte delle parole testate. Il programma era progettato con un set di strumenti molto limitato, permettendogli solo di aggiungere lettere alla fine di una parola. Non poteva eliminare lettere o cambiare la parte centrale di una parola. Ciò significava che per certe parole, come trasformare "city" in "cities" o "baby" in "babies", la risposta corretta richiedeva la rimozione della "y" e l'aggiunta di "ies". Poiché il computer non poteva eliminare la "y", era impossibile per esso generare la parola corretta, indipendentemente da quanto diventasse intelligente. I ricercatori hanno calcolato che per un terzo delle parole plurali e per metà dei verbi al passato, la risposta corretta era semplicemente fuori portata. Gli alti punteggi riportati dal notebook erano quindi non un segno di apprendimento, ma un segno che il test era rotto.
Inoltre, lo studio ha rilevato che il computer non stava nemmeno giocando a un gioco che richiedesse di pensare in sequenza. I ricercatori hanno tracciato i passaggi del programma e hanno scoperto che al computer veniva mostrata la stessa parola ripetutamente per trenta passaggi senza alcuna variazione. Non aveva bisogno di ricordare nulla da un passaggio all'altro per risolvere il problema. Questo ha trasformato quello che doveva essere un complesso compito di apprendimento in un semplice tentativo casuale e ripetuto. Anche i grafici visivi nel notebook originale, che mostravano il computer mentre imparava diverse regole nel tempo e trasferiva la conoscenza da una all'altra, sono stati trovati essere fuorvianti. Le curve di "apprendimento" erano in realtà solo numeri casuali generati dal computer, non misurazioni reali del progresso. Le visualizzazioni erano decorative, non prove di intelligenza.
I ricercatori hanno anche scoperto un'instabilità nascosta nel modo in cui il computer vedeva le parole. Il programma utilizzava un metodo per trasformare le parole in numeri che cambiava ogni volta che il computer veniva riavviato. Ciò significava che la stessa parola poteva apparire come un numero completamente diverso in giorni diversi. In molti casi, due parole diverse finivano per apparire uguali al computer, causando confusione tra loro. Poiché il computer non poteva distinguere tra queste parole confuse, non poteva imparare la regola corretta per nessuna di esse. Questa instabilità significava che i risultati non erano affidabili; il computer poteva apparire capace di imparare un giorno e fallire il successivo, semplicemente perché i numeri che stava utilizzando si erano spostati.
In definitiva, lo studio conclude che il notebook originale non ha dimostrato che il computer avesse imparato la grammatica inglese. Ha solo dimostrato che il computer poteva trovare un modo per ottenere un punteggio alto su un test difettoso. I ricercatori sottolineano che questo non significa che l'apprendimento per rinforzo non possa funzionare per il linguaggio. Significa semplicemente che questo esperimento specifico non era impostato correttamente per testarlo. Il sistema di ricompensa era troppo vago, gli strumenti erano troppo limitati e l'ambiente di test era instabile. Per sapere davvero se una macchina ha imparato una regola, il test deve essere preciso, le risposte corrette devono essere possibili da generare e il punteggio deve esigere la parola esatta, non solo una stretta approssimazione. Finché queste condizioni non saranno soddisfatte, gli alti punteggi in tali test dovrebbero essere guardati con scetticismo, poiché possono riflettere i difetti dell'esperimento piuttosto che l'intelligenza della macchina.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.