On Benchmarking Human-Like Intelligence in Machines
Questo articolo sostiene che gli attuali paradigmi di valutazione dell'IA non riescano a valutare accuratamente le capacità cognitive simili a quelle umane a causa di problemi quali etichette non validate e compiti ecologicamente invalidi, e propone cinque raccomandazioni concrete per un benchmarking più rigoroso basate su uno studio di valutazione umana di nove benchmark esistenti.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immagina di cercare di insegnare a un robot come essere una persona. Non vuoi solo che sia bravissimo nella matematica o capace di prevedere il tempo; vuoi che pensi, senta e reagisca come fai tu. Questo è il mondo dell' "intelligenza simile a quella umana". Per decenni, gli scienziati hanno costruito queste menti digitali, sperando di creare macchine che non si limitino a risolvere problemi, ma che comprendano il modo disordinato, confuso e talvolta contraddittorio in cui gli esseri umani affrontano il mondo. Ma ecco la parte difficile: come fai a sapere se il robot sta agendo davvero come un essere umano, o se è solo un bravissimo attore che finge? Per scoprirlo, i ricercatori di solito sottopongono il robot a un test. Ma cosa succederebbe se il test stesso fosse difettoso? Cosa succederebbe se il test si aspettasse che il robot dia una singola risposta perfetta, quando i veri esseri umani darebbero invece una dozzina di risposte diverse e leggermente incerte? Questo articolo approfondisce esattamente questo problema, sostenendo che il nostro attuale modo di testare l'IA sia come giudicare un'improvvisazione jazz chiedendo al musicista di suonare una singola nota perfetta.
Gli autori di questo articolo, un team di ricercatori provenienti da università prestigiose, sostengono che attualmente stiamo fallendo nel misurare correttamente l'intelligenza "simile a quella umana". Suggeriscono che molti test popolari di IA siano troppo semplici e si affidino a etichette di "verità oggettiva" (ground truth) che in realtà non corrispondono a come pensano le persone reali. Per dimostrare il loro punto, hanno condotto un esperimento massiccio in cui hanno chiesto a 117 esseri umani reali di sostenere nove diversi test di IA. Questi test riguardavano cose come l'individuare il sarcasmo, decidere se una battuta è divertente o capire se una situazione sociale è di supporto. Invece di limitarsi a scegliere "A, B o C", gli esseri umani hanno usato degli slider per mostrare quanto si sentissero forti riguardo a una risposta e quanto fossero sicuri di quel sentimento.
I risultati sono stati illuminanti. L'articolo suggerisce che per molti di questi test, la risposta "corretta" su cui l'IA è stata addestrata era in realtà sbagliata rispetto a ciò che la maggior parte degli esseri umani pensava. Ad esempio, in un compito sulla "supporto sociale", il test diceva che una specifica frase era "non supportiva", ma gli esseri umani l'hanno valutata come moderatamente supportiva in media. Ancora più interessante, gli esseri umani non erano solo in disaccordo con il test; erano in disaccordo tra di loro in modo strutturato. Alcune persone erano molto sicure delle loro risposte, mentre altre erano incerte, e le loro opinioni variavano lungo un ampio spettro. L'articolo trova che i parametri di riferimento (benchmark) attuali dell'IA spesso ignorano questo "disordine". Trattano il giudizio umano come un problema matematico con una sola risposta giusta, quando in realtà è più simile a una conversazione dove tutti hanno una prospettiva leggermente diversa.
Gli autori propongono cinque nuove regole per costruire test migliori. Primo, dobbiamo smettere di indovinare cosa pensano gli esseri umani e interrogarli realmente, raccogliendo dati reali dalle persone da utilizzare come "standard di riferimento". Secondo, invece di cercare una singola risposta giusta, dovremmo confrontare l'IA con l'intero spettro (distribuzione) delle risposte umane — vedendo se l'IA riesce a catturare il fatto che alcune persone pensano in un modo e altre in un altro. Terzo, dobbiamo misurare la "gradualità". Gli esseri umani raramente si sentono sicuri al 100% o allo 0%; si sentono "quasi sì" o "un pochino no". L'articolo suggerisce di usare slider e valutazioni di fiducia per catturare questa sfumatura, piuttosto che forzare una semplice scelta tra sì o no. Quarto, i test devono basarsi su profonde teorie psicologiche, non solo su domande casuali. Solo perché un bambino supera un test sulla "falsa credenza" non significa che un robot che supera lo stesso test abbia una vera "Teoria della Mente"; il test deve essere progettato per misurare effettivamente le parti complesse di quella capacità. Infine, i compiti stessi devono essere più simili alla vita reale. La vita reale è ambigua, confusa e piena di contesto. Se un test è troppo pulito e semplice, non ci dice se l'IA è in grado di gestire il mondo reale.
In breve, l'articolo suggerisce che per costruire un'IA che pensi davvero come noi, dobbiamo smettere di trattare l'intelligenza umana come un quiz a scelta multipla. Dobbiamo abbracciare l'incertezza, il disaccordo e le zone grigie. Progettando test che riflettano la natura ricca, varia e talvolta confusa del pensiero umano, possiamo finalmente iniziare a costruire macchine che non si limitano a sembrare intelligenti, ma che si sentono davvero umane.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.