From Checklists to Clusters: A Homeostatic Account of AGI Evaluation

Immagina di cercare di capire cosa renda una persona "intelligente". Per molto tempo, gli scienziati hanno cercato di misurarlo sottoponendo le persone a una lista enorme di diversi compiti: risolvere enigmi matematici, ricordare storie, individuare schemi nelle forme e comprendere il linguaggio. Chiamano questi ambiti "domini". L'idea è che se eccelli in tutti loro, hai un'intelligenza elevata. Ma c'è un problema: quando somministriamo questi test, di solito trattiamo ogni singolo compito come se fosse ugualmente importante. È come valutare uno studente dando lo stesso peso alla sua capacità di allacciarsi le scarpe che alla sua capacità di scrivere una poesia. Inoltre, questi test sono solitamente degli "scatti fotografici". Fai il test una volta, ottieni un punteggio e fine della storia. Non sai se lo studente sarà ancora in grado di risolvere l'enigma la settimana prossima, o se crollerà se rendi il test un po' più difficile o se aspetti qualche giorno prima di riprovare.

Questo è il mondo della valutazione dell'Intelligenza Artificiale Generale (AGI). L'AGI è il sogno di costruire un computer che sia intelligente e flessibile quanto un essere umano, capace di apprendere e risolvere problemi in qualsiasi situazione, non solo in quella per cui è stato programmato. In questo momento, i ricercatori testano questi sistemi di IA usando proprio quelle liste di controllo a "scatto fotografico". Ma se vogliamo sapere se un'IA è davvero "generalmente" intelligente, dobbiamo sapere se la sua intelligenza è reale e duratura, o se è solo un colpo di fortuna che si rompe quando le cose si fanno stressanti. Questo articolo pone una grande domanda: come possiamo smettere di limitarci a contare i punti e iniziare a misurare la stabilità di una mente artificiale?

Gli autori di questo articolo suggeriscono che il modo in cui stiamo testando l'IA sia un po' come giudicare un'auto solo in base a quanto velocemente può guidare in linea retta in una giornata di sole. Potrebbe sembrare veloce, ma questo non ci dice se il motore reggerà su una strada sconnessa o se i freni funzioneranno quando piove. Sostengono che la vera intelligenza — sia essa umana o artificiale — non è solo un elenco di abilità. Inveve, è più simile a un cluster di proprietà omeostatiche. Questa è un modo complicato per dire che è un gruppo di abilità che restano unite perché esistono meccanismi interni che le mantengono connesse, anche quando le cose si fanno disordinate o cambiano.

Pensa all'intelligenza come a un falò ben costruito. I "domini" (matematica, linguaggio, logica) sono i tronchi. Ma il fuoco stesso è il calore e la fiamma che mantengono tutti i tronchi accesi insieme. Se accumuli solo i tronchi (le abilità) ma non hai il meccanismo per mantenerli accesi (la parte omeostatica), un po' di vento (uno stress o un ritardo) spegnerà il fuoco. L'articolo suggerisce che gli attuali test controllano solo se i tronchi ci sono, ma ignorano se il fuoco può sopravvivere a una raffica di vento.

Gli autori propongono due cambiamenti principali per risolvere la questione. Primo, dicono che non dovremmo trattare ogni domanda del test come ugualmente importante. Proprio come alcuni tronchi sono più densi e bruciano più intensamente, alcune abilità sono più "centrali" per mantenere stabile l'intero sistema. Suggeriscono di utilizzare un nuovo metodo di punteggio chiamato punteggio a priorità di centralità (centrality-prior score). Questo peserebbe i test in base a quanto una specifica abilità aiuti a mantenere stabile l'intero sistema, prendendo in prestito idee da come viene già studiata l'intelligenza umana. È come valutare uno studente dando più importanza alla sua capacità di imparare cose nuove che alla sua capacità di memorizzare un singolo fatto.

In secondo luogo, vogliono smettere di fare affidamento su un unico scatto fotografico. Invece, propongono un Indice di Stabilità del Cluster. Questo non riguarda solo l'ottenere un punteggio alto una volta; si tratta di dimostrare che l'IA può mantenere quel punteggio nel tempo e sotto pressione. Suggeriscono di testare l'IA in tre modi specifici:

1. Persistenza del Profilo: L'IA ricorda come fare le cose dopo giorni o settimane?
2. Apprendimento Duraturo: Se le insegni qualcosa di nuovo, questa rimane impressa, o lo dimentica immediatamente?
3. Correzione dell'Errore: Se l'IA commette un errore, può correggerlo da sola senza andare in crash?

L'articolo non sostiene di aver costruito ancora un test perfetto o che abbiamo già risolto il problema di misurare l'AGI. Invece, gli autori suggeriscono che questi nuovi metodi sarebbero migliori. Offrono una tabella di marcia affinché i laboratori possano provare queste idee. Propongono che questi test possano essere eseguiti anche se i laboratori non conoscono esattamente come l'IA sia costruita all'interno (un approccio "black-box"). Fanno anche delle previsioni su cosa accadrebbe se usassimo questi nuovi test, suggerendo che molti attuali sistemi di IA apparirebbero molto diversi — forse meno "generalmente" intelligenti e più fragili — una volta che iniziamo a controllare la stabilità e la resistenza allo stress.

In breve, l'articolo sostiene che dobbiamo passare dal barrare caselle al controllare se il fuoco resta acceso. Pesando maggiormente le abilità importanti e testando se l'IA può gestire ritardi ed errori, potremmo finalmente ottenere un quadro più chiaro se una macchina sia davvero intelligente o se stia solo fingendo di esserlo.