Measuring What AI Systems Might Do: Towards A Measurement Science in AI

Il paper sostiene che le capacità e le propensioni dei sistemi di intelligenza artificiale siano proprietà disposizionali che richiedono una misurazione scientifica basata su relazioni controfattuali, criticando le attuali pratiche di valutazione per la loro incapacità di distinguere tali disposizioni dalle mere prestazioni osservabili.

L'essenziale

🧪 Il Problema: Misurare l'IA come se fosse un "Vaso di Vetro"

Immagina di voler misurare quanto è fragile un vaso di vetro.
Oggi, per valutare l'Intelligenza Artificiale (IA), facciamo una cosa strana: prendiamo un vaso, lo lasciamo cadere una volta sola da un'altezza di un metro, vediamo se si rompe, e poi diciamo: "Ok, questo vaso ha un punteggio di fragilità del 50%!".

È assurdo, vero?

• Se il vaso non si rompe, non significa che sia indistruttibile. Significa solo che quella volta non è caduto abbastanza forte.
• Se si rompe, non sappiamo se era fragile o se era solo un colpo sfortunato.

Questo è esattamente ciò che facciamo con l'IA oggi.
Gli scienziati e le aziende testano le IA su una serie di domande fisse (come un quiz di matematica o un test di sicurezza). Se l'IA risponde bene, le diamo un "punteggio alto". Se sbaglia, le diamo un "punteggio basso".
Ma il problema è che i punteggi non ci dicono cosa l'IA è davvero capace di fare. Ci dicono solo cosa ha fatto in quel preciso momento su quel preciso quiz.

🧠 Cosa sono davvero le "Capacità" e le "Propensioni"?

Gli autori dell'articolo dicono che dobbiamo smettere di guardare il "risultato" e iniziare a guardare la natura della cosa. Usano due parole chiave:

1. Capacità (Cosa può fare?): È come la forza di un muscolo. Non è quanto sollevi oggi, ma quanto potresti sollevare se il peso fosse di 10kg, 20kg o 100kg. È una proprietà stabile che cambia in base alla difficoltà.
2. Propensione (Cosa è incline a fare?): È come la personalità o le tentazioni. Se metti un bambino davanti a una torta, quanto è propenso a mangiarla? Dipende da quanto ha fame, se c'è qualcuno che lo guarda, o se gli hai detto che è velenoso. Non è solo "mangia o non mangia", ma "quanto è probabile che lo faccia in diverse situazioni".

L'IA ha queste "propensioni" nascoste. Potrebbe essere capace di creare un virus biologico (capacità), ma non lo farà mai se non viene spinta da un incentivo forte (propensione).

🚫 Perché i Metodi Attuali Falliscono (La Trappola del "Quiz")

Oggi usiamo due metodi principali, e l'articolo dice che entrambi sono scientificamente difettosi:

1. I Benchmark (I Quiz Standard):

   • L'analogia: È come testare la velocità di un'auto facendola correre solo su un rettilineo di 100 metri. Se l'auto vince, diciamo che è "veloce". Ma non sappiamo come si comporta in curva, sotto la pioggia o con un motore rotto.
   • Il difetto: I quiz sono fissi. Se l'IA impara a memoria le risposte (come un bambino che impara a memoria le tabelline senza capire la matematica), prende un 100%. Ma se le chiedi una domanda nuova, crolla. Il punteggio non misura la vera capacità, ma solo quanto l'IA è brava a indovinare quel quiz specifico.

2. Il Red Teaming (Gli Attacchi Simulati):

   • L'analogia: È come assumere un ladro per provare a rubare da una casa. Se il ladro ci riesce, diciamo "La casa è sicura al 0%". Se non ci riesce, diciamo "È sicura al 100%".
   • Il difetto: I "ladri" (i tester) provano solo le idee che hanno in testa. Se non pensano a un modo geniale per entrare, la casa sembra sicura. Ma questo non misura la vera propensione della casa a essere violata, misura solo la creatività limitata dei tester.

🔬 La Soluzione: La "Scienza della Misurazione"

Gli autori propongono di trattare l'IA come fanno gli ingegneri con i materiali. Non basta dire "questo metallo è forte". Bisogna dire: "Questo metallo si piega a 50 gradi, si spezza a 100 gradi e si fonde a 500".

Per misurare l'IA in modo scientifico, dobbiamo fare 4 passi:

1. Definire l'Oggetto: Stiamo misurando il "cervello" dell'IA (il modello base) o l'IA con i suoi filtri di sicurezza e le sue istruzioni? È come misurare la fragilità di un vetro dentro una scatola di protezione. Dobbiamo sapere cosa stiamo testando.
2. Ipotizzare le Cause: Invece di lanciare domande a caso, dobbiamo chiederci: "Cosa rende una domanda difficile?". Forse è il numero di passaggi logici? Forse è la confusione nelle istruzioni? Dobbiamo trovare le "leve" che cambiano la difficoltà.
3. Creare una Scala: Dobbiamo costruire domande che variano in modo controllato. Non un quiz misto, ma una serie di problemi dove aumentiamo gradualmente la difficoltà (es. 1 passaggio, poi 2, poi 3...).
4. Mappare la Probabilità: Invece di un punteggio unico, vogliamo una mappa.
   • Esempio: "L'IA risolve il 90% dei problemi con 2 passaggi, il 50% con 5 passaggi e lo 0% con 10 passaggi".
   • Questo ci dice il limite reale della sua capacità, non solo quanto ha fatto bene oggi.

🌟 Perché è Importante?

Se continuiamo a usare i vecchi metodi, rischiamo due cose terribili:

1. Falsa Sicurezza: Pensiamo che un'IA sia sicura perché non ha fallito i nostri test, ma in realtà potrebbe fallire in situazioni che non abbiamo mai immaginato.
2. Falsa Competenza: Pensiamo che un'IA sia geniale perché prende 100 al test, ma in realtà non capisce nulla e non può essere usata per compiti nuovi.

💡 In Sintesi

Questo articolo ci dice che dobbiamo smettere di trattare l'IA come un esame scolastico (dove si conta quante risposte sono giuste) e iniziare a trattarla come un esperimento scientifico (dove si capisce come si comporta al variare delle condizioni).

È come passare dal dire "Ho toccato questa pentola e mi ha scottato, quindi è calda" (metodo vecchio) all'usare un termometro calibrato (metodo nuovo) che ci dice esattamente a quanti gradi è, anche se non la tocchiamo mai. Solo così potremo costruire un futuro sicuro con l'Intelligenza Artificiale.

Sommario tecnico

Titolo: Misurare cosa potrebbero fare i sistemi di IA: Verso una scienza della misurazione nell'IA

Autori: Konstantinos Voudouris, Mirko Thalmann, Alex Kipnis, José Hernández-Orallo, Eric Schulz.
Affiliazioni: Helmholtz Munich (Germania) e Leverhulme Centre for the Future of Intelligence, University of Cambridge (Regno Unito).

---

1. Il Problema: L'Ambiguità Concettuale e la Carenza di Misurazione Scientifica

Il paper identifica una crisi fondamentale nella valutazione attuale dell'Intelligenza Artificiale (IA). Attualmente, termini come "capacità", "propensioni", "abilità" e "valori" sono usati in modo intercambiabile e confusi con la performance osservabile (es. punteggi di accuratezza su dataset di benchmark).

• La Fallacia Attuale: Le pratiche di valutazione dominanti (benchmark aggregati, red-teaming, modelli a variabili latenti) trattano i risultati osservati su dataset specifici come misure dirette delle proprietà intrinseche del sistema.
• Le Conseguenze:
  • Mancanza di Causalità: Un punteggio di accuratezza (es. 62.5% su un test di matematica) non spiega perché il sistema fallisce (complessità numerica, ragionamento a più passi, ecc.).
  • Impossibilità di Generalizzazione: I metodi attuali non possono estrapolare il comportamento dei sistemi oltre i limiti della competenza umana o in domini critici per la sicurezza dove il test empirico è proibito (es. progettazione di virus biologici).
  • Confusione del Soggetto: I punteggi spesso mescolano le proprietà del modello base con quelle dei prompt di sistema, dei filtri di sicurezza o degli strumenti esterni, rendendo impossibile attribuire la "capacità" a un'entità specifica.

2. Metodologia e Quadro Teorico: Le Proprietà Dispositive

Gli autori propongono un cambio di paradigma filosofico e scientifico, basandosi sulla filosofia della scienza, la teoria della misurazione e le scienze cognitive.

• Definizione di Disposizione: Le capacità e le propensioni non sono performance, ma proprietà dispositive. Una proprietà dispositiva è una caratteristica stabile e intrinseca di un sistema che lo porta a comportarsi in un certo modo sotto determinate condizioni controfattuali.
  • Esempio: La fragilità di un vetro non è che si stia rompendo, ma la probabilità che si rompa se colpito da una certa forza.
• Distinzione Chiave:
  • Capacità: Disposizioni che variano in base alle esigenze del compito (difficoltà, complessità).
  • Propensioni: Disposizioni che variano in base agli incentivi contestuali (motivazione, giustificazione morale, ricompense esterne).
• Il Processo di Misurazione Proposto: Per misurare una disposizione, non basta osservare il comportamento medio. È necessario:
  1. Ipotizzare la base causale: Identificare quali proprietà contestuali ($\pi$) influenzano causalmente il comportamento.
  2. Operazionalizzazione indipendente: Misurare queste proprietà contestuali in modo indipendente dalla performance del sistema (evitando la circolarità).
  3. Mappatura Empirica: Variare sistematicamente le proprietà contestuali e osservare come cambia la probabilità del comportamento target $p(v | \pi, \theta)$.

3. Contributi Chiave

Il paper offre tre contributi principali:

1. Definizione Teorica: Formalizza capacità e propensioni come proprietà dispositive radicate in relazioni causali tra le caratteristiche del sistema e le condizioni contestuali.
2. Critica alle Pratiche Correnti: Dimostra perché i metodi attuali falliscono come misurazioni scientifiche:
   • Benchmarking: Somma performance eterogenee in un singolo numero, nascondendo la struttura della difficoltà.
   • Red-Teaming/Elicitazione: Campiona solo regioni avversarie e contratte dello spazio contestuale, fornendo aneddoti di fallimento invece di misure di inclinazione sistematica.
   • Modelli a Variabili Latenti (es. IRT - Item Response Theory): Sebbene matematicamente sofisticati, questi modelli inferiscono la "difficoltà" e l'"abilità" esclusivamente dai dati di performance senza una teoria causale indipendente. Rendono le variabili latenti circolari (la difficoltà è definita dai fallimenti, non da caratteristiche del task) e dipendono dalla popolazione di test, violando l'indipendenza della misura.
3. Framework di Misurazione Dispositiva: Propone un protocollo scientifico in quattro fasi per una misurazione valida:
   • Definire esplicitamente il soggetto della misurazione (es. modello base vs. sistema deployato).
   • Ipotizzare la base causale (quali feature del task o dell'incentivo contano?).
   • Operazionalizzare le proprietà contestuali su scale misurabili (es. numero di passi di ragionamento, forza dell'incentivo).
   • Mappare la relazione contesto-probabilità variando sistematicamente i contesti per costruire la funzione di risposta $p(v | \pi, \theta)$.

4. Risultati e Illustrazioni

Gli autori non forniscono nuovi dataset, ma un nuovo framework concettuale illustrato attraverso esempi "toy" (semplici):

• Misurazione della Capacità (Aritmetica): Invece di un punteggio medio su un dataset fisso, si ipotizza che la performance dipenda da variabili come il numero di passi aritmetici, la lunghezza delle cifre e la complessità dei riporti. Si misura la probabilità di successo al variare di queste variabili, ottenendo una curva di risposta che rivela soglie di capacità e degradazione non lineare.
• Misurazione della Propensione (Onestà): Invece di cercare esempi di inganno tramite prompting avversario, si varia sistematicamente l'incentivo (es. giustificazione morale della richiesta, urgenza percepita, presenza di sorveglianza). Si misura come la probabilità di fornire consigli non autorizzati cambia in funzione di questi incentivi, permettendo di inferire la propensione anche in contesti non testabili direttamente per motivi di sicurezza.

5. Significato e Implicazioni

Il paper ha un'importanza cruciale per il futuro della regolamentazione e dello sviluppo dell'IA:

• Validità Scientifica: Trasforma la valutazione dell'IA da una raccolta di convenzioni ingegneristiche a una vera scienza della misurazione. Senza una definizione chiara di cosa viene misurato, non è possibile confrontare sistemi o tracciare progressi reali.
• Sicurezza e Regolamentazione: I framework normativi richiedono valutazioni di capacità e propensioni. I metodi attuali non possono garantire la sicurezza in scenari ad alto rischio o super-umani perché non possono estrapolare oltre i dati osservati. La misurazione dispositiva permette di stimare il comportamento in contesti pericolosi o inaccessibili basandosi su relazioni causali verificate in contesti sicuri.
• Cambiamento Culturale: Invita la comunità a passare dalla "convenienza" (benchmark facili e veloci) alla "difendibilità concettuale" (teorie causali, variabili operative indipendenti). Questo richiede uno sforzo interdisciplinare che integri IA, scienze cognitive, filosofia e statistica.

In sintesi, il paper sostiene che per comprendere e controllare l'IA, dobbiamo smettere di chiederci "quanto è bravo il sistema su questo test" e iniziare a chiederci "come si comporta il sistema al variare delle condizioni causali del contesto", costruendo strumenti di misurazione che rispettino la natura dispositiva delle capacità e delle propensioni artificiali.