🤖 machine learning

Using predictive multiplicity to measure individual performance within the AI Act

Questo articolo sostiene che la molteplicità predittiva — l'esistenza di molteplici modelli con accuratezza simile ma previsioni individuali contrastanti — contraddice i requisiti dell'AI Act dell'UE per i sistemi ad alto rischio, e propone metriche specifiche e linee guida di rendicontazione per quantificare e divulgare tali disaccordi al fine di garantire conformità e affidabilità.

Autori originali: Karolin Frohnapfel, Mara Seyfert, Sebastian Bordt, Ulrike von Luxburg, Kristof Meding

Pubblicato 2026-06-23

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Karolin Frohnapfel, Mara Seyfert, Sebastian Bordt, Ulrike von Luxburg, Kristof Meding

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di richiedere un prestito, un lavoro o un trattamento medico. Speri che il sistema informatico che decide il tuo destino sia una palla di cristallo che vede la verità perfettamente. Ma cosa succederebbe se quella palla di cristallo non fosse un oggetto singolo? E se fosse in realtà una scatola intera di diverse palle di cristallo, tutte prodotte dalla stessa azienda, tutte che dichiarano di essere accurate al 95%, ma che ti dicono tutte qualcosa di leggermente diverso riguardo alla tua specifica situazione?

Questo è il problema centrale che il saggio "Using predictive multiplicity to measure individual performance within the AI Act" affronta. Ecco una semplice analisi del loro argomento, utilizzando analogie quotidiane.

1. Il Problema: L'effetto "Rashomon"

Nel mondo dell'IA, esiste un fenomeno chiamato Molteplicità Predittiva. Immaginalo come un gruppo di giudici esperti che esaminano lo stesso fascicolo di un caso.

Lo Scenario: Hai 100 giudici esperti. Tutti concordano sul 90% dei casi. Sono tutti "accurati" nel complesso.
Il Colpo di Scena: Quando esaminano il tuo caso specifico, 50 giudici dicono "Sì" e 50 giudici dicono "No".
La Realtà: Poiché non esiste un unico modello "migliore", il fornitore dell'IA avrebbe potuto facilmente scegliere un modello diverso dalla sua cassetta degli attrezzi che ti avrebbe dato il risultato opposto, anche se quel modello sarebbe stato altrettanto "accurato" nel complesso.

Gli autori sostengono che questa arbitrarietà è pericolosa. Se la tua vita dipende dalla decisione, non dovrebbe importare quale dei modelli "ugualmente buoni" il computer abbia scelto per caso. Se i modelli sono in disaccordo su di te, il sistema sta essenzialmente lanciando una moneta per il tuo caso specifico.

2. La Legge: L'AI Act dell'UE

Il saggio analizza questo problema attraverso la lente dell'AI Act dell'UE, una nuova legge in Europa che regola l'IA ad alto rischio (come l'assunzione, la sanità o il credito).

Il Requisito: La legge stabilisce che le aziende che costruiscono questi sistemi di IA debbano dimostrare di essere accurate.
La Lacuna: Di solito, le aziende si limitano a dire: "Il nostro sistema è accurato al 90% sull'intero dataset".
L'Intuizione del Saggio: La legge richiede effettivamente ai fornitori di riferire su persone specifiche, non solo sulla media del gruppo. Gli autori sostengono che se diversi modelli "buoni" sono in disaccordo su una persona specifica, il sistema non è affidabile per quella persona, anche se il punteggio complessivo sembra ottimo.

3. La Soluzione: Misurare il "Disaccordo"

Per risolvere questo problema, gli autori propongono un nuovo modo per misurare le prestazioni. Invece di chiedere solo "Il modello ha ragione?", chiedono: "Quanto sono in disaccordo gli altri modelli buoni con questo?"

Introducono due strumenti semplici (metriche) per misurare questo:

Il Rapporto di Conflitto (Il metro del "Tiro alla Fune"):
Immagina una gara di tiro alla fune per il tuo caso specifico. Se ci sono 100 modelli che tirano la corda, quanti tirano "Sì" rispetto a quanti tirano "No"?
- Se 99 tirano "Sì" e 1 tira "No", il conflitto è basso. Puoi fidarti del "Sì".
- Se 50 tirano "Sì" e 50 tirano "No", il conflitto è al suo massimo. Il sistema è confuso riguardo a te.
- L'Obiettivo: Se il rapporto di conflitto è alto, il sistema dovrebbe segnalare quella persona affinché un essere umano la esamini, invece di lasciare che il computer decida.
La $\delta$ -Ambiguità (Il "Conteggio della Confusione"):
Questo è un modo per contare quante persone nell'intero gruppo si trovano in questo stato di "confusione". Aiuta l'azienda a vedere se il proprio sistema è generalmente affidabile o se è un disastro per una vasta fetta di persone.

4. Come Farlo: L'Approccio "Ad-Hoc"

Potresti pensare: "Per trovare tutti questi diversi modelli, devo testarne milioni!". Ci vorrebbe un'eternità.
Gli autori hanno trovato una scorciatoia intelligente. Non è necessario testare ogni possibile modello. Basta addestrare un piccolo gruppo di modelli apportando piccole modifiche casuali al processo, come:

Cambiare leggermente l'ordine dei dati.
Aggiungere un pizzico di "rumore" (casualità) ai numeri.
Usare impostazioni leggermente diverse (come cambiare la temperatura su una stufa).

Hanno testato questo approccio e hanno scoperto che anche un piccolo gruppo di modelli addestrati in questo modo è sufficiente a rivelare dove il sistema è confuso. È come chiedere a pochi chef diversi di cucinare lo stesso piatto con ingredienti leggermente diversi; se concordano sul sapore, va bene. Se litigano, sai che c'è qualcosa che non va.

5. La Raccomandazione: Una Stretta di Mano tra Produttore e Utente

Il saggio si conclude con un suggerimento pratico su come l'AI Act dovrebbe funzionare nella realtà:

Per i Produttori di IA (Makers): Non consegnate solo un singolo modello "scatola nera". Date alle persone che usano il sistema (i Deployer) una "cassetta degli attrezzi" di diversi modelli ugualmente buoni.
Per gli Utenti di IA (Deployer): Prima di prendere una decisione finale su una persona, controllate il "Rapporto di Conflitto".
- Basso Conflitto: I modelli concordano. Procedete con la decisione automatizzata.
- Alto Conflitto: I modelli stanno combattendo. Fermatevi. Portate un essere umano a prendere l'ultima decisione.

Riassunto

Il saggio sostiene che l'accuratezza non è solo un numero; è una storia di coerenza. Se un sistema di IA non riesce a concordare con se stesso riguardo a te, non dovrebbe avere il permesso di prendere una decisione che cambia la tua vita senza che un essere umano controlli dietro le sue spalle. Misurando quanto diversi modelli "buoni" siano in disaccordo, possiamo rendere l'IA più sicura e degna di fiducia sotto le nuove leggi europee.

Sintesi Tecnica: L'uso della Molteplicità Predittiva per Misurare la Performance Individuale nell'ambito dell'AI Act

Problematica
Il documento affronta il fenomeno della molteplicità predittiva (nota anche come effetto Rashomon), in cui molteplici modelli di machine learning distinti raggiungono una precisione statistica complessiva comparabile, ma producono previsioni contrastanti per casi individuali specifici. Sebbene l'elevata accuratezza aggregata suggerisca un'affidabilità generale, essa non garantisce esiti affidabili per singoli individui. Questa arbitrarietà è particolarmente problematica nei domini ad alto rischio (es. occupazione, sanità, istruzione) dove le decisioni impattano direttamente sui diritti umani e sul benessere.

Gli autori sostengono che questo problema crei una sfida normativa sotto l'EU AI Act (AIA). L'Atto impone che i sistemi di IA ad alto rischio raggiungano un "livello appropriato di accuratezza" (Articolo 15) e richiede ai fornitori di riferire le metriche di performance non solo a livello di dataset, ma anche per persone specifiche (Articoli 11 e 13, Allegato IV). Il documento postula che se molteplici modelli di precisione simile dissentono sul caso di un individuo, il sistema non può essere considerato affidabile per quell'individuo, violando potenzialmente le disposizioni dell'AIA in materia di accuratezza e trasparenza.

Metodologia
Il documento impiega un doppio approccio: un'analisi giuridica dottrinale dell'EU AI Act e un framework computazionale per misurare la molteplicità predittiva.

Analisi Giuridica:
- Gli autori analizzano gli Articoli 11, 13 e 15 dell'AI Act attraverso un'interpretazione testuale, sistematica e teleologica.
- Stabiliscono che l' "accuratezza" nell'Atto si riferisce al concetto più ampio di performance rispetto allo scopo previsto del sistema, estendendosi oltre le metriche statistiche standard.
- Fondamentalmente, interpretano i requisiti di trasparenza come l'obbligo di valutare la performance per specifici individui, non solo per statistiche aggregate di dataset.
Framework Tecnico:
Per operazionalizzare il requisito legale della valutazione della performance individuale, gli autori propongono di quantificare il disaccordo tra i modelli all'interno di un insieme di Rashomon (l'insieme di tutti i modelli che raggiungono un'accuratezza entro una soglia $\epsilon$ rispetto al miglior modello).
- Rapporto di Conflitto ( $c_R(x)$ ): Una metrica per punti dati individuali $x$ . Misura la frazione di modelli nell'insieme di Rashomon che predicono un'etichetta diversa da quella della maggioranza. Un valore di 0,5 indica il massimo conflitto (metà predice 0, metà predice 1); 0 indica l'accordo unanime.
- $\delta$ -Ambiguità ( $A_\delta(R, D)$ ): Una metrica a livello di dataset che rappresenta la frazione di individui il cui rapporto di conflitto supera una soglia $\delta$ . Generalizza l'ambiguità standard tenendo conto del grado di conflitto, non solo della sua presenza.
- Approssimazione Ad-hoc: Poiché enumerare l'intero insieme di Rashomon è computazionalmente impraticabile per modelli complessi, gli autori propongono un approccio ad-hoc. Questo consiste nell'addestrare molteplici modelli variando:
  - Molteplicità parametrica: Iperparametri, seed casuali e architettura del modello.
  - Molteplicità del dataset: Bootstrapping, rumore delle feature e sottocampionamento delle feature.
    L'insieme risultante di modelli ad alte prestazioni funge da approssimazione dell'insieme di Rashomon per calcolare i rapporti di conflitto.

Risultati Chiave
Gli autori validano il loro approccio attraverso esperimenti su dati sintetici, il dataset sull'occupazione dell'American Community Survey (ACS), e diversi dataset del mondo reale (COMPAS, Student Dropout, European Social Survey).

Importanza della Molteplicità del Dataset: Gli esperimenti dimostrano che ignorare la molteplicità del dataset (addestrando tutti i modelli sullo stesso campione di dati) sottostima significativamente la molteplicità predittiva. Incorporare variazioni del dataset (es. bootstrapping) è cruciale per scoprire casi di conflitto.
Efficacia dell'Approccio Ad-hoc: L'approccio ad-hoc, anche con un numero relativamente piccolo di modelli (es. 200–500), approssima strettamente i rapporti di conflitto e la $\delta$ -ambiguità dei metodi esaustivi (come l'algoritmo TreeFarms per gli alberi decisionali).
Convergenza: Metriche come l'ambiguità standard e la $\delta$ -ambiguità convergono rapidamente all'aumentare della dimensione dell'insieme di Rashomon, suggerendo che un insieme piccolo e diversificato di modelli sia sufficiente per catturare la molteplicità rilevante.
Applicazione nel Mondo Reale: Sul dataset ACS Employment, gli approcci che incorporano la molteplicità del dataset (specificamente il bootstrapping) hanno identificato con successo una proporzione maggiore di individui con alti rapporti di conflitto rispetto agli approcci che utilizzano dati fissi.

Significatività e Rivendicazioni
Il documento sostiene di essere il primo a collegare direttamente la molteplicità predittiva ai requisiti di conformità dell'EU AI Act. I suoi principali contributi sono:

Interpretazione Giuridica: Argomenta che il requisito dell'AI Act di riferire l'accuratezza per "persone specifiche" implica la necessità di valutare l'affidabilità individuale, che la molteplicità predittiva fornisce un quadro per misurare.
Strumenti Pratici di Conformità: Introduce i rapporti di conflitto e la $\delta$ -ambiguità come strumenti concreti e computazionalmente fattibili affinché i fornitori valutino la performance individuale e affinché i deployer identifichino i casi ad alto rischio.
Raccomandazioni Azionabili:
- Per i Fornitori: Dovrebbero cercare deliberatamente modelli di accuratezza comparabile (usando l'approccio ad-hoc) e fornire ai deployer informazioni sulle previsioni in conflitto.
- Per i Deployer: Dovrebbero utilizzare i rapporti di conflitto per identificare gli individui soggetti a alta ambiguità. Per questi casi, il documento raccomanda di coinvolgere la supervisione umana piuttosto che fare affidamento esclusivamente su decisioni automatizzate, garantendo così che le decisioni siano ben fondate.

Gli autori mantengono una posizione modesta, riconoscendo che il loro approccio ad-hoc è un'approssimazione e che la definizione esatta di "accuratezza appropriata" dipenderà da futuri standard armonizzati. Tuttavia, affermano che considerare la molteplicità predittiva è essenziale per garantire che le decisioni supportate dall'IA siano affidabili e per favorire la fiducia nei sistemi di IA ad alto rischio.