From Democracies to Autocracies: How AI Systems Enable Authoritarianism by Design

Immagina di avere una cassetta degli attrezzi. Al suo interno ci sono utensili elettrici come trapani e seghe. Di solito, pensiamo a questi strumenti come neutri; un trapano può costruire una casa o abbattere una porta, a seconda di chi lo impugna e di come lo usa.

Questo articolo sostiene che, con l'Intelligenza Artificiale (IA), il "trapano" stesso viene costruito con un design specifico che rende molto più facile abbattere le porte e più difficile fermarlo, indipendentemente da chi lo impugna. Gli autori, ricercatori di Harvard e Oxford, hanno esaminato sei diversi sistemi di IA utilizzati in paesi che spaziano dagli Stati Uniti e dal Regno Unito alla Cina e alla Russia. Volevano vedere se questi strumenti fossero pericolosi solo nei paesi "cattivi" (le autocrazie) o se potessero trasformare anche un paese "buono" (una democrazia) in un luogo dove le persone vengono sorvegliate e controllate.

Ecco la sintesi delle loro scoperte utilizzando analogie semplici:

1. La scoperta fondamentale: Non si tratta solo dei "cattivi"

La sorpresa più grande dell'articolo è che l'autoritarismo (la pratica di controllare le persone attraverso la paura e la sorveglianza) non è solo una caratteristica delle dittature "malvage".

Pensatelo come a un veicolo che corre troppo. Potreste pensare che solo un conducente spericolato in un quartiere pericoloso corra troppo. Ma questo articolo dimostra che anche un conducente prudente in un sobborgo ricco e sicuro può finire per correre troppo se il controllo della velocità dell'auto è impostato troppo alto, se i freni sono deboli e se i segnali di limite di velocità vengono ignorati. Il design dell'auto (il sistema di IA) conta quanto il conducente (il governo).

Gli autori hanno scoperto che gli stessi "caratteristiche pericolose" appaiono sia nelle democrazie (come gli USA e il Regno Unico) che nelle autocrazie (come la Cina e la Russia).

2. Le sei "Zone di Pericolo" (Come l'IA abilita il controllo)

I ricercatori hanno identificato sei modi in cui questi sistemi di IA agiscono come un "kit di strumenti per il controllo". Ecco come funzionano, con delle analogie:

• Capacità Coercitiva (Il Grande Bastone):
  • Cos'è: La capacità di usare la forza o la minaccia della forza facilmente.
  • L'analogia: Immaginate un addetto alla sicurezza che può chiamare un team SWAT con un singolo clic. Nel caso del sistema Lavender (usato dall'esercito israeliano), l'IA aiuta a identificare obiettivi per gli attacchi aerei. Poiché il sistema è integrato con le armi e ha un alto margine di errore, abbassa la "soglia" per l'uso della forza letale. Rende la violenza più facile da innescare.
• Erosione della Responsabilità (La Mano Invisibile):
  • Cos'è: Rendere difficile sapere chi sia il responsabile quando qualcosa va storto.
  • L'analogia: Immaginate un gioco della "patata bollente" dove la patata è un errore. Se un agente di polizia nel Regno Unito usa un furgone con riconoscimento facciale in tempo reale e ferma erroneamente qualcuno, l'agente può dire: "Il computer mi ha detto di farlo", e l'azienda può dire: "Noi abbiamo solo venduto il software". Nessuno si assume la responsabilità. Il sistema è progettato in modo che la responsabilità si perda nel caos.
• Salvaguardie Simboliche (La Cintura di Sicurezza Finta):
  • Cos'è: Avere regole che sembrano buone sulla carta ma che in realtà non funzionano.
  • L'analogia: È come un'auto che ha una cintura di sicurezza, ma la fibbia è rotta. Il sistema Lavender prevede una regola per cui un essere umano deve controllare l'obiettivo prima di un attacco. Ma i rapporti mostrano che gli umani impiegano solo 20 secondi per il controllo, il tempo appena sufficiente per spuntare una casella. La "salvaguardia" esiste, ma è una farsa.
• Controllo delle Informazioni (Lo Specchio Unidirezionale):
  • Cos'è: Il governo che sa tutto di te, mentre tu non sai nulla di loro.
  • L'analogia: Immaginate una biblioteca gigante dove il bibliotecario può leggere ogni libro che avete mai preso in prestito, ogni nota che avete scritto e ogni volta che siete andati in bagno, ma voi non potete vedere cosa il bibliotecario sta scrivendo nel suo registro. Il sistema IJOP in Cina fa questo combinando i dati della polizia con record medici, bollette delle utenze e persino dati sulle vendite di auto usate per costruire un quadro totale della vita di una persona.
• Repressione Anticipatoria (La Palla di Cristallo):
  • Cos'è: Punire le persone prima che facciano qualcosa di sbagliato, solo perché l'IA pensa che potrebbero farlo.
  • L'analogia: Immaginate un buttafuori in un club che vi caccia via perché sembrate "sospetti" o perché avete cambiato numero di telefono di recente, anche se non avete ancora infranto alcuna regola. Il sistema Sfera in Russia usa il riconoscimento facciale per arrestare le persone prima ancora che pianifichino una protesta, basandosi sull'idea che potrebbero protestare.
• Controllo dei Confini (Il Muro "Noi contro Loro"):
  • Cos'è: Creare categorie digitali che trattano certi gruppi di persone come meno umane o meno sicure.
  • L'analogia: Immaginate un filtro su un'app di foto che sfoca automaticamente le persone con un certo accento o una certa tonalità di pelle, etichettandole come "rischiose". Il sistema IJOP prende di mira specificamente gli musulmani Uiguri, e il sistema SlimmeCheck nei Paesi Bassi è stato trovato a segnalare i cittadini non olandesi per frodi assistenziali molto più spesso dei locali. L'IA impara a vedere certi gruppi come "il nemico".

3. I due modi in cui il sistema si rompe: Centralizzato vs Frammentato

L'articolo solleva un punto molto importante su come questi sistemi sono organizzati.

• Sistemi Centralizzati (Il Grande Capo):
  • Esempio: L'IJOP in Cina o Sfera in Russia.
  • Come funziona: Una grande autorità controlla tutto.
  • Il rischio: È come una singola, enorme diga. Se la diga cede, l'intera valle si allaga. Poiché un unico gruppo detiene tutto il potere, ci sono meno persone in grado di dire "Stop".
• Sistemi Frammentati (Lo Sciame):
  • Esempio: FlockSafety negli Stati Uniti.
  • Come funziona: Questa è una rete di telecamere per la lettura delle targhe di proprietà di migliaia di diversi quartieri, aziende e dipartimenti di polizia.
  • Il rischio: Questo è come uno sciame di api. Non puoi semplicemente uccidere un'ape per fermare lo sciame. Poiché il sistema è diffuso, non c'è una singola persona al comando. Se un'associazione di quartiere abusa della telecamera, è difficile regolarla perché non c'è un "capo" centrale da licenziare. L'articolo sostiene che questo "sciame" è in realtà più difficile da controllare rispetto al "Grande Capo" perché la responsabilità è così diluita.

4. Il problema del "Ciclo di Vita"

Gli autori dicono che di solito guardiamo l'IA e ci chiediamo: "La matematica è abbastanza intelligente?" (Il Modello). Dicono che dovremmo chiederci invece: "Come è stato costruito, venduto e usato questo strumento?" (Il Ciclo di Vita).

Hanno confrontato i sistemi attraverso 10 fasi, dall'idea iniziale al giorno d'oggi. Hanno scoperto che il pericolo non risiede solo nel prodotto finale, ma nelle scelte fatte lungo il percorso:

• Chi l'ha comprato? (Spesso aziende private in partnership con i governi).
• Come è stato testato? (Spesso in modo scarso o per nulla).
• Chi controlla i controllori? (Spesso nessuno).

5. Conclusione

L'articolo conclude che l'autoritarismo abilitato dall'IA è una scelta di design, non un risultato inevitabile della tecnologia.

Non è che l'IA sia "malvagia" per natura. È che sviluppatori, governi e utenti hanno fatto delle scelte per:

1. Collegare l'IA a troppi dati.
2. Ignorare le regole che dovrebbero proteggere le persone.
3. Costruire sistemi che sono difficili da fermare una volta avviati.

Gli autori avvertono che questo non è solo un problema per i "paesi cattivi". Anche le democrazie sono a rischio, specialmente quando usano questi strumenti per l' "efficienza" o la "sicurezza" senza rendersi conto che stanno lentamente costruendo una gabbia. Esortano gli sviluppatori a inserire dei "freni" nel sistema e i governi a garantire che le "cinture di sicurezza" funzionino davvero prima di lasciare che l'auto guidi.