Are we Doomed to an AI Race? Why Self-Interest Could Drive Countries Towards a Moratorium on Superintelligence

Riepilogo Tecnico: "Siamo condannati a una corsa all'IA? Perché l'interesse proprio potrebbe spingere i paesi verso una moratoria sull'intelligenza artificiale superumana"

Enunciato del Problema
La visione prevalente nel discorso relativo all'Intelligenza Artificiale Superumana (ASI) è che una moratoria globale sul suo sviluppo sia irrealizzabile a causa di incentivi strategici. I critici sostengono che, anche se il reciproco contenimento sia collettivamente ottimale, gli stati individuali possiedono una strategia dominante per defezionare e continuare la corsa alla supremazia geopolitica. Questa dinamica di "corsa al ribasso" suggerisce che la paura di rimanere indietro (il "pagamento del fesso") superi il rischio condiviso di una perdita catastrofica di controllo, rendendo una moratoria contraria all'interesse proprio di uno stato. Questo lavoro sfida tale assunzione, mettendo in discussione se una moratoria possa mai essere una strategia razionale e dettata dall'interesse proprio per le superpotenze geopolitiche.

Metodologia
Gli autori impiegano un quadro formale di teoria dei giochi per modellare l'interazione strategica tra due superpotenze geopolitiche (un "Pioniere" e un "Ritardatario"). Il modello opera la decisione di "Correre" (continuare lo sviluppo con misure di sicurezza standard) o "Fermarsi" (imporre una moratoria per massimizzare la sicurezza).

Il modello è definito da quattro variabili chiave:

1. Divario di Capacità ($\Delta$): Il vantaggio relativo che un giocatore detiene nello sviluppo dell'ASI, aggregando fattori come la potenza di calcolo e i progressi nella ricerca.
2. Vantaggio del Vincitore ($W$): Il valore del vantaggio del primo movimento, che varia da 0 (cooperativo) a 1 (chi vince prende tutto), catturando la subordinazione geopolitica del perdente.
3. Costo dell'ASI Non Controllato ($C$): La disutilità derivante da una perdita di controllo, normalizzata rispetto al beneficio di una vittoria sicura (normalizzata a 1). Crucialmente, il modello permette $C > 1$, riflettendo scenari in cui il collasso della civiltà supera qualsiasi guadagno strategico.
4. Incertezza Tecnologica ($\sigma$): L'incertezza epistemica riguardo alla possibilità e alla tempistica dello sviluppo dell'ASI.

La scelta politica è binaria: Fermarsi ($s=1$, sicurezza massima) o Correre ($s=0,85$, rappresentante un rischio catastrofico del 15% basato su sondaggi tra esperti). L'analisi identifica gli equilibri di Nash mappando il "Costo Catastrofico" ($C$) contro il "Divario di Capacità" ($\Delta$) per determinare in quali condizioni una pausa diventi la migliore risposta razionale per uno stato.

Contributi Chiave

1. Formalizzazione della Moratoria come Strategia di Interesse Proprio: A differenza di modelli precedenti che spesso trattano la corsa come un Dilemma del Prigioniero in cui la defezione è dominante, questo lavoro dimostra che, sotto specifiche condizioni parametriche, una moratoria non è meramente un ideale cooperativo ma una strategia razionale guidata dall'interesse proprio.
2. Identificazione di Quattro Mondi Strategici: Variando il costo della catastrofe rispetto al divario di capacità e all'vantaggio del vincitore, gli autori delineano quattro ambienti strategici distinti:
   • Armonia Sicura: Entrambi gli stati trovano razionale fermarsi perché il costo della catastrofe è così alto che correre non offre alcun guadagno marginale.
   • Prevenzione: L'unico esito stabile è una corsa. La paura del vantaggio del primo movimento del rivale supera la paura della catastrofe, in particolare quando gli stati sono vicini alla parità.
   • Fiducia: Un gioco di coordinamento in cui entrambi preferiscono una pausa reciproca ma temono di essere sfruttati se il rivale corre.
   • Sovversione: Un mondo asimmetrico in cui il Pioniere sceglie razionalmente di fermarsi (a causa dell'alta probabilità di vittoria e della paura della catastrofe), mentre il Ritardatario corre per colmare il divario.
3. Quantificazione delle Soglie: Il modello quantifica le specifiche "soglie di costo" in cui lo spazio strategico si sposta dalla corsa alla pausa. Mostra che, man mano che il costo percepito della perdita di controllo ($C$) aumenta sufficientemente rispetto all'vantaggio del vincitore ($W$) e all'incertezza ($\sigma$), la strategia razionale si sposta verso una moratoria.

Risultati
L'analisi rivela che la fattibilità di una moratoria non è statica ma dipende dall'interazione delle variabili:

• Il Ruolo del Costo Catastrofico: Quando il costo percepito di un'ASI non controllata supera i benefici attesi della supremazia geopolitica, una moratoria stabile diventa una scelta di interesse proprio.
• Impatto dell'Incertezza: Un'incertezza tecnologica moderata ($\sigma$) espande lo spazio strategico per una moratoria. Quando gli stati sono incerti sulla possibilità di vincere la corsa, l'incentivo a tagliare gli angoli diminuisce, rendendo una pausa più razionale.
• Impatto dell'Vantaggio del Vincitore: Una riduzione dell'vantaggio del vincitore ($W$) abbassa la soglia del costo della perdita di controllo necessaria per rendere razionale una moratoria.
• Traiettoria Empirica: Il lavoro presenta prove empiriche che suggeriscono che la percezione globale del rischio ASI sta aumentando. Citando dichiarazioni di esperti (ad esempio, la Lettera Aperta del 2023, la Dichiarazione di Bletchley), sondaggi sull'opinione pubblica (ad esempio, Reuters/Ipsos) e l'istituzione di Istituti per la Sicurezza dell'IA, gli autori sostengono che il costo percepito della perdita di controllo ($C$) sta aumentando. Questo spostamento suggerisce che le condizioni richieste affinché una moratoria sia nell'interesse proprio di uno stato stanno diventando più plausibili nel panorama geopolitico attuale.

Significato e Affermazioni
Il lavoro afferma di sovvertire l'assunzione che una moratoria sia intrinsecamente contraria all'interesse proprio di uno stato. Sostiene che la "corsa" non è un esito inevitabile del comportamento razionale degli stati, ma un risultato contingente di specifici valori parametrici, in particolare un basso costo percepito della catastrofe rispetto ai benefici della supremazia.

Gli autori concludono con modestia che, sebbene la realtà geopolitica attuale sia ancora dominata da dinamiche competitive, lo spazio strategico per una moratoria stabile e razionale si sta espandendo. Sostengono che, man mano che il consenso scientifico sui problemi di controllo cresce e la gravità percepita degli esiti catastrofici aumenta, le condizioni in cui una moratoria diventa la strategia dominante per stati interessati al proprio vantaggio sono "più vicine di quanto comunemente si assuma". Il lavoro non afferma che una moratoria sia garantita, ma piuttosto che sia un'opzione vitale e razionale in condizioni in evoluzione, sfidando la visione fatalista secondo cui una corsa all'IA è inevitabile.