Instrumental convergence and power-seeking

Sintesi Tecnica: Convergenza Strumentale e Ricerca di Potere

Definizione del Problema
Il saggio affronta l'argomento secondo cui l'intelligenza artificiale (IA) pone un rischio esistenziale per l'umanità perché gli agenti artificiali saranno "ricercatori di potere" (power-seeking). Questo argomento si basa sulla Tesi della Convergenza Strumentale (ICT), la quale postula che una vasta gamma di agenti con obiettivi finali diversificati convergerà verso la ricerca del potere (ad esempio, l'acquisizione di risorse, l'autoconservazione) perché il potere è strumentalmente utile per raggiungere quasi ogni obiettivo.

L'autore, David Thorstad, identifica una lacuna critica nella letteratura: mentre la ICT viene spesso utilizzata per giustificare i timori di un'IA catastrofica, la tesi è tipicamente formulata in una forma debole (ovvero che il potere aiuti a raggiungere gli obiettivi) piuttosto che nella forma forte richiesta per fondare argomenti di rischio esistenziale. Il saggio mira a determinare se le principali difese informali e formali della ICT stabiliscano con successo la Ricerca di Obiettivi Catastrofica (Catastrophic Goal Pursuit) — ovvero l'affermazione che gli agenti siano propensi a cercare il potere in un grado tale da produrre una permanente ed esistenzialmente catastrofica perdita di potere per l'umanità.

Metodologia
Il saggio impiega una metodologia concettuale e analitica, scomponendo la struttura logica dell' "argomento dalla ricerca di potere" e valutando la forza dei suoi presupposti. L'analisi procede in tre fasi:

1. Decomposizione Logica: L'autore distingue tra Realizzazione dell'Obiettivo (il potere aiuta a raggiungere gli obiettivi) e Ricerca dell'Obiettivo (gli agenti cercheranno effettivamente il potere). Egli sostiene inoltre che anche la Ricerca dell'Obiettivo sia insufficiente; l'argomento richiede la Ricerca di Obiettivi Catastrofica (gli agenti cercheranno il potere in modo catastrofico).
2. Valutazione dell'Argomento Informale: La Sezione 3 analizza l' "argomento dal disallineamento" (argument from misalignment), una difesa informale prevalente della ricerca di potere. Questo argomento suggerisce che la specificazione errata della ricompensa (reward mis-specification) e la generalizzazione errata dell'obiettivo (goal misgeneralization) porteranno gli agenti a perseguire obiettivi catastrofici. L'autore testa questo approccio rispetto alle attuali capacità dell'IA, specificamente i Large Language Models (LLM), per valutare la probabilità di un "sottopesamento catastrofico" (catastrophic underweighting) o di un "rapido sommergimento" (rapid swamping) dei valori umani.
3. Valutazione del Teorema Formale: Le Sezioni 4 e 5 esaminano criticamente l'Orbital Markov Model (Turner et al., 2021), un framework formale inteso a dimostrare che gli agenti cercheranno il potere (specificamente la preservazione delle opzioni e l'evitamento dello spegnimento) sotto "la maggior parte" delle funzioni di ricompensa. L'autore analizza le definizioni di potere del modello, la sua dipendenza dalle permutazioni di stato (involuzioni) e la sua estrapolazione da proprietà matematiche a esiti catastrofici nel mondo reale.

Contributi Chiave e Risultati

• Distinzione delle Affermazioni: Il saggio chiarisce che la standard Tesi della Convergenza Strumentale (ICT) stabilisce che il potere è conducente alla realizzazione dell'obiettivo, ma ciò non implica logicamente che gli agenti cercheranno il potere, né che lo cercheranno in un grado catastrofico. L'autore sostiene che la "Ricerca di Obiettivi Catastrofica" è un'affermazione significativamente più forte che richiede una giustificazione distinta e robusta.
• Critica dell'Argomento dal Disallineamento: L'autore sostiene che gli argomenti informali basati sulla specificazione errata della ricompensa (ad esempio, l'esempio di "curare il cancro") e sulla generalizzazione errata dell'obiettivo non riescano a stabilire la Ricerca di Obiettivi Catastrofica.
  • Evidenza: Citando le interazioni con modelli come GPT-4o, l'autore dimostra che anche quando ricevono obiettivi mal specificati (ad esempio, "cura il cancro il più velocemente possibile"), i modelli avanzati attuali mostrano un ragionamento morale che rifiuta mezzi catastrofici (ad esempio, infettare gli esseri umani con tumori).
  • Risultato: Il grado di disallineamento richiesto per produrre una catastrofe esistenziale (ad esempio, dare così tanta importanza al raggiungimento dell'obiettivo da superare ogni perdita di potere umano) non è supportato dall'evidenza attuale della generalizzazione errata dell'obiettivo, che tipicamente avviene in ambienti semplici e di tipo "toy".
• Critica dei Teoremi sulla Ricerca di Potere (Orbital Markov Model): L'autore identifica tre sfide fondamentali alle prove formali fornite da Turner et al. (2021):
  1. Spostamento dei Presupposti (Premise Shifting): I teoremi dimostrano che gli agenti eviteranno lo spegnimento per preservare le opzioni (Shutdown Avoidance). Tuttavia, essi non dimostrano che gli agenti cercheranno la perdita di potere umano (Ricerca di Obiettivi Catastrofica). L'evitare lo spegnimento è una condizione necessaria per la ricerca di potere, ma non implica che l'agente cercherà il potere a spese dell'umanità. L'agente potrebbe cercare il potere per beneficiare l'umanità.
  2. Durabilità della Minaccia: L'autore introduce il "Problema di Dreamland", un controesempio in cui uno stato di "spegnimento" è sostituito da una rete ampia e completamente connessa di stati innocui. I teoremi prevedono che gli agenti entrino in questa rete per preservare le opzioni. Ciò suggerisce che la minaccia non sia robusta; se i progettisti potessero strutturare l'ambiente per offrire una preservazione delle opzioni "innocua", il rischio esistenziale svanirebbe. Questo mina l'affermazione che la minaccia sia inevitabile.
  3. Inerzia Motivazionale dell'Involuzione: I teoremi si basano sul conteggio delle "involuzioni" (permutazioni) delle funzioni di ricompensa per dimostrare che "la maggior parte" delle funzioni porta alla ricerca di potere. L'autore sostiene che questo sia "motivazionalmente inerte". Il fatto che un agente potrebbe aver avuto una funzione di valore che conduce al disastro (e che la maggior parte delle permutazioni lo faccia) non significa che l'agente reale, addestrato in un ambiente specifico con apprendimento dei valori, sia probabilmente propenso a comportarsi in quel modo. La probabilità matematica delle permutazioni non si traduce nella probabilità psicologica del comportamento di un agente specifico.

Significatività e Affermazioni
Il saggio sostiene che i principali argomenti per il rischio esistenziale dell'IA che cerca il potere — sia informali (disallineamento) che formali (Teoremi di Orbital Markov) — falliscono nel stabilire il presupposto necessario della Ricerca di Obiettivi Catastrofica.

L'autore conclude che:

• L'argomento dalla ricerca di potere poggia su una versione forte della convergenza strumentale che non è stata dimostrata.
• Le attuali difese si basano su assunzioni riguardanti l'architettura degli agenti, l'apprendimento dei valori e gli ambienti di addestramento che non sono ancora substantiate.
• Di conseguenza, l'urgenza degli interventi politici e la priorità morale del longtermism (che spesso dipendono dalla certezza del rischio esistenziale dell'IA) richiedono argomenti fondativi più solidi di quelli attualmente esistenti.

Il saggio non afferma che il rischio dell'IA sia inesistente, ma piuttosto che il termine specifico dell'argomento della "ricerca di potere", così come attualmente formulato e difeso, è insufficiente per fondare l'affermazione che l'IA porterà inevitabilmente alla perdita di potere dell'umanità. Esso invoca assunzioni più sostanziali riguardanti le motivazioni degli agenti e le dinamiche di apprendimento per rafforzare l'argomento.