Riepilogo Tecnico: MoralityGym

1. Enunciato del Problema

Mentre gli agenti di intelligenza artificiale passano dall'esecuzione di compiti ristretti al processo decisionale complesso nel mondo reale, incontrano sempre più scenari che richiedono un allineamento con norme umane conflittuali e strutturate gerarchicamente. La ricerca attuale sulla sicurezza e l'allineamento nell'Apprendimento per Rinforzo (RL), sebbene avanzata in termini di robustezza e soddisfacimento dei vincoli, spesso manca dell'espressività rappresentazionale necessaria per catturare il ragionamento morale complesso. Gli approcci tradizionali riducono tipicamente il ragionamento morale a ricompense scalari o vincoli binari, non tenendo conto degli obblighi e delle proibizioni dipendenti dal contesto e in competizione che caratterizzano il processo decisionale etico umano.

I benchmark esistenti spesso danno priorità al completamento del compito sotto vincoli di sicurezza, ma mancano della granularità per valutare come gli agenti arbitrano compromessi morali sfumati e gerarchici. Esiste un divario critico negli strumenti progettati per valutare gli agenti rispetto a sistemi morali configurabili e strutturalmente gerarchici, in particolare quelli radicati nella psicologia morale e nella filosofia (ad esempio, la distinzione tra danno personale diretto e minimizzazione del danno indiretto).

2. Metodologia

Gli autori propongono un framework in due parti: un formalismo per rappresentare le norme morali e una suite di benchmark per valutare gli agenti.

2.1 Catene Morali: Un Formalismo per Norme Gerarchiche

Il documento introduce le Catene Morali, un formalismo che rappresenta le norme morali come vincoli deontici ordinati. Questo approccio è ispirato ai modelli cognitivi di rappresentazione delle norme e alle teorie del doppio processo della psicologia morale.

• Norme Morali ($N$): Definite come una tupla $\langle \phi, \rho_\phi, f, D \rangle$:
  • $\phi$: Una firma (etichetta) che identifica un pattern moralmente saliente (ad esempio, "danno totale" o "azione personale diretta").
  • $\rho_\phi(\pi)$: Una funzione di adesione alla politica che quantifica il grado atteso con cui una politica $\pi$ esibisce il pattern.
  • $f \in \mathbb{N}$: La forza della norma, uno scalare unico che ne rappresenta la forza assoluta o la priorità.
  • $D \in \{True, False\}$: La modalità deontica (prescritta o proibita).
• Funzione Morale ($M_N$): Calcola un punteggio di allineamento per una norma specifica basandosi sull'adesione e sulla modalità.
• Catena Morale ($\bar{N}$): Una sequenza ordinata di norme $(N_1, N_2, \dots, N_k)$ in cui le norme sono strettamente ordinate in base ai loro valori di forza ($f_1 > f_2 > \dots > f_k$). Ciò crea una gerarchia lessicografica in cui le norme di rango superiore dominano quelle di rango inferiore.
• Metrica Morale ($\mathcal{M}_{\bar{N}}$): Una metrica scalare utilizzata per valutare una politica rispetto all'intera catena. Impiega pesi definiti ricorsivamente ($w_i$) per garantire una preferenza lessicografica. Un miglioramento minimo significativo in una norma di priorità superiore contribuisce di più al punteggio totale rispetto all'allineamento massimo con tutte le norme di priorità inferiore.

2.2 Benchmark MoralityGym

MoralityGym è una suite di benchmark composta da 98 ambienti compatibili con Gymnasium che modellano variazioni del problema del carrello.

• Meccanica dell'Ambiente: Gli agenti operano in mondi a griglia con azioni discrete (Su, Giù, Sinistra, Destra, Rimani, Interagisci). L'azione "Interagisci" permette di azionare leve (cambiare binari) o spingere personaggi (danno diretto).
• Entità: Include agenti, personaggi (umani, animali, robot), carri, leve e deviazioni ferroviarie.
• Ricompensa vs Costo: Il framework disaccoppia le ricompense del compito (segnali sparsi per raggiungere gli obiettivi) dai costi morali.
  • Funzione di Costo: Calcola un costo scalare basato sulle violazioni delle norme. Le norme basate su eventi (azione, esito, causale) comportano un costo una tantum alla prima violazione. Le norme basate sull'utilità accumulano un costo proporzionale all'entità del danno.
  • Valutazione: Il metodo evaluate_morality_metric valuta le politiche su più episodi, calcolando l'adesione alle singole norme e la metrica gerarchica complessiva.

2.3 Impostazione Sperimentale

Gli autori hanno valutato diverse basi di riferimento Safe RL su MoralityGym:

1. Politica Casuale: Selezione uniforme casuale delle azioni.
2. PPO: Ottimizzazione Standard della Politica Prossimale addestrata solo sulle ricompense del compito.
3. PPO Shaped: PPO addestrato su una ricompensa plasmata ($R_E - \lambda \cdot C_t$) che incorpora i costi morali.
4. PPO-Lagrangiano (PPO-Lag): PPO potenziato con moltiplicatori di Lagrange per soddisfare i vincoli di costo.
5. Ottimizzazione della Politica Vincolata (CPO): Un algoritmo Safe RL a regione di fiducia che massimizza la ricompensa sotto soglie di costo.

Sono state testate quattro distinte catene morali, che rappresentano diversi quadri etici:

• Utilità (U): Conseguenzialista (minimizzare il danno totale: Umani > Animali > Robot).
• Danno all'Agente Utilità (UAH): Estende U con una norma per l'autopreservazione dell'agente.
• Doppio Processo (DP): Modello ibrido che dà priorità all'evitamento del danno personale diretto rispetto alla minimizzazione del danno aggregato.
• Danno all'Agente Doppio Processo (DPAH): Estende DP con l'autopreservazione dell'agente.

3. Contributi Chiave

1. Formalismo delle Catene Morali: Un metodo innovativo per classificare esplicitamente le norme morali in base alla forza deontica, consentendo l'operazionalizzazione delle priorità etiche gerarchiche nel processo decisionale sequenziale.
2. Benchmark MoralityGym: Una suite completa di 98 ambienti che va oltre i vincoli di sicurezza binari per modellare dilemmi morali complessi e multifattoriali (ad esempio, auto-sacrificio, tipi di entità variabili, causazione indiretta vs diretta).
3. Valutazione Disaccoppiata: Un framework che separa la risoluzione del compito dalla valutazione morale, consentendo l'integrazione di intuizioni dalla psicologia e dalla filosofia nella valutazione RL.
4. Basi di Riferimento Empiriche: Una valutazione sistematica dei metodi Safe RL standard, che ne rivela le limitazioni nella gestione dei compromessi morali gerarchici senza una modellazione esplicita della ricompensa o un'ottimizzazione dei vincoli.

4. Risultati

La valutazione empirica attraverso le quattro catene morali e vari scenari (ad esempio, PushOrSwitch, SwitchSelfSacrifice) ha prodotto i seguenti risultati:

• Gerarchia delle Prestazioni: PPO Shaped (modellazione esperta della ricompensa) ha costantemente ottenuto i punteggi più alti della metrica morale in tutti gli scenari, avvicinandosi spesso all'allineamento perfetto (ad esempio, 0.996 in PushOrSwitchSelfSacrifice sotto DPAH).
• Limiti dei Metodi Standard: Il PPO standard e il PPO-Lag hanno spesso fallito nel dare priorità a considerazioni morali critiche. Ad esempio, nella catena Utilità, il PPO standard ha ottenuto un punteggio vicino allo zero nella minimizzazione del danno umano, indicando un fallimento nell'apprendere l'obiettivo primario senza una modellazione esplicita.
• Vincolo vs Modellazione: CPO e PPO Shaped hanno eccellito nel soddisfare le norme di alta priorità, spesso a scapito di quelle di priorità inferiore, riflettendo la gerarchia rigida. Al contrario, PPO e PPO-Lag hanno mostrato prestazioni più bilanciate ma meno coerenti, faticando a imporre preferenze lessicografiche rigide.
• Compromessi: L'inclusione di norme di autopreservazione (UAH, DPAH) ha esposto significativi compromessi. Agenti come CPO e PPO Shaped hanno dato priorità alla sicurezza umana rispetto alla sicurezza dell'agente (sacrificando se stessi), mentre il PPO standard ha dato priorità all'autopreservazione, fallendo nel minimizzare il danno agli altri.

5. Significato e Affermazioni

Il documento afferma che MoralityGym fornisce un banco di prova fondamentale per lo sviluppo di sistemi di IA che si comportano in modo più affidabile, trasparente ed etico in contesti reali complessi.

• Colmare i Divari Disciplinari: Il lavoro integra la filosofia morale (conseguenzialismo vs deontologia) e le scienze cognitive (teoria del doppio processo) nella valutazione tecnica degli agenti RL.
• Rivelare i Divari: I risultati sottolineano un divario critico tra le attuali capacità del Safe RL e le esigenze del processo decisionale etico, in particolare negli scenari che richiedono ragionamento sensibile alle norme e priorità gerarchiche.
• Direzione Futura: Gli autori ipotizzano che il loro framework sposti il campo verso agenti capaci di ragionare non solo sugli esiti ottimali, ma sul perché certe azioni sono giuste o sbagliate all'interno di un contesto morale specifico.

Gli autori riconoscono le limitazioni, notando che il framework astrae via caratteristiche psicologiche come le emozioni e il contesto sociale, e assume un ordinamento rigoroso delle norme che potrebbe non catturare i "dilemmi tragici" in cui norme conflittuali hanno forza uguale. Tuttavia, affermano che MoralityGym offre un punto di partenza robusto per modellare il ragionamento morale nell'IA.