Accounting for Context: Shaping Moral Credences for Value Alignment

Sintesi Tecnica: Considerare il Contesto: Modellare le Credenze Morali per l'Allineamento ai Valori

Problema
L'allineamento dei valori mira a garantire che gli agenti intelligenti si comportino in accordo con i valori etici umani. Tuttavia, le società umane esibiscono un pluralismo morale, in cui individui e gruppi valutano le azioni attraverso teorie etiche contrastanti (ad esempio, deontologia vs. utilitarismo). Gli approcci attuali all'allineamento pluralistico si affidano spesso a una pipeline che elica le preferenze, deriva funzioni di utilità e le aggrega utilizzando framework di incertezza morale. Questi framework assegnano tipicamente "credenze morali" (pesi) statiche a diverse teorie etiche basandosi sulle proporzioni della popolazione o sulla fiducia individuale.

Il problema centrale identificato in questo articolo è che i meccanismi di aggregazione standard sotto l'incertezza morale ignorano i fattori contestuali. Nello specifico, l'applicabilità e l'affidabilità di una teoria etica possono variare significativamente a seconda della specifica situazione che l'agente affronta. Ad esempio, le teorie consequenzialiste (come l'utilitarismo) richiedono la previsione accurata degli esiti, il che può essere computazionalmente impraticabile o epistemicamente incerto in contesti reali con vincoli di risorse. Al contrario, le regole deontologiche possono rimanere robuste sotto gli stessi vincoli. Trattare le credenze morali come valori statici e indipendenti dal contesto può portare a errori di aggregazione in cui il processo decisionale dell'agente non riesce a tenere conto della differente affidabilità delle teorie in specifici contesti.

Metodologia
Gli autori formalizzano un framework per le credenze morali regolate dal contesto all'interno del modello decisionale dell'incertezza morale (basandosi su MacAskill, Bykvist e Ord 2020).

1. Definizioni Formali:

   • Framework Etico: Definito come una coppia $\langle T, c \rangle$, dove $T$ è un insieme di teorie etiche e $c$ è una funzione di credenza che mappa le teorie verso pesi la cui somma è 1.
   • Profilo di Credenza: Per accomodare il contesto, gli autori definiscono un profilo di credenza $C = \langle c_a, c_b, \dots \rangle$, dove ogni $c_x$ è una funzione di credenza specifica per una particolare azione $x$. Ciò consente ai pesi di variare per ogni azione in base al contesto.
   • Caratteristiche Contestuali: Definite come funzioni $g: A \times T \to (0, 1]$ che modulano l'affidabilità di una teoria $t$ rispetto a un'azione $a$. Un valore vicino a 1 implica alta affidabilità/appropriatezza, mentre valori più bassi indicano una ridotta affidabilità dovuta a vincoli (es. limiti di risorse, incertezza, novità).
   • Funzioni di Regolazione: Il paper introduce due meccanismi per aggiornare le credenze iniziali $c$ in credenze regolate dal contesto $c_x$ basate su un contesto $con = \langle g_1, \dots, g_m \rangle$:
     • prod: Moltiplica la credenza iniziale per il prodotto di tutte le caratteristiche contestuali, seguito dalla normalizzazione. Questo è "neutrale al rischio", poiché valori elevati in una caratteristica possono compensare valori bassi in un'altra.
     • mini: Prende il minimo tra la credenza iniziale e tutte le caratteristiche contestuali, seguito dalla normalizzazione. Questo è "avverso al rischio", garantendo che la credenza regolata non superi l'affidabilità del fattore contestuale più debole.

2. Teoria Metanormativa:
   Gli autori utilizzano la Massimizzazione dell'Aspettativa di Scelta Meritevole (MEC - Maximizing Expected Choiceworthiness) come funzione di aggregazione primaria. La MEC ordina le azioni basandosi sulla media aritmetica ponderata (WAM - Weighted Arithmetic Mean) della meritevolezza di scelta attraverso le teorie, utilizzando le credenze regolate dal contesto del profilo di credenza.

3. Esempio di Esecuzione (FROBO):
   Il paper impiega uno scenario che coinvolge un robot vigile del fuoco (FROBO) in un ospedale in fiamme sotto un blocco militare. FROBO deve scegliere tra salvare un singolo paziente incosciente (Stanza Destra) o preservare l'insulina per molti potenziali pazienti futuri (Stanza Sinistra).

   • Contesto: I limiti di risorse limitano la capacità di FROBO di calcolare accuratamente le conseguenze a lungo termine.
   • Effetto: La caratteristica contestuale per i limiti di risorse ($rb$) abbassa significativamente la credenza per l'utilitarismo riguardo alla Stanza Sinistra (dove è necessaria una previsione complessa) ma lascia alta quella per la Stanza Destra (dove la conseguenza è immediata e certa).

Risultati Chiave
Il paper dimostra che l'incorporazione di credenze regolate dal contesto porta a una violazione del Principio di Pareto Debole, una proprietà standard nella teoria della scelta sociale che afferma che se tutte le teorie preferiscono l'azione $b$ rispetto ad $a$, anche l'aggregato dovrebbe preferire $b$ rispetto ad $a$.

• Violazione del Pareto Debole: Gli autori dimostrano che per una vasta classe di teorie metanormative (specificamente quelle che sono inter-teoricamente rispondenti) e funzioni di regolazione (specificamente quelle che sono contestualmente suriettive, inclusi prod e mini), il principio di Pareto Debole viene violato.

  • Meccanismo: È possibile costruire uno scenario in cui ogni singola teoria etica preferisce l'azione $a$ rispetto a $b$ ($t(a) < t(b)$ per tutte le $t$), eppure l'aggregazione regolata dal contesto preferisce l'azione $b$ rispetto ad $a$.
  • Esempio: Nel caso FROBO, anche se l'utilitarismo e la deontologia preferiscono nominalmente la Stanza Sinistra (insulina) rispetto alla Stanza Destra (paziente) in un vuoto teorico, i vincoli di risorse potrebbero ridurre la credenza utilitaristica per la Stzione Sinistra così drasticamente che la preferenza deontologica per la Stanza Destra domina la WAM aggregata, portando l'agente a scegliere la Stanza Destra.

• Interpretazione del Paradosso di Simpson: Gli autori interpretano questa violazione non come un difetto, ma come una manifestazione del Paradosso di Simpson. Proprio come i dati aggregati possono invertire i trend presenti nei sottogruppi (ad esempio, i tassi di ammissione per genere vs dipartimento), l'aggregazione delle valutazioni morali attraverso diversi contesti (azioni) può invertire le preferenze delle singole teorie. La violazione avviene perché il "peso" di una teoria cambia dinamicamente in base al contesto dell'azione, permettendo a una teoria con una credenza iniziale inferiore di dominare in un contesto specifico in cui è più affidabile.

Significatività e Rivendicazioni
Il paper sostiene che la violazione del principio di Pareto Debole in questo contesto non è indesiderabile, ma piuttosto una conseguenza inevitabile e necessaria del rendere conto dei fattori contestuali.

1. Limiti dell'Aggregazione Insensibile al Contesto: I risultati evidenziano come i meccanismi di aggregazione standard, che ignorano come il contesto influenzi l'affidabilità delle teorie etiche, siano insufficienti per l'allineamento dei valori nel mondo reale. Ignorare il contesto può portare a esiti "fanatici" o inaffidabili in cui gli agenti seguono teorie che sono computazionalmente o epistemicamente inadatte alla situazione specifica.
2. Nuova Direzione di Ricerca: Il lavoro motiva uno spostamento nella ricerca sull'incertezza morale verso la scelta sociale pesata dal contesto. Suggerisce che i criteri per valutare i metodi di aggregazione (come il Pareto Debole) debbano essere rivalutati quando il contesto è una variabile.
3. Addensamento delle Rappresentazioni Etiche: Il paper postula che la necessità di regolazione contestuale sorga perché i modelli attuali rappresentano le teorie etiche in modo "sottile" (semplicemente come funzioni di utilità). Regolando le credenze in base ai fattori contestuali (come la fattibilità computazionale), gli autori stanno effettivamente "addensando" queste valutazioni per riflettere le realtà algoritmiche ed epistemiche delle teorie.
4. Integrazione Futura: Gli autori suggeriscono che questo formalismo potrebbe essere integrato con i dialoghi basati sull'argomentazione. Invece di un'elicitazione delle preferenze statica, gli agenti potrebbero regolare dinamicamente le credenze morali "al volo" attraverso dialoghi strutturati che esplorano le sfumature contestuali, supportando così un allineamento dei valori più robusto sia per sistemi stretti che per sistemi superintelligenti.

Il paper conclude che, sebbene la violazione di standard della scelta sociale possa apparire controintuitiva, essa rivela i limiti concettuali dell'ignorare il contesto e fornisce una base formale per un processo decisionale morale più realistico e sensibile al contesto.