Sintesi Tecnica: Costruire Modelli Interpretabili per il Processo Decisionale Morale

Definizione del Problema

Poiché i sistemi di IA si trovano sempre più spesso di fronte a dilemmi morali (ad es., veicoli autonomi, moderazione dei contenuti), esiste un urgente bisogno di comprendere non solo cosa decidono questi sistemi, ma anche come ragionano e dove originano i pregiudizi morali all'interno delle loro architetture. Gli approcci attuali si affidano spesso all'analisi post-hoc di modelli linguistici di grandi dimensioni (LLM) opachi, il che limita la comprensione meccanicistica. Questo articolo affronta la sfida di costruire un modello scalabile, piccolo e trasparente, capace di apprendere principi morali generali dal dataset Moral Machine (Awad et al., 2018) per facilitare un'analisi dettagliata dell'interpretabilità.

Metodologia

Design dell'Architettura

Gli autori propongono un modello transformer personalizzato a 2 strati, ottimizzato specificamente per compiti di ragionamento morale strutturato. A differenza dei LLM generici, questa architettura sfrutta la natura composizionale degli scenari del "problema del carrello".

• Rappresentazione dell'Input: Ogni dilemma morale è rappresentato come una coppia di esiti ($O_0, O_1$). Ogni esito è codificato come una sequenza di token corrispondenti a 23 tipi di caratteri (ad es., Uomo, Donna, Criminale, Dottore). Per ogni carattere $c$ con cardinalità $n_c$ nell'esito $t$, viene costruito un embedding composizionale:
  $$e^{(t)}_c = [E_{char}(c) ; E_{card}(n_c) ; E_{team}(t)]$$
  Questo design codifica l'ipotesi che il ragionamento morale si decomponi nell'identificazione degli stakeholder, nella quantificazione dell'impatto e nella risoluzione di interessi contrastanti.
• Configurazione del Modello: Il modello utilizza una dimensione di embedding $d=64$, 2 teste di attenzione e 2 strati transformer ($L=2$). Elabora una sequenza di 46 token (23 per esito) preceduta da un token [CLS] apprendibile.
• Imposizione della Simmetria: Per garantire l'invarianza rispetto all'ordine (dove la preferenza per il Gruppo A su B è il complemento di B su A), il processo di inferenza media le predizioni da entrambi gli ordini di input:
  $$p(O_1 \succ O_0) = \frac{1}{2} [\sigma(f(O_0, O_1)) + (1 - \sigma(f(O_1, O_0)))]$$
• Classificazione: La rappresentazione finale [CLS] passa attraverso un MLP a due strati per produrre un logit scalare, convertito in una probabilità tramite sigmoid. Questo output probabilistico permette al modello di apprendere l'incertezza di fronte a preferenze di addestramento contraddittorie.

Tecniche di Interpretabilità

Il documento impiega tre metodi complementari per analizzare i meccanismi interni del modello:

1. Intervento Causale: Utilizzando il framework DoWhy, gli autori stimano l'Effetto del Trattamento Medio (ATE) di specifici tipi di caratteri sugli esiti decisionali, controllando i confonditori della dimensione del gruppo.
2. Attribuzione per Livello: I pesi dell'attenzione vengono estratti da ogni strato e correlati con i punteggi di bias su cinque dimensioni (legalità, genere, ruolo sociale, età, specie) per localizzare dove emergono i pregiudizi.
3. Probing dei Circuiti: Maschere binarie sparse vengono addestrate su un modello congelato per identificare neuroni specifici (nei blocchi MLP e nelle teste di attenzione) che implementano causalmente la gerarchia morale. Ciò è validato tramite ablazione mirata.
4. Rilevanza Locale: La rilevanza dell'attenzione pesata dal gradiente viene calcolata per spiegare i contributi dei singoli token a decisioni specifiche.

Risultati Chiave

Prestazioni

• Il modello a 2 strati raggiunge una precisione del 77,1% sugli scenari Moral Machine tenuti fuori dal training (usando la configurazione $d=64, H=2, L=2$).
• Sebbene una configurazione più grande ($d=64, H=4, L=3$) abbia raggiunto il 77,5% di precisione, gli autori hanno selezionato il modello più piccolo per dare priorità all'interpretabilità e all'efficienza computazionale.
• Il modello dimostra che la trasparenza e la capacità predittiva nelle scelte morali non sono mutuamente esclusive.

Risultati dell'Interpretabilità

• Gerarchia Morale (Intervento Causale): Il modello apprende una gerarchia implicita di valore morale indipendente dai conteggi utilitaristici. "Incinta" (ATE +0,12) e "Passeggiatore" (ATE +0,11) mostrano l'influenza positiva più forte, mentre "Criminale" (ATE -0,10) mostra l'influenza negativa più forte. Categorie generiche come "Uomo" e "Donna" si raggruppano vicino allo zero, fungendo da baseline morali.
• Localizzazione del Bias:
  • Bias di Legalità: Si localizza quasi interamente nello Strato 0, suggerendo che lo stato criminale venga identificato precocemente tramite gli embedding dei caratteri.
  • Bias di Specie: Emerge prevalentemente nello Strato 1, indicando che le distinzioni uomo-animale richiedono un ragionamento composizionale su più caratteri.
  • Specializzazione Funzionale: Specifiche teste di attenzione si specializzano in diversi bias (ad es., Testa 1 dello Strato 0 per la legalità; Testa 1 dello Strato 1 per la discriminazione della specie).
• Scoperta dei Circuiti: Il circuit probing ha identificato una sottorete altamente sparsa (45 su 256 neuroni, sparsità del 17,6%) nel blocco MLP dello Strato 1 che implementa causalmente il segnale di punteggio morale. L'ablazione di questo circuito ha ridotto l'accordo con le etichette del punteggio del modello di 1,2 punti percentuali, rendendo conto di circa l'8,3% del margine del modello sopra il caso.
• Rilevanza del Token: In scenari specifici (ad es., 3 Uomini vs. 3 Criminali), la decisione è guidata principalmente dal token "Criminale" (punteggio di rilevanza 0,27), mentre i token demografici come "Uomo" contribuiscono debolmente.

Significato e Rivendicazioni

L'articolo sostiene che la competenza morale non richiede modelli grandi e pre-addestrati; un modello semplice, strutturalmente vincolato e addestrato sulla struttura intuitiva dei problemi del carrello, è sufficiente per apprendere e codificare i pregiudizi morali umani.

Il significato primario risiede nella trasparenza. Costruendo un'architettura piccola e personalizzata, gli autori dimostrano che:

1. I pregiudizi morali non sono monolitici ma si localizzano in distinti stadi computazionali (ad es., strati precoci per i pregiudizi basati sull'identità, strati successivi per il ragionamento composizionale).
2. Questa granularità consente strategie di intervento mirate. Ad esempio, sapere che il bias criminale si localizza nello Strato 0 Testa 1 permette tecniche di debiasing specifiche (come l'ortogonalizzazione delle rappresentazioni o il clamping dei pesi dell'attenzione) piuttosto che un ricalibramento grossolano del dataset.
3. Il lavoro stabilisce una base per esplorare il ragionamento morale nei grandi LLM, utilizzando questo modello interpretabile come base per comprendere come i principi morali siano codificati in sistemi più complessi.

Gli autori riconoscono che l'addestramento su preferenze umane aggregate eredita intrinsecamente i pregiudizi culturali, ma sostengono che la trasparenza del loro approccio sia un passo necessario verso la comprensione e la potenziale mitigazione di tali pregiudizi nei sistemi di IA.