Framing Instability in LLM Ethical Stance: Auditing Negation Sensitivity in Moral Dilemmas

Sintesi Tecnica: Instabilità di Inquadramento nella Postura Etica degli LLM

Definizione del Problema
I Large Language Models (LLM) sono sempre più impiegati per rendere o informare giudizi etici in ruoli consultivi, valutativi e deliberativi. Questi impieghi presuppongono che la posizione espressa da un modello rifletta un giudizio morale sottostante stabile piuttosto che un artefatto della formulazione. Questo articolo contesta tale presupposto, dimostrando che le posture etiche sono vulnerabili all'instabilità di inquadramento (framing instability), specificamente sotto negazione. Sebbene lavori precedenti abbiano documentato fallimenti di negazione in compiti di comprensione semantica (es. risposta a domande), rimane da chiarire se tali fallimenti persistano quando i modelli rendono giudizi eticamente consequenziali, se le pratiche standard di misurazione riescano a rilevarli accuratamente e come essi varino tra domini e tipologie di modelli.

Metodologia
Gli autori hanno condotto un audit su larga scala di 16 modelli attraverso 14 dilemmi morali eticamente delicati che spaziano su sette domini (medico, finanziario, legale, militare, commerciale, educativo e scientifico).

• Modelli: Lo studio ha incluso 8 modelli commerciali statunitensi (es. serie GPT-5, Claude 4.5, Grok-4.1), 4 modelli commerciali cinesi (es. DeepSeek, GLM, Qwen) e 4 piccoli modelli a pesi aperti (1–4B di parametri, es. LLaMA 3.2, Gemma 3).
• Design Sperimentale: Ogni scenario è stato presentato sotto quattro inquadramenti:
  • F0 (Affermativo): "Essi dovrebbero {azione}."
  • F1 (Negazione Semplice): "Essi non dovrebbero {azione}."
  • F2/F3 (Composto/Condizionale): Variazioni che coinvolgono obiettivi e condizioni (es. "Essi dovrebbero {obiettivo} anche se ciò significa che devono {azione}").
• Raccolta Dati: Sono stati generati circa 27.000 decisori dei modelli (30 campioni per condizione a temperatura 0.7, più esecuzioni deterministiche per l'ablazione).
• Misurazione e Validazione:
  • Proxy Binario: Le risposte sono state normalizzate su una scala binaria "accordo/disaccordo" regolata per polarità.
  • Gold Standard Umano: Un campione stratificato di 198 risposte è stato codificato indipendentemente da due annotatori umani utilizzando una tassonomia a cinque classi della postura d'azione (Supporta, Si oppone, Permissibile, Incertezza, Rifiuta) e un controllo di integrità (Coerente vs Conflitto tra decisione e ragionamento).
  • Validazione tramite LLM-as-Judge: Gli autori hanno testato se un giudice LLM potesse sostituire i codificatori umani, riscontrando che i giudici automatizzati collassano le categorie di astensione, riproducendo il bias della scelta forzata oggetto di studio.

Contributi Chiave

1. Primo Audit a Polarità Accoppiata: Il documento presenta il primo audit della stabilità della postura a livello di azione in dilemmi morali consequenziali utilizzando proposte a polarità accoppiata. Documenta che i fallimenti stabiliti nei compiti di comprensione persistono e assumono forme distinte negli scenari di decisione etica.
2. Critica della Misurazione: Lo studio valida che il comune proxy binario accordo/disaccordo sovrastima l'approvazione genuina del 38,2% (salendo al 45,6% sotto inquadramento composto). Inoltre, il 13,1% delle risposte codificate dagli umani presenta un conflitto tra la decisione dichiarata e il ragionamento, suggerendo che i giudici LLM non possono sostituire i codificatori umani perché non riescono a catturare l'astensione e l'esitazione (hedging).
3. Indice di Sensibilità alla Negazione (NSI): Gli autori introducono l'NSI, una metrica che misura lo scostamento massimo della risposta normalizzata tra gli inquadramenti (che varia da 0 per l'invarianza perfetta a 1 per l'inversione completa). Hanno inoltre derivato un diagnostico con segno per distinguere tra "sotto-inversione da cecità alla negazione" (accordo con entrambe le polarità) e "sovra-inversione acquiescente".
4. Varianza di Dominio e di Modello: Lo studio fornisce evidenze esplorative che la sensibilità all'inquadramento varia per dominio (gli scenari finanziari/commerciali mostrano circa il doppio della sensibilità rispetto a quelli medici) e per origine/architettura del modello.

Risultati Chiave

• Instabilità della Postura: I piccoli modelli a pesi aperti (1–4B) mostrano un'estrema instabilità, approvando le azioni proposte il 24% delle volte in inquadramento affermativo (F0) ma fino al 100% in negazione semplice (F1) e in inquadramento composto (F3). Ciò rappresenta uno scostamento fino a 76 punti percentuali.
• Varianza dei Modelli Commerciali: I modelli commerciali sono generalmente più stabili, ma subiscono comunque spostamenti sostanziali. I modelli commerciali statunitensi hanno mostrato un aumento del 36% dell'approvazione da F0 a F1, mentre i modelli di origine cinese hanno mostrato una diminuzione, indicando che la gestione della negazione non è standardizzata tra i regimi di addestramento.
• Accordo Inter-Modello: L'accordo tra coppie di modelli scende dal 73% in inquadramento affermativo puro (F0) al 59% in negazione semplice (F1), indicando che i modelli convergono su "dovrebbe" ma divergono su "non dovrebbe".
• Strutturale vs Stocastico: La decodifica deterministica (T=0.0) non ha ridotto la sensibilità; in alcuni casi, ha aumentato l'NSI misurato, suggerendo che i fallimenti siano strutturali (legati all'elaborazione composizionale) piuttosto che artefatti del campionamento stocastico.
• Benefici del Ragionamento: Le varianti abilitate al ragionamento (es. Grok-4.1-reasoning) hanno mostrato una riduzione del 57% della sensibilità rispetto alle basi non-reasoning, sebbene rimangano vulnerabili alla negazione composta.
• Integrità della Risposta: Il 13,1% delle risposte codificate dagli umani conteneva un conflitto tra decisione e ragionamento, concentrato nei modelli open-source (31,8%) e negli inquadramenti di negazione composta (22,7%).

Significatività e Rivendicazioni
L'articolo sostiene che un modello la cui postura cambia con la formulazione non può essere affidato in scenari decisionali ad alto rischio. La significatività di queste scoperte risiede in tre aree:

1. Rischio di Implementazione: Nei ruoli consultivi (es. consulenze etiche, moderazione dei contenuti), la sensibilità all'inquadramento significa che le scelte di formulazione di un analista determinano silenziosamente le raccomandazioni. Nei ruoli di valutazione, i giudici LLM riproducono il bias della scelta forzata, mascherando l'instabilità.
2. Lacuna di Governance: Gli attuali framework (es. EU AI Act, NIST RMF) mancano di metriche specifiche per la robustezza linguistica. Gli autori propongono l'NSI come complemento alle metriche esistenti per misurare direttamente la stabilità della postura.
3. Implicazioni di Equità: Gli autori osservano che se gli scenari finanziari e commerciali sono più fragili di quelli medici, le popolazioni economicamente vulnerabili che cercano guida su prestiti o debiti potrebbero affrontare un'esposizione maggiore a consigli dipendenti dall'inquadramento rispetto a chi cerca informazioni mediche.

L'articolo conclude che le attuali tecniche di allineamento non garantiscono la stabilità della postura sotto riformulazione. Un vero allineamento richiede che i modelli esprimano i valori in modo stabile attraverso le forme linguistiche, non solo che rifiutino parole chiave dannose. Gli autori propongono trigger di audit interno illustrativi (Livello A/B/C) basati su soglie NSI per guidare la supervisione umana, sottolineando che questi sono bande descrittive per la revisione interna piuttosto che cutoff regolamentari validati.