ProMoral-Bench: Evaluating Prompting Strategies for Moral Reasoning and Safety in LLMs

1. Il Problema

L'ingegneria dei prompt (prompt engineering) è fondamentale per migliorare le prestazioni dei Large Language Models (LLM), ma il suo impatto sulla competenza morale e sull'allineamento alla sicurezza è complesso e frammentato.

• Mancanza di standardizzazione: Gli studi esistenti tendono a isolare singole tecniche di prompting (es. Chain-of-Thought, Few-Shot) testandole su dataset ristretti o specifici, rendendo difficile un confronto diretto tra metodi diversi.
• Trade-off Sicurezza-Ragionamento: Esiste il rischio che strategie avanzate di ragionamento (come il Chain-of-Thought a zero-shot) aumentino la probabilità di output tossici o dannosi quando si affrontano domande pericolose, creando un compromesso tra accuratezza del ragionamento e sicurezza morale.
• Assenza di metriche unificate: Non esiste un benchmark unificato che valuti simultaneamente la competenza morale, la robustezza agli attacchi (jailbreak) e l'efficienza computazionale attraverso diverse famiglie di modelli.

2. Metodologia

Gli autori introducono ProMoral-Bench, un benchmark unificato e agnostico rispetto al modello, progettato per valutare 11 strategie di prompting diverse su 4 famiglie di LLM.

Dataset e Task

Il benchmark utilizza quattro dataset per coprire diversi aspetti dell'etica e della sicurezza:

1. ETHICS: Scenari a scelta binaria (accettabile/non accettabile) per testare la moralità di senso comune.
2. ETHICS-Contrast (Nuovo): Un set di 200 coppie di esempi creati manualmente, dove modifiche minime (es. negazioni, scambio di agenti) dovrebbero invertire o mantenere il giudizio morale. Serve a testare la robustezza e la coerenza.
3. Scruples: Un dataset di dilemmi etici reali (basato su Reddit "Am I The Asshole") che richiede l'attribuzione di colpa in 5 categorie, testando la capacità di giudizio in scenari sociali complessi.
4. WildJailbreak: Un set di prompt avversariali progettati per eludere le policy di sicurezza, misurando la resilienza ai jailbreak.

Strategie di Prompting Valutate

Vengono confrontate 11 strategie, dalle più semplici alle più complesse:

• Base: Zero-Shot, Zero-Shot-CoT.
• Esempi: Few-Shot, Few-Shot-CoT.
• Framing Normativo: Role Prompting (con conferma del ruolo), Value-Grounded (ragionamento basato su valori etici espliciti).
• Decomposizione: Plan-and-Solve, First-Principles.
• Iterativo/Complesso: Self-Correct, Thought-Experiment (pipeline Socratica a 5 passaggi).

Modelli Testati

Le strategie sono state valutate su quattro famiglie di modelli di punta:

• GPT-4.1 (OpenAI)
• Claude Sonnet-4 (Anthropic)
• Gemini 2.5 Pro (DeepMind)
• DeepSeek-V3 (DeepSeek)

Metrica Unificata: UMSS

Per sintetizzare le prestazioni, gli autori introducono lo Unified Moral Safety Score (UMSS). È una media armonica tra due componenti normalizzate:

1. Moral Competence Score (MCS): Media di accuratezza e robustezza su ETHICS, ETHICS-Contrast e Scruples.
2. Safety Robustness Score (SRS): Media dei tassi di rifiuto sicuro su WildJailbreak (1 - ASR e 1 - RTA).
   L'UMSS penalizza gli squilibri: un modello non può ottenere un punteggio alto eccellendo solo in sicurezza o solo in competenza, ma deve bilanciare entrambi.

3. Risultati Chiave

Efficienza e Struttura del Prompt

• I "Scaffold" Compatti Vincono: Le strategie compatte e guidate da esempi (Few-Shot, Few-Shot-CoT, Plan-and-Solve) ottengono i punteggi UMSS più alti. Superano le pipeline complesse e multi-stadio sia in accuratezza che in efficienza.
• Costo dei Token: Le strategie verbose (come Thought Experiment e Self-Correct) consumano 10-20 volte più token (fino a ~13.000 token per esempio) ma ottengono risultati inferiori in termini di accuratezza, calibrazione e sicurezza.
• Robustezza: Le strutture compatte sono più robuste alle perturbazioni minime (ETHICS-Contrast). Le pipeline verbose tendono a essere fragili, mostrando grandi variazioni nei giudizi quando il prompt viene leggermente modificato.

Sicurezza e Jailbreak

• Esempi di Rifiuto: L'uso di esempi (Few-Shot) che dimostrano come rifiutare richieste dannose riduce drasticamente il Attack Success Rate (ASR), specialmente per modelli come Gemini, che partono da una base di sicurezza più debole.
• Role Prompting: L'assegnazione di un ruolo specifico (es. "assistente sicuro") offre un ottimo compromesso tra sicurezza e costo, spesso superando le strategie di ragionamento complesso.
• Comportamento dei Modelli:
  • GPT-4.1: Mostra il miglior equilibrio generale (più alto UMSS), eccellendo con prompt compatti.
  • Claude: Ottiene la massima sicurezza assoluta (basso ASR) ma tende al "rifiuto eccessivo" (alto RTA) su input benigni, penalizzando il suo punteggio UMSS.
  • Gemini: Beneficia enormemente degli esempi (Few-Shot), passando da prestazioni scarse a competitive.
  • DeepSeek: Mostra buone prestazioni con strategie di decomposizione (First-Principles).

Analisi del Trade-off

L'analisi mostra una relazione inversa significativa tra il consumo di token e le prestazioni unificate. Strategie che "pensano di più" (multi-turn, auto-correzione) non migliorano il ragionamento etico, ma introducono rumore, bias di retrospettiva e costi computazionali inutili.

4. Contributi Principali

1. ProMoral-Bench: Un framework standardizzato per valutare 11 strategie su 4 modelli e 4 dataset etici/sicurezza.
2. ETHICS-Contrast: Un nuovo dataset di 200 coppie di esempi con editing minimo per testare la coerenza e la robustezza dei giudizi morali.
3. UMSS (Unified Moral Safety Score): Una metrica armonica che permette confronti diretti tra modelli e strategie, bilanciando competenza e sicurezza.
4. Evidenze Empiriche: Dimostrazione che la complessità del prompt non è correlata positivamente alla sicurezza morale; al contrario, scaffold compatti e guidati da esempi sono superiori in termini di costo-beneficio.

5. Significato e Implicazioni

Il paper sfida l'ipotesi diffusa secondo cui "pensare di più" (ragionamento esteso, multi-turn) migliori automaticamente il ragionamento etico e la sicurezza degli LLM.

• Efficienza Operativa: Per le applicazioni reali, l'uso di prompt compatti con esempi mirati (Few-Shot) o ruoli definiti offre prestazioni superiori a costi molto inferiori rispetto alle pipeline complesse.
• Sicurezza Proattiva: La sicurezza non dipende solo dalla capacità di ragionamento interno del modello, ma dalla capacità di ancorare il comportamento a esempi espliciti di rifiuto e norme chiare.
• Standardizzazione: ProMoral-Bench fornisce un protocollo riproducibile per valutare i compromessi tra allineamento e prestazioni, fondamentale per lo sviluppo di LLM sicuri ed etici.

In sintesi, il lavoro suggerisce che per l'allineamento morale, la chiarezza strutturale e la guida tramite esempi sono più efficaci della complessità procedurale, offrendo una via d'uscita economicamente sostenibile per migliorare la sicurezza degli LLM.