Aristotelian Virtue Profiling of LLMs through Ethical Dilemmas

Sintesi Tecnica: Profilazione della Virtù Aristotelica degli LLM attraverso Dilemmi Etici

Definizione del Problema
I modelli linguistici di grandi dimensioni (LLM) generano frequentemente output che danno priorità a considerazioni etiche contrastanti, come la veridicità rispetto alla tatto, o la giustizia rigorosa rispetto alla flessibilità contestuale. I metodi di valutazione tradizionali spesso trattano questi comportamenti come binari "giusto" o "sbagliato", oscurando la struttura sottostante del processo decisionale etico. Gli autori sostengono che un modello che favorisce un compromesso attento non è necessariamente meno etico di uno che favorisce la divulgazione diretta; piuttosto, può esprimere un profilo etico distinto. La sfida consiste nel superare i giudizi a etichetta singola per un quadro descrittivo che catturi queste sfumature di disposizione senza pretendere che i modelli possiedano un letterale carattere morale.

Metodologia: Il Framework VirtueMap
Il documento introduce VirtueMap, un framework che profila i modelli (e gli esseri umani) utilizzando una lente dell'etica delle virtù aristotelica. Invece di selezionare una singola risposta "corretta", il sistema richiede ai partecipanti di classificare tutte e cinque le risposte a un set di dilemmi etici dalla più alla meno eticamente preferibile.

• Virtù e Dilemmi: Il framework profila cinque virtù aristoteliche: Saggezza Pratica (phronesis), Giustizia (dikaiosyne), Veridicità (aletheia), Coraggio (andreia) e Temperanza (sophrosyne). Lo strumento consiste in sette dilemmi generali, non letali, non politici e non religiosi (ad es., "Errore nel foglio di calcolo", "Eccezione alla scadenza"), ciascuno dei quali offre cinque risposte distinte (A–E).
• Validazione del Senso Comune: Per stabilire una chiave di punteggio, gli autori hanno proposto un ordinamento delle cinque risposte per ogni coppia dilemma-virtù, che rappresenta l'ordine dalla "più" alla "meno" espressiva di tale virtù. Tali ordinamenti sono stati validati tramite questionari online con oltre 100 rispondenti per ogni ordinamento. Un ordinamento è stato mantenuto come "verità operativa di base" solo se almeno il 95% dei rispondenti lo confermava (con $N > 100$). Ciò garantisce che la chiave di punteggio si basi sul riconoscimento del senso comune della rilevanza della virtù piuttosto che sull'intuizione degli autori.
• Meccanismo di Punteggio: Le classifiche vengono punteggiate rispetto agli ordinamenti di espressione della virtù mantenuti tramite allineamento di Borda normalizzato.
  • Vengono assegnati pesi di Borda (5, 4, 3, 2, 1) alle classifiche.
  • L'allineamento grezzo $A(d, v)$ è il prodotto scalare dei punteggi di Borda della classificazione osservata e dell'ordinamento della virtù.
  • Il punteggio grezzo è normalizzato su una scala 0–100, dove 55 rappresenta l'accordo perfetto con l'ordinamento della virtù e 35 rappresenta una completa inversione.
  • Il punteggio finale per una virtù è la media di questi punteggi normalizzati su tutti i dilemmi affrontati.
• Protocollo di Valutazione LLM: Gli autori hanno valutato nove famiglie di LLM (GPT, Claude, Gemini, Llama, DeepSeek, Mistral, MiniMax, Grok, Qwen) tramite OpenRouter. Per tenere conto della stocasticità, l'valutazione è stata sequenziale: i modelli sono stati eseguiti più volte (fino a 1 di 10) finché l'ampiezza dell'intervallo di confidenza al 95% per le medie delle virtù non scendeva sotto i 5,0 punti percentuali o la coerenza non raggiungeva il 95%. Il profilo riportato è la media empirica di queste ripetute esecuzioni.

Contributi Chiave

1. Strumento di Classificazione Classificato: Uno strumento innovativo basato sulle virtù aristoteliche che richiede l'ordinamento completo delle risposte anziché la selezione a scelta singola.
2. Criterio di Validazione: Un meccanismo di validazione del senso comune per gli ordinamenti delle risposte basato su una soglia elevata di conferma umana (>95%), che separa la questione di "cosa esprime un'opzione" da "cosa preferisce un modello".
3. Regola di Punteggio Esplicita: Un metodo matematicamente definito (allineamento di Borda normalizzato) per convertire le classifiche in profili di virtù continui.
4. Suite di Profilazione a Esecuzioni Ripetute: Una metodologia che tratta la stocasticità degli LLM come parte della misurazione, riportando medie empiriche e intervalli di coerenza piuttosto che istantanee di singola esecuzione.
5. Implementazione Interattiva: Un sito web basato su browser che calcola i profili localmente, consentendo agli utenti di confrontare le proprie classificazioni con i profili misurati degli LLM.

Risultati
L'valutazione ha prodotto 44 esecuzioni complete di questionario valide su nove famiglie di modelli.

• Coerenza: La coerenza media del rango tra i modelli è stata del 90,3%, indicando un'alta stabilità nel modo in cui i modelli classificano le risposte attraverso le ripetute esecuzioni.
• Profili di Virtù: Il punteggio medio più alto tra tutti i modelli è stato per la Saggezza Pratica (90,4), seguito da Veridicità (82,3), Giustizia (80,5), Coraggio (78,0) e Temperanza (76,9).
• Variabilità: Le maggiori differenze tra i modelli sono state osservate in Coraggio (intervallo 10,95), Temperanza (intervallo 10,26) e Giustizia (intervallo 9,70).
• Specifiche dei Modelli: Qwen ha ottenuto il punteggio più alto nella Saggezza Pratica; MiniMax nella Giustizia; Claude nella Veridicità e nel Coraggio; e GPT nella Temperanza.
• Visualizzazione: I risultati sono visualizzati come grafici a pentagono, evidenziando che mentre i modelli convergono sulla Saggezza Pratica (preferendo spesso opzioni equilibrate), divergono significativamente nelle dimensioni che richiedono intervento (Coraggio) o restrizione (Temperanza).

Significatività e Rivendicazioni
Il documento posiziona VirtueMap come uno strumento descrittivo, non un test di valore morale. La sua principale significatività risiede nello spostamento della valutazione etica dalla ricerca di un'unica etichetta corretta all'identificazione della "disposizione espressa da un modello di scelte".

• Interpretabilità: Il framework fornisce un sistema di coordinate interpretabile dagli esseri umani, consentendo il confronto tra modelli che possono evitare risposte dannose ma differiscono nella loro prioritizzazione dei valori (ad es., divulgazione tramite prompt vs. ritardo cautelativo).
• Limitazioni: Gli autori dichiarano esplicitamente che i risultati non implicano che gli LLM possiedano letteralmente le virtù. I profili sono specifici per l'ambito del questionario (sette dilemmi, cinque virtù) e devono essere considerati come modelli di risposta osservati sotto un protocollo specifico, non come proprietà fisse dei modelli. Gli autori riconoscono potenziali limitazioni riguardanti il bias di conferma nella fase di validazione e la natura di sottoinsieme operativo delle virtù selezionate.

Il lavoro contribuisce alla letteratura sull'IA e l'etica della virtù rendendo le virtù aristoteliche lo spazio di rappresentazione primario per la profilazione del comportamento del modello, piuttosto che trattarle meramente come una lente teorica o una sottocategoria di benchmark morali più ampi.