Sintesi Tecnica: Equità delle Spiegazioni nei Modelli Linguistici di Grande Dimensione

1. Enunciato del Problema

Sebbene esista una vasta ricerca sull'equità a livello decisionale nei Modelli Linguistici di Grande Dimensione (LLM) — focalizzata su come gli attributi protetti correlino con esiti avversi — esiste un divario critico riguardo all'equità delle spiegazioni. Questo documento definisce l'equità delle spiegazioni come la variazione sistematica nella qualità, profondità, tono e sofisticazione linguistica delle giustificazioni fornite dagli LLM attraverso diversi gruppi demografici, anche quando la decisione sottostante è identica.

Gli autori sostengono che un modello può produrre decisioni equilibrate spiegandole in modo disuguale (ad esempio, offrendo giustificazioni elaborate e rispettose a un gruppo e risposte brevi e sprezzanti a un altro). Questa disparità è distinta dall'equità decisionale e riveste un'urgenza normativa significativa, specialmente alla luce della Legge Europea sull'Intelligenza Artificiale (Articolo 13), che impone che i sistemi di IA ad alto rischio forniscano giustificazioni trasparenti sufficienti affinché gli individui possano comprendere e contestare le decisioni. Se la qualità della spiegazione è sistematicamente inferiore per i gruppi minoritari, la conformità al "diritto alla spiegazione" è compromessa.

2. Metodologia

2.1 Design Sperimentale

Lo studio adotta un design empirico controllato utilizzando la sostituzione dei nomi all'interno di template di prompt, una metodologia standard nella ricerca di audit in stile corrispondenza.

• Dominî: Sono stati selezionati quattro domini decisionali con conseguenze rilevanti: Assunzioni, Triage Medico, Valutazione del Credito e Sentenza Legale.
• Template: Sono stati costruiti 80 template di prompt (20 per dominio). In ogni coppia, il contenuto dello scenario (qualifiche, circostanze, esito decisionale) è mantenuto costante, mentre l'attributo demografico (nome) è variato per rappresentare diversi gruppi (Genere, Razza, Età, Religione e identità Intersezionali).
• Modelli: Sono stati valutati cinque LLM: GPT-4.1, Claude Sonnet, LLaMA 3.3 70B, GPT-OSS 120B e Qwen3 32B.
• Volume Dati: Fino a 400 coppie di prompt sono state valutate su tutti i modelli. Per la metrica Spiegazione Collegata alla Decisione, è stata elicita una spiegazione contrastiva per ogni prompt (giustificando la decisione opposta nello stesso scenario) per calcolare proxy di fedeltà.

2.2 La Tassonomia dell'Equità delle Spiegazioni (EFT)

Il documento introduce la Tassonomia dell'Equità delle Spiegazioni (EFT), un quadro pragmatico composto da cinque dimensioni formalmente definite e operazionalizzabili. Queste dimensioni sono misurabili tramite metriche black-box senza accesso agli interni del modello:

1. Disparità di Verbosità: Misurata dalla lunghezza in parole e dalla profondità di elaborazione (numero di ragioni semanticamente distinte identificate tramite clustering di embedding di frasi).
2. Disparità di Sentimento: Misurata dal punteggio composto VADER per valutare la valenza emotiva (positiva, negativa, neutra).
3. Disparità di Attenuazione Epistemica: Misurata dallo Score di Densità di Attenuazione (HDS), una metrica basata su lessico ponderato che quantifica la frequenza di marcatori di incertezza (es. "potrebbe", "possibilmente", "incerto").
4. Disparità di Spiegazione Collegata alla Decisione: Misurata dal Proxy di Fedeltà della Spiegazione (EFP). Euristicamente, questo calcola la dissimilarità strutturale (tramite distanza coseno degli embedding) tra una spiegazione per una decisione ($d$) e una spiegazione per la decisione opposta ($\neg d$) nello stesso scenario. Un EFP più basso indica che la spiegazione è invariante rispetto alla decisione, suggerendo una mancanza di ragionamento genuino.
5. Disparità di Complessità Lessicale: Misurata dal Livello Scolastico Flesch-Kincaid (FKGL), dal Rapporto Tipo-Token (TTR) e dalla densità di termini di dominio.

2.3 Analisi Statistica

Le disparità sono state quantificate utilizzando le differenze assolute tra coppie demografiche. La significatività statistica è stata testata utilizzando il test dei ranghi con segno di Wilcoxon per un campione, con le dimensioni dell'effetto calcolate tramite la $d$ di Cohen. I confronti multipli sono stati corretti utilizzando la procedura Benjamini-Hochberg (BH).

3. Contributi Chiave

1. Tassonomia Operativa: La definizione dell'EFT, fornendo cinque dimensioni distinte e misurabili della disparità a livello di spiegazione.
2. Metriche Innovative: L'introduzione di HDS ed EFP come euristiche pratiche e black-box per l'audit dell'equità delle spiegazioni senza richiedere pesi del modello o accesso interno.
3. Benchmark Empirico: Uno studio su larga scala su 80 template di prompt, 4 domini e 5 LLM, con risultati che mostrano disparità sistematiche su tutte le metriche.
4. Analisi di Mitigazione: Una valutazione di due interventi di prompting ("Cieco" e "Equità") sui modelli con la disparità più alta per determinare se le istruzioni a livello di deployment possano risolvere questi problemi.

4. Risultati Chiave

4.1 Esistenza delle Disparità (RQ1)

Tutte le otto metriche EFT (inclusi i sottometri per la complessità lessicale) hanno mostrato disparità statisticamente significative su tutte le coppie di prompt ($p_{BH} < 10^{-62}$). Le dimensioni dell'effetto ($d$ di Cohen) sono variate da piccole a grandi:

• Effetti Grandi: Complessità Lessicale (FKGL, $d=0.856$) e Attenuazione Epistemica (HDS, $d=0.810$).
• Effetti Medi: Profondità di elaborazione, Sentimento, TTR, Densità di Dominio ed EFP ($d \approx 0.57–0.77$).
• Effetti Piccoli: Verbosità (Lunghezza in parole, $d=0.457$).
  La distribuzione delle disparità è stata asimmetrica a destra, il che significa che, sebbene le disparità medie fossero moderate, specifiche coppie demografiche hanno mostrato disuguaglianze estreme.

4.2 Assi Demografici (RQ2)

Le disparità variavano in base all'asse demografico ma non seguivano un unico modello uniforme di danno:

• Religione: Ha mostrato la disparità media più alta ($d=0.822$), in particolare nella profondità di elaborazione e nella complessità lessicale, sebbene la dimensione del campione per questo asse fosse piccola ($n=40$).
• Direzionalità: La direzione della disparità non era uniforme. Ad esempio, i candidati con nomi musulmani hanno ricevuto spiegazioni significativamente più brevi e meno elaborate rispetto ai candidati con nomi cristiani. Al contrario, le candidate donne hanno ricevuto spiegazioni più lunghe e elaborate rispetto ai candidati uomini, sebbene ciò non si correlasse con un sentimento più positivo.

4.3 Varianza del Modello (RQ3)

La scelta del modello era fortemente associata all'entità della disparità:

• Qwen3 32B ha mostrato le disparità più elevate, con disparità di verbosità 5,9 volte maggiori rispetto a LLaMA 3.3 70B. Ha frequentemente prodotto output minimalisti per un gruppo demografico generando risposte dettagliate per un altro in scenari identici.
• GPT-OSS 120B ha mostrato la disparità più alta nel proxy EFP, in particolare nel dominio legale, suggerendo che le sue spiegazioni erano meno sensibili ai cambiamenti decisionali per certi gruppi.
• GPT-4.1 e LLaMA 3.3 70B sono stati i modelli più equi, classificandosi al 4° e 5° posto, sebbene abbiano comunque mostrato disparità statisticamente significative.

4.4 Mitigazione tramite Prompting (RQ4)

Due interventi di prompting ("Cieco" e "Equità") sono stati testati su Qwen3 32B e GPT-OSS 120B:

• Proxy EFP: Entrambi gli interventi hanno portato a riduzioni significative (78–95%) nella disparità EFP. Tuttavia, gli autori notano che questo è ambiguo; potrebbe indicare una maggiore coerenza nella sensibilità decisionale o semplicemente spiegazioni uniformemente generiche.
• Dimensioni Stilistiche: Nessuno degli interventi ha prodotto riduzioni significative nella verbosità, nel sentimento, nell'attenuazione o nella complessità lessicale. In alcuni casi, le disparità sono aumentate (sebbene non in modo significativo).
• Conclusione: Il prompting da solo è insufficiente per risolvere le disuguaglianze stilistiche nelle spiegazioni.

5. Significato e Affermazioni

Il documento afferma che l'equità delle spiegazioni è una dimensione distinta, misurabile e legalmente consequenziale della sicurezza dell'IA, separata dall'equità decisionale.

• Implicazioni Normative: I risultati suggeriscono che le organizzazioni potrebbero soddisfare la "lettera" della Legge Europea sull'Intelligenza Artificiale (fornendo una spiegazione) fallendo però il suo "spirito" (fornendo una spiegazione di qualità e accessibilità pari). L'EFT offre un quadro di audit riproducibile e black-box per rilevare queste asimmetrie prima della finestra di applicazione del 2026.
• Linee Guida per il Deployment: Lo studio identifica la selezione del modello come l'intervento a più alto leverage. Si consiglia ai professionisti che semplici strategie di prompting non possono risolvere le disparità stilistiche; invece, colmare queste lacune richiede probabilmente interventi a livello di addestramento (ad esempio, dati contrastivamente bilanciati o fine-tuning mirato).
• Limitazioni: Gli autori dichiarano esplicitamente che l'EFP è un proxy euristico che richiede validazione umana, che lo studio si basa su metriche automatizzate senza verità fondamentale valutata da umani e che il design di sostituzione dei nomi cattura segnali correlazionali piuttosto che attribuzione causale a specifici attributi demografici.

In sintesi, il documento stabilisce che gli LLM giustificano sistematicamente le decisioni in modo diverso in base alla cornice demografica, che queste disparità sono robuste attraverso modelli e domini e che non possono essere facilmente risolte tramite prompting a livello di deployment, rendendo necessaria una transizione verso rimedi a livello di addestramento e audit automatizzati rigorosi.