LLMs Are Not a Silver Bullet: A Case Study on Software Fairness

Titolo

LLM non sono una soluzione miracolosa: Uno studio di caso sulla equità del software

1. Il Problema

L'equità (fairness) è un requisito critico per i sistemi software ad alto impatto che coinvolgono esseri umani, specialmente in settori sensibili come la valutazione del credito, l'assunzione e la giustizia penale. Le violazioni dell'equità possono portare a gravi conseguenze sociali e legali.
Storicamente, la ricerca sull'attenuazione dei bias (bias mitigation) nel campo dell'Ingegneria del Software (SE) si è concentrata su dati tabulari utilizzando metodi di Machine Learning (ML) tradizionali. Tuttavia, con l'ascesa rapida dei Large Language Models (LLM), gli ingegneri software stanno iniziando a esplorare l'uso degli LLM per mitigare i bias nello stesso contesto tabulare, spesso convertendo i dati in descrizioni testuali e utilizzando l'apprendimento contestuale (in-context learning).
Il problema centrale è che non è chiaro se i metodi basati sugli LLM offrano vantaggi reali rispetto ai metodi ML tradizionali. La mancanza di confronti diretti e sistematici lascia gli ingegneri senza linee guida chiare per l'adozione pratica. Inoltre, studi precedenti sugli LLM riportano risultati promettenti, ma potrebbe esserci un divario tra questi risultati e le prestazioni in scenari reali.

2. Metodologia

Gli autori hanno condotto uno studio empirico su larga scala per confrontare i metodi di attenuazione dei bias basati su ML e quelli basati su LLM.

• Dataset: Sono stati utilizzati tre dataset reali e ampiamente adottati (Adult, Compas, Credit) per definire sei compiti di valutazione dell'equità basati su attributi sensibili (sesso, razza, età).
• Metodi ML (Paradigma di riferimento):
  • Sono stati valutati 8 metodi rappresentativi di mitigazione del bias ML, categorizzati in: pre-processing (es. FairMask, LTDD), in-processing (es. ADV), post-processing (es. EOP, ROC) e metodi ensemble (es. MAAT, MirrorFair).
  • Questi metodi sono stati testati su 4 modelli ML classici: Regressione Logistica (LR), Random Forest (RF), Support Vector Machine (SVM) e Deep Neural Network (DNN).
• Metodi LLM:
  • Sono stati valutati 8 metodi basati su LLM, inclusi il prompting zero-shot e varie strategie di In-Context Learning (ICL) (es. selezione casuale, manipolazione delle etichette, controllo della distribuzione, ricerca di dimostrazioni consapevoli dell'equità come FCG).
  • Il modello principale utilizzato è GPT-4o-mini, scelto per il suo rapporto costo-efficacia.
• Configurazione Sperimentale:
  • Confronto diretto in un ambiente sperimentale unificato.
  • Utilizzo di distribuzioni di dati di test sbilanciate (realistiche) invece di quelle bilanciate artificialmente.
  • Valutazione su due dimensioni: Equità (SPD, AOD, EOD) e Prestazioni Predittive (Accuracy, F1-score, Precision, Recall).
  • Analisi statistica (test di Mann-Whitney U) per determinare la significatività delle differenze.
• Analisi Aggiuntiva (RQ4):
  • Esplorazione del Fine-Tuning Supervisionato su tutto il set di dati di addestramento per vedere se l'accesso completo ai dati (invece di solo poche dimostrazioni) migliora le prestazioni degli LLM.
  • Confronto con modelli LLM più potenti (GPT-5, Gemini-2.5, DeepSeek, Qwen3).

3. Risultati Chiave

1. Superiorità del ML Tradizionale (RQ1 & RQ2):

   • I metodi basati su ML superano costantemente i metodi basati su LLM sia nell'equità che nelle prestazioni predittive.
   • In media, i metodi ML riducono i bias (SPD, EOD, AOD) del 48,3% - 59,6% in più rispetto agli LLM.
   • Le prestazioni predittive sono superiori: +11,1% di Accuracy, +9,3% di F1-score.
   • Questa tendenza persiste anche quando si utilizzano modelli LLM più potenti e avanzati (RQ2).

2. Sensibilità alle Configurazioni di Valutazione (RQ3):

   • Una delle ragioni per cui studi precedenti sugli LLM riportavano risultati favorevoli è l'uso di set di test artificialmente bilanciati.
   • Quando si passa a distribuzioni di test realistiche e sbilanciate, i vantaggi di equità degli LLM crollano drasticamente.
   • L'uso di dati bilanciati può inflazionare le metriche di equità del 36,2% - 138,4%, creando un'illusione di efficacia che non si generalizza al mondo reale.

3. Limiti del Fine-Tuning (RQ4):

   • Il Fine-Tuning supervisionato su tutto il set di dati di addestramento migliora le prestazioni degli LLM rispetto all'ICL (In-Context Learning), riducendo significativamente i bias.
   • Tuttavia, anche con il fine-tuning, gli LLM non superano in modo significativo i metodi ML tradizionali in termini di equità (nessun guadagno statisticamente significativo) e lo fanno solo in una minoranza dei casi per le prestazioni predittive (37,5%).
   • Il fine-tuning introduce inoltre costi monetari e tempi di addestramento aggiuntivi, limitando ulteriormente il suo vantaggio pratico.

4. Contributi Principali

• Studio Empirico su Larga Scala: Il primo confronto diretto e sistematico tra i metodi di mitigazione dei bias ML e LLM su dataset tabulari reali.
• Analisi delle Discrepanze: Dimostrazione che i risultati favorevoli riportati in letteratura sugli LLM sono spesso dovuti a impostazioni di valutazione non realistiche (dati bilanciati) e non alla superiorità intrinseca del modello.
• Valutazione del Fine-Tuning: Evidenza che, nonostante il fine-tuning aiuti, non è sufficiente a colmare il divario con i metodi ML tradizionali in termini di equità e costo-efficacia.
• Riproducibilità: Rilascio di un pacchetto di riproduzione open-source con tutti gli script e i dati utilizzati.

5. Significato e Implicazioni

• Gli LLM non sono una "Soluzione Miracolosa" (Silver Bullet): Per le applicazioni tabulari critiche per l'equità, non si dovrebbe assumere che gli LLM sostituiscano automaticamente i metodi ML tradizionali. La selezione del metodo deve essere guidata da evidenze empiriche e specifica per il compito.
• Importanza delle Valutazioni Realistiche: La ricerca futura e la pratica industriale devono evitare di valutare i sistemi di equità su dati artificialmente bilanciati, poiché ciò porta a conclusioni fuorvianti. Le valutazioni devono riflettere le distribuzioni reali e sbilanciate dei dati.
• Valutazione Cross-Paradigma: È essenziale confrontare nuovi approcci (come gli LLM) con i paradigmi consolidati (ML tradizionale) per ottenere una visione completa della loro efficacia, evitando ottimismi eccessivi basati su confronti interni a un solo paradigma.

In sintesi, il paper avverte la comunità dell'Ingegneria del Software di non adottare acriticamente gli LLM per la mitigazione dei bias nei dati tabulari, sottolineando che i metodi ML tradizionali rimangono più efficaci, robusti ed economici per questo scopo specifico.