Auditing LLMs for Algorithmic Fairness in Casenote-Augmented Tabular Prediction

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker overwogen voor voorspellende taken in maatschappelijk gevoelige domeinen, zoals sociale dienstverlening. Echter, hun eigenschappen op het gebied van algoritmische eerlijkheid in deze context zijn slecht begrepen. Traditionele tabulaire voorspellingssystemen vertonen vaak ongelijke fouten voor verschillende beschermde groepen (bijv. op basis van ras of geslacht) door verschillen in groepsgrootte, heterogeniteit of basisvoorkomens.

De auteurs onderzoeken of het gebruik van LLMs voor voorspellingen, aangevuld met ongestructureerde data (zoals casenotes van straatwerkers voor daklozen), nieuwe vormen van bias introduceert of bestaande bias verergert. Het specifieke gebruiksscenario is het voorspellen van de hoogste behaalde huisvestingsniveaus (van straat tot permanente ondersteunde huisvesting) voor cliënten van een non-profitorganisatie. De uitdaging ligt in het combineren van gestructureerde tabulaire data met ongestructureerde tekstuele casenotes, waarbij rekening moet worden gehouden met historische ongelijkheden in huisvestingsbeslissingen.

Methodologie

De studie voert een empirische audit uit van LLM-based tabulaire classificatie op een real-world dataset van 471 cliënten (2019–2021).

• Taak: Multiclass classificatie van huisvestingsniveaus ($Y \in \{0, 1, 2, 3\}$).
• Data:
  • Tabulaire covariaten: Demografische gegevens, contactgeschiedenis, en binaire indicatoren afgeleid van casenotes.
  • Casenotes: Ongestructureerde tekstuele notities van straatwerkers, die zijn samengevat tot korte, geredigeerde samenvattingen.
• Modellen:
  • Llama 3-modellen (17B en 70B parameters) getest in Zero-Shot en Fine-Tuned settings.
  • Vergelijking met een Random Forest baseline (alleen op tabulaire data).
• Augmentatiestrategieën:
  1. Toevoegen van casenote-samenvattingen aan de prompt.
  2. Toevoegen van feature-importance cues (het benadrukken van de meest voorspellende variabele: "maximale huisvesting voor 2019").
• Eerlijkheidsmetrieken: Omdat het een multiclass-probleem is, gebruiken de auteurs multiclass extensies van:
  • Statistical Parity (SP): Meet of voorspellingen onafhankelijk zijn van groepsaansluiting.
  • Equality of Opportunity (EoO): Meet of groepen gelijke True Positive Rates (TPR) hebben voor elke klasse.

Belangrijkste Bijdragen

1. Audit van LLM-prestaties: Eerste evaluatie van Llama 17B/70B modellen op een sociaal-werk gerelateerde huisvestingsvoorspelling, gebaseerd op echte casenotes.
2. Analyse van Trade-offs: Inzicht in de relatie tussen nauwkeurigheid en eerlijkheid, waarbij wordt aangetoond dat fine-tuning de nauwkeurigheid kan verhogen maar subgroup-dispariteiten kan versterken.
3. Effect van Tekstuele Augmentatie: Onderzoek naar hoe samenvattingen van ongestructureerde data de eerlijkheid beïnvloeden, zelfs als ze de nauwkeurigheid niet verbeteren.
4. Feature Importance Impact: Evaluatie van het effect van het expliciet benadrukken van historische voorspellende kenmerken op de eerlijkheid van het model.

Resultaten

1. Prestaties zonder Samenvattingen:

• Fine-tuning: Het fine-tuned 70B-model behaalde de hoogste nauwkeurigheid (70,2%), maar dit ging ten koste van de eerlijkheid. De EoO-metrieken (ongelijkheid in kansen) verslechterden aanzienlijk ten opzichte van zero-shot modellen.
• Zero-Shot: Zowel 17B als 70B presteerden significant slechter qua nauwkeurigheid dan het fine-tuned model, maar vertoonden minder extreme eerlijkheidsdispariteiten.
• Conclusie: Er is een duidelijke trade-off: fine-tuning verbetert de nauwkeurigheid maar versterkt bestaande bias in de data (vooral ten koste van minderheden zoals vrouwen, gezien de scheve geslachtsverdeling in de dataset).

2. Prestaties met Casenote-Samenvattingen:

• Zero-Shot: Het toevoegen van samenvattingen verbeterde de nauwkeurigheid van zero-shot modellen aanzienlijk (tot +13,9%), waarschijnlijk omdat de context helpt bij het begrijpen van de taak.
• Fine-Tuned: Voor het fine-tuned model had de toevoeging van samenvattingen een beperkt effect op de nauwkeurigheid (soms zelfs een lichte daling), maar verbeterde het de eerlijkheid aanzienlijk. De EoO-mean daalde van 0,071 (zonder samenvatting) naar 0,021.
• Modelgrootte: Het 17B-model presteerde in zero-shot setting beter met samenvattingen dan het 70B-model (minder gevoelig voor ruis), maar na fine-tuning overtrof het 70B-model het 17B-model zowel qua nauwkeurigheid als eerlijkheid.

3. Vergelijking met Random Forest:

• De Random Forest baseline behaalde een redelijke nauwkeurigheid (61,2%) maar had de slechtste eerlijkheidsmetrieken (hoogste SP en EoO-dispariteiten).
• Het fine-tuned 70B-model met samenvattingen overtrof de Random Forest zowel in nauwkeurigheid (70,2% vs 61,2%) als in eerlijkheid (lagere EoO-dispariteiten). Dit toont het unieke voordeel van LLMs: het kunnen integreren van ongestructureerde context om bias te mitigeren die in puur tabulaire modellen blijft bestaan.

4. Impact van Feature Importance Cues:

• Zero-Shot: Het expliciet benadrukken van de belangrijkste feature ("maximale huisvesting voor 2019") verbeterde de nauwkeurigheid, maar verergerde de eerlijkheidsdispariteiten (hogere EoO). Dit kenmerk is waarschijnlijk gecorreleerd met historische ongelijkheden (ras/geslacht).
• Fine-Tuned: Voor het fine-tuned model was het toevoegen van deze cue minder nuttig voor nauwkeurigheid en kon het de interne balans van het model verstoren, wat leidde tot verslechterde eerlijkheid, vooral wanneer samenvattingen ook aanwezig waren.

5. Geslachts- en Rasdispariteiten:

• Vrouwen hadden consequent lagere True Positive Rates (TPR) dan mannen, vooral in fine-tuned modellen, waarschijnlijk door de onbalans in de dataset (4:1 man/vrouw).
• Samenvattingen leken deze geslachtskloof te verkleinen.
• Rasdispariteiten waren minder uitgesproken dan geslachtsdispariteiten, mogelijk door een uniformere verdeling van de steekproef over rasgroepen.

Significantie en Conclusies

De studie concludeert dat het gebruik van LLMs voor voorspellingen in sociale dienstverlening verantwoord kan zijn, mits zorgvuldig geaudit.

1. Geen extra tekstuele bias: De geredigeerde, korte casenotes introduceerden geen nieuwe algoritmische bias die verder ging dan de bestaande bias in de tabulaire data.
2. Fine-tuning risico's: Hoewel fine-tuning de nauwkeurigheid maximaliseert, kan het historische ongelijkheden versterken als de trainingsdata onbalans bevat.
3. De kracht van Samenvattingen: Het gebruik van LLMs om ongestructureerde casenotes te vertalen naar samenvattingen kan de eerlijkheid verbeteren, zelfs als de nauwkeurigheid niet stijgt. LLMs kunnen nuance in tekst gebruiken om voorspellingen voor achtergestelde groepen te "gladstrijken".
4. Voorzichtigheid met Feature Cues: Het expliciet benadrukken van historische voorspellers in prompts kan de eerlijkheid ondermijnen, omdat dit bestaande systemische bias versterkt.

Aanbeveling: Voor het inzetten van LLMs in hoog-risico sociale settings is het cruciaal om niet alleen te focussen op nauwkeurigheid, maar ook op eerlijkheidsmetrieken. Een combinatie van fine-tuning met casenote-samenvattingen biedt een veelbelovende route om zowel de prestaties als de eerlijkheid te verbeteren, zonder de implementatiebelasting te verhogen.