How Does Differential Privacy Affect Social Bias in LLMs? A Systematic Evaluation

Technische Samenvatting: Hoe Beïnvloedt Differentiële Privacy Sociale Bias in LLM's? Een Systematische Evaluatie

Probleemstelling
Grote Taalmodellen (LLM's) die zijn getraind op web-schaal corpora, lopen het risico om gevoelige trainingsdata te memoriseren, wat privacybedreigingen met zich meebrengt. Differentiële Privacy (DP), specifiek via DP-SGD, is naar voren gekomen als een principieel kader om de invloed van individuele datapunten tijdens het trainen te beperken, waardoor memorisatie wordt verminderd. De relatie tussen het beperken van memorisatie door DP en het mitigeren van sociale bias in LLM's blijft echter slecht begrepen. Hoewel DP de afhankelijkheid van stereotiepe associaties zou kunnen verzwakken door de invloed van specifieke trainingsvoorbeelden te dempen, kan de tijdens het trainen geïntroduceerde ruis ook onvoorspelbaar de geleerde representaties vervormen. Bestaand onderzoek heeft deze interactie voornamelijk onderzocht in fine-tuning-scenario's, waardoor er een gat bestaat in het begrijpen hoe bias wordt gevormd wanneer DP wordt afgedwongen tijdens de pretrainingsfase zelf.

Methodologie
De auteurs presenteren een systematische evaluatie van sociale bias in een voorgetraind LLM dat is getraind met DP-SGD, en vergelijken dit met niet-DP-baselines. De studie maakt gebruik van VaultGemma-1B, het enige publiek beschikbaar LLM dat volledig is voorgetraind met DP-SGD (privacybudget $\epsilon = 2$), als het DP-model. Dit wordt vergeleken met twee niet-DP-baselines: Gemma-3-1B-PT (gelijkend op het DP-model qua grootte) en Gemma-2-2B (gelijkend op de trainingsfamilie maar groter).

Om een uitgebreide beoordeling te waarborgen, omvat de evaluatie vier complementaire paradigma's:

1. Zinsbeoordeling: Meet bias via gecontroleerde waarschijnlijkheidsvergelijkingen met behulp van datasets zoals StereoSet, WinoBias en CrowS-Pairs. De metrieken omvatten Language Model Score (LMS), Stereotype Score (SS) en Idealized Context Association Test (ICAT).
2. Tekstvoltooiing: Legt bias vast in open-ended generatie met behulp van BOLD en HolisticBias. De evaluatie richt zich op regard, sentiment en toxicity, waarbij biaskloven tussen demografische groepen worden berekend.
3. Tabulaire Classificatie: Evalueert groepsrechtvaardigheid op tekst-geserialiseerde tabulaire data (Adult Census Income, COMPAS, German Credit) met behulp van In-Context Learning (ICL). De studie test vier ICL-strategieën (Random, Balanced, Instruction, Removal) om model-intrinsieke bias te isoleren van prompt-geïnduceerde bias.
4. Vraagbeantwoording: Beoordeelt bias via meerkeuzevragen met ambiguïteit in de context met behulp van de BBQ-dataset, waarbij de nauwkeurigheid wordt gemeten op onduidelijk gemaakte contexten en Stereotype Scores op ambiguie.

Belangrijkste Resultaten
De studie onthult een significante discrepantie tussen bias op logit-niveau en bias op output-niveau, waarbij de resultaten aanzienlijk variëren per evaluatieparadigma:

• Zinsbeoordeling: DP vermindert consequent stereotiepe bias. Het VaultGemma-1B-model behaalde lagere Stereotype Scores (SS) en hogere ICAT-scores in vergelijking met niet-DP-baselines, met name in taken die een beroep doen op wereldkennis (bijvoorbeeld WinoBias Type 1). Dit suggereert dat DP het vertrouwen van het model verzwakt in het toekennen van hogere waarschijnlijkheden aan stereotiepe voltooiingen.
• Tekstvoltooiing: De voordelen van DP die bij zinsbeoordeling werden waargenomen, generaliseerden niet betrouwbaar. Hoewel het DP-model kleinere biaskloven toonde in regard en toxicity voor bepaalde demografische groepen, waren de resultaten gemengd over metrieken en datasets. Bijvoorbeeld, niet-DP-modellen presteerden soms beter dan het DP-model in sentiment-biaskloven.
• Tabulaire Classificatie: Er werd geen consistent voordeel voor het DP-model waargenomen. De prestaties van alle modellen bleven dicht bij de random-baseline (kansniveau), en rechtvaardigheidsmetrieken werden sterk beïnvloed door de keuze van de in-context learning-strategie in plaats van de privacystatus van de pretraining van het model. Dit geeft aan dat voorgetrainde basismodellen moeite hebben om voorspellende signalen te extraheren uit gestructureerde tabulaire demonstraties via ICL.
• Vraagbeantwoording: Op de BBQ-benchmark vertoonden alle modellen nauwkeurigheid dicht bij de random-baseline en SS-waarden dicht bij 50. De auteurs schrijven dit toe aan het onvermogen van basismodellen (zonder instructietuning) om betrouwbaar het meerkeuzetakenformaat te volgen, waardoor de evaluatie van intrinsieke bias via deze op generatie gebaseerde formulering inefficiënt is.

Belangrijkste Bijdragen

1. Gecentraliseerde Evaluatie: Dit is het eerste werk dat systematisch het effect van differentiële privé pretraining op sociale bias in generatieve LLM's evalueert over vier distincte paradigma's.
2. Paradigma-discrepantie: De auteurs demonstreren dat terwijl DP stereotiepe bias vermindert bij zinsbeoordeling (logit-niveau), deze verbetering niet consequent overdraagt naar tekstvoltooiing, tabulaire classificatie of vraagbeantwoording (output-niveau).
3. ICL-gevoeligheid: De studie benadrukt dat resultaten van tabulaire classificatie zeer gevoelig zijn voor in-context learning-strategieën, wat hun bruikbaarheid beperkt voor het isoleren van model-intrinsieke bias in voorgetrainde basismodellen.
4. Beperkingen van Evaluatie: Het werk onderstreept dat conclusies over sociale bias aanzienlijk variëren afhankelijk van het evaluatieparadigma, wat beperkingen blootlegt in het vertrouwen op single-benchmark-beoordelingen.

Betekenis en Aanspraken
Het artikel beweert dat het verminderen van memorisatie via DP niet noodzakelijkerwijs onrechtvaardigheid in alle contexten vermindert. De bevindingen benadrukken een kritieke disconnectie: het verzwakken van stereotiepe associaties op logit-niveau garandeert geen eerlijke outputs in open-ended generatie of beslissingsnemen-taken. Bijgevolg betogen de auteurs dat privacybehoudend trainen op zichzelf onvoldoende is om eerlijke modeloutputs te waarborgen. Zij benadrukken de noodzaak van multi-paradigma-evaluatie bij het beoordelen van rechtvaardigheid in LLM's, aangezien een enkele evaluatiemethode een onvolledig of misleidend beeld kan geven van het gedrag van een model. De studie concludeert dat privacy en rechtvaardigheid mogelijk fundamenteel verschillende interventies vereisen, aangezien de mechanismen die memorisatie verminderen, sociale bias niet uniform mitigeren over alle taaktypen.