Fairness Evaluation and Inference Level Mitigation in LLMs

Titel: Fairness Evaluation and Inference Level Mitigation in LLMs

Auteurs: Afrozah Nadeem, Mark Dras, Usman Naseem (Macquarie University, Australië)

---

1. Het Probleem

Grote Taalmodellen (LLMs) vertonen vaak ongewenst gedrag, zoals bias, inconsistentie en de versterking van schadelijke inhoud. Hoewel bestaande methoden zich richten op het verminderen van deze effecten tijdens het trainingsproces (bijv. Supervised Fine-Tuning of RLHF), hebben deze aanzienlijke nadelen:

• Hoge kosten en onomkeerbaarheid: Ze vereisen volledige hertraining, zijn computatierijk en kunnen niet worden aangepast na implementatie.
• Staticiteit: Bestaande inferentie-methode (zoals prompt engineering of statische neuron-pruning) werken vaak statisch. Ze behandelen bias als een vaste eigenschap van een neuron, terwijl bias in werkelijkheid contextafhankelijk is.
• Multi-turn accumulatie: In langdurige gesprekken (multi-turn dialogen) accumuleert bias vaak door "memory carry-over" (herinnering aan eerdere beurten) en contextuele prikkels. Statische methoden onderdrukken neuronen permanent, wat leidt tot semantisch verlies en verminderde coherentie, zelfs wanneer de bias op dat moment niet aanwezig is.

De kernuitdaging is het ontwikkelen van een methode die bias dynamisch kan detecteren en onderdrukken zonder de algemene kennis of coherentie van het model te beschadigen, specifiek voor meertalige en multi-turn dialogen.

2. Methodologie: Dynamic Neuron Suppression

De auteurs stellen een inference-time framework voor genaamd Dynamic Neuron Suppression. Dit systeem werkt zonder het model opnieuw te trainen en manipuleert de interne activaties van het model in real-time. Het proces bestaat uit vier fasen (zoals geïllustreerd in Figuur 3 van het artikel):

1. Gedragsdetectie (Behavioral Detection):

   • Er wordt een bias-score ($S_t$) berekend per beurt in het gesprek.
   • Dit gebeurt via een "LLM-as-a-Judge" protocol (met GPT-3.5-Turbo en Claude als beoordelaars) dat analyseert of de output van het model vooroordelen, stereotypen of schadelijke framing bevat.

2. Identificatie van Bias-Neuronen (Bias Neuron Identification):

   • De bias-score wordt toegeschreven aan interne neuronactivaties met behulp van Integrated Gradients.
   • De auteurs onderscheiden twee soorten bijdragen:
     • $m_{local}$: De relevantie van het neuron voor de huidige beurt.
     • $m_{carry}$: De persistente invloed van eerdere dialogen (memory carry-over).
   • Dit maakt het mogelijk om te onderscheiden tussen tijdelijke contextuele bias en diepgewortelde bias die door het gesprek wordt meegedragen.

3. Concept-gebaseerde Test (Concept-Based Testing):

   • Om te voorkomen dat nuttige kennis wordt verwijderd, wordt een Memory Consistency Probe gebruikt.
   • Deze test meet of een neuron een bias-concept consistent onthoudt of dat het "vergeten" is. Dit voorkomt dat neuronen die eigenlijk nuttige semantische informatie dragen, onnodig worden onderdrukt.

4. Dynamische Neuron Maskering (Dynamic Neuron Masking):

   • In plaats van neuronen permanent te verwijderen (pruning), worden ze tijdelijk afgeschermd (gated).
   • Een gating-coëfficiënt $g^{(t)}_l = \sigma(\alpha S_t + \beta C_t)$ bepaalt hoe sterk een neuron wordt onderdrukt, gebaseerd op de huidige bias-score ($S_t$) en de memory-consistentie-score ($C_t$).
   • Als de bias afneemt, wordt de masking opgeheven, waardoor het model zijn volledige capaciteit terugkrijgt. Dit zorgt voor een omkeerbaar en adaptief mechanisme.

3. Belangrijkste Bijdragen

• Dynamische, Omkeerbare Framework: Een inference-time oplossing die bias detecteert en selectief neuronen activeert/deactiveert zonder retraining. Het behandelt bias als een dynamisch proces dat evolueert met de context, niet als een statische eigenschap.
• Multi-turn en Meertalige Evaluatie: Het framework is getest op meertalige datasets (PCT in Urdu, Punjabi, Sindhi, Pashto, Balochi) en multi-turn benchmarks (FairMT-Bench, BBQ, F2Bench). Het lost het probleem op van bias-accumulatie in lange gesprekken.
• Behoud van Nut en Coherentie: In tegenstelling tot statische pruning, behoudt deze methode de coherentie, geloofwaardigheid (faithfulness) en relevantie van het antwoord, omdat onderdrukking alleen plaatsvindt wanneer bias daadwerkelijk wordt waargenomen.
• Efficiëntie: De methode voegt slechts een minimale overhead toe (ongeveer 1,3 ms per beurt) en vereist geen extra training of grote rekenkracht.

4. Resultaten

De auteurs hebben het framework getest op modellen zoals Mistral-7B en DeepSeek-Chat-7B en vergeleken met baselines zoals prompt engineering, output filtering, vector steering en statische neuron-pruning.

• Bias-Reductie: De voorgestelde methode (Dynamic Neuron Masking) presteerde consequent beter dan alle baselines.
  • In de PCT-dataset (politieke bias) werd de bias-score voor Mistral in het Engels verlaagd van 46,7 (baseline) naar 17,3.
  • In de FairMT-Bench (multi-turn bias) werden significante verbeteringen geboekt, bijvoorbeeld een daling van 42,1 naar 21,1 voor "Anaphora" taken bij Mistral.
• Behoud van Kwaliteit: De methode verminderde bias aanzienlijk zonder de "Knowledge Retention" (kennisbehoud) of "Coherence" (samenhang) te schaden. Statistische pruning leidde vaak tot kortere, minder specifieke antwoorden, terwijl dynamische masking de kwaliteit behield.
• Meertaligheid: De methode bleek effectief in lage-resource talen (zoals Sindhi en Pashto), waar andere methoden vaak faalden of de bias niet volledig onderdrukten.
• Ablatie Studies: Experimenten toonden aan dat het verwijderen van enige component (zoals de memory probe of de dynamische gating) leidde tot een verslechtering van de prestaties, wat bevestigt dat het volledige, dynamische proces noodzakelijk is.

5. Betekenis en Conclusie

Dit onderzoek markeert een verschuiving in de aanpak van bias in LLMs: van statische, irreversibele ingrepen naar dynamische, contextbewuste mitigatie.

• Nieuw Paradigma: Het toont aan dat bias in conversatie-LLMs vaak een cumulatief fenomeen is dat door dialogue history wordt gevoed. Een oplossing moet daarom "geheugenbewust" zijn.
• Praktische Toepasbaarheid: Omdat de methode werkt tijdens de inferentie (geen retraining) en omkeerbaar is, kan deze direct worden ingezet in bestaande conversatie-interfaces om real-time fairness te garanderen.
• Toekomstperspectief: Hoewel de resultaten veelbelovend zijn, wijzen de auteurs op beperkingen, zoals de noodzaak van menselijk toezicht en de uitbreiding naar andere domeinen (zoals juridisch of medisch).

Kortom, de auteurs bieden een robuust, lichtgewicht framework dat de balans vindt tussen het elimineren van schadelijke bias en het behoud van de intelligentie en coherentie van grote taalmodellen in complexe, multi-turn scenario's.