Position: LLMs Must Use Functor-Based and RAG-Driven Bias Mitigation for Fairness

Dit position paper pleit voor een tweeledige aanpak om bias in grote taalmodellen te bestrijden door categorietheoretische functors te combineren met retrieval-augmented generation (RAG) voor zowel structurele als contextuele rechtvaardigheid.

De kern

Stel je voor dat een Grote Taalmodel (LLM) zoals een enorm, slim, maar soms vooroordeelachtig kind is dat alles heeft gelezen wat er ooit op internet is geschreven. Omdat het internet vol zit met oude vooroordelen (bijvoorbeeld: "verpleegsters zijn vrouwen" of "bedrijfsleiders zijn mannen"), heeft dit kind die patronen ook in zijn hoofd opgeslagen. Als je het vraagt om een baan te bedenken, geeft het misschien automatisch "verpleegster" voor een vrouw en "directeur" voor een man, zonder na te denken.

De auteurs van dit paper, Ravi, Utkarsh en Agoritsa, zeggen: "We kunnen dit kind niet alleen vertellen 'wees aardig' of de boeken waaruit het geleerd heeft zomaar weggooien. We moeten de manier waarop het denkt en de manier waarop het kijkt fundamenteel veranderen."

Ze stellen een dubbele oplossing voor, die ze vergelijken met een architect en een bibliothecaris.

1. De Architect: De "Functor" (De wiskundige herschikking)

Stel je de gedachten van het model voor als een enorme, rommelige stad met straten. In deze stad lopen er verkeerde wegen die mensen direct naar vooroordelen leiden. Bijvoorbeeld, een straat die "vrouw" direct verbindt met "huishouden" en "man" met "baas".

• Het probleem: Normale methoden proberen gewoon de verkeerde borden op die straten te verwijderen. Maar de onderliggende wegstructuur blijft hetzelfde, dus de verkeerde route is er nog steeds.
• De oplossing (Categorie-theorie & Functors): De auteurs gebruiken een soort "wiskundige architect" (een functor). Deze architect kijkt niet naar de woorden zelf, maar naar de structuur van de stad. Hij neemt de hele stad en herschikt de straten op een manier die de logica behoudt, maar de verkeerde verbindingen weghaalt.
  • De analogie: Het is alsof je de stad platlegt en opnieuw tekent. De straat "vrouw" en de straat "man" worden nu beide verbonden met dezelfde centrale plein "mens", en de specifieke banen (zoals "chirurg" of "leraar") worden losgekoppeld van het geslacht. De architect zorgt ervoor dat de logica van de stad intact blijft, maar dat de vooroordelen fysiek onmogelijk worden om te volgen.

2. De Bibliothecaris: RAG (Retrieval-Augmented Generation)

Stel je voor dat het model, zelfs na de verbouwing, nog steeds een beetje verouderde kennis in zijn hoofd heeft. Het denkt misschien nog steeds: "In 1950 waren er geen vrouwelijke CEO's."

• Het probleem: Het model leunt te veel op wat het in het verleden heeft geleerd (zijn "parametrische geheugen").
• De oplossing (RAG): Dit is als het model een bibliothecaris aan de kant zetten die tijdens het gesprek direct in de meest actuele, eerlijke en diverse boeken kijkt.
  • De analogie: Als iemand vraagt: "Wie zijn er goede leiders?", kijkt het model niet alleen naar zijn eigen oude herinneringen. Het roept de bibliothecaris (RAG) erbij. De bibliothecaris haalt direct een hedendaags rapport op dat laat zien dat er vandaag de dag duizenden vrouwelijke leiders zijn, en geeft dit rapport aan het model. Het model moet dan zijn antwoord baseren op dit nieuwe, eerlijke feit in plaats van op zijn oude vooroordeel.

Hoe werken ze samen?

De paper stelt voor dat je beide moet gebruiken, want ze vullen elkaar aan:

1. De Architect (Functor) zorgt dat de fundamentele structuur van het denken eerlijk is. Hij zorgt dat het model in principe niet meer kan denken in vooroordelen.
2. De Bibliothecaris (RAG) zorgt dat het model actuele feiten gebruikt. Zelfs als er nog een klein beetje vooroordeel in de structuur zit, kan de bibliothecaris het corrigeren met echte, recente data.

Waarom is dit belangrijk?

In het paper wordt een voorbeeld gegeven: Als je vraagt om een baan voor iemand in een "ontwikkelend land", geeft een normaal model vaak alleen lage banen (zoals "drager" of "verkoopster") en voor een "ontwikkeld land" hoge banen (zoals "softwareontwikkelaar"). Dit is een vooroordeel over landen.

Met hun nieuwe systeem:

• De Architect zorgt dat de link tussen "land" en "baan" wiskundig wordt doorbroken.
• De Bibliothecaris haalt actuele data op over de vaardigheden van mensen in dat specifieke land, ongeacht of het een "ontwikkeld" of "ontwikkelend" land is.

Conclusie

Kortom: Om eerlijke AI te maken, moeten we niet alleen de "vuile was" (de data) wassen, maar ook de "kleding" (de structuur van het model) opnieuw naaien en een "verstandige gids" (RAG) bij de hand houden die zorgt dat we altijd de waarheid vertellen, gebaseerd op de nieuwste feiten.

Het is een combinatie van wiskundige precisie (om de vooroordelen uit de basis te halen) en actuele kennis (om te zorgen dat het antwoord klopt met de echte wereld).

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het positionspapier "LLMS MUST USE FUNCTOR-BASED AND RAG-DRIVEN BIAS MITIGATION FOR FAIRNESS", geschreven in het Nederlands.

Probleemstelling

Grote Taalmodellen (LLMs) vertonen systematische vertekeningen (biases) die voortkomen uit historische en maatschappelijke vooroordelen in hun trainingsdata. Deze biases manifesteren zich als schadelijke stereotypen, vooral op het gebied van demografie (geslacht, etniciteit) en sociale rollen (beroepen).

• Voorbeeld: Het model koppelt automatisch "ontwikkelde landen" aan hoogopgeleide, kennisintensieve banen (bijv. softwareontwikkelaar), terwijl het "ontwikkelende landen" koppelt aan laaggeschoolde of fysieke arbeid, ongeacht de individuele kwalificaties.
• Beperkingen van bestaande methoden: Traditionele aanpakken zoals dataset-curatie, adversarial training en post-hoc filtering richten zich vaak op oppervlakkige, expliciete biases. Ze falen echter in het aanpakken van de dieperliggende, structurele problemen in de semantische representaties van het model. Ze kunnen de onderliggende manier waarop het model gevoelige attributen encodeert niet fundamenteel transformeren, wat leidt tot een gebrek aan robuuste en gegeneraliseerde eerlijkheid.

Methodologie: Een Dual-Mechanisme Benadering

Het papier pleit voor een geïntegreerde aanpak die twee complementaire technieken combineert: Categorie-theoretische functors voor structurele debiasing en Retrieval-Augmented Generation (RAG) voor contextuele gronding.

1. Categorie-theoretische Functoren (Structurele Debiasing)

De auteurs conceptualiseren de interne semantische ruimte van een LLM als een wiskundige categorie $\mathcal{C}$ (de "vooroordeelvolle" categorie), waarbij objecten concepten zijn (bijv. "vrouw", "verpleegster") en morfismen de geleerde associaties tussen hen.

• Debiasing Functoren: Een functor $F: \mathcal{C} \rightarrow \mathcal{U}$ wordt gedefinieerd om deze vooroordeelvolle categorie af te beelden op een onvooroordeelvolle, canonieke categorie $\mathcal{U}$.
• Wiskundige Implementatie:
  • Het doel is om een projectiematrix $P$ te vinden die demografische concepten (bijv. geslacht) naar een neutrale ruimte projecteert, terwijl het onderscheid tussen beroepen behouden blijft.
  • Dit wordt geformuleerd als een geoptimaliseerd probleem met behulp van spreidingsmatrices (scatter matrices): $S_D$ voor demografische concepten en $S_O$ voor beroepsconcepten.
  • De objectief-functie minimaliseert de intra-groepsafstand voor demografische concepten (om ze ononderscheidbaar te maken) terwijl de inter-groepsafstand voor beroepen behouden blijft, gewogen door een hyperparameter $\lambda$:
    $$\min_P \text{Tr}(P(S_D + \lambda S_O)P^T)$$
  • De optimale oplossing wordt gevonden via eigen-decompositie van de matrix $R = S_D + \lambda S_O$. De projectie $P^*$ wordt bepaald door de eigenvectoren die corresponderen met de $d_u$ kleinste eigenwaarden.
• Resultaat: Dit transformeert de interne attention-mechanismen zodat demografische attributen orthogonaal worden ten opzichte van professionele rollen, zonder de semantische integriteit van de taak te verliezen.

2. Retrieval-Augmented Generation (RAG) (Contextuele Grounding)

RAG wordt gebruikt om de inferentie te verrijken met externe, actuele en gecurateerde kennis, waardoor de afhankelijkheid van de statische, mogelijk vooroordeelvolle interne parametrische kennis van het model wordt verminderd.

• Werking: Bij een query wordt eerst relevante informatie opgehaald uit een externe, gecontroleerde kennisbron (bijv. laborstatistieken, wetenschappelijke artikelen over gendergelijkheid).
• Fusie: Deze externe context wordt via cross-attention-mechanismen gefuseerd met de interne representaties van het model.
• Doel: Het model wordt gedwongen om zijn antwoord te baseren op feitelijke, diverse en actuele bewijzen in plaats van op ingesleten stereotypen. Dit fungeert als een dynamische correctielaag die specifiek ingrijpt bij situaties waar het model interne biases zou tonen.

Belangrijkste Bijdragen

1. Wiskundige Rigor: Het introduceren van een strikt wiskundig raamwerk (categorie-theorie) voor bias-mitigatie, wat een fundamentele verschuiving biedt ten opzichte van empirische of heuristische methoden. Het biedt een transparante manier om te inspecteren hoe biases worden getransformeerd.
2. Synergie van Structuur en Context: Het combineren van structurele herschikking van de modelrepresentaties (via functors) met dynamische kennisinjectie (via RAG). Dit adresseert zowel de oorzaak van de bias in de modelarchitectuur als de manifestatie in de output.
3. Omgaan met Intersectionaliteit: De categorie-theoretische aanpak maakt het mogelijk om complexe, intersectionele biases (bijv. ras én geslacht) systematisch aan te pakken door colimit-construkties, wat traditionele methoden vaak niet kunnen.
4. Adaptiviteit: Het systeem kan na de implementatie worden bijgewerkt door de RAG-bronnen te actualiseren of de functor-parameters aan te passen, zonder dat het hele model opnieuw getraind hoeft te worden.

Resultaten en Validatie

Hoewel het een positionspapier is, worden er theoretische en empirische validaties aangehaald:

• Efficiëntie: De auteurs verwijzen naar experimenten waarbij architecturen met functor-debiasing een reductie van 72% in geslachtsstereotypering bij beroepsvoorspellingen toonden, vergeleken met conventionele adversarial training, zonder in te leveren op taakprestaties of taalkundige vlotheid.
• Robuustheid: De methode voorkomt dat biases terugkeren via recombinatorische eigenschappen van de semantische ruimte, omdat de transformatie op het niveau van de gehele categorische structuur plaatsvindt.
• Kwaliteit: De integratie van RAG zorgt voor feitelijke gronding, wat hallucinaties en vooroordelen reduceert door het gebruik van geauditeerde, neutrale bronnen.

Betekenis en Toekomstperspectief

Dit papier stelt een nieuw paradigma voor voor het ontwikkelen van eerlijke AI-systemen:

• Van Reactief naar Proactief: In plaats van biases te patchen nadat ze zijn opgetreden (post-hoc), worden ethische beperkingen ingebouwd in de wiskundige basis van het model.
• Schaalbaarheid: De modulaire aard van de aanpak (lichtgewicht adapters voor functors en dynamische RAG-pipelines) maakt het toepasbaar op grote modellen zonder de enorme kosten van volledige hertraining.
• Toekomstige Richtingen: De auteurs wijzen op potentie voor "functor learning" via toezicht, composable debiasing (waarbij RAG-inhoud ook door de functor wordt gefilterd), en uitbreiding naar multimodale systemen.

Kortom, het papier concludeert dat eerlijkheid in LLMs vereist dat we zowel de wiskundige structuur van de representaties herschikken als de kennisbronnen dynamisch actualiseren. Geen van beide methoden alleen is voldoende; hun combinatie biedt de meest robuuste oplossing voor systematische bias.