The Impact of Ideological Discourses in RAG: A Case Study with COVID-19 Treatments

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker ingezet in kritieke domeinen zoals de gezondheidszorg. Hoewel Retrieval-Augmented Generation (RAG) is ontwikkeld om hallucinaties te verminderen en de feitelijke nauwkeurigheid te vergroten door externe kennisbronnen te koppelen, introduceert deze architectuur nieuwe risico's. Bestaande onderzoek toont aan dat RAG-systemen gevoelig zijn voor biases in de opgehaalde documenten.

De kern van dit artikel is dat er tot nu toe weinig aandacht is besteed aan ideologische bias binnen RAG-systemen. Als een RAG-systeem ideologisch geladen teksten (bijvoorbeeld over controversiële COVID-19-behandelingen) ophaalt, kan dit de output van het LLM beïnvloeden en de interpretatie van de gebruiker vormgeven. Dit is vooral riskant in de gezondheidszorg, waar bias kan leiden tot misleiding, verlies van vertrouwen en schade aan de betrouwbaarheid van het systeem. De auteurs onderzoeken hoe de aanwezigheid van ideologische discours in externe kennisbronnen de antwoorden van LLMs vormgeeft, en hoe expliciete instructies (prompts) deze invloed kunnen versterken.

Methodologie

De studie volgt een gestructureerde aanpak bestaande uit drie hoofdfasen: corpusontwerp, ideologische analyse en experimentele evaluatie.

1. Corpusontwerp en Data

• Bron: Een corpus van 1.117 academische artikelen over COVID-19-behandelingen, gepubliceerd tussen 2020 en 2022.
• Categorieën:
  • Controversieel: Artikelen die behandelingen promoten die niet zijn goedgekeurd door officiële gezondheidsinstanties (bijv. hydroxychloroquine en azithromycine), verzameld van bronnen zoals Cureus en MedicosPelaVidaCovid19.
  • Goedgekeurd (Endorsed): Artikelen die voldoen aan internationale wetenschappelijke standaarden, verzameld uit de LitCovid-database (NIH).
• Pre-processing: Lemmatisatie, POS-tagging en filtering van stopwoorden. Sleutelwoorden werden geëxtracteerd via log-likelihood en collocaties (woordcombinaties) via Log-Dice scores.

2. Lexicale Multidimensionale Analyse (LMDA)
Om de ideologie in de teksten kwantitatief te identificeren, werd LMDA toegepast. Dit is een corpuslinguïstisch raamwerk dat latent variabele structuren blootlegt op basis van co-occurrence patronen van lexicale kenmerken.

• Factoranalyse: Er werden 5 factoren geïdentificeerd. Na rotatie en interpretatie door experts werden 3 dominante dimensies geselecteerd die de ideologische polarisatie het beste beschrijven:
  1. Betwiste behandelingen (+) vs. Brede focus (-): Behandeling van hydroxychloroquine als effectief vs. psychologische impact van de pandemie.
  2. Onderzoeksethiek (+) vs. Vergelijkende behandeling (-): Ethiek en data-beschikbaarheid vs. gebruik van controversiële antivirale middelen om effectiviteit te bewijzen.
  3. Statistische strengheid (+) vs. Verspreiding van wetenschap (-): Schijnbaar rigoureuze statistiek om mortaliteit te verlagen vs. open data-delen en discussie.
• Labeling: Elk document kreeg een score per dimensie en werd toegewezen aan de pool (+ of -) met de hoogste score.

3. Experimenteel Opzet (RAG Framework)
De auteurs testten vier state-of-the-art LLMs (GPT-3.5-turbo, GPT-4o-mini, Gemini-2.0-flash, Qwen2.5:7b-instruct) met twee soorten prompts:

• Standaard Prompt (Regular): Bevat alleen de vraag en de opgehaalde ideologische teksten (context).
• Verbeterde Prompt (Enhanced): Bevat de vraag, de teksten, én expliciete LMDA-beschrijvingen (dimensielabel, beschrijving, typische vocabulaire en voorbeeldteksten). Dit simuleert een scenario waarin de gebruiker of systeem de ideologische context bewust benoemt.

4. Evaluatiemetingen
De alignatie tussen de gegenereerde antwoorden en de referentie-ideologische teksten werd gemeten via:

• Semantische Similariteit: Gebruikmakend van BERT-embeddings (all-MiniLM-L6-v2) en Cosine Similarity.
• Lexicale Similariteit: Gebruikmakend van TF-IDF vectorisatie en Cosine Similarity.

Belangrijkste Bijdragen

1. Nieuw Raamwerk: Introductie van een framework gebaseerd op LMDA om discours-beladen teksten in een domeinspecifiek corpus (COVID-19) te identificeren en te labelen.
2. Onderzoek naar RAG en Ideologie: Eerste studie die specifiek de impact van ideologische discours in externe kennisbronnen op RAG-outputs onderzoekt.
3. Prompt Engineering Analyse: Onderzoek naar hoe expliciete instructies over de ideologische dimensie (via LMDA-beschrijvingen) het gedrag van LLMs beïnvloeden, naast de impact van de teksten zelf.

Resultaten

De resultaten tonen aan dat LLMs sterk beïnvloed worden door de ideologie in de opgehaalde context:

• Invloed van Ideologische Context: Wanneer LLMs werken met RAG (met ideologische teksten), zijn hun antwoorden significant sterker gealigneerd met de ideologie van die teksten dan wanneer ze alleen op hun interne kennis vertrouwen. Dit geldt voor zowel semantische als lexicaal gemeten similariteit.
• Effect van Verbeterde Prompts: Het toevoegen van LMDA-beschrijvingen aan de prompt (Enhanced Prompt) versterkt dit effect aanzienlijk.
  • De gemiddelde semantische en lexicaal similariteitsscores namen toe voor bijna alle modellen en dimensies.
  • Bijvoorbeeld, voor GPT-4o-mini steeg de semantische similariteit voor Dimensie 1 (+) van 0,80 (Standaard) naar 0,85 (Verbeterd).
  • In de meeste gevallen nam het aantal uitzonderingen waarbij RAG-antwoorden minder gealigneerd waren dan pure LLM-antwoorden af van 5 naar 1.
• Statistische Significantie: ANOVA-tests bevestigden dat er een significant verschil is tussen LLM-only en RAG-outputs, vooral bij de verbeterde prompts (p < 0.05).
• Uitzondering: Het Qwen-model toonde een marginale daling in similariteit bij de verbeterde prompt voor bepaalde dimensies, maar volgde over het algemeen de trend van de andere modellen.

Betekenis en Conclusie

De studie concludeert dat RAG-systemen een dubbelzinnig potentieel hebben:

1. Risico: Ze kunnen onbedoelde ideologische bias versterken en zelfs kwaadwillende manipulatie mogelijk maken. Als een systeem ideologisch geladen teksten ophaalt en de prompt expliciet de ideologie benadrukt, zal het model de output daarop afstemmen, zelfs als dit in strijd is met objectieve feiten of consensuele wetenschap.
2. Noodzaak tot Monitoring: Het is cruciaal om ideologische discours binnen kennisbronnen te identificeren en te monitoren.
3. Implicatie voor Ontwerp: Ontwikkelaars van RAG-systemen moeten strategieën ontwikkelen om deze bias te mitigeren, niet alleen door de kwaliteit van de data te controleren, maar ook door te begrijpen hoe prompt-ontwerp en contextuele framing de output van het model sturen.

Kortom, de paper waarschuwt dat de "neutrale" aard van RAG een illusie is; de combinatie van ideologische bronnen en geavanceerde prompt-engineering kan leiden tot een sterke, soms onbedoelde, ideologische uitlijning van AI-antwoorden.