Technische Samenvatting: Hoe Temperatuur de Ideologische Discursie in Retrieval-Augmented Generation Vormgeeft

Probleemstelling

Hoewel Retrieval-Augmented Generation (RAG) breed wordt toegepast om hallucinaties te beperken en de feitelijke onderbouwing van Large Language Models (LLM's) te verbeteren, blijft de impact van ideologische bias binnen de opgehaalde documenten op de output van LLM's onderbelicht. Bestaand onderzoek heeft zich gericht op feitelijke onjuistheden in retrieval, maar heeft grotendeels over het hoofd gezien hoe RAG-frameworks ideologische discoursen die aanwezig zijn in externe kennisbronnen kunnen overdragen, versterken of onderdrukken. Dit is bijzonder kritiek in domeinen met een hoge inzet, zoals de gezondheidszorg, waar subtiele verschuivingen in bewoording de interpretatie van behandelingen en risico's kunnen hervormen. Bov�elijke speelt de rol van sampling temperature — een parameter die de willekeur van token-generatie beheerst — bij het moduleren van deze ideologische transfer binnen RAG-systemen, een aspect dat tot nu toe beperkte aandacht heeft gekregen.

Methodologie

Corpusconstructie en Identificatie van Ideologie

De studie maakte gebruik van een domeinspecifiek corpus van 1.117 wetenschappelijke artikelen over COVID-19-behandelingen gepubliceerd tussen 2020 en 2022. Het corpus werd verdeeld in twee subcorpora:

1. Controversieel: 116 teksten die behandelingen promoten die niet door officiële gezondheidsinstanties zijn goedgekeurd (bijv. hydroxychloroquine, ivermecine).
2. Gesteund: 991 teksten die in lijn zijn met internationale gezondheids- en wetenschapsstandaarden.

Om latente ideologische discoursen te identificeren, pasten de auteurs Lexical Multidimensional Analysis (LMDA) toe. Deze methode breidt Biber's Multidimensional Analysis uit door factoranalyse te gebruiken op woordco-occurrenties (collocaties) om statistisch afgeleide dimensies te ontdekken.

• Pre-processing: Belangrijke collocaties werden geëxtraheerd met behulp van Log-Dice scores ($D \ge 7$) binnen een spanne van vier woorden.
• Factoranalyse: Er werd een tetrachorische correlatiematrix berekend, gevolgd door factoranalyse. Drie primaire dimensies werden geselecteerd op basis van duidelijke overlappingen tussen de dimensiepolen en de tekstsubsets (Controversieel vs. Gesteund).
• Microanalyse: Kwalitatieve analyse van teksten aan de uitersten van deze dimensies maakte het mogelijk om discursieve oriëntaties te labelen (bijv. promotioneel versus evidence-based).

Experimentele Opzet

De studie evalueerde de propagatie van deze geïdentificeerde discoursen naar LLM-responsen onder variërende condities:

• LLM-only: Modellen beantwoordden vragen zonder externe context.
• RAG: Modellen beantwoordden vragen met behulp van opgehaalde context uit het ideologische corpus.
• Prompting Strategieën:
  • Regulier: Standaard prompts met of zonder opgehaalde context.
  • Verbeterd (Enhanced): Prompts bevatten expliciet LMDA-metadata (dimensielabels, beschrijvingen, typische vocabulaire en voorbeeldteksten) om het model te sturen naar specifieke ideologische inkaderingen.
  • Negatieve Prompt: Een specifieke conditie waarbij modellen expliciet instructies kregen om de verstrekte ideologische metadata te vermijden.
• Sampling Temperatures: Experimenten werden uitgevoerd over vijf temperaturen: 0.1, 0.3, 0.5, 0.7 en 0.9.

Evaluatiemetrieken

Ideologische alignment werd gemeten met drie gelijkenisbenaderingen ten opzichte van referentie-ideologische teksten:

1. Semantische Gelijkenis: Cosinusgelijkenis van gemiddelde BERT-achtige embeddings.
2. Lexicale Gelijkenis: Cosinusgelijkenis van TF-IDF vectoren.
3. Hybride Gelijkenis: Een concatenatie van semantische en lexicale vectoren.

Aanvullende structurele metrieken waren de Type-Token Ratio (TTR) voor lexicale diversiteit, de Gemiddelde Token Entropie voor generatie-onzekerheid en de Output Lengte.

Belangrijkste Resultaten

1. Impact van RAG en Prompting op Alignment

• Superioriteit van RAG: Over alle temperaturen en metrieken heen bereikten RAG-gebaseerde configuraties hogere ideologische alignment dan LLM-only generatie.
• Verbeterde Prompting: De combinatie van RAG met verbeterde prompting (expliciete ideologische metadata) leverde de hoogste alignment scores op, wat suggereert dat expliciete signalen in de prompt het meest effectief zijn wanneer ze worden versterkt door de opgehaalde ideologische context.
• Beperkingen van LLM-only: Zonder retrieval-onderbouwing faalde zelfs verbeterde prompting er niet in om de alignment significant te verbeteren, wat aangeeft dat externe kennis cruciaal is voor consistente ideologische transfer.

2. De Rol van Sampling Temperature

Het effect van temperatuur op de discursieve alignment was sterk afhankelijk van de systeemconfiguratie:

• RAG met Verbeterde Prompting: Alignment was het laagst bij de meest deterministische instelling ($T=0.1$), steeg naar een maximum bij een gemiddelde temperatuur ($T=0.5$), en stabiliseerde naarmate de temperatuur verder toenam. Dit suggereert dat een balans tussen stochasticiteit en retrieval-onderbouwing optimaal is.
• RAG met Reguliere Prompting: Toonde een geleidelijke, monotone toename in alignment naarmate de temperatuur steeg, met een piek bij $T=0.9$. De opgehaalde bewijslast lijkt de generatie voldoende te beperken om een hogere diversiteit toe te staan zonder de alignment te verslechteren.
• LLM-only: Vertoonde een "rise-and-fall" patroon. Alignment nam toe van $T=0.1$ naar $T=0.3$, maar daalde vervolgens en stabiliseerde bij hogere temperaturen. Dit geeft aan dat zonder retrieval-ondersteuning, excessieve willekeur variabiliteit introduceert die het model niet kan controleren, wat de ideologische coherentie vermindert.

3. Modelspecifieke Bevindingen

• Qwen2.5 vertoonde consequent de hoogste alignment scores over alle metrieken en temperaturen, wat wijst op een hogere vatbaarheid voor ideologische invloed.
• GPT-4o-mini vertoonde de laagste alignment scores en de minste variatie over temperaturen, wat impliceert dat grotere modellen met meer gecodeerde wereldkennis mogelijk resistenter zijn tegen externe ideologische inkadering.

4. Structurele Metrieken

• Lexicale Diversiteit (TTR): LLM-only outputs vertoonden consequent hogere lexicale diversiteit dan RAG-outputs. Temperatuur had minimale impact op TTR binnen de RAG-setting.
• Entropie: Gemiddelde entropie nam bescheiden toe met de temperatuur voor beide settings, wat de hogere willekeur bij tokenselectie bevestigt.
• Output Lengte: RAG-outputs waren aanzienlijk langer dan LLM-only outputs. RAG-lengte nam geleidelijk toe met de temperatuur, terwijl de LLM-only lengte relatief stabiel bleef.

5. Negatieve Prompting

Wanneer modellen expliciet de instructie kregen om ideologische alignment te vermijden (Negatieve Prompt), daalden de alignment scores aanzienlijk vergeleken met reguliere settings. De lexicale metriek vertoonde de grootste reductie, wat aangeeft dat woordkeuze zeer gevoelig is voor de polariteit van de prompt, terwijl semantische structuren resistenter waren.

Betekenis en Bijdragen

Het paper levert twee primaire bijdragen:

1. Formele Definitie van Ideologische Dimensies: Het stelt een set ideologische dimensies vast die zijn afgeleid van externe kennis (via LMDA), waardoor een kwantitatieve beoordeling van de alignment van LLM-responsen met specifieke ideologieën mogelijk is.
2. Karakterisering van Ideologische Propagatie: Het onderzoekt hoe ideologische discoursen van RAG-externe kennis naar LLM-outputs propageren onder verschillende sampling temperaturen.

Belangrijkste Conclusies:
De studie concludeert dat hoewel sampling temperatuur een significante impact heeft op de discursieve alignment, het effect ervan structureel wordt gemodereerd door het systeemontwerp. In RAG-systemen beperkt de retrieval-onderbouwing de temperatuur-gestuurde ideologische drift, waardoor de alignment stabieler is over verschillende temperaturen vergeleken met LLM-only systemen. Ideologische transfer in gegronde systemen komt voort uit de interactie tussen decoding stochasticiteit, metadata-gebaseerde prompting en retrieval-restricties, in plaats van enkel uit temperatuur alleen.

Beperkingen:
De auteurs merken op dat de bevindingen specifiek zijn voor de COVID-19-discursieve context (2020–2022), een periode die werd gekenmerkt door acute urgentie en polarisatie. De generaliseerbaarheid naar niet-medische domeinen (bijv. klimaatverandering) blijft onverifieerd. Daarnaast suggereert de afhankelijkheid van geautomatiseerde gelijkenis-metrieken een behoefte aan toekomstige menselijke evaluatie om de bevindingen te bevestigen.