💬 NLP

How Temperature Shapes Ideological Discourse in Retrieval-Augmented Generation?

Diese Studie zeigt, dass Retrieval-Augmented-Generation-Systeme (RAG) ideologische Vorurteile aus abgerufenen Quellen in die LLM-Ausgaben übertragen und verstärken können, wobei die Stärke dieses Transfers durch die Sampling-Temperatur signifikant moduliert wird, welche bei moderaten Werten, an denen Stochastizität und Fundierung im Gleichgewicht stehen, ihren Höhepunkt erreicht.

Ursprüngliche Autoren: Elmira Salari, Hazem Amamou, José Victor de Souza, Shruti Kshirsagar, Maria Nunes Delfino, Anderson Avila

Veröffentlicht 2026-07-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Elmira Salari, Hazem Amamou, José Victor de Souza, Shruti Kshirsagar, Maria Nunes Delfino, Anderson Avila

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen superintelligenten Roboter-Bibliothekar namens „LLM“, der fast alles weiß, aber manchmal wilde Geschichten erfindet, wenn er nach schwierigen Themen gefragt wird. Um das Lügen zu verhindern, haben wir dem Bibliothekar einen speziellen „RAG“-Rucksack mit echten Büchern und Artikeln gegeben. Die Idee war simpel: „Antworte nur unter Verwendung dessen, was im Rucksack ist!“ Aber hier kommt der Clou: Was wäre, wenn der Rucksack selbst voll mit Büchern ist, die über dasselbe Thema auf sehr unterschiedliche, voreingenommene Arten streiten?

Diese Studie stellte eine unterhaltsame, aber ernste Frage: Wenn wir dem Bibliothekar einen Rucksack voller voreingenommener Bücher geben, wie viel dieser Voreingenommenheit sickert in die Antworten des Roboters durch, und verändert der „Stimmungszustand“ (genannt Temperatur) des Roboters die Menge der Kopie dieser Voreingenommenheit?

Das Experiment: Eine Bibliothek zweier Welten

Die Forscher bauten einen speziellen Rucksack mit 1.117 Artikeln über COVID-19-Behandlungen aus den Jahren 2020 bis 2022. Sie teilten diese in zwei Lager auf:

Das „befürwortende“ Lager: 991 Artikel, die offiziellen Gesundheitsregeln und wissenschaftlichen Standards folgten.
Das „kontroverse“ Lager: 116 Artikel, die Behandlungen propagierten, die von offiziellen Stellen nicht genehmigt wurden (wie Hydroxychloroquin).

Mit einem ausgeklügelten mathematischen Werkzeug namens Lexical Multidimensional Analysis (LMDA) fanden sie heraus, wie genau sich die Wörter in diesen beiden Lagern unterschieden. Sie identifizierten drei verschiedene „ideologische Diskurse“ (im Grunde drei verschiedene Arten, denselben Punkt zu argumentieren).

Das „Temperatur“-Regler

Stellen Sie sich nun vor, der Roboter-Bibliothekar hat einen Regler namens Temperatur.

Niedrige Temperatur (0,1): Der Roboter ist super ernst, roboterhaft und wählt die offensichtlichsten, sichersten Wörter. Es ist, als würde ein Roboter ein Skript vorlesen.
Hohe Temperatur (0,9): Der Roboter ist wild, kreativ und wählt Wörter zufällig. Es ist, als würde ein Roboter ein Jazz-Solo improvisieren.

Die Forscher baten den Roboter, Fragen zu diesen Behandlungen unter Verwendung verschiedener Temperaturen und verschiedener Arten von Anweisungen (Prompts) zu beantworten.

Die große Entdeckung: Die „Goldlöckchen“-Zone

Hier ist das, was sie herausfanden, und es ist ein wenig überraschend:

1. Der Rucksack gewinnt:
Wenn der Roboter den Rucksack benutzte (RAG), kopierte er die Voreingenommenheit aus den Büchern viel stärker, als wenn er nur seinen eigenen Verstand benutzte. Wenn die Bücher voreingenommen waren, waren auch die Antworten des Roboters voreingenommen. Der Rucksack war der Haupttreiber.

2. Der Temperatur-Twist:
Man könnte denken: „Wenn der Roboter super ernst ist (niedrige Temp), macht er keine Fehler, also wird er die Voreingenommenheit nicht kopieren.“ Falsch! Die Studie legt das Gegenteil nahe.

Bei niedrigen Temperaturen (0,1): Der Roboter war zu starr. Er unterdrückte die Übertragung der Voreingenommenheit. Er war so auf Präzision fokussiert, dass er den „Vibe“ der voreingenommenen Bücher nicht vollständig absorbierte.
Bei moderaten Temperaturen (0,5): Dies war der Sweet Spot. Der Roboter war ausgewogen – ernst genug, um die Bücher zu lesen, aber flexibel genug, um deren ideologische „Note“ aufzusaugen. Die Übereinstimmung zwischen der Antwort des Roboters und den voreingenommenen Büchern war hier am höchsten.
Bei hohen Temperaturen (0,9): Der Roboter wurde zu chaotisch. Obwohl er die Bücher immer noch nutzte, machte die wilde Zufälligkeit die Antworten weniger perfekt auf die spezifische Voreingenommenheit abgestimmt, obwohl das RAG-System ihn dennoch besser am Boden hielt als ein Roboter ohne Rucksack.

3. Der „verbesserte“ Prompt:
Als die Forscher dem Roboter zusätzliche Notizen gaben wie: „Hey, diese Bücher haben einen spezifischen Standpunkt, versuche ihn zu treffen“, wurde der Transfer der Voreingenommenheit noch stärker. Aber selbst mit diesen Notizen war die moderate Temperatur immer noch der Punkt, an dem der Roboter die Voreingenommenheit am besten entsprach.

Die Robotermodelle

Sie testeten vier verschiedene Roboter-Gehirne: GPT-4o-mini, GPT-3.5-turbo, Gemini-2.0 und Qwen.

Qwen war am leichtesten von den voreingenommenen Büchern zu beeinflussen und entsprach der Voreingenommenheit mit Werten über 0,85 (auf einer Skala, bei der 1 eine perfekte Übereinstimmung bedeutet).
GPT-4o-mini war am eigensinnigsten. Es hatte die niedrigsten Werte, was darauf hindeutet, dass größere, intelligentere Modelle besser darin sein könnten, die Voreingenommenheit im Rucksack zu ignorieren, selbst wenn der Rucksack voll davon ist.

Was ist mit „Keiner Voreingenommenheit“?

Sie probierten auch einen „Negativen Prompt“ aus, der dem Roboter sagte: „Hier sind die voreingenommenen Bücher, aber kopiere nicht deren Stil!“

Das funktionierte! Die Antworten des Roboters wurden deutlich weniger voreingenommen.
Interessanterweise funktionierte die „Keine Voreingenommenheit“-Anweisung am besten bei der höchsten Temperatur (0,9), während die „Kopiere die Voreingenommenheit“-Anweisung am besten bei der moderaten Temperatur (0,5) funktionierte.

Das Fazit

Das Paper legt nahe, dass Temperatur nicht nur über Kreativität entscheidet; sie verändert, wie sehr ein Roboter die Voreingenommenheit seines Quellmaterials kopiert.

Wenn Sie möchten, dass ein Roboter einen spezifischen Standpunkt eines voreingenommenen Quells absorbiert, scheint eine moderate Temperatur (um 0,5) am effektivsten zu sein.
Wenn Sie möchten, dass ein Roboter eine Voreingenommenheit stoppt, könnte eine hohe Temperatur (0,9) kombiniert mit einer strikten „Tu dies nicht“-Anweisung Ihr bester Weg sein.

Die Autoren betonen vorsichtig, dass dies auf Simulationen mit COVID-19-Texten basiert, sodass wir uns nicht zu 100 % sicher sein können, ob es für jedes Thema oder jeden Roboter gilt. Aber die Daten zeigen ein klares Muster: Der „Stimmungszustand“ (Temperatur) des Roboters und der „Rucksack“ (abgerufene Informationen) tanzen zusammen, um zu entscheiden, wie viel Voreingenommenheit in der endgültigen Antwort landet.

Technisches Resümee: Wie Temperatur den ideologischen Diskurs in der Retrieval-Augmented Generation prägt

Problemstellung

Obwohl die Retrieval-Augmented Generation (RAG) weit verbreitet eingesetzt wird, um Halluzinationen zu mildern und die faktische Fundierung von Large Language Models (LLMs) zu verbessern, bleibt der Einfluss von ideologischer Voreingenommenheit innerhalb der abgerufenen Dokumente auf die LLM-Ausgaben untererforscht. Die bestehende Forschung hat sich mit faktischen Ungenauigkeiten in der Informationsbeschaffung befasst, jedoch weitgehend übersehen, wie RAG-Frameworks ideologische Diskurse übertragen, verstärken oder unterdrücken können, die in externen Wissensquellen präsent sind. Dies ist besonders kritisch in Hochrisikodomänen wie dem Gesundheitswesen, in denen subtile Änderungen in der Wortwahl die Interpretation von Behandlungen und Risiken grundlegend verändern können. Darüber hinaus hat die Rolle der Sampling-Temperatur – eines Parameters, der die Zufälligkeit der Token-Generierung steuert – bei der Modulation dieses ideologischen Transfers innerhalb von RAG-Systemen bisher nur begrenzte Aufmerksamkeit erhalten.

Methodik

Korpuskonstruktion und Identifizierung von Ideologien

Die Studie nutzte ein domänenspezifisches Korpus von 1.117 wissenschaftlichen Artikeln zu COVID-19-Behandlungen, die zwischen 2020 und 2022 veröffentlicht wurden. Das Korpus wurde in zwei Subkorpora unterteilt:

Kontrovers: 116 Texte, die Behandlungen fördern, die nicht von offiziellen Gesundheitsbehörden zugelassen sind (z. B. Hydroxychloroquin, Ivermectin).
Unterstützt: 991 Texte, die im Einklang mit internationalen Gesundheits- und Wissenschaftsstandards stehen.

Um latente ideologische Diskurse zu identifizieren, wandten die Autoren die Lexikalische Multidimensionale Analyse (LMDA) an. Diese Methode erweitert die Biber’sche Multidimensionale Analyse durch die Verwendung von Faktorenanalysen auf Wortkollokationen (Kookkurrenzen), um statistisch abgeleitete Dimensionen aufzudecken.

Vorverarbeitung: Zentrale Kollokationen wurden mittels Log-Dice-Scores ( $D \ge 7$ ) innerhalb eines Vier-Wort-Fensters extrahiert.
Faktorenanalyse: Eine tetrachorische Korrelationsmatrix wurde berechnet, gefolgt von einer Faktorenanalyse. Drei primäre Dimensionen wurden basierend auf klaren Überschneidungen zwischen den Dimensionspolen und den Text-Teilmengen (Kontrovers vs. Unterstützt) ausgewählt.
Mikroanalyse: Die qualitative Analyse von Texten an den Extremen dieser Dimensionen ermöglichte die Kennzeichnung diskursiver Orientierungen (z. B. werblich vs. evidenzbasiert).

Experimentelles Setup

Die Studie evaluierte die Ausbreitung dieser identifizierten Diskurse in LLM-Antworten unter variierenden Bedingungen:

Modelle: Vier LLMs wurden getestet: GPT-4o-mini, GPT-3.5-turbo, Gemini-2.0 und Qwen2.5.
Generationsbedingungen:
- Nur-LLM: Modelle antworteten ohne externen Kontext.
- RAG: Modelle antworteten unter Verwendung des abgerufenen Kontexts aus dem ideologischen Korpus.
Prompting-Strategien:
- Regulär: Standard-Prompts mit oder ohne abgerufenen Kontext.
- Erweitert: Prompts, die explizit LMDA-Metadaten enthielten (Dimensionsbezeichnungen, Beschreibungen, typischer Wortschatz und Beispieltexte), um das Modell gezielt zu spezifischen ideologischen Rahmungen zu führen.
- Negativer Prompt: Eine spezifische Bedingung, bei der die Modelle explizit angewiesen wurden, die bereitgestellten ideologischen Metadaten zu vermeiden.
Sampling-Temperaturen: Die Experimente wurden über fünf Temperaturen durchgeführt: 0,1, 0,3, 0,5, 0,7 und 0,9.

Evaluierungsmetriken

Die ideologische Übereinstimmung wurde mittels drei Ähnlichkeitsansätzen gegenüber Referenz-Ideologietexten gemessen:

Semantische Ähnlichkeit: Kosinus-Ähnlichkeit von gemittelten BERT-ähnlichen Embeddings.
Lexikalische Ähnlichkeit: Kosinus-Ähnlichkeit von TF-IDF-Vektoren.
Hybride Ähnlichkeit: Eine Konkatenation von semantischen und lexikalischen Vektoren.

Zusätzliche strukturelle Metriken umfassten das Type-Token-Verhältnis (TTR) für die lexikalische Diversität, die mittlere Token-Entropie für die Generationsunsicherheit und die Ausgabelänge.

Kernergebnisse

1. Einfluss von RAG und Prompting auf die Übereinstimmung

Überlegenheit von RAG: Über alle Temperaturen und Metriken hinweg erreichten RAG-basierte Konfigurationen eine höhere ideologische Übereinstimmung als reine LLM-Generationen.
Erweitertes Prompting: Die Kombination aus RAG und erweitertem Prompting (explizite ideologische Metadaten) lieferte die höchsten Übereinstimmungswerte, was darauf hindeutet, dass explizite Hinweise im Prompt am effektivsten sind, wenn sie durch den abgerufenen ideologischen Kontext verstärkt werden.
Limitierungen der Nur-LLM-Methode: Oh ohne Retrieval-Fundierung schlug selbst erweitertes Prompting fehl, um die Übereinstimmung signifikant zu verbessern, was zeigt, dass externer Wissenszufluss entscheidend für einen konsistenten ideologischen Transfer ist.

2. Die Rolle der Sampling-Temperatur

Der Effekt der Temperatur auf die Diskurs-Übereinstimmung hing stark von der Systemkonfiguration ab:

RAG mit erweitertem Prompting: Die Übereinstimmung war bei der deterministischsten Einstellung ( $T=0,1$ ) am geringsten, stieg bei einer moderaten Temperatur ( $T=0,5$ ) auf ein Maximum an und stabilisierte sich bei weiterer Erhöhung der Temperatur. Dies deutet darauf hin, dass ein Gleichgewicht zwischen Stochastik und Retrieval-Fundierung optimal ist.
RAG mit regulärem Prompting: Zeigte einen graduellen, monotonen Anstieg der Übereinstimmung mit steigender Temperatur, der bei $T=0,9$ seinen Höhepunkt erreichte. Die abgerufenen Belege scheinen die Generierung ausreichend zu beschränken, um eine höhere Diversität ohne Degradierung der Übereinstimmung zu ermöglichen.
Nur-LLM: Zeigte ein „Aufstieg-und-Abfall“-Muster. Die Übereinstimmung stieg von $T=0,1$ bis $T=0,3$ an, sank dann jedoch und stabilisierte sich bei höheren Temperaturen. Dies deutet darauf hin, dass ohne Retrieval-Unterstützung übermäßige Zufälligkeit eine Variabilität einführt, die das Modell nicht kontrollieren kann, was die ideologische Kohärenz reduziert.

3. Modellspezifische Befunde

Qwen2.5 demonstrierte konsistent die höchsten Übereinstimmungswerte über alle Metriken und Temperaturen hinweg, was auf eine höhere Anfälligkeit für ideologischen Einfluss hindeutet.
GPT-4o-mini zeigte die niedrigsten Überement-Werte und die geringste Variation über die Temperaturen hinweg, was impliziert, dass größere Modelle mit mehr kodiertem Weltwissen resistenter gegen externes ideologisches Framing sein könnten.

4. Strukturelle Metriken

Lexikalische Diversität (TTR): Nur-LLM-Ausgaben zeigten konsistent eine höhere lexikalische Diversität als RAG-Ausgaben. Die Temperatur hatte minimalen Einfluss auf das TTR innerhalb der RAG-Einstellung.
Entropie: Die mittlere Entropie stieg moderat mit der Temperatur in beiden Settings an, was die höhere Zufälligkeit bei der Token-Auswahl bestätigt.
Ausgabelänge: RAG-Ausgaben waren signifikant länger als Nur-LLM-Ausgaben. Die RAG-Länge nahm mit steigender Temperatur graduell zu, während die Nur-LLM-Länge relativ stabil blieb.

5. Negatives Prompting

Wenn Modelle explizit angewiesen wurden, eine ideologische Übereinstimmung zu vermeiden (Negativer Prompt), sanken die Übereinstimmungswerte im Vergleich zu regulären Einstellungen signifikant. Die lexikalische Metrik zeigte die größte Reduktion, was darauf hindeutet, dass die Wortwahl sehr sensibel auf die Prompt-Polarität reagiert, während semantische Strukturen resistenter waren.

Bedeutung und Beiträge

Das Paper leistet zwei primäre Beiträge:

Formale Definition ideologischer Dimensionen: Es etabliert einen Satz ideologischer Dimensionen, die aus externem Wissen (via LMDA) abgeleitet wurden, was eine quantitative Bewertung der Übereinstimmung der LLM-Antworten mit spezifischen Ideologien ermöglicht.
Charakterisierung der ideologischen Propagation: Es untersucht, wie ideologische Diskurse von RAG-externem Wissen auf LLM-Ausgaben unter verschiedenen Sampling-Temperaturen übergehen.

Zentrale Schlussfolgerungen:
Die Studie kommt zu dem Schluss, dass die Sampling-Temperatur die Diskurs-Übereinstimmung zwar signifikant beeinflusst, ihr Effekt jedoch strukturell moduliert wird. In RAG-Systemen begrenzt die Retrieval-Fundierung den temperaturgesteuerten ideologischen Drift, was die Übereinstimmung im Vergleich zu Nur-LLM-Systemen über verschiedene Temperaturen hinweg stabiler macht. Der ideologische Transfer in fundierten Systemen entsteht aus der Interaktion zwischen Dekodierungs-Stochastik, Metadaten-basiertem Prompting und Retrieval-Beschränkungen, statt allein durch die Temperatur.

Limitierungen:
Die Autoren merken an, dass die Ergebnisse spezifisch für den COVID-19-Diskurs-Kontext (2020–2022) sind, eine Periode, die durch akute Dringlichkeit und Polarisierung gekennzeichnet war. Die Verallgemeinerbarkeit auf nicht-medizinische Domänen (z. B. Klimawandel) bleibt unverifiziert. Zudem deutet die Abhängigkeit von automatisierten Ähnlichkeitsmetriken auf die Notwendigkeit hin, zukünftige menschliche Evaluationen zur Bestätigung der Ergebnisse heranzuziehen.