💬 NLP

DIVERGE: Diversity-Enhanced RAG for Open-Ended Information Seeking

Das Paper stellt DIVERGE vor, ein neuartiges agentisches RAG-Framework, das reflektionsgesteuerte Generierung und speicheraugmentierte iterative Verfeinerung einsetzt, um die Diversitätsbeschränkungen Standard-Systemen zu überwinden und dadurch einen überlegenen Diversitäts-Qualitäts-Trade-off für die offene Informationssuche zu erreichen.

Ursprüngliche Autoren: Tianyi Hu, Niket Tandon, Akhil Arora

Veröffentlicht 2026-02-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Tianyi Hu, Niket Tandon, Akhil Arora

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „Echo-Kammer“-Effekt

Stellen Sie sich vor, Sie fragen eine sehr kluge, belesene Bibliothekarin (eine KI) um Rat, wie Sie Ihre Programmierkenntnisse verbessern können. Sie erwarten eine Liste mit verschiedenen Strategien: Vielleicht schlägt eine Person vor, kleine Projekte zu bauen, eine andere schlägt vor, anderen etwas beizubringen, und eine dritte schlägt vor, spezifische Algorithmen zu studieren.

Aktuelle KI-Systeme verhalten sich jedoch oft wie eine kaputte Schallplatte. Selbst wenn Sie der Bibliothekarin einen riesigen Stapel vielfältiger Bücher (abgerufene Informationen) zur Ansicht geben, neigt die KI dazu, die Vielfalt zu ignorieren und einfach dieselbe Antwort zu geben, die sie auch ohne die Bücher gegeben hätte. Sie kollabiert alle verschiedenen Möglichkeiten zu einer einzigen „sicheren“, standardisierten Antwort.

Die Arbeit nennt dies „Knowledge Collapse“ (Wissenskollaps). Dies geschieht, weil die KI darauf trainiert ist, selbstbewusst und konsistent zu sein, wessoeben sie die „unordentlichen“, aber interessanten alternativen Standpunkte in den Suchergebnissen ignoriert.

Die Lösung: DIVERGE (Der „Debattierclub“-Ansatz)

Die Autoren haben ein neues System namens DIVERGE entwickelt. Anstatt die KI nur zu fragen, „Gib eine Antwort“, verwandelt DIVERGE den Prozess in einen strukturierten Debattierclub.

So funktioniert es, Schritt für Schritt:

Die erste Runde (Das Fundament): Die KI gibt eine Standardantwort basierend auf dem, was sie findet.
Die Reflexion (Der „Moment des Innehaltens“): Das System betrachtet diese erste Antwort und fragt: „Welche Standpunkte fehlen uns noch?“ Es identifiziert explizit einen neuen Aspekt, der bisher noch nicht abgedeckt wurde (z. B. „Wir haben über technische Fähigkeiten gesprochen, aber was ist mit Soft Skills?“).
Die gezielte Suche (Die „Spezifische Mission“): Anstatt erneut nach „Programmiertipps“ zu suchen, sendet das System eine neue Suchanfrage, die speziell darauf ausgelegt ist, Belege für diesen fehlenden Aspekt zu finden.
Die Verfeinerung (Der „Editor“): Die KI generiert eine neue Antwort, die nur auf diesem spezifischen neuen Aspekt basiert, um sicherzustellen, dass sie nicht einfach die erste Antwort wiederholt.
Die Schleife: Es wiederholt diesen Prozess und prüft ständig sein „Gedächtnis“, um sicherzustellen, dass es sich nicht wiederholt, bis es einen vollständigen Satz vielfältiger, hochwertiger Antworten hat.

Die Analogie:
Denken Sie an eine Standard-KI als einen Koch, der nur weiß, wie man eine bestimmte Art von Suppe zuzubereiten, selbst wenn man ihm einen Korb mit 50 verschiedenen Gemüsesorten gibt. Er macht einfach wieder dieselbe Suppe.
DIVERGE ist wie ein Koch, der in den Korb schaut, sagt: „Okay, ich habe eine Tomatensuppe gemacht. Jetzt schauen wir uns die Pilze an und machen eine Pilzsuppe“, und dann die Paprika betrachtet und eine Paprikasuppe macht. Es zwingt die Küche, den gesamten Korb zu nutzen, nicht nur die erste Zutat.

Wie sie den Erfolg gemessen haben

Die Arbeit führt eine neue Art und Weise ein, die KI zu bewerten. Normalerweise fragen wir nur: „Ist die Antwort richtig?“
DIVERGE stellt zwei Fragen:

Ist sie richtig? (Qualität)
Ist sie anders als die anderen? (Diversität)

Sie haben einen „Harmonischen Score“ (ähnlich einem Notendurchschnitt) entwickelt, der diese beiden Werte ausbalanciert. Man möchte nicht 10 Antworten, die zwar alle unterschiedlich, aber falsch sind, und man möchte nicht 10 Antworten, die zwar alle perfekt, aber identisch sind. Man möchte 10 Antworten, die sowohl perfekt als auch unterschiedlich sind.

Die Ergebnisse

Als sie DIVERGE bei realen Fragen testeten (wie „Wie kann ich meine Karriere verbessern?“ oder „Was sind die besten Reiseziele?“):

Standard-KI + Suche: Gab immer noch repetitive Antworten.
KI, die versucht, vielfältig zu sein (ohstenhalb von DIVERGE): Gab sehr unterschiedliche Antworten, die jedoch oft eine geringe Qualität hatten oder Fakten erfand.
DIVERGE: Erreichte die „Goldlöckchen-Zone“. Es produzierte Antworten, die in ihrer allgemeinen Bedeutung 2,5-mal vielfältiger und in ihren spezifischen Standpunkten 1,6-mal vielfältiger waren, während die Qualität der Antworten genauso hoch blieb wie bei der Standard-KI.

Das Fazit

Die Arbeit behauptet, dass es nicht ausreicht, einer KI einfach mehr Informationen zu geben, um sie kreativ denken zu lassen. Man muss ein System bauen, das die KI explizit dazu zwingt, nach verschiedenen Perspektiven zu suchen und ihre eigene Arbeit zu überprüfen, um sicherzustellen, dass sie sich nicht nur wiederholt. DIVERGE tut genau das und ermöglicht es den Nutzern, ein breiteres Spektrum an gültigen Möglichkeiten zu sehen, ohne die Genauigkeit zu opfern.

Technisches Resümee: DIVERGE – Diversitätsgestützte Retrieval-Augmented Generation für die offene Informationssuche

1. Problemstellung

Aktuelle Retrieval-Augmented Generation (RAG)-Systeme sind überwiegend unter der Annahme konzipiert, dass jede Anfrage eine einzige, faktisch korrekte Antwort besitzt. Dieses Paradigma führt zu Wissenskollaps (Knowledge Collapse) in Szenarien der offenen Informationssuche (z. B. Brainstorming, Entscheidungsunterstützung oder das Erkunden alternativer Perspektiven), in denen mehrere plausible Antworten existieren.

Das Paper identifiziert drei spezifische Herausforderungen, die Standard-RAG-Systeme daran hindern, diverse Ausgaben zu generieren:

C1: Single-Answer-Bias: RAG-Paradigmen fördern eine übermäßig selbstbewusste Generierung, was dazu führt, dass Modelle eine enge, hochkonfidente Teilmenge der abgerufenen Kontexte priorisieren und alternative, aber plausible Informationen ignorieren.
C2: Fehlende Erhaltung der Diversität: Bestehende Mechanismen verfügen nicht über langfristige Strategien, um die Diversität über mehrere Generationen hinweg zu bewahren. Infolgedessen produzieren Modelle selbst bei diversen abgerufenen Kontexten hochgradig ähnliche, homogenisierte Ausgaben, was auf die inhärenten Tendenzen von Large Language Models (LLMs) zurückzuführen ist.
C3: Begrenzte praktische Anwendbarkeit: Viele State-of-the-Art-Techniken zur Diversitätssteigerung setzen den Zugriff auf Token-Level-Logits oder spezifische Decoding-Hyperparameter (z. B. Temperatur, Top-p) voraus, welche bei geschlossenen Frontier-LLMs (z. B. GPT-5, o3) nicht verfügbar oder eingeschränkt sind.

Darüber hinaus stellt das Paper fest, dass eine bloße Erhöhung der Retrieval-Diversität (z. B. via Re-Ranking) sich nicht in diverse Generationen übersetzt und bestehende promptbasierte Methoden oft Diversität auf Kosten einer signifikanten Qualitätsminderung erreichen.

2. Methodik: Das DIVERGE-Framework

Die Autoren schlagen DIVERGE (Diversity-Enhanced Retrieval-Augmented Generation) vor, ein plug-and-play agentenbasiertes RAG-Framework, das darauf ausgelegt ist, diverse Standpunkte explizit zu modellieren und gleichzeitig die Antwortqualität beizubehalten. DIVERGE arbeitet als iterativer Prozess, ohne den Zugriff auf Token-Logits zu erfordern, was die Kompatibilität mit beliebigen LLM-Backbones, einschließlich geschlossener Modelle, gewährleistet.

Das Framework besteht aus drei Kernkomponenten:

A. Reflexionsgestützte Standpunkt-Generierung (Reflection-Guided Viewpoint Generation)

Um den Single-Answer-Bias (C1) zu mildern, behandelt DIVERGE latente Modellmerkmale als „Standpunkte“ (Viewpoints).

Initialisierung: Das System generiert eine initiale RAG-Antwort und fasst diese zusammen, um bestehende Standpunkte zu extrahieren.
Reflexion: In nachfolgenden Iterationen reflektiert das LLM über die Menge der zuvor untersuchten Standpunkte.
Identifikation neuer Standpunkte: Das Modell identifiziert einen neuen, unzureichend abgedeckten Standpunkt, der eine distinkte Perspektive auf die ursprüngliche Anfrage bietet, um sicherzustellen, dass der Generierungsprozess nicht in einen einzigen dominanten Stand kollabiert.

B. Standpunktbewusste Retrieval-Strategie (Viewpoint-Aware Diversity Retrieval)

Um das Fehlen einer faktischen Fundierung für hypothetische Standpunkte zu adressieren (C2), integriert DIVERGE einen Retrieval-Mechanismus, der das offene Web gezielt nach Evidenz für den identifizierten Standpunkt abfragt.

Query-Generierung: Das LLM generiert eine Suchanfrage, die auf dem neuen Standpunkt konditioniert ist.
Diversitätsbewusstes Re-Ranking: Der Retriever verwendet eine erweiterte Formulierung der Maximal Marginal Relevance (MMR). Dieser bewertet Dokumente basierend auf:
1. Relevanz in Bezug auf die auf den aktuellen Standpunkt konditionierte Suchanfrage.
2. Diversität im Vergleich zu Dokumenten, die in vorherigen Iterationen abgerufen wurden (Gedächtnis).
3. Diversität im Vergleich zu Dokumenten, die innerhalb der aktuellen Iteration ausgewählt wurden.
  Dies stellt sicher, dass die abgerufenen Belege den spezifischen Standpunkt stützen, während Redundanzen mit bereits untersuchten Informationen vermieden werden.

C. Standpunkt-konditionierte Generierung und Verfeinerung (Viewpoint-Conditioned Generation and Refinement)

Um die Lücke zwischen einem spezifischen Standpunkt und der ursprünglichen Intention des Nutzers zu schließen, nutzt DIVERGE einen zweistufigen Generierungsprozess:

Konditionierte Generierung: Das LLM generiert eine Antwort, die explizit sowohl auf die ursprüngliche Anfrage als auch auf den Ziel-Standpunkt konditioniert ist.
Verfeinerung: Die generierte Antwort wird verfeinert, um sicherzustellen, dass sie logisch kohärent, faktisch korrekt und direkt auf die ursprüngliche Nutzeranfrage bezogen bleibt, wodurch eine übermäßige Abweichung verhindert wird, während die durch den Standpunkt eingeführte Diversität gewahrt bleibt.

3. Evaluierungsmetriken

In Anerkennung der Tatsache, dass Standardmetriken, die auf Ground-Truth-Antworten basieren, für offene Aufgaben ungeeignet sind, führen die Autoren eine neuartige Evaluierungssuite ein, die den Fokus auf das Diversitäts–Qualitäts-Verhältnis legt:

Semantische Diversität ( $D_{sem}$ ): Misst die Variation der Bedeutung über generierte Antworten hinweg mittels paarweiser Kosinus-Distanz zwischen Antwort-Embeddings.
Standpunkt-Diversität ( $D_{view}$ ): Zerlegt Antworten in atomare Behauptungen (Standpunkte) und misst den Anteil der sich gegenseitig nicht überschneidenden Behauptungen über den Satz der Antworten hinweg. Dies erfasst die Intra-Antwort-Diversität, die semantische Metriken möglicherweise übersehen.
Qualitäts-Score: Bewertet mittels eines LLM-as-a-Judge-Paradigmas, welches die faktische Genauigkeit, die Evidenzstützung, die interne Konsistenz und die Relevanz der Frage bewertet.
Vereinheitlichter Diversitäts–Qualitäts-Harmonischer Score ( $U_{Q}$ ): Ein harmonisches Mittel aus normalisierten Diversitäts- und Qualitäts-Scores, das einen einzelnen Metrikwert zur Vergleichbarkeit der Trade-off-Leistung verschiedener Methoden liefert.

4. Experimentelle Ergebnisse

Das Framework wurde auf Infinity-Chat evaluiert, einem realen Benchmark für offene Anfragen ohne Ground Truth. Die Experimente nutzten GPT-5-mini und GPT-5.1 Modelle.

Leistung: DIVERGE erreichte den höchsten Unified Score über alle Methoden und Modellkonfigurationen hinweg.
Diversitätsgewinne: Im Vergleich zum unabhängigen Sampling (direktes Prompting) verbesserte DIVERGE die semantische Diversität um ~2,5× und die Standpunkt-Diversität um ~1,6×.
Erhalt der Qualität: Im Gegensatz zu promptbasierten Baselines (z. B. Verbalized Sampling), die eine erhebliche Qualitätsminderung erlitten, bewahrte DIVERGE eine vergleichbare Antwortqualität mit nur einem geringfügigen Rückgang (~0,04) im Qualitäts-Score.
Vergleich mit Baselines: Standard-RAG und einfache Strategien zur Diversitätssteigerung (z. B. Context Shuffling, Multi-Query) konnten die Diversität nicht signifikant erhöhen und führten oft zu niedrigeren Unified Scores.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass DIVERGE eine systematische Limitation aktueller LLM-basierter Systeme adressiert: das Versagen, diverse abgerufene Kontexte für die offene Informationssuche zu nutzen.

Minderung der Homogenisierung: Durch die explizite Modellierung von Diversität mittels Reflexion und iterativer Verfeinerung zeigt DIVERGE, dass es möglich ist, die Homogenisierungstendenzen von Frontier-LLMs zu überwinden, ohne ein Retraining oder den Zugriff auf interne Modellzustände (Logits) zu benötigen.
Praktische Anwendbarkeit: Das Framework ist als „Plug-and-Play“-Lösung konzipiert, die mit geschlossenen Modellen kompatibel ist, was eine sofortige Anwendung in realen Deployment-Szenarien ermöglicht, in denen die Kontrolle über das Decoding eingeschränkt ist.
Ethische und gesellschaftliche Auswirkungen: Die Autoren argumentieren, dass die Förderung von Diversität in KI-Antworten hilft, das Risiko homogener Outputs zu mindern, die dominante soziale oder kulturelle Standpunkte überrepräsentieren, wodurch ein fairerer und inklusiverer Zugang zu Informationen sowie die menschliche Kreativität unterstützt werden.

Die Arbeit kommt zu dem Schluss, dass die explizite Modellierung von Diversität ein gangbarer Weg ist, um die oft gegensätzlichen Ziele von Antwortvarianz und faktischer Zuverlässigkeit in offenen RAG-Systemen in Einklang zu bringen.