Technische Samenvatting: DIVERGE – Diversiteit-verbeterde Retrieval-Augmented Generation voor Open-Eindige Informatiezoekopdrachten

1. Probleemstelling

Huidige Retrieval-Augmented Generation (RAG) systemen zijn voornamelijk ontworpen onder de aanname dat elke zoekopdracht één feitelijk correct antwoord heeft. Dit paradigma leidt tot kenniscollaps in open-eindige scenario's voor informatiezoektochten (bijv. brainstormen, besluitvormingsondersteuning of het verkennen van alternatieve perspectieven), waarbij meerdere plausibele antwoorden bestaan.

Het artikel identificeert drie specifieke uitdagingen die standaard RAG-systemen verhinderen om diverse outputs te genereren:

• C1: Single-Answer Bias (Eenzijdigheid in antwoorden): RAG-paradigma's stimuleren overmoedige generatie, waardoor modellen een smalle, hoog-betrouwbare subset van opgehaalde contexten prioriteren terwijl ze alternatieve maar plausibele informatie negeren.
• C2: Ontbreken van Diversiteitsbehoud: Bestaande mechanismen missen langetermijnstrategieën om diversiteit over meerdere generaties heen te behouden. Gevolgelijk produceren zelfs met diverse opgehaalde contexten, de modellen zeer vergelijkbare, gehomogeniseerde outputs vanwege de inherente neigingen van Large Language Models (LLMs).
• C3: Beperkte Praktische Toepasbaarheid: Veel state-of-the-art technieken voor diversiteitsverhoging vertrouwen op toegang tot token-level logits of specifieke decoding-hyperparameters (bijv. temperatuur, top-p), die niet beschikbaar of beperkt zijn bij closed-source frontier LLM's (bijv. GPT-5, o3).

Verder merkt het artikel op dat het simpelweg vergroten van de retrieval-diversiteit (bijv. via re-ranking) niet vertaalt naar diverse generaties, en dat bestaande prompt-gebaseerde methoden vaak diversiteit bereiken ten koste van aanzienlijke kwaliteitsdegradatie.

2. Methodologie: Het DIVERGE-framework

De auteurs stellen DIVERGE (Diversity-Enhanced Retrieval-Augmented Generation) voor, een plug-and-play agentic RAG-framework dat ontworpen is om diverse standpunten expliciet te modelleren terwijl de antwoordkwaliteit behouden blijft. DIVERGE werkt als een iteratief proces zonder toegang te vereisen tot token logits, waardoor het compatibel is met willekeurige LLM-backbones, inclusclusief closed-source modellen.

Het framework bestaat uit drie kerncomponenten:

A. Reflectie-gestuurde Standpuntgeneratie

Om de single-answer bias (C1) te mitigeren, behandelt DIVERGE latente modelkenmerken als "standpunten" (viewpoints).

1. Initialisatie: Het systeem genereert een initiële RAG-respons en vat deze samen om bestaande standpunten te extraheren.
2. Reflectie: In opeenvolgende iteraties reflecteert de LLM op de reeds verkende standpunten.
3. Identificatie van Nieuwe Standpunten: Het model identificeert een nieuw, onvoldoende gedekt standpunt dat een onderscheidend perspectief biedt op de oorspronkelijke zoekopdracht, om er zeker van te zijn dat het generatieproces niet inklapt naar één dominant standpunt.

B. Standpunt-bewuste Retrieval

Om het gebrek aan feitelijke onderbouwing voor hypothetische standpunten aan te pakken (C2), integreert DIVERGE een retrieval-mechanisme dat het open web doorzoekt naar bewijs specifiek voor het geïdentificeerde standpunt.

• Query Generatie: De LLM genereert een zoekopdracht (query) geconditioneerd op het nieuwe standpunt.
• Diversiteit-bewuste Re-ranking: De retriever gebruikt een uitgebreide Maximal Marginal Relevance (MMR) formulering. Deze scoort documenten op basis van:
  1. Relevantie voor de op het huidige standpunt geconditioneerde zoekopdracht.
  2. Diversiteit ten opzichte van documenten die in vorige iteraties zijn opgehaald (geheugen).
  3. Diversiteit ten opzichte van documenten die binnen de huidige iteratie zijn geselecteerd.
     Dit zorgt ervoor dat het opgehaalde bewijs het specifieke standpunt ondersteunt terwijl redundantie met eerder verkende informatie wordt vermeden.

C. Standpunt-geconditioneerde Generatie en Verfijning

Om de kloof tussen een specifiek standpunt en de oorspronkelijke intentie van de gebruiker te overbruggen, hanteert DIVERGE een tweestaps-generatieproces:

1. Geconditioneerde Generatie: De LLM genereert een respons die expliciet geconditioneerd is op zowel de oorspronkelijke zoekopdracht als het doelgerichte standpunt.
2. Verfijning: De gegenereerde respons wordt verfijnd om te waarborgen dat deze logisch coherent, feitelijk accuraat en direct gericht is op de oorspronkelijke zoekopdracht van de gebruiker, om te voorkomen dat de afwijking te groot wordt terwijl de door het standpunt geïntroduceerde diversiteit behouden blijft.

3. Evaluatiemetrieken

In het besef dat standaard metrieken die steunen op grondwaarheid-antwoorden ongeschikt zijn voor open-eindige taken, introduceren de auteurs een nieuwe evaluatiesuite die focust op de diversiteit–kwaliteit trade-off:

• Semantische Diversiteit ($D_{sem}$): Meet de variatie in betekenis over gegenereerde responsen met behulp van pairwise cosine distance tussen antwoord-embeddings.
• Standpunt-diversiteit ($D_{view}$): Decomponeert responsen in atomaire claims (standpunten) en meet het deel van de onderling niet-overlappende claims over de set van responsen. Dit legt intra-respons diversiteit vast die semantische metrieken mogelijk missen.
• Kwaliteitsscore: Geëvalueerd via een LLM-as-a-Judge paradigma, waarbij wordt beoordeeld op feitelijke juistheid, bewijsondersteuning, interne consistentie en relevantie voor de vraag.
• Verenigde Diversiteit–Kwaliteit Harmonische Score ($U_{Q}$): Een harmonisch gemiddelde van genormaliseerde diversiteits- en kwaliteitsscores, wat een enkele metriek biedt om de trade-off prestaties van verschillende methoden te vergelijken.

4. Experimentele Resultaten

Het framework werd geëvalueerd op Infinity-Chat, een real-world benchmark van open-eindige zoekopdrachten zonder grondwaarheid. Experimenten maakten gebruik van GPT-5-mini en GPT-5.1 modellen.

• Prestaties: DIVERGE behaalde de hoogste Unified Score over alle methoden en modelconfiguraties.
• Diversiteitswinsten: Vergeleken met onafhankelijke sampling (directe prompting), verbeterde DIVERGE de semantische diversiteit met ~2,5× en de standpunt-diversiteit met ~1,6×.
• Behoud van Kwaliteit: In tegen tegenstelling tot prompt-gebaseerde baselines (bijv. Verbalized Sampling) die leden onder substantiële kwaliteitsdegradatie, behield DIVERGE een vergelijkbare antwoordkwaliteit, met slechts een marginale daling (~0,04) in de kwaliteitsscore.
• Baseline Vergelijking: Standaard RAG en eenvoudige diversiteitsversterkende strategieën (bijv. context shuffling, multi-query) slaagden er niet in de diversiteit significant te verhogen en resulteerden vaak in lagere unified scores.

5. Betekenis en Claims

Het artikel claimt dat DIVERGE een systematische beperking in huidige LLM-gebaseerde systemen aanpakt: het falen om diverse opgehaalde contexten te benutten voor open-eindige informatiezoekopdrachten.

• Mitigeren van Homogenisering: Door diversiteit expliciet te modelleren via reflectie en iteratieve verfijning, demonstreert DIVERGE dat het mogelijk is om de homogeniserende neigingen van frontier LLM's te overwinnen zonder hertraining of toegang tot interne modeltoestanden (logits).
• Praktische Toepasbaarheid: Het framework is ontworpen als een "plug-and-play" oplossing die compatibel is met closed-source modellen, waardoor het direct toepasbaar is in real-world deployment scenario's waar decoding-controles beperkt zijn.
• Ethische en Maatschappelijke Impact: De auteurs betogen dat het bevorderen van diversiteit in AI-responsen helpt bij het mitigeren van het risico op gehomogeniseerde outputs die dominante sociale of culturele standpunten oververtegenwoordigen, waardoor een eerlijkere en meer inclusieve informatievoorziening wordt ondersteund en menselijke creativiteit wordt gestimuleerd.

Het werk concludeert dat het expliciet modelleren van diversiteit een levensvatbaar pad is om de vaak conflicterende doelstellingen van responsvariëteit en feitelijke betrouwbaarheid in open-eindige RAG-systemen in balans te brengen.