💬 NLP

Council Mode: Mitigating Hallucination and Bias in LLMs via Multi-Agent Consensus

Dit artikel introduceert de 'Council Mode', een multi-agent consensusframework dat hallucinaties en bias in grote taalmodellen vermindert door parallelle queryverwerking via diverse modellen en een gestructureerde synthese, wat resulteert in aanzienlijk betere prestaties op benchmarks zoals HaluEval en TruthfulQA.

Oorspronkelijke auteurs: Shuai Wu, Xue Li, Yanna Feng, Yufang Li, Zhijun Wang

Gepubliceerd 2026-04-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shuai Wu, Xue Li, Yanna Feng, Yufang Li, Zhijun Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De "Raadsvergadering"-Manier om AI-fouten te voorkomen

Stel je voor dat je een zeer moeilijke vraag hebt, bijvoorbeeld: "Wat was de exacte reden voor de val van het Romeinse Rijk en hoe zou dat vandaag gebeuren?"

Als je dit vraagt aan één enkele kunstmatige intelligentie (een AI), is het alsof je dit vraagt aan één enkele expert. Die expert is slim, maar kan zich vergissen, iets vergeten, of een vooroordeel hebben. Soms "hallucineert" de AI: hij verzonnet een feit dat klinkt alsof het waar is, maar het is helemaal niet waar.

De auteurs van dit paper (Shuai Wu en zijn team) hebben een slimme oplossing bedacht die ze "Council Mode" noemen. Laten we dit uitleggen met een paar alledaagse vergelijkingen.

1. Het Probleem: De "Enige Expert"

Stel je voor dat je een jurist, een historicus en een dokter nodig hebt. Als je maar één persoon vraagt om al deze rollen te spelen, is de kans groot dat hij ergens een fout maakt.

Hallucinaties: De AI verzonnet feiten (zoals een expert die zeker is van iets dat hij niet weet).
Vooroordelen: De AI heeft bepaalde denkpatronen die niet altijd eerlijk of neutraal zijn.

Bij moderne AI's (zoals die met een "MoE"-architectuur) wordt dit nog erger. Het is alsof die ene expert eigenlijk een team van duizenden kleine specialisten in zijn hoofd heeft, maar er wordt maar één willekeurige specialist per vraag ingeschakeld. Soms is dat de verkeerde specialist voor de vraag.

2. De Oplossing: De "Raadsvergadering" (Council Mode)

In plaats van één expert te vragen, roepen ze een vergadering bij elkaar. Ze sturen je vraag niet naar één AI, maar naar drie verschillende, zeer slimme AI's van verschillende bedrijven tegelijkertijd.

Het proces verloopt in drie stappen, net als een goed georganiseerde vergadering:

Stap 1: De Portier (De Triage)

Niet elke vraag heeft een vergadering nodig. Als je vraagt: "Hoi, hoe gaat het?", is dat triviaal.

De analogie: Een slimme portier kijkt naar je vraag. Is het een simpele groet? Dan geeft hij direct het antwoord zonder de vergaderzaal in te gaan. Dit bespaart tijd en geld.
Is het een moeilijke vraag? Dan gaat de portier de deur openen voor de vergadering.

Stap 2: De Parallelle Expertgroep

Nu wordt de vraag gestuurd naar drie verschillende "super-experts":

Een expert van OpenAI (GPT-5.4).
Een expert van Anthropic (Claude Opus 4.6).
Een expert van Google (Gemini 3.1 Pro).

De analogie: Het is alsof je drie verschillende detectives stuurt om dezelfde zaak te onderzoeken. Omdat ze allemaal een andere achtergrond hebben en andere boeken hebben gelezen, maken ze waarschijnlijk niet dezelfde fouten. Als Detective A een fout maakt, heeft Detective B misschien de juiste informatie.

Stap 3: De Voorzitter (De Synthese)

Dit is het meest belangrijke deel. De drie detectives komen niet gewoon bij elkaar om te stemmen ("wie heeft het meeste gelijk?"). Nee, er is een slimme voorzitter (een vierde AI) die hun verslagen leest.

De voorzitter doet drie dingen:

Zoekt overeenkomsten: Waar zijn ze het allemaal over eens? (Dit is waarschijnlijk waar).
Identificeert meningsverschillen: Waar zeggen ze iets anders? (Hier moet de voorzitter oordelen wie het waarschijnlijkst gelijk heeft).
Bewaart unieke inzichten: Als één detective iets bijzonders heeft gevonden dat de anderen niet zagen, houdt de voorzitter dit ook vast.

De voorzitter schrijft dan een eindrapport dat niet alleen het antwoord geeft, maar ook uitlegt waar de experts het over eens waren en waar ze het niet over eens waren.

Waarom werkt dit beter?

Stel je voor dat drie mensen een raadsel moeten oplossen.

Als ze allemaal hetzelfde denken (zoals drie kopieën van dezelfde AI), maken ze waarschijnlijk allemaal dezelfde fout.
Maar als ze verschillend denken (zoals drie verschillende AI-modellen), is de kans dat ze alle drie tegelijk een onzin-verzonnen feit bedenken, extreem klein.

De auteurs hebben dit getest en de resultaten zijn indrukwekkend:

Minder fouten: De "Raadsvergadering" maakt 36% minder hallucinaties dan de beste enkele AI.
Meer waarheid: Het antwoord is veel betrouwbaarder en eerlijker.
Minder vooroordelen: Omdat ze verschillende perspectieven combineren, is het eindresultaat veel neutraal.

Het Nadeel: Snelheid

Is er een prijs voor deze perfectie? Ja, tijd.
Het duurt langer om drie experts te raadplegen en een voorzitter te laten nadenken dan om één expert direct te laten antwoorden.

De analogie: Het is als het verschil tussen iemand direct op straat iets vragen (snel, maar misschien niet accuraat) en een vergadering beleggen met drie experts (duurt langer, maar het antwoord is gegarandeerd beter).

Conclusie

De "Council Mode" is een slimme manier om AI's slimmer en betrouwbaarder te maken door ze te laten samenwerken in plaats van ze alleen te laten werken. Het is alsof je niet meer vertrouwt op één stem, maar op een wijze raad die samen het juiste antwoord vindt.

Dit onderzoek laat zien dat de toekomst van betrouwbare AI niet ligt in het maken van één gigantische, perfecte machine, maar in het slimme samenbrengen van verschillende slimme machines.

Titel: Council Mode: Het Mitigeren van Hallucinaties en Bias in LLM's via Multi-Agent Consensus

1. Het Probleem

Grote Taalmodellen (LLMs), en specifiek die met een Mixture-of-Experts (MoE) architectuur, hebben indrukwekkende prestaties geleverd, maar lijden aan twee fundamentele tekortkomingen:

Hallucinaties: Het genereren van vlot klinkende maar feitelijk onjuiste informatie. In MoE-modellen wordt dit verergerd door de "sparse routing" (spare activatie), waarbij bepaalde experts overgespecialiseerd kunnen raken of foutieve correlaties hebben geleerd (expert collapse).
Systematische Bias: De gating-mechanismen die bepalen welke experts actief zijn, kunnen vooroordelen introduceren die correleren met oppervlakkige kenmerken in plaats van semantische inhoud.

Traditionele oplossingen zoals Retrieval-Augmented Generation (RAG) of Reinforcement Learning from Human Feedback (RLHF) werken binnen de grenzen van het parametrische geheugen van één enkel model. Ze kunnen de inherente beperkingen van dat specifieke model niet volledig overwinnen.

2. Methodologie: De Council Architectuur

De auteurs stellen Council Mode voor, een gestructureerd multi-agent consensusframework dat queries parallel verwerkt via meerdere heterogene frontier-modellen en deze synthetiseert via een gespecialiseerd model. Het proces verloopt in drie fasen:

Fase 1: Intelligente Triage
Een lichtgewicht classifier (gebaseerd op regex en een klein LLM) analyseert de complexiteit van de gebruikersvraag.
- Triviale vragen (groeten, korte inputs) worden direct beantwoord om rekenkracht te besparen.
- Complexe vragen worden doorgestuurd naar het volledige "Council"-proces.
Fase 2: Parallel Expert Generatie
De vraag wordt gelijktijdig verzonden naar N=3 architectonisch diverse modellen (in dit geval: GPT-5.4 van OpenAI, Claude Opus 4.6 van Anthropic, en Gemini 3.1 Pro van Google).
- Elk model genereert een onafhankelijk antwoord ( $R_i$ ).
- Door parallelle uitvoering (via Promise.all()) wordt de totale latentie bepaald door het traagste model, niet de som van alle modellen.
Fase 3: Consensus Synthese
Een dedicated synthese-model (Seed 2.0 Pro) ontvangt de vraag en alle expert-antwoorden. Het past een gestructureerd protocol toe met 16 verplichte regels om de output te decomponeren in vier secties:
1. Consensus: Feitelijke claims die door alle experts worden ondersteund.
2. Disagreement: Claims waar experts tegenstrijdige informatie geven.
3. Unique Findings: Unieke inzichten die slechts door één expert worden genoemd.
4. Comprehensive Analysis: Een samengevoegd, feitelijk gecontroleerd antwoord dat meningsverschillen oplost en unieke inzichten contextueert.

Theoretische Basis:
De methode verlaagt de kans op hallucinaties exponentieel. Als de kans dat één model hallucineert $p$ is, is de kans dat alle $N$ onafhankelijke modellen op dezelfde claim hallucineren gelijk aan $\prod p_i$ . Bij drie modellen met een hallucinatiekans van ca. 18% daalt de gezamenlijke kans tot ongeveer 0,55%.

3. Belangrijkste Bijdragen

Framework: Introductie van een drie-fasen multi-agent consensusframework (Triage → Parallelle Generatie → Gestructureerde Synthese) dat specifiek hallucinaties en bias aanpakt.
Formalisatie: Wiskundige formulering van het consensusmechanisme, inclusief de triage-functie en de aggregatielogica.
Implementatie: Een volledige open-source implementatie in een cloud-native AI-workspace (Next.js/React) met real-time streaming van de redeneerprocessen via SSE (Server-Sent Events).
Empirische Validatie: Uitgebreide evaluaties en ablatiestudies die de effectiviteit van heterogene experts versus homogene ensembles aantonen.

4. Resultaten

De evaluatie werd uitgevoerd op benchmarks zoals HaluEval, TruthfulQA en een aangepaste Multi-Domain Reasoning-set.

Reductie van Hallucinaties: Council Mode bereikte een 35,9% relatieve reductie in hallucinatiepercentages op de HaluEval-benchmark ten opzichte van het beste individuele model (Claude Opus 4.6). Het gemiddelde hallucinatiepercentage daalde van 16,7% naar 10,7%.
Verbetering in Waarheidsgetrouwheid: Op de TruthfulQA-benchmark steeg de score met 7,8 punten (van 74,8% naar 82,6% voor "Truthful").
Bias Vermindering: De variantie in bias over verschillende domeinen (Wetenschap, Geschiedenis, Recht, etc.) nam met 85–89% af. Het Council-antwoord vormde een strakke cluster met hoge consistentie en neutraliteit, terwijl individuele modellen grote spreiding vertoonden.
Complexiteit: Bij taken met hoge complexiteit (10 redeneerstappen) behield Council Mode een nauwkeurigheid van 71,2%, terwijl GPT-5.4 daalde naar 50,8%.
Ablatie-studie:
- Het gebruik van heterogene modellen (verschillende providers) is cruciaal; een ensemble van drie dezelfde modellen (3x GPT-5.4) leverde veel minder verbetering op.
- Gestructureerde synthese is essentieel; vervanging door simpel meerderheidsvoting verhoogde de hallucinatiekans met 32,7%.

5. Betekenis en Conclusie

Het rapport demonstreert dat het combineren van cognitieve diversiteit via meerdere frontier-modellen, gecombineerd met een gestructureerde synthese, een krachtige strategie is om de betrouwbaarheid van AI te verhogen.

Significantie: Council Mode biedt een praktische route om de "black box" van hallucinaties aan te pakken zonder de modelarchitectuur zelf te hoeven hertrainen. Het benadrukt dat diversiteit in trainingdata en architectuur essentieel is voor foutcorrectie.
Trade-off: De methode introduceert een hogere latentie (gemiddeld 8,4s vs. 2,8–5,6s voor individuele modellen), maar dit wordt gerechtvaardigd voor toepassingen waar nauwkeurigheid en feitelijke juistheid prioriteit hebben boven snelheid.
Toekomst: De open-source implementatie vormt een basis voor verder onderzoek in multi-model orkestratie en suggereert dat toekomstige systemen mogelijk adaptieve expert-selectie kunnen gebruiken om de efficiëntie verder te optimaliseren.

Kortom, Council Mode beweert dat "veel slimme hoofden" (van verschillende oorsprong) samen beter zijn dan één enkel, zelfs zeer geavanceerd, model, vooral wanneer het gaat om het verminderen van systematische fouten en vooroordelen.