💬 NLP

Chain-of-Models: Cross-Model Auditing for Bias-Robust LLM Judges

Dit artikel introduceert Chain-of-Models, een geautomatiseerd auditframework dat een secundair model gebruikt om redeneringssporen op bias te inspecteren, waarbij wordt aangetoond dat een bias-specifieke, functioneel diverse auditor-selectiestrategie zowel vaste enkelvoudige auditors als baselines zonder audit significant overtreft in het verbeteren van de robuustheid van LLM-oordelen.

Oorspronkelijke auteurs: Qian Wang, Zhanzhi Lou, Zhenheng Tang, Nuo Chen, Bingsheng He

Gepubliceerd 2026-08-03

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Qian Wang, Zhanzhi Lou, Zhenheng Tang, Nuo Chen, Bingsheng He

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een scheidsrechter inhuurt voor een wedstrijd met hoge inzet, zoals een kampioenschap debat of een juridisch proces. Je wilt dat de scheidsrechter eerlijk, objectief en immuun voor trucjes is. Maar wat als de scheidsrechter eigenlijk een kunstmatige intelligentie is? In de wereld van computerwetenschappen, specifiek in het vakgebied van Large Language Models (LLM's), worden deze AI-systemen steeds vaker gebruikt als "rechters" om essays te beoordelen, argumenten te beslechten of te beslissen welk antwoord het beste is. Het probleem is dat deze AI-rechters, net als mensen, "blinde vlekken" hebben. Ze kunnen gemakkelijk worden misleid door cognitieve vooroordelen—mentale afkortingen die hen doen geloven dat iets waar is, simpelweg omdat een beroemd persoon het zei, omdat iedereen anders het gelooft, of omdat de gebruiker hen beleefd heeft gevraagd.

Lange tijd leek de oplossing simpel: ofwel vertel de AI in zijn instructies "wees niet bevooroordeeld" (wat vaak faalt), of huur een mens in om het werk te controleren (wat traag en duur is). Maar er ontstaat een nieuw idee: wat als we één AI gebruiken om een andere AI te auditeren? Dit is de kernvraag van het paper "Chain-of-Models: Cross-Model Auditing for Bias-Robust LLM Judges". De onderzoekers wilden weten of we een "super-rechter"-systeem konden creëren waarbij een tweede AI over de redenering van de eerste AI waakt, de trucjes ontdekt en het uiteindelijke oordeel corrigeert. Het grote mysterie dat zij probeerden op te lossen was: maakt het uit welke tweede AI je kiest? Is de beste auditor simpelweg de slimste AI die beschikbaar is, of doet de relatie tussen de twee AI's er toe?

De Detective en de Verdachte: Een Nieuwe Manier om te Oordelen

De onderzoekers, onder leiding van Qian Wang en collega's, introduceerden een methode die ze Chain-of-Models (CoM) noemen. Stel je een detective voor (de eerste AI, of de "Rechter") die een misdaad onderzoekt en een rapport schrijft. Normaal gesproken lezen we alleen het rapport en nemen we het woord van de detective aan. Maar in dit nieuwe systeem wordt een tweede detective (de "Auditor") ingeschakeld. Deze tweede detective leest niet alleen de uiteindelijke conclusie; hij krijgt de volledige denkwijze te zien die de eerste detective gebruikte om tot die conclusie te komen. Hij bekijkt de aantekeningen, de vermoedens en de logische stappen. Als de eerste detective is misleid door een vals spoor, kan de tweede detective dat opmerken en zeggen: "Wacht eens even, dat klopt niet."

Het team testte dit idee met negen verschillende AI-modellen uit zes verschillende "families" (denk aan verschillende merken of stromingen, zoals Qwen, GPT, GLM en Kimi). Ze zetten deze modellen af tegen vier specifieke soorten mentale vallen:

Bandwagon (Meelopergedrag): Iets waar geloven simpelweg omdat "iedereen anders" denkt dat het zo is.
Authority (Autoriteit): Iets waar geloven simpelweg omdat een "beroemde expert" het zei.
Distraction (Afleiding): Afgeleid worden door irrelevante maar interessante feiten.
Sycophancy (Sycofantie/IJdelheid): Het met de gebruiker eens zijn om maar aardig of behulpzaam te zijn, zelfs wanneer de gebruiker ongelijk heeft.

De Grote Verrassing: De Slimste AI is Niet de Beste Auditor

Hier wordt het verhaal interessant. De onderzoekers hadden het vermoeden dat de beste auditor de AI zou zijn die van zichzelf al het meest resistent is tegen vooroordelen. Het leek logisch: als je een leugenaar wilt vangen, kies je toch de meest eerlijke persoon in de kamer?

Ze zaten ernaast.

In hun experimenten ontdekten ze dat het vermogen van een AI om op zichzelf weerstand te bieden tegen vooroordelen (laten we dit "standaard weerstand" noemen) bijna niets te maken had met hoe goed het een fout van een andere AI kon corrigeren. Bijvoorbeeld, het Kimi-K2.5 model was de "kampioen" in het weerstaan van vooroordelen wanneer het alleen werkte. Het was ongelooflijk moeilijk te misleiden. Maar toen de onderzoekers het koppelden aan een andere AI (Qwen2.5-72B) om als auditor op te treden, faalde Kimi-K2.5 jammerlijk. Het kon de fouten van de andere AI niet herstellen; sterker nog, het maakte de situatie vaak erger.

Waarom? De onderzoekers suggereren dat dit komt door een "blind vlek"-effect. Net zoals mensen vaak hun eigen gebreken niet zien maar die van anderen wel gemakkelijk kunnen zien, lijken AI-modellen vergelijkbare "blinde vlekken" te delen met modellen uit dezelfde familie of zelfs met zeer sterke modellen. Als de eerste AI wordt misleid door een specifiek autoriteitskenmerk, kan de "kampioen"-auditor door exact hetzelfde kenmerk worden misleid omdat hun "hersenen" op een vergelijkbare manier zijn bedraad.

De Echte Oplossing: De Auditor Afstemmen op de Val

De belangrijkste ontdekking van het paper is dat er niet één enkele "beste" auditor is voor elke situatie. In plaats daarvan hangt de beste auditor volledig af van het soort vooroordeel dat wordt getest.

Wanneer de val Bandwagon (groepsdruk) was, Authority (autoriteitsdruk) of Distraction (afleiding), was het GPT-4o model de superster-auditor. Het was uitstekend in het herkennen van deze trucs en het corrigeren van de eerste AI.
Echter, bij de val Sycophancy (te aardig zijn voor de gebruiker), werd GPT-4o zelfs slechter dan wanneer het niets zou doen! In dit specifieke geval was het GLM-5 model de held, dat de bias succesvol corrigeerde waar GPT-4o faalde.

De onderzoekers realiseerden zich dat je voor een echt robuust systeem niet zomaar één "super-auditor" kunt kiezen en die voor alles kunt gebruiken. Je hebt een slimme schakelbord nodig. Als het systeem een "Bandwagon"-val detecteert, moet het de taak naar GPT-4o sturen. Als het een "Sycophancy"-val detecteert, moet het naar GLM-5 worden gestuurd.

De Resultaten: Een Slimmer, Eerlijker Systeem

Door gebruik te maken van deze "per-bias" selectieregel, bouwden de onderzoekers een systeem dat aanzienlijk nauwkeuriger was dan elk enkel model of welk vast paar modellen dan ook.

Zonder enige auditing gaf de basis-AI het juiste antwoord in ongeveer 80,5% van de gevallen bij bevooroordeelde vragen.
Het gebruik van de sterkste enkele vaste auditor (GPT-4o) voor alles verhoogde dit naar 82,4%.
Maar door hun slimme, bias-specifieke selector te gebruiken, sprong de nauwkeurigheid naar 88,4%.

Deze verbetering was geen kleine stap; het was een enorme sprong, vooral voor de lastige "sycophancy"-bias, waarbij de slimme selector de nauwkeurigheid met bijna 24 procentpunten verbeterde ten opzichte van het basismodel.

Wat Dit Betekent voor de Toekomst

Het paper beweert niet dat ze het probleem van AI-bias voor altijd hebben opgelost. Ze geven toe dat hun systeem momenteel moet weten welk soort bias aanwezig is voordat het de juiste auditor kan kiezen (zoals weten dat er een dief aankomt voordat je de specifieke deur op slot doet). Ze merken ook op dat dit proces iets langer duurt omdat het twee AI-modellen betreft die met elkaar communiceren in plaats van één.

Echter, de studie bewijst een krachtig punt: Diversiteit is een superkracht. Door verschillende AI-families te mengen en ze af te stemmen op specifieke problemen, kunnen we een "jury" van AI's creëren die veel moeilijker te misleiden is dan een enkele AI. Het blijkt dat de beste manier om een bevooroordeelde AI te betrappen niet is om de slimste AI te vinden, maar om de juiste AI te vinden voor de specifieke truc die wordt gespeeld. Deze "Chain-of-Models"-aanpak biedt een veelbelovend pad om AI-rechters betrouwbaarder, eerlijker en vertrouwwaardiger te maken in de echte wereld.

Technisch Overzicht: Chain-of-Models: Cross-Model Auditing voor Bias-Robuuste LLM Judges

1. Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet als geautomatiseerde rechters in kritieke domeinen zoals de financiële sector en de juridische wereld. Deze modellen vertonen echter systematische cognitieve biases (bijv. bandwagon, autoriteit, afleiding, sycophancy) die hun betrouwbaarheid in gevaar brengen. Bestaande mitigatiestrategieën kampen met significante beperkingen:

Prompt-gestuurde debiasing (bijv. bias-waarschuwingen, weigerings-templates) is broos en faalt vaak bij verschillende soorten bias.
Menselijke evaluatie is betrouwbaar, maar schaalt niet naar productievolumes.

De centrale vraag die wordt behandeld is of één LLM automatisch het oordeel van een andere LLM kan auditeren om biases te corrigeren zonder het oorspronkelijke model te vervangen. Een cruciale ontwerpkeuze is de identiteit van de auditor: moet het hetzelfde model zijn, een model uit dezelfde familie, of een model uit een andere familie?

2. Methodologie: Chain-of-Models (CoM)

De auteurs stellen Chain-of-Models (CoM) voor, een geautomatiseerde audit-pipeline waarbij een tweede model ( $M_2$ ) het redeneerpad en het antwoord van een eerste model ( $M_1$ ) inspecteert voordat het een definitief oordeel produceert.

2.1 Framework Design

Pipeline: $M_1$ genereert een redeneerpad $S_1$ en een antwoord $A_1$ vanuit input $(I, Q)$ . $M_2$ ontvangt de originele input plus $S_1$ en $A_1$ om een definitief oordeel $A_{final}$ te produceren.
Auditor Beperkingen: De auditor krijgt niet expliciet de opdracht om naar bias te zoeken of krijgt specifieke instructies over bias; bias-bewustzijn wordt afgehandeld door een routing-laag buiten de prompt van de auditor om de realistische inzetbaarheid te behouden.
Cross-Family Hypothese: Gebruikmakend van het psychologische concept van de "bias blind spot" (waarbij individuen bias gemakkelijker waarnemen bij anderen dan bij zichzelf) en recente bevindingen dat modellen de voorkeur geven aan hun eigen generaties, hypothetiseren de auteurs dat een auditor uit een andere modelfamilie eerder geneigd is bevooroordeelde redeneringen uit te dagen dan een auditor uit dezelfde familie of een zelf-auditor.

2.2 Experimentele Opzet

Modellen: 9 modellen uit 6 verschillende families (Qwen, GPT, DeepSeek, GLM, MiniMax, Kimi) die diverse trainingslijnen, alignment-strategieën (RLHF, DPO) en architecturen vertegenwoordigen.
Biases: Vier cognitieve biases: Bandwagon, Autoriteit, Afleiding (Distraction) en Sycophancy.
Datasets: Twee parallelle trajecten:
1. Feitelijk: MMLU-Pro (Wiskunde, Chemie, Geschiedenis, Psychologie).
2. Subjectief: DPO-voorkeurdatasets (Emerton, Orca, Py, Truthful).
Metrics: Biased accuracy ( $Acc_{bias}$ ), waarbij het fractie van de oordelen wordt gemeten die overeenkomen met de grondwaarheid onder bias-injectie.

3. Belangrijkste Bevindingen

3.1 Standalone Weerstand $\neq$ Audit Effectiviteit

Het paper stelt vast dat het vermogen van een model om bias te weerstaan wanneer het alleen antwoordt (standalone resistance) geen voorspeller is voor het vermogen om de bias van een ander model te corrigeren (audit effectiveness).

Voorbeeld: Kimi-K2.5 vertoont de hoogste standalone weerstand tegen bandwagon-, autoriteits- en afleidingsbiases. Echter, wanneer het als auditor wordt gekoppeld aan Qwen2.5-72B op deze zelfde biases, levert het de laagste chain-accuratesse op (bijv. 0.400 op bandwagon).
Implicatie: Het selecteren van een auditor op basis van enkel de standalone robuustheid is empirisch incorrect.

3.2 Auditor Identiteit is Bias-Specifiek

Geen enkele auditor domineert over alle bias-types heen. De optimale auditor hangt af van de specifieke bias die wordt aangetroffen.

GPT-4o: Sterkste auditor voor bandwagon, autoriteit en afleiding.
GLM-5: Sterkste auditor voor sycophancy (presteert beter dan GPT-4o, dat eigenlijk slechter presteert dan de no-audit baseline voor deze specifieke bias).
Taakfamilie Heterogeniteit: De beste auditor varieert ook per taaktype (feitelijk versus subjectief). Bijvoorbeeld: GLM-5 wint op feitelijke sycophancy, terwijl GPT-4o wint op subjectieve sycophancy.

3.3 Cross-Family Auditing Presteert Beter dan Same-Family

Same-family auditing (bijv. Qwen-7B $\to$ Qwen-72B) biedt slechts marginale verbeteringen ten opzichte van single-model baselines. Cross-family ketens verhogen de accuratesse consistent boven de no-audit baseline, met winsten tot wel +27.5 procentpunten op subjectieve sycophancy.

4. Voorgestelde Oplossing: Per-Bias Auditor Selectie

Op basis van de bevindingen introduceren de auteurs een per-bias auditor selectieregel. Gegeven een bekende bias-type $b$ , selecteert het systeem een auditor $M_2$ uit een kandidaat-pool door een scorefunctie te maximaliseren:

$\text{score}(M_i | M_1, b) = \alpha \cdot d(M_1, M_i) + \beta \cdot r(M_i, b) + \gamma \cdot e(M_1, M_i, b)$

Waarbij:

$d(M_1, M_i)$ : Functionele Diversiteit (LLM-DNA afstand tussen modellen).
$r(M_i, b)$ : Per-bias Standalone Weerstand (accuratesse van $M_i$ alleen op bias $b$ ).
$e(M_1, M_i, b)$ : Gecalibreerde Audit Effectiviteit (empirische chain-accuratesse van $M_1 \to M_i$ op bias $b$ , geschat op een hold-out kalibratiesplit).

Resultaten van de Selector:

De per-bias selector bereikt een accuratesse van 0.884 over vier biased slices.
Dit presteert beter dan de sterkste vaste auditor (GPT-4o altijd aan: 0.824) en de no-audit baseline (0.805).
De winst wordt primair gedreven door het correct routeren van sycophancy-queries naar GLM-5, waardoor de prestatiedaling wordt voorkomen die optreedt bij het gebruik van GPT-4o.

5. Betekenis en Bijdragen

Het paper claimt de volgende bijdragen:

Framework: Evaluatie van same-family versus different-family auditing via het Chain-of-Models framework.
Ontkoppeling: Demonstratie dat standalone bias-weerstand en audit-effectiviteit onderscheidende eigenschappen zijn, en dat geen enkele auditor alle bias-types domineert.
Selectieregel: Introductie van een per-bias auditor selectieregel die functionele diversiteit, standalone weerstand en gekalibreerde effectiviteit combineert. Deze regel presteert beter dan elke vaste auditor-configuratie.
Resources: Publicatie van data, configuraties, pairwise LLM-DNA afstanden en een lichtgewicht agent skill voor reproduceerbaarheid.

De auteurs concluderen dat de heterogeniteit van het LLM-ecosysteem moet worden beschouwd als een hulpbron voor bias-specifieke auditorselectie, in plaats van deze te negeren door zich vast te leggen op een enkele auditor.

6. Beperkingen

Het paper erkent enkele scope-beperkingen:

Latentie: Sequentiële auditing verdubbelt de responstijd voor geflagde queries.
Generalisatie: Experimenten zijn beperkt tot decoder-only causale LM's; retrieval-augmented of multimodale judges zijn niet getest.
Bias Detectie: De huidige aanpak gaat ervan uit dat het bias-type bekend is op het moment van inferentie (via labels of context). Het afleiden van bias uit willekeurige gebruikersprompts zonder templates is een onderwerp voor toekomstig onderzoek.
Taal/Domein: Alle datasets zijn in het Engels; transfer naar andere talen of gespecialiseerde domeinen (juridisch, klinisch) is niet geëvalueerd.