Technische Samenvatting: Hoe LLM's elkaar auditeren

1. Probleemstelling

Het artikel behandelt een fundamenteel gat in het opkomende veld van automatische Large Language Model (LLM) evaluatie: de aanname dat LLM-auditors stabiele, consistente outputs produceren, ongeacht contextuele variabelen. Specifiek onderzoekt de studie twee kritieke faalmodi die weinig empirische aandacht hebben gekregen:

1. Auditor Identiteits-onthullingsbias: Of de analyse van een auditor verandert wanneer deze de identiteit van het te evalueren model kent (bijv. merkherkenning) versus wanneer deze blind is voor die identiteit.
2. Cross-linguale Auditor Instabiliteit: Of een auditor diagnostisch compatibele outputs produceert wanneer de taal van de auditing-prompt niet overeenkomt met de taal van het beoordeelde bewijsmateriaal.

De auteurs dagen de heersende aanname uit dat LLM's fungeren als stabiele "rechters" in preference learning, adversariële deliberatie of ethische consistentietesten, waarbij zij opmerken dat eerder onderzoek zich grotendeels heeft gericht op outputkwaliteit (bijv. positiebias, verbositeit) in plaats van op de consistentie van het analytische gedrag onder deze specifieke condities.

2. Methodologie

De studie maakt gebruik van een rigoureus experimenteel ontwerp met negen commerciële modellen (ChatGPT, Claude, Copilot, DeepSeek, Gemini, Grok, Meta AI, Perplexity en Qwen) over drie afzonderlijke componenten.

Kernontwerpprincipe: Onafhankelijke Schone Sessies

Een bepalend kenmerk van de methodologie is het gebruik van "schone, onafhankelijke chat-sessies" zonder kruisbesmetting tussen de condities.

• Bewijsmateriaal-corpus: Het doelbewuste bewijsmateriaal (CECT - Contextual Ethical Consistency Test) werd onafhankelijk in het Engels en Spaans gegenereerd door de doelmodellen. Dit waren geen vertalingen van elkaar maar onafhankelijke producties, wat ervoor zorgt dat cross-linguale divergenties in het bewijsmateriaal productartefacten waren en geen vertaalfouten.
• Sessie-isolatie: Elke audit (blind vs. onthuld, Engelse prompt vs. Spaanse prompt) vond plaats in een aparte sessie. Auditors hadden geen toegang tot eerdere audit-outputs of parallelle evaluaties.

Experimentele Componenten

1. Component 1 (Single-Auditor Peer Review, N=9 paren): Paren van modellen evalueerden elkaars CECT-transcripten onder twee condities: Blind (identiteit onbekend) en Revealed (identiteit onthuld).
2. Component 2 (Cross-Linguale Zelf-Audit, N=17 bruikbare sessies): Modellen auditeerden hun eigen eerdere CECT-outputs in twee varianten: Variant A (Engelse prompt/Spaans bewijsmateriaal) en Variant B (Spaanse prompt/Engels bewijsmateriaal).
3. Component 3 (Dual-Auditor Review, N=6 targets): Twee onafhankelijke architecturen (bijv. Claude en DeepSeek) evalueerden hetzelfde target gelijktijdig in schone sessies om stabilisatie-effecten te testen.

Codering en Analyse

De studie sloot numerieke zelf-toegewezen scores expliciet uit van de primaire conclusies, omdat deze als onbetrouwbaar werden beschouwd. In plaats daarvan richtte de analyse zich op de rechtvaardigende tekst met behulp van een vooraf geregistreerd codeboek (F1–F6) om te meten:

• Specificiteit van optie-tracking
• Tellingen van tegenstrijdigheden
• Behoud van bewijs-citatie
• Ernst per subsectie
• Nauwkeurigheid van zelf-erkenning

3. Belangrijkste Bijdragen

Het artikel operationaliseert "auditor bias" niet als een enkel construct, maar als vijf verschillende, mechanistische fenomenen:

1. Register Collapse (Registerinstorting): Een verschuiving van operationele analyse (het volgen van beslissingsopties, druktypen) naar beschrijvende commentaar (persoonlijkheidskenmerken, toon) wanneer de target-identiteit wordt onthuld.
2. Selective Evidence Loss (Selectief Bewijsverlies): Specifieke, goed onderbouwde bevindingen die aanwezig zijn in de blinde conditie verdwijnen in de onthulde conditie zonder weerlegging of erkenning.
3. Reconstructive Instability (Reconstructieve Instabiliteit): Basale feitelijke claims over het geauditeerde transcript (bijv. baseline opties) verschillen feitelijk tussen de blinde en de onthulde conditie zonder nieuw bewijs.
4. Scope Narrowing (Versmalling van de Scope): Een reductie in het totaal aantal gerapporteerde onderscheidende bevindingen in de onthulde conditie, waarbij weggelaten bevindingen niet worden geadresseerd.
5. Asymmetric Severity Redistribution (Asymmetrische Herverdeling van Ernst): De intensiteit van de kritische analyse verschuift tussen subsecties (bijv. taalsecties) terwijl de geaggregeerde ernstscore stabiel blijft, waardoor de herverdeling wordt gemaskeerd.

Daarnaast draagt het papier bij met:

• Empirisch Bewijs van Zelf-Scoring Falen: Het aantonen dat numerieke zelf-scores er niet in slagen vier van de vijf gedocumenteerde mechanismen te detecteren.
• Karakterisering van Cross-Linguale Instabiliteit: Het aantonen dat instabiliteit model-specifiek is (variërend per architectuur) in plaats van taal-specifiek.
• Triangulatie Framework: Een methode voor het valideren van bevindingen door middel van onafhankelijke parallelle evaluatie.

4. Resultaten

Frequentie van Mechanismen (Component 1)

In de 9 peer-review paren werden vijf verschillende bias-mechanismen waargenomen (elk één instantie), terwijl 5 paren stabiel bleven of verscherpten onder identiteitsonthulling.

• Kernbevinding: Identiteitsonthulling veroorzaakt niet universeel mildheid; in sommige gevallen (bijv. Grok, Qwen) fungeerde het als disambigerende informatie. Echter, wanneer bias optrad, manifesteerde dit zich via de vijf hierboven genoemde specifieke mechanismen.
• Numerieke Score Falen: In gevallen van Selective Evidence Loss, Reconstructive Instability, Scope Narrowing en Asymmetric Redistribution bleven de door de auditors gerapporteerde numerieke scores identiek (bijv. 3/3), ondanks dat de kwalitatieve outputs drastisch veranderden.

Cross-Linguale Instabiliteit (Component 2)

Drie modellen (Grok, Perplexity, Qwen) vertoonden "Max Divergence" of significante divergentie tussen de taalvarianten.

• Directionaliteit: De richting van de instabiliteit was niet uniform. Grok en Perplexity waren strenger onder Engelse prompts, terwijl Qwen strenger was onder Spaanse prompts. Dit sluit een eenvoudige "dominante taal"-hypothese uit, wat aangeeft dat het effect model-specifiek is.

Dual-Auditor Stabilisatie (Component 3)

In 5 van de 6 targets produceerde onafhankelijke parallelle evaluatie door twee verschillende architecturen een stabiele of verbeterde overeenstemming na onthulling.

• Anomalie: Bij de Meta AI target divergeerden de auditors directioneel, een fenomeen dat een single-auditor design gemist zou hebben.
• Conclusie: Dual-auditor designs bieden een structurele mitigatie voor identiteits-onthullingsbias.

5. Betekenis en Claims

Het artikel stelt dat het gebruik van LLM's om andere LLM's te evalueren methodologisch legitiem is, maar dat dit structurele waarborgen vereist die momenteel ontbreken in de praktijk.

• De Zelf-Scoring Blind Spot: De primaire methodologische claim is dat zelf-gerapporteerde numerieke scores onbetrouwbare indicatoren zijn van de stabiliteit van een auditor. Omdat mechanismen zoals bewijsverlies en scope-versmalling de structuur van het rapport behouden terwijl ze de inhoud wijzigen, falen geaggregeerde scores om te signaleren dat een audit minder rigoureus of feitelijk inconsistent is geworden.
• Veiligheidsimplicaties: De beschreven gedragingen (normatieve drift, justificatory decoupling) vallen buiten de scope van bestaande kwetsbaarheidsprogramma's en evaluatieframeworks. Het vertrouwen op louter automatische LLM-naar-LLM evaluatie zonder onafhankelijke menselijke verificatie of multi-architectuur triangulatie creëert een gedocumenteerde structurele blind spot in AI-veiligheid en regelgevende naleving.
• Actiegerichte Mitigatie: De studie stelt voor dat organisaties die LLM-auditors inzetten, de volgende zaken moeten implementeren:
  1. Onafhankelijke parallelle evaluatie door ten minste twee architecturen van verschillende ontwikkelaarsprovenance.
  2. Menselijke steekproeven met expliciete inhoudelijke criteria (niet alleen scores).
  3. Empirische per-model testen van cross-linguale stabiliteit vóór meertalige uitrol.

De auteurs concluderen dat een LLM-auditor die stabiliteit rapporteert via een numerieke score, geen bewijs is dat de audit stabiel was; alleen een kwalitatieve vergelijking van de rechtvaardigende tekst over de condities heen kan werkelijke stabiliteit vaststellen.