💬 NLP

Self-Preference Is Weak or Absent in Verifiable Instruction-Following Revision: A Four-Model Test Under Genuine Authorship

Deze studie toont aan dat grote taalmodellen geen zelfvoorkeursvariabele vertonen bij het afwijzen van geverifieerde, instructievolgende correcties op hun eigen concepten, aangezien ze dergelijke aanpassingen accepteren of afwijzen met een snelheid die statistisch niet te onderscheiden is van die van neutrale modellen van derden.

Oorspronkelijke auteurs: William Guey, Pierrick Bougault

Gepubliceerd 2026-06-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: William Guey, Pierrick Bougault

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een chef bent die net een maaltijd heeft bereid. Je weet dat het recept een fout bevat: er ontbreekt zout. Stel je nu voor dat een voedingscriticus (een andere AI) je een briefje geeft met de tekst: "Hier is een snufje zout om het gerecht te verbeteren."

De grote vraag die dit artikel stelt is: Weigert jij, de chef, het zout toe te voegen, enkel omdat het jouw gerecht is? Word je defensief en zeg je: "Nee, ik hou het liever zo," ook al weet je dat het zout nodig heeft? Of ga je, als een professional, gewoon over tot de orde van zaken door te zeggen: "Bedankt, dit lost het op," en ga je weer verder?

Dit artikel onderzoekt of AI-modellen een soort "ego" hebben wanneer ze gevraagd wordt hun eigen fouten te herstellen.

De Opzet: Een Strenge Rechter

Om het antwoord te vinden, vroegen de onderzoekers de AI niet om te raden of een correctie goed was. In plaats daarvan gebruikten ze een deterministische verifieerder — denk aan een rigide, gevoelloze robot-scheidsrechter.

Het Concept: Een AI schrijft een korte tekst volgens specifieke regels (zoals "schrijf in hoofdletters" of "voeg het woord 'banaan' toe").
De Fout: De robot-scheidsrechter controleert de tekst en zegt: "Je bent gefaald. Je hebt geen hoofdletters gebruikt."
De Correctie: De robot biedt vervolgens een specifieage bewerking aan die de fout zeker herstelt. Het is geen suggestie; het is een wiskundig bewezen correctie.
De Test: De AI krijgt de vraag: "Accepteer je deze correctie?"
- Scenario A (De Auteur): De AI is degene die het oorspronkelijke concept heeft geschreven. Het weet: "Ik heb dit geschreven."
- Scenario B (De Vreemde): Een andere AI (of hetzelfde model in een nieuwe conversatie) bekijkt het concept en de correctie, maar weet niet wie het geschreven heeft. Het is slechts een neutrale redacteur.

Het Experiment

De onderzoekers testten dit met vier verschillende "middenklasse" AI-modellen (slim, maar niet de absoluut krachtigste op de markt). Ze voerden 85 verschillende scenario's uit waarbij de AI moest beslissen of het een door een robot geverifieerde correctie op zijn eigen werk zou accepteren versus die van een vreemde.

De Resultaten: Geen "Ego" Gevonden

De studie vond geen bewijs dat de AI-modellen hun eigen werk probeerden te beschermen.

De Chef-analogie: Wanneer de "Vreemde" redacteur het zout aanbood, accepteerde de AI dit ongeveer 8 in de 10 keer (80%). Wanneer de "Chef" (de oorspronkelijke auteur) het zout werd aangeboden voor zijn eigen gerecht, accepteerde hij het bijna met precies dezelfde frequentie.
De Cijfers: Het verschil tussen de twee groepen was minimaal (ongeveer 5 procentpunt) en statistisch gezien niet te onderscheiden van nul. In gewone mensentaal: de AI gaf niet om of de fout van hemzelf was of die van een ander. Het was even blij met de correctie.

Eén Interessante Wending: De "Perfectionistische" Chef

Hoewel de frequentie van afwijzing hetzelfde was, waren de redenen voor afwijzing interessant.

Wanneer de AI een correctie afwees die de robot verifieerder als perfect beschouwde, kwam dat niet door ego ("Ik geef de voorkeur aan mijn versie"). In plaats daarvan was de AI een hyperkritische perfectionist.

Voorbeeld: De robot zei: "Deze correctie voegt het woord 'banaan' toe zoals gevraagd." De AI wees het af met de reden: "Ja, maar nu is de zinsstructuur onhandig," of "Dit verbreekt het ritme van het gedicht."
De Statistiek: In 97% van de gevallen, wanneer een AI een "goede" correctie afwees, was dat omdat de AI een subtiele fout zag die de robot verifieerder had gemist. Het was niet koppig; het was extra voorzichtig.

Wat dit Betekent (en Wat het Niet Betekent)

Wat het betekent: Als je een systeem bouwt waarbij een AI zijn eigen teksten beoordeelt en herstelt op basis van strikte regels, hoef je je geen zorgen te maken dat de AI te trots is om toe te geven dat hij een fout heeft gemaakt. Het zal de correctie net zo gemakkelijk accepteren als een vreemde dat zou doen.
Wat het niet betekent: Deze studie keek alleen naar strikte, regelgebaseerde taken (zoals "gebruik hoofdletters"). Er is niet getest op complexe taken zoals het schrijven van een gedicht, het voeren van een argument of het corrigeren van feitelijke fouten waarbij "goed" subjectief is. Ook zijn de meest recente, krachtigste modellen niet getest, enkel de middenklasse modellen.

De Kern van het Verhaal

Het artikel concludeert dat in de wereld van strikt regelvolgend schrijven, AI-modellen geen "zelfvoorkeur"-bias vertonen. Ze verdedigen hun eigen concepten niet. Ze zijn verrassend nederig en bereid een geverifieerde correctie te accepteren, of ze die nu zelf geschreven hebben of niet. De enige keer dat ze "nee" zeggen, is wanneer ze extreem nauwkeurig zijn over de details, en niet omdat ze hun ego beschermen.

Technische Samenvatting: Zelfvoorkeur is Zwak of Afwezig bij Verifieerbare Instructie-volgende Revisie

Probleemstelling
Grote taalmodellen (LLM's) vertonen een gedocumenteerde "zelfvoorkeur"-bias, waarbij ze teksten die ze zelf hebben gegenereerd bevoordelen wanneer ze als beoordelaar optreden. Hoewel deze bias gevestigd is in kwaliteitsbeoordeling en zelf-verfijningslussen, blijft het onduidelijk of modellen weerstand bieden aan geldige correcties op hun eigen schrijven. Specifiek: wanneer een model wordt geconfronteerd met een concrete, door een machine geverifieerde verbetering van een concepttekst dat het zelf heeft geschreven, wijst het die verbetering dan vaker af dan een neutraal model zou doen? Het helder beantwoorden hiervan is moeilijk gebleken door twee confounds: (1) het bepalen of een verbetering "geldig" is, vereist meestal een ander LLM, wat de onderzochte bias opnieuw introduceert (circulariteit); en (2) eerdere studies vertrouwen vaak op "told labels" (het model vertellen "jij hebt dit geschreven") in plaats van op authentiek in-context auteurschap.

Methodologie
De studie pakt deze problemen aan met behulp van een deterministisch, verifieerbaar framework gebaseerd op de IFEval-dataset en de officiële checker daarvan.

Verifieerbare Grondwaarheid: De geldigheid van conceptteksten en verbeteringen wordt bepaald door een programmatische checker, niet door een LLM. De checker bevestigt dat een concepttekst een specifieke beperking overtreedt en dat een kandidaat-edit de overtreding herstelt zonder andere beperkingen te breken.
Experimenteel Ontwerp: De auteurs vergelijken twee besluitvormingscondities voor dezelfde geverifieerde goede verbetering:
1. Auteur (Authentiek): Het model dat de concepttekst daadwerkelijk in-context heeft gegenereerd, beslist of de edit wordt geaccepteerd of afgewezen. Dit garandeert authentiek auteurschap zonder "told labels".
2. Fresh (Nieuw): Een ander model (of hetzelfde model in een nieuwe sessie) bekijkt de concepttekst neutraal als "een conceptantwoord" en beslist over dezelfde edit.
Omvang: De studie omvat drie pilots, uitmondend in een geteste test (P3) over vier mid-tier modelfamilies (gpt-4o-mini, claude-3.5-haiku, gemini-2.5-flash-lite, en llama-3.3-70b-instruct) met 85 bruikbare conceptteksten.
Metriek: De primaire metriek is de zelfvoorkeur-gap ( $G$ ), gedefinieerd als het verschil in afwijzingspercentages tussen de Auteur en het Fresh-model ( $G = r_{author} - r_{fresh}$ ). Een positieve $G$ geeft aan dat de auteur minder geneigd is om geldige verbeteringen aan zijn eigen werk te accepteren.

Belangrijkste Resultaten

Afwezigheid van Zelfvoorkeur: Over 85 conceptteksten en vier modelfamilies werd geen detecteerbare zelfvoorkeur gevonden. De gecombineerde zelfvoorkeur-gap was $G = -5,1$ procentpunten (pp), met een 95% betrouwbaarheidsinterval van $[-12,9, +2,7]$ . Dit interval bevat nul, wat aangeeft dat auteurs geverifieerde goede verbeteringen aan hun eigen conceptteksten in essentie met dezelfde frequentie afwijzen als fresh modellen die dezelfde teksten beoordelen.
Replicatie van de Nulwaarde: Een kleinere pilot (P2) suggereerde een zwak signaal van "zelf-scepticisme" (waarbij auteurs strenger waren voor hun eigen werk), maar dit kon niet worden gereproduceerd in de grotere P3-test. Sterker nog, de puntmeting in P3 was licht negatief, wat suggereert dat auteurs marginaal bereidwilliger waren om verbeteringen aan hun eigen werk te accepteren.
Kwalitatief Onderscheid: Hoewel het percentage afwijzingen niet significant verschilde, verschilde het karakter van de afwijzingen door de auteur. Van de 39 gevallen waarin auteurs een geverifieerd goede verbetering afwezen, werd 97,4% geclassificeerd als "strikter-dan-de-checker" (het opsporen van fouten, bijv. het identificeren dat de verbetering een secundaire beperking verbrak), terwijl slechts 2,6% gebaseerd was op louter voorkeur ("Ik geef de voorkeur aan het origineel").
Modelvariabiliteit: De afwijzingspercentages varieerden per modelfamilie, maar dit werd primair gedreven door de striktheid van de "Fresh" comparator-modellen in plaats van door de auteurs zelf. De afwijzingspercentages van de auteurs bleven nauw geclusterd rond de 15% voor alle families.

Betekenis en Claims
Het paper beweert een "clean cell" in kaart te brengen binnen het landschap van zelfgerelateerde biases. Terwijl zelfvoorkeur goed gedocumenteerd is in kwaliteitsbeoordeling en antwoordselectietaken, laat deze studie zien dat in de specifieke setting van verifieerbare instructie-volgende revisie onder authentiek in-context auteurschap, de bias zwak of afwezig is.

De auteurs uiten zich expliciet bescheiden over hun claims:

Zij beweren niet dat zelfvoorkeur universeel "afwezig is bewezen", maar stellen dat effecten kleiner dan $\sim13$ pp niet kunnen worden uitgesloten gezien de steekproefgrootte ( $N=85$ ).
De studie is beperkt tot mid-tier modellen (om IFEval-plafondeffecten te vermijden) en laag-latitudinale, atomaire beperkingen (waarbij holistische revisies zoals stijl of argumentatie worden uitgesloten).
Het "zelf-scepticisme"-signaal dat in eerdere pilots werd waargenomen, wordt niet beschouwd als een robuust bevinding, aangezien het niet op schaal kon worden gereproduceerd.

De primaire robuuste bijdrage is het methodologische ontwerp (deterministische checker + authentiek auteurschap) dat een geloofwaardige nulresultaat mogelijk maakt, evenals de kwalitatieve observatie dat wanneer auteurs een geldige verbetering afwijzen, dit komt door rigoureuze foutdetectie in plaats van ego of voorkeur.