The yes-no bias of large language models reflects answer order and wording, not shifts in moral judgment

Technische Samenvatting: De Ja–Nee-bias van Large Language Models

Probleemstelling
Large language models (LLM's) worden steeds vaker ingezet om binaire morele oordelen te vellen (bijv. veiligheidscontroles, verplichte keuzes in enquêtes). Een groeiende hoeveelheid literatuur rapporteert dat deze oordelen significant verschuiven onder logisch irrelevante wijzigingen in bewoording, optievolgorde en antwoordformaat. Specifiek vertonen modellen een versterkte "ja–nee-bias" bij morele dilemma's—een neiging om vonnissen te verschuiven naar "nee" die afwezig is in menselijke vergelijkingen. Standaard evaluatiemethoden slagen er echter niet in de bron van deze verschuiving te diagnosticeren. In een binaire "ja/nee"-vraag vallen het woord "nee", het logische vonnis van negatie en de laatst geprinte optie samen op één enkele token. Bijgevolg kan de herhaling van een enkele framing niet onderscheid maken tussen of het model een bias heeft voor het negatieve logische vonnis, de lexicale token "nee", of de recentie van de geprinte optie. Deze samensmelting maakt evaluaties met een enkele framing ambigu: een verschoven vonnis kan het gevolg zijn van een verandering in moreel oordeel, een voorkeur voor een specifiek woord, of een oppervlakkige positionele bias.

Methodologie
Om deze verwarringen op te lossen, introduceert de auteur een psychometrische batterij gebaseerd op gekruiste symmetrisatie. Dit instrument past elke logisch irrelevante perturbatie toe in gebalanceerde flip-paren en kruist deze om hun bijdragen te scheiden. De batterij stelt 20 morele dilemma's voor (19 overgenomen van Cheung et al., 1 aangepast) via drie verschillende instrumenten:

1. Gegradeerde Beoordeling (I-1): Roept morele aanvaardbaarheid op continue schalen op (0–10 en 0–100) onder 48 gekruiste condities, waarbij het type schaal, de ankerrichting, de bewoording en de pool van de beoordeelde actie variëren.
2. Twee-alternatieve Vrije Keuze (I-2): Roept een gecommitteerde beslissing op zonder enige beoordelingsschaal of binaire labels.
3. Gedwongen Binair (I-3): Roept een ja/nee-stijl vonnis op door het werkwoord van de vraag (goedkeuren/afwijzen) te kruisen met de geprinte volgorde van opties en de antwoordlabels zelf (standaard "ja/nee", willekeurige labels zoals "A/B", symbolen en niet-Engelse woorden).

De kernanalytische strategie behandelt het symmetrische deel van een flip-paar als de schatting van de interne stand van het model ($\theta$) en het antisymmetrische deel als het artefact. Door factoren te kruisen, schrijven de auteurs artefacten toe aan specifieke bronnen (volgorde, lexicaal, logisch). De studie evalueert zeven frontier-configuraties (Claude Sonnet, Claude Haiku, GPT-5.5, Gemini-3-Flash, Gemini-3.1-Flash-Lite, Claude Opus) en twee kleine open-weight modellen (Qwen3.6-35B-A3B, Nemotron-3-Nano-30B-A3B).

Belangrijkste Bijdragen

1. Bestaan van een Coherente Interne Morele Schaal: De studie demonstreert dat frontier-modellen een latente, vorm-invariante morele stand bezitten. Onder logisch equivalente herformuleringen convergeren gegradeerde beoordelingen met een lage cross-form incoherentie ($\sigma_{repro} = 0,12–0,21$ op een $\pm1$ as). Dit valideert de interne consistentie van de modellen, een eigenschap die single-framing ontwerpen niet kunnen certificeren.
2. Decompositie van de Ja–Nee-bias: De schijnbare "ja–nee-bias" blijkt een decomponeerbaar artefact te zijn, en geen logische bias. Het splitst zich exact op in:
   • Order Bias: Een aantrekkingskracht naar de laatst geprinte optie (recentie), het tegenovergestelde van het primacy-effect dat vaak in menselijke enquêtes wordt gezien.
   • Lexicale Bias: Een aantrekkingskracht naar het specifieke woord "nee".
   • Logische Bias: De bias die verbonden is aan het vonnis zelf, blijkt $\approx 0$ te zijn voor frontier-modellen wanneer het woord "nee" wordt vervangen door willekeurige labels.
3. Parametrisch Model van Artefacten: De auteurs stellen een minimaal model voor, $P = \sigma((\theta \pm m)/s)$, om het artefact samen te vatten.
   • $m$ (Framing Susceptibility): Meet de omvang van de bias.
   • $s$ (Moral Decisiveness): Meet hoe scherp het binaire vonnis de onderliggende gegradeerde stand volgt (onderscheidend van sampling temperature).
4. Lexicaal versus Logisch Onderscheid: Door "ja/nee" te vervangen door willekeurige labels (bijv. "A/B"), bewijst de studie dat de bias de geprinte oppervlakte volgt (het woord of label) in plaats van het logische vonnis. Frontier-modellen vertonen een verwaarloosbare aan het vonnis verbonden bias met willekeurige labels, terwijl kleine open-weight modellen een aan het vonnis verbonden bias behouden.

Resultaten

• Modelvariantie: Frontier-modellen (Claude, GPT, Gemini) vertonen een coherente interne schaal met lage incoherentie. Daarentegen falen kleine open-weight modellen op verschillende manieren: Qwen vertoont hoge incoherentie in directe modus (opgelost door deliberatie), terwijl Nemotron een degeneratieve schaal (onverschilligheid) vertoont die items nauwelijks differentieert.
• Bias-omvang: De "ja–nee-bias" is aanzienlijk alleen in Claude-modellen (Sonnet: $-0,32$; Haiku: $-0,86$), wat uiteenvalt in order- en lexicale componenten. GPT-5.5 en Gemini-modellen vertonen een verwaarloosbare bias ($\approx 0$).
• Effect van Deliberatie: Uitgebreide redenering ("think" mode) vermindert zowel de cross-form incoherentie ($\sigma_{repro}$) als de framing susceptibiliteit ($|m|$) voor modellen met functionerende schalen. Voor Claude Haiku vermindert deliberatie de totale bias van $-0,86$ naar $-0,27$.
• Labelafhankelijkheid: De lexicale aantrekkingskracht is gegradeerd; deze neemt toe naarmate labels de semantische betekenis van "ja/nee" verkrijgen over verschillende talen. Echter, de aan het vonnis verbonden bias verdwijnt wanneer de "ja/nee"-woorden worden verwijderd, wat bevestigt dat de bias lexicaal is, niet logisch.
• Menselijke Vergelijking: Mensen vertonen een milde framing-gevoeligheid, maar missen de specifieke "nee"-bias en de extreme oppervlaktegevoeligheid die bij LLM's wordt waargenomen.

Significantie
Het artikel betoogt dat het meten van wat een AI waardeert vereist dat men de frames van de vraag kruist, in plaats van slechts één keer te vragen. De standaard "ja–nee"-output overlapt een grote format-artefact die de onderliggende morele signal kan overstemmen. De studie stelt vast dat:

1. Frontier LLM's een stabiele, coherente interne morele schaal bezitten die robuust is tegen logisch equivalente herformuleringen.
2. De geobserveerde "ja–nee-bias" een artefact is van het binaire readout-formaat (specifiek de interactie tussen de geprinte volgorde en het woord "nee"), en niet een dispositie tot het verwerpen van morele proposities.
3. Evaluatieprotocollen moeten de waarden van het model scheiden van de artefacten van hoe de vraag wordt gesteld. De voorgestelde batterij biedt een methode om framing susceptibiliteit ($m$) en morele besluitvaardigheid ($s$) als afzonderlijke, interpreteerbare parameters te meten, wat een rigoureuzere basis biedt voor AI-veiligheid en alignment-evaluaties.