Framing Instability in LLM Ethical Stance: Auditing Negation Sensitivity in Moral Dilemmas
Dit artikel auditeert 16 taalmodellen op het gebied van ethische dilemma's en onthult dat hun morele standpunten zeer instabiel zijn en gevoelig zijn voor omslagen op basis van de vraag of vragen worden geformuleerd als bevestigingen of ontkenningen, een kwetsbaarheid die bijzonder ernstig is bij kleinere modellen en vaak wordt gemaskeerd door standaard binaire evaluatiemethoden.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligente robotvriend hebt die heel goed is in het geven van advies over lastige morele vragen, zoals "Moet ik de waarheid spreken als dat iemand pijn doet?" of "Is het oké om een regel te breken om een leven te redden?" Je zou verwachten dat zo'n robot een solide moreel kompas heeft, toch? Als je vraagt: "Is stelen slecht?", zou hij moeten zeggen: "Ja." Als je vraagt: "Is niet stelen goed?", zou hij ook "Ja" moeten zeggen. Het antwoord zou hetzelfde moeten blijven omdat de situatie niet is veranderd, alleen de woorden die je gebruikte.
Maar hier komt de twist: een nieuwe studie door Katherine Elkins en Jon Chun toonde aan dat voor veel van deze AI-robots het antwoord volledig verandert, puur omdat je de zin omdraait. Het is also'f je een vriend vraagt: "Houd je van pizza?" en een "Ja!" krijgt. Daarna vraag je: "Vind je pizza niet lekker?" en krijg je een "Nee!" (wat betekent dat hij van pizza houdt), maar dan vraag je: "Vind je pizza niet onlekker?" en krijg je plotseling weer een "Ja!", zelfs al lijkt de robot in de war over wat pizza precies is.
De Grote Wisselwerking
De onderzoekers testten 16 verschillende AI-modellen (sommige gemaakt door grote Amerikaanse bedrijven, sommige door Chinese bedrijven, en andere kleinere, open-source modellen) met 14 lastige morele dilemma's. Ze stelden elk model dezelfde vraag op twee manieren:
- De "Moet"-manier: "Ze zouden de winkel moeten beroven."
- De "Moet niet"-manier: "Ze zouden de winkel niet moeten beroven."
Als de robot stabiel is, zou hij "Nee" zeggen tegen de eerste en "Ja" tegen de tweede (wat betekent dat hij het ermee eens is dat niet beroven de juiste keuze is). Maar voor de kleinere, open-source modellen waren de resultaten bizar. Wanneer er werd gevraagd: "Ze zouden de winkel moeten beroven," stemden deze modellen slechts in 24% van de gevallen in. Maar wanneer er werd gevraagd: "Ze zouden de winkel niet moeten beroven," stemden ze plotseling in 77% van de gevallen in met de actie!
Dat is een schommeling van 76 procentpunten. Het is alsof de robot naar een rood licht kijkt en zegt "Stop", maar wanneer je zegt "Ga niet", zegt hij "Ga!". De studie vond dat voor sommige van deze kleinere modellen de wisseling nog extremer was, waarbij de overeenkomst onder bepaalde lastige formuleringen de 100% bereikte.
Het "Ja-knikker"-probleem
Waarom gebeurt dit? De auteurs suggereren dat de robots niet echt nadenken over de logica. In plaats daarvan spelen ze misschien een spelletje van "trefwoorden matchen". Als de prompt het woord "beroven" bevat, ziet de robot het woord "beroven" en denkt hij: "Oh, ik moet over beroven praten!" en stemt hij per ongeluk in met de actie, zelfs als de zin "niet zou moeten" zegt. Het is als een leerling die het woord "niet" in een wiskundig probleem ziet, maar het negeert omdat hij te veel gefocust is op de getallen.
De studie controleerde ook of de robots gewoon "ja-knikkers" waren (het eens zijn met wat de gebruiker zei). Als dat zo was, zouden ze bij "Berg de winkel niet" instemmen door te zeggen "Oké, ik zal de winkel niet beroven." Maar dat deden ze niet. Ze stemden in met "Berg de winkel niet" door te zeggen "Oké, ik zal de winkel beroven." Het is dus niet alleen een kwestie van een ja-knikker zijn; het is een echte fout in hoe ze met ontkenende woorden omgaan.
De "Nep"-overeenstemming
Hier is nog een sluipend deel: de manier waarop we deze robots meestal testen, is gebrekkig. De meeste tests vragen simpelweg: "Ben je het ermee eens of ermee oneens?" en tellen de "eens"-antwoorden. De onderzoekers vonden dat deze simpele "eens/oneens"-knop een leugenaar is. Het telt 38% meer "overeenstemmingen" dan er daadwerkelijk bestaan.
Stel je voor dat een robot zegt: "Ik weet het niet zeker, maar misschien is het oké," en de test telt dat als een "Ja." De onderzoekers vonden dat mensen de antwoorden lazen en ontdekten dat de robots vaak redenen opschreven die hun eigen "Ja" of "Nee" tegenspraken. In ongeveer 13% van de gevallen zei de geschreven uitleg van de robot het tegenovergestelde van wat de knop aangaf. Het is alsof een student een essay schrijft waarin hij tegen diefstal pleit, maar dan het vakje aanvinkt dat hij diefstal steunt.
Wie is het meest stabiel?
Niet alle robots zijn even in de war.
- De Kleine, Open-Source Modellen: Deze waren het meest kwetsbaar. Ze veranderden hun antwoorden wild afhankelijk van hoe de vraag werd gesteld.
- De Grote Commerciële Modellen: De modellen van grote bedrijven (zoals GPT-5, Claude en Gemini) deden het beter, maar waren nog steeds niet perfect. Ze wisselden minder vaak, maar ze veranderden nog steeds van mening. Bijvoorbeeld, de overeenstemming tussen verschillende modellen daalde van 73% bij een positieve vraag naar 59% bij een negatieve vraag. Dit betekent dat als je twee verschillende "slimme" robots dezelfde vraag op een negatieve manier stelt, ze veel vaker van mening zullen verschillen.
- De "Redenerings"-modellen: Sommige modellen die de instructie kregen om "stap voor stap na te denken" voordat ze antwoordden, deden het beter. Eén model, Grok-4.1-reasoning, verminderde zijn verwarring met 57% vergeleken met de niet-redenerende versie. Dit suggereert dat als de robot vertraagt en de hele zin echt leest in plaats van alleen maar te scannen op trefwoorden, hij het vaker goed heeft.
Maakt het uit?
De onderzoekers waarschuwen dat dit niet alleen een leuk leukigheidje is. Als een ziekenhuis AI gebruikt om te helpen bij de besluitvorming over patiëntenzorg, of een bank AI gebruikt om leningen goed te keuren, en het antwoord van de AI verandert alleen maar omdat de arts of bankier de vraag anders formuleert, dan is dat een groot probleem.
Ze ontdekten dat de robots vooral wankel waren in financiële en zakelijke scenario's (met een "gevoeligheidsscore" van 0,63–0,65) vergeleken met medische scenario's (0,36). Dit betekent dat de robots mogelijk de meest onbetrouwbare adviezen geven op de momenten dat mensen met geld of schulden te maken hebben.
De Conclusie
Het artikel zegt niet dat deze robots voor altijd "kapot" zijn, maar wel dat ze momenteel onbetrouwbaar zijn voor beslissingen met een hoge inzet als je ze niet nauwkeurig controleert. De auteurs stellen een nieuwe test voor, de Negation Sensitivity Index (NSI), om te meten hoeveel het antwoord van een robot omslaat wanneer je de woorden omdraait.
Ze suggeren dat we robots niet zelfstandig grote beslissingen moeten laten nemen totdat ze deze test kunnen halen. Als het antwoord van een robot afhangt van de vraag of je "zou" of "niet zou" zegt, dan maakt hij geen oordeel over de situatie; hij reageert dan alleen op de zinsstructuur. En in de echte wereld hebben we AI-vrienden nodig die consistent zijn, niet verward.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.