Ideology by Alphabet: Option Order and the Measurement of Machine Political Preferences
Dit artikel toont aan dat de schijnbare politieke ideologieën van grote taalmodellen grotendeels artefacten zijn van vaste volgorde-biases in antwoorden in plaats van oprechte voorkeuren, aangezien gerandomiseerde optievolgorde de eerder geïdentificeerde ideologische clusters doet verdwijnen en onthult dat specifieke positie-arrangementen modellen willekeurig met conflicterende politieke standpunten kunnen labelen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Wanneer we een computer vragen een keuze te maken, gaan we er vaak van uit dat deze de feiten van de situatie afweegt. Als een groot taalmodel — een type kunstmatige intelligentie dat kan lezen en schrijven als een mens — wordt gevraagd om te kiezen tussen vier verschillende oplossingen voor een probleem, verwachten we dat het antwoord een weerspiegeling is van zijn begrip van de kwestie. Dit is hoe we menselijke kiezers of deskundigenpanels behandelen: we gaan ervan uit dat hun voorkeuren geworteld zijn in hun waarden en kennis. Maar in de wereld van enquêteontwerp is er een bekende mentale truc genaamd een "ordereffect". Als je een reeks opties aan een persoon presenteert om uit te kiezen, is de kans statistisch groter dat ze de eerste optie op de lijst kiezen, simpelweg omdat het de eerste is die ze zien. Dit gebeurt omdat het brein een kortere weg neemt wanneer het moe is of wanneer de keuzes moeilijk van elkaar te onderscheiden zijn. Decennialang weten sociale wetenschappers al dat de volgorde van woorden op een stembiljet of een vragenlijst de uitkomst van een stemming kan veranderen. De vraag die onbeantwoord is gebleven, is of dezezelfde kortere wegen ook gelden voor machines, en of ze, indien aanwezig, sterk genoeg zijn om een politieke persoonlijkheid te verzinnen waar die niet bestaat.
Een team onderzoekers van de Universiteit van Debrecen in Hongarije zette zich in om dit te testen door kunstmatige intelligentiemodellen te behandelen alsof het politieke kiezers waren. Ze creëerden een enorme test bestaande uit 400 verschillende scenario's met betrekking tot echte governance-vraagstukken, zoals hoe om te gaan met veiligheid op de werkplek, hoe markten te reguleren, of hoe sociale voorzieningen te verdelen. Voor elk scenario presenteerden ze de modellen vier verschillende opties en vroegen ze hen om elke optie te scoren en een winnaar te kiezen. Ze voerden deze test uit op 15 verschillende open-source modellen, waarbij meer dan 640.000 individuele reacties werden gegenereerd. In de eerste fase van het experiment gebruikten ze de standaardmethode die de meeste onderzoekers gebruiken: ze hielden de volgorde van de opties voor elke vraag exact hetzelfde. Als de "overheids"-optie altijd als eerste werd vermeld, bleef die ook als eerste staan. Als de "individuele"-optie altijd als laatste stond, bleef die ook als laatste staan.
Toen de onderzoekers de resultaten uit deze vaste-volgorde-opstelling analyseerden, vonden ze een patroon dat verdacht veel leek op een echt politiek verdeeldheid. De modellen sorteerden zichzelf in twee duidelijke groepen. Eén groep, die de onderzoekers "marktraationalisten" noemden, bevoordeelde consequent opties gerelateerd aan nut, metrieken en financiële prikkels. De andere groep, de "institutionalisten", bevoordeelde opties gerelateerd aan regels, eerlijkheid en maatschappelijke verantwoordelijkheid. Deze splitsing zag er zo schoon en logisch uit dat het leek op een beroemde theorie in de politieke wetenschap die economieën verdeelt in liberale en gecoördineerde typen. De resultaten waren zo consistent dat ze elke standaardtest voor betrouwbaarheid doorstonden. Het leek alsof de onderzoekers erin geslaagd waren de politieke ideologieën van kunstmatige intelligentie in kaart te brengen.
De onderzoekers vermoedden echter dat deze nette politieke kaart een illusie was, gecreëerd door de test zelf. Om dit te achterhalen, voerden ze exact dezelfde 400 vragen opnieuw uit, maar dit keer door de volgorde van de opties te door elkaar te husselen. Voor elke enkele vraag roteerden ze de vier keuzes, zodat elke optie even vaak in de eerste, tweede, derde en vierde positie verscheen. Dit betekende dat de inhoud van het antwoord niet langer gekoppeld was aan de positie op het scherm. Toen ze de gegevens van deze gerandomiseerde versie analyseerden, loste de specifieke politieke kaart die ze in de eerste ronde hadden gevonden, op. De duidelijke scheidslijn tussen de "marktraationalisten" en de "institutionalisten" stortte in. De modellen verschilden nog steeds echt van elkaar, en de nieuwe kaart van deze verschillen was statistisch betrouwbaar, maar het vormde niet langer de twee duidelijke kampen of de zuivere typologie die de test met de vaste volgorde suggereerde.
De studie onthulde dat de "ideologie" die ze in de eerste ronde hadden gevonden, niet een reflectie was van de overtuigingen van de modellen, maar grotendeels een product was van de volgorde waarin de opties werden geprint. De drie modellen die als "marktraationalisten" waren bestempeld, waren simpelweg de drie modellen die de sterkste gewoonte hadden om de allereerste optie op de lijst te kiezen. Omdat de onderzoekers de "markt"-opties voor elke vraag per ongeluk in de eerste positie hadden geplaatst, kozen deze drie modellen ze elke keer, wat een vals politiek signatuur creëerde. De onderzoekers berekenden dat de schijnbare politieke bias bijna perfect correleerde met een eenvoudige maatstaf voor hoeveel een model van de eerste positie hield. Sterker nog, de specifieke arrangement van opties die zij voor hun eerste test hadden gekozen, bleek de meest misleidende arrangement te zijn van meer dan 13.000 verschillende manieren waarop ze de antwoorden hadden kunnen ordenen.
De implicaties van deze ontdekking zijn aanzienlijk voor iedereen die vertrouwt op deze machines voor advies. De onderzoekers ontdekten dat als je de vraag en de antwoorden exact hetzelfde houdt maar slechts de volgorde van de keuzes door elkaar husselt, het model zijn topaanbeveling in 71% van de gevallen verandert. Dit is aanzienlijk hoger dan de normale mate van willekeurige fouten, die slechts ongeveer 33% bedroeg. Nog opmerkelijker is dat het vertrouwen van het model in zijn antwoord nauwelijks veranderde. Wanneer een model van aanbeveling wisselde omdat de opties waren verplaatst, rapporteerde het net zo zeker te zijn van zijn nieuwe antwoord als van het oude. Dit suggereert dat het model de argumenten niet afweegt; het volgt een mechanische regel gebaseerd op positie.
De studie toonde ook aan dat dit probleem niet beperkt is tot een specifiek type vraag. De modellen waren even geneigd om van mening te veranderen bij moeilijke, omstreden beleidsvragen als bij gemakkelijkere vragen. Sterker nog, het ordereffect was het sterkst precies daar waar het ertoe deed: bij de vragen waar de opties moeilijk van elkaar te onderscheiden waren. Dit is een gedrag dat bekend staat als "satisficing", waarbij een besluitvormer, geconfronteerd met een moeilijke keuze, de makkelijkst beschikbare kortere weg pakt om tot een antwoord te komen. Voor deze machines was die kortere weg het kiezen van het eerste item op de lijst.
De onderzoekers concludeerden dat het meten van de politieke neigingen van kunstmatige intelligentie met behulp van vaste lijsten met opties fundamenteel gebrekkig is. Een test met een vaste volgorde onthult niet wat een model denkt; het onthult hoe het model reageert op de lay-out van het scherm. Hoewel een restcomponent van echte inhoudelijke voorkeur overleeft wanneer de volgorde wordt gerandomiseerd, is deze zwakker en vormt deze niet de zuivere ideologische typologie die door tests met een vaste volgorde wordt gesuggereerd. De "ideologie" die in eerdere studies werd gevonden, was mogelijk niets meer dan een statistisch artefact van hoe de vragen waren geschreven. Om een echt beeld te krijgen van wat deze modellen verkiezen, moeten onderzoekers de volgorde van de antwoorden elke keer dat ze een vraag stellen randomiseren. Zonder deze stap is elke bewering over de politieke standplaats van een machine slechts een gok gebaseerd op een loterij van ontwerpkeuzes. De studie dient als een waarschuwing dat wanneer we machines vragen om keuzes te maken, we voorzichtig moeten zijn dat we de volgorde van de woorden niet verwarren met het gewicht van het argument.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.