SCOPE: A Dataset of Stereotyped Prompts for Counterfactual Fairness Assessment of LLMs
Dit paper introduceert SCOPE, een groot dataset van 241.280 tegenstrijdige promptparen die zijn ontworpen om systematisch de eerlijkheid en bias van Large Language Models te evalueren over diverse demografische groepen, onderwerpen en communicatieve intenties.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een superintelligente robot hebt die alles kan doen: van het beantwoorden van vragen tot het geven van advies over welke auto je moet kopen. Deze robot is een Groot Taalmodel (LLM), zoals de technologie achter ChatGPT of Gemini.
Het probleem is dat deze robot soms onbewust vooroordelen heeft. Als je hem vraagt: "Is een dokter goed in zijn werk?", geeft hij misschien een enthousiast antwoord. Maar als je vraagt: "Is een verpleegkundige goed in zijn werk?", kan hij iets minder enthousiast klinken, puur omdat hij in zijn training heeft geleerd dat artsen vaak mannen zijn en verpleegkundigen vaak vrouwen.
De onderzoekers in dit paper hebben een nieuw hulpmiddel bedacht om dit te testen. Ze noemen het SCOPE. Hier is een uitleg in simpele taal, met een paar creatieve vergelijkingen.
1. Het Probleem: De "Kleurige Brillen" van de Robot
Tot nu toe waren de tests om deze vooroordelen te vinden een beetje als het spelen van "Vind de fout" met slechts drie plaatjes. Ze waren te klein, te saai en te beperkt.
- De oude manier: Je gaf de robot twee zinnen en vroeg: "Welke klinkt racistisch?" Maar dat was maar één zin per keer. Het was alsof je probeert een heel bos te verkennen door slechts één boom te bekijken.
- Het gebrek: De oude tests keken niet naar hoe je iets vraagt. Vraag je iets beleefd? Vraag je een advies? Geef je een opdracht? De robot kan op al deze manieren anders reageren, maar dat werd niet goed gemeten.
2. De Oplossing: SCOPE (De Grote Spiegel)
SCOPE is een gigantische verzameling van 241.280 vragen. Het is als een enorme spiegel die je voor de robot houdt, maar dan op een heel slimme manier.
Hoe werkt het? (De "Tweeling"-Analogie)
Stel je voor dat je twee identieke tweelingen hebt, Tweeling A en Tweeling B. Ze zien er precies hetzelfde uit, hebben dezelfde kleding aan en doen exact hetzelfde. Het enige verschil is dat Tweeling A een blauwe hoed draagt en Tweeling B een rode hoed.
SCOPE maakt duizenden van deze paren:
- Vraag 1: "Wat vind jij van de blauwe hoed?"
- Vraag 2: "Wat vind jij van de rode hoed?"
Alles is hetzelfde: de toon, de vraag, de situatie. Alleen het woord voor de groep (bijvoorbeeld "mannen" vs. "vrouwen", of "zwarte mensen" vs. "witte mensen") is anders.
Als de robot op de ene vraag een lang, vriendelijk antwoord geeft, en op de andere een kort, streng antwoord, dan weten we: De robot heeft een vooroordeel. Hij kijkt niet naar de inhoud, maar naar de "hoed" die de persoon draagt.
3. Waarom is SCOPE zo speciaal?
SCOPE is niet zomaar een lijstje. Het is een super-georganiseerde bibliotheek met drie krachtige eigenschappen:
De "Chameleons" (Communicatieve Intenties):
De onderzoekers hebben de robot niet alleen gevraagd om antwoorden, maar in vier verschillende "modi":- Vragen: "Wie is de beste dokter?"
- Advies geven: "Ik raad je aan om..."
- Richting geven: "Ga naar de dokter."
- Verduidelijken: "Wat bedoel je met..."
Dit is als een acteur die in vier verschillende toneelstukken speelt. SCOPE kijkt of de robot in alle toneelstukken eerlijk blijft, of dat hij in het ene stuk wel eerlijk is en in het andere niet.
De "Grote Wereld" (Diversiteit):
De oude tests keken vaak alleen naar "Man vs. Vrouw". SCOPE kijkt naar 1.536 verschillende groepen. Denk aan: mensen met een handicap, verschillende nationaliteiten, religies, leeftijden en sociale standen. Het is alsof je niet alleen naar de hoofdstad kijkt, maar naar elk dorpje in het hele land.De "Recepten" (Topics):
De vragen gaan over 1.438 verschillende onderwerpen. Van "is het makkelijk om een baan te vinden" tot "hoe is het weer". Dit zorgt ervoor dat de robot niet kan zeggen: "Oh, dat was maar een toeval."
4. Wat kunnen we hiermee doen?
Met SCOPE kunnen onderzoekers en ontwikkelaars drie dingen doen:
- De "Eerlijkheidstest": Ze kunnen de robot systematisch testen. "Geeft hij zwarte mensen dezelfde kansen als witte mensen in zijn antwoorden?"
- De "Stabiliteitstest": Als we de robot updaten, blijft hij dan eerlijk? Of wordt hij ineens vooroordeelsvol? SCOPE werkt als een meetlat om te zien of de robot "uit zijn lood" raakt.
- De "Situatie-test": Misschien is de robot eerlijk als je hem iets vraagt, maar wordt hij vooroordeelsvol als je hem een advies vraagt? SCOPE helpt ons precies te zien waar en wanneer de robot faalt.
Conclusie
Kortom: SCOPE is een gigantisch, slim testpakket. Het is als een reusachtige, geautomatiseerde keuringsdienst die duizenden keren per seconde de robot op de vingers tikt om te zien of hij eerlijk blijft, ongeacht wie er voor hem staat of hoe je hem aanspreekt.
Het doel is simpel: zorgen dat onze slimme robots niet alleen slim zijn, maar ook rechtvaardig.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.