Not All Subjectivity Is the Same! Defining Desiderata for the Evaluation of Subjectivity in NLP
Dit position paper stelt zeven evaluatiecriteria op voor subjectiviteitsgevoelige NLP-modellen en identificeert via een analyse van 60 studies belangrijke lacunes in de huidige evaluatiepraktijk, zoals het onderscheid tussen ambiguïteit en polyfonie en de effectiviteit van de communicatie aan de gebruiker.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
🌍 De Grootte van de Wereld: Waarom "Het Juiste Antwoord" Niet Altijd Bestaat
Stel je voor dat je een klaslokaal binnenstapt en de leraar vraagt: "Wat is de hoofdstad van Nederland?"
Iedereen roept direct: Amsterdam. Er is één duidelijk, feitelijk antwoord. Dit is objectief.
Maar stel nu dat de leraar vraagt: "Is deze grap grappig?" of "Is dit commentaar op internet beledigend?"
Plotseling klinkt er een kabaal van antwoorden. De ene persoon lacht, de andere is beledigd, een derde vindt het gewoon raar. Er is geen één "juist" antwoord. Dit is subjectiviteit.
Dit paper van Urja Khurana en haar collega's zegt: "Stop met doen alsof er maar één antwoord is, en stop met onze modellen daarop te testen!"
🎭 Het Probleem: De "Meerderheids-Blindheid"
Vroeger (en vaak nog steeds) deden onderzoekers alsof ze een meerderheidsstem hielden. Als 60% van de mensen dacht dat een opmerking beledigend was, dan was het "beledigend" in de dataset. De 40% die het niet zo zag, werd genegeerd.
Dit is alsof je een orkest opneemt, maar alleen de fluitist laat spelen omdat die het luidst is. Je mist de viool, de trompet en de bas. In de wereld van AI (kunstmatige intelligentie) betekent dit dat de modellen leren om alleen naar de meerderheid te luisteren. Hierdoor worden minderheidsgroepen en unieke perspectieven "stil" gemaakt.
🧩 De Oplossing: Zeven Stappen (De "Wensenlijst")
De auteurs zeggen: "We moeten modellen bouwen die begrijpen dat de wereld complex is." Ze hebben een zeven-stappen plan (een 'wensenlijst') opgesteld om te testen of een AI dit goed doet.
Stel je voor dat de AI een reisleider is die een groep mensen door een museum leidt.
Herken wanneer er een mening nodig is:
De leiding moet weten: "Oh, dit is een feit (een schilderij is blauw), hier hoef ik niet te discussiëren. Maar dit is een kunstwerk dat iedereen anders vindt; hier moet ik de meningen van de groep tonen."
Vergelijking: Een leiding die weet wanneer hij een gids is voor feiten en wanneer hij een moderator is voor discussie.Herken welk type meningsverschil het is:
Is het verschil omdat de zin onduidelijk is? (Bijvoorbeeld: "Hij nam de hond mee" – welke hond?) Of is het omdat mensen gewoon anders denken? (Bijvoorbeeld: "Is deze hond mooi?")
Vergelijking: De leiding onderscheidt tussen "Ik heb de kaart niet goed gelezen" (onduidelijkheid) en "Jij houdt van abstracte kunst, ik van realisme" (verschillende smaken).Begrijp waarom er verschil is:
Waarom vinden mensen dit anders? Is het vanwege hun cultuur, hun leeftijd, of hun persoonlijke ervaring?
Vergelijking: De leiding zegt niet alleen "Ze zijn het oneens", maar legt uit: "De ouderen vinden dit raar omdat ze dit woord anders kennen, terwijl de jongeren het grappig vinden."Voorspel de meningen correct:
De AI moet niet raden wat jij denkt, maar een goed beeld geven van wat iedereen denkt.
Vergelijking: In plaats van te zeggen "Iedereen vindt dit grappig", zegt de AI: "60% vindt het grappig, 30% niet, en 10% is er niet zeker van."Wees eerlijk over de zekerheid:
Als de AI zegt "Ik weet het zeker", moet dat ook zo zijn. Als de meningen verdeeld zijn, moet de AI zeggen: "Hier zijn de meningen verdeeld, er is geen zekerheid."
Vergelijking: Een weerbericht dat niet zegt "Het regent morgen", maar "Er is een 50% kans op regen, afhankelijk van waar je woont."Vertegenwoordig iedereen (ook de stilste stemmen):
Dit is het belangrijkste: De AI mag de minderheid niet vergeten. Als 10% van de mensen een heel ander idee heeft, moet dat ook zichtbaar zijn.
Vergelijking: Een leiding die niet alleen naar de luidste groep luistert, maar ook de fluisterende stemmen in de hoek serieus neemt.Vertel het op een manier die niet irriteert:
Als de AI alle 100 verschillende meningen opsomt, wordt de gebruiker gek. Het moet bondig en duidelijk zijn.
Vergelijking: Een samenvatting die zegt: "De meeste vinden het leuk, maar een groep vindt het te luid," in plaats van een lijst van 100 namen met hun mening.
🔍 Wat hebben ze onderzocht?
De auteurs keken naar 60 recente wetenschappelijke papers over dit onderwerp. Ze zochten: "Doe je al aan deze 7 stappen?"
De resultaten waren niet bemoedigend:
- De meeste papers focusten alleen op stap 4 (voorspellen).
- Ze keken bijna nooit naar stap 2 en 3 (wat voor type meningsverschil is het en waarom?).
- Ze keken helemaal niet naar stap 7 (hoe vertel je het aan de gebruiker?).
- Ze verwarden vaak "onduidelijkheid" (ambiguïteit) met "verschillende smaken" (polyfonie).
Voorbeeld:
Stel je hebt de zin: "Kermit de kikker wil zijn stem terug."
- Onduidelijkheid: Is dit een grap? Is het een verwijzing naar een film? (We missen context).
- Verschillende smaken: Vindt de ene persoon dit haatzaaiende taal tegen mensen met een spraakprobleem, en de andere niet?
De huidige AI's weten vaak niet het verschil tussen deze twee situaties.
🚀 De Toekomst: Wat moeten we doen?
De auteurs zeggen: "We moeten stoppen met het meten van AI met een liniaal voor feiten, en gaan meten met een kompas voor meningen."
Ze roepen op tot:
- Beter testen: Niet alleen kijken of het antwoord "goed" is, maar of het de wereld van meningen goed weergeeft.
- Interdisciplinair werken: AI-onderzoekers moeten samenwerken met sociologen, psychologen en mensen die zich bezighouden met menselijke interactie.
- Minderheidsstemmen horen: Zorg dat de datasets (de leerboeken voor AI) niet alleen de "standaard" mening bevatten, maar ook de rare, de extreme en de minderheidsperspectieven.
Kortom:
De wereld is niet zwart-wit. Onze AI-modellen moeten leren dat grijs, roze, paars en alle andere kleuren ook bestaan. En als we ze testen, moeten we kijken of ze die hele regenboog kunnen zien, in plaats van alleen de witte wolken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.