Do Language Models Know Their Slang? Queer Slang Understanding in User-Generated Content
Dit artikel introduceert Slang-Q, een handmatig samengestelde dataset en taxonomie van 118 queer-slangtermen, om het vermogen van taalmodellen te evalueren om deze ondervertegenwoordigde, gemeenschapsspecifieke taal accuraat te begrijpen en te definiëren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je het internet voor als een enorme, bruisende stad waar elke buurt zijn eigen geheime handdruk, onderlinge grappen en speciale woordenschat heeft. In de wereld van de wetenschap is er een vakgebied genaamd Natural Language Processing (NLP) dat digitale hersenen bouwt — bekend als Large Language Models (LLM's) — om deze stad te lezen en te begrijpen. Denk aan deze modellen als superintelligente toeristen die bijna elk boek en elke website ooit geschreven hebben gelezen, maar soms moeite hebben met de lokale straattaal van specifieke buurten. Eén zo'nd een buurt is de LGBTQIA+-gemeenschap, die een rijke, creatieve en snel veranderende taal heeft vol woorden die heel andere dingen kunnen betekenen, afhankelijk van wie ze zegt en waar ze worden gebruikt. Als deze digitale toeristen de straattaal verkeerd begrijpen, kunnen ze een vriendelijke groet als een belediging opvatten, of de kern van een grap volledig missen. Dit is belangrijk omdat deze modellen steeds vaker worden gebruikt om mensen te helpen informatie te vinden, met vrienden te chatten en het web te navigeren; als ze de taal van gemarginaliseerde gemeenschappen niet begrijpen, kunnen ze niet iedereen eerlijk dienen.
Hier komt een team van onderzoekers die besloten te testen hoe goed deze digitale toeristen de "Queer Slang"-buurt kennen. Ze bouwden een speciaal evaluatieveld genaamd Slang-Q, wat een soort enorme, zorgvuldig georganiseerde woordenlijst is van 118 specifieke queer termen gekoppeld aan 1.024 echte zinnen waarin mensen ze daadwerkelijk gebruikten. Cruciaal was dat deze lijst met woorden onafhankelijk van de zinnen werd gemaakt, zodat de modellen de antwoorden niet simpelweg hadden uit het hoofd geleerd. Ze vroegen de modellen niet alleen om de woorden te raden; ze zetten een reeks uitdagingen op om te zien of de modellen deze woorden correct konden definiëren. De onderzoekers testten vier verschillende manieren om de modellen te vragen: soms gaven ze alleen het woord (zoals vragen "Wat is 'tea'?"), en soms gaven ze het woord plus een zin die liet zien hoe het werd gebruikt (zoals "I'm spilling the tea about the party"). Ze probeerden ook twee verschillende "maskers" voor de modellen: één waarbij het model zich gedroeg als een generieke taalexpert, en een andere waarbij het model de instructie kreeg om zich specifiek als een expert in queer internetstraattaal te gedragen.
De resultaten waren een beetje alsof je een student ziet een toets maken zonder het juiste tekstboek te hebben bestudeerd. Wanneer de modellen werden gevraagd de straattaaltermen te definiëren zonder enige context of speciale instructies, struikelden ze vaak. Ze neigden naar de meest voorkomende, alledaagse betekenis van een woord in plaats van de specifieke queer betekenis. Bijvoorbeeld, als je vroeg naar "bear", dacht het model misschien aan een harig dier in plaats van een specifiek type persoon in de homogemeenschap. Echter, het verhaal veranderde toen de onderzoekers de modellen een beetje hulp gaven. Wanneer ze een zin aanboden die liet zien hoe het woord werd gebruikt, of wanneer ze het model vertelden: "Hé, jij bent een expert in queer straattaal," werden de modellen veel beter in het raden van de juiste betekenis. Het is alsof de modellen als een persoon waren die de woordenboekdefinitie van een woord kent, maar een beetje contextuele aanwijzingen nodig heeft om te herinneren hoe hun vrienden het daadwerkelijk gebruiken op een feestje.
De onderzoekers ontdekten dat hoewel de modellen slimmer worden, ze nog steeds niet perfect zijn. Zelfs met de beste hints bereikten de modellen niet quite het niveau van een menselijke expert die is opgegroeid in de gemeenschap. De modellen misten vaak de subtiele culturele nuances, zoals of een woord oorspronkelijk een belediging was die de gemeenschap heeft toegeëigend om het iets positiefs te laten betekenen, of of het een specifieke connectie had met bepaalde culturele groepen. Interessant genoeg controleerde de studie ook of de modellen de antwoorden simpelweg hadden onthouden uit hun trainingsgegevens. Ze vonden dat sommige modellen, met name de commerciële, deze specifieke zinnen blijkbaar al eerder hadden "gezien", terwijl de open-source modellen dat niet hadden. Maar zelfs degenen die de antwoorden niet hadden onthouden, konden ze wel ontcijferen als ze de juiste context kregen.
Uiteindelijk suggereert dit paper dat hoewel onze digitale hersenen krachtig zijn, ze nog steeds een beetje begeleiding nodig hebben om de levendige, verschuivende taal van de queer gemeenschap echt te begrijpen. Ze kunnen niet alleen vertrouwen op een generiek woordenboek; ze moeten verteld worden: "Dit is een speciale buurt, en dit is hoe de locals praten." De studie beweert niet dat het probleem voor altijd is opgelost, maar het laat wel zien dat het geven van de juiste context en inkadering een groot verschil maakt. Het is een herinnering aan het feit dat om echt behulpzame AI te bouwen, we het niet alleen de woorden moeten leren, maar ook de cultuur en de verhalen erachter.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.