Do Language Models Know Their Slang? Queer Slang Understanding in User-Generated Content
Cet article présente Slang-Q, un ensemble de données et une taxonomie manuellement organisés de 118 termes d'argot queer, afin d'évaluer la capacité des modèles de langage à comprendre et à définir avec précision ce langage spécifique à une communauté sous-représentée.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez l'internet comme une ville géante et bouillonnante où chaque quartier possède son propre code secret, ses plaisanteries internes et son vocabulaire particulier. Dans le monde de la science, il existe un domaine appelé le Traitement du Langage Naturel (NLP) qui construit des cerveaux numériques — connus sous le nom de Grands Modèles de Langage (LLM) — pour lire et comprendre cette ville. Voyez ces modèles comme des touristes super intelligents qui ont lu presque tous les livres et sites web jamais écrits, mais qui peinent parfois à comprendre l'argot local de certains quartiers. L'un de ces quartiers est la communauté LGBTQIA+, qui possède un langage riche, créatif et en constante évolution, rempli de mots qui peuvent signifier des choses très différentes selon qui les prononce et où ils sont dits. Si ces touristes numériques comprennent mal l'argot, ils pourraient prendre un salut amical pour une insulte, ou passer totalement à côté d'une blague. Cela importe car ces modèles sont de plus en plus utilisés pour aider les gens à trouver des informations, à discuter avec des amis et à naviguer sur le web ; s'ils ne comprennent pas la langue des communautés marginalisées, ils ne peuvent pas servir tout le monde équitablement.
Entrez en scène une équipe de chercheurs qui a décidé de tester à quel point ces touristes numériques connaissent bien le quartier de l'« Argot Queer ». Ils ont construit un terrain d'évaluation spécial appelé Slang-Q, qui est comme un dictionnaire massif et soigneusement organisé de 118 termes queer spécifiques associés à 1 024 phrases réelles où les gens les ont réellement utilisés. Crucialement, cette liste de mots a été créée indépendamment des phrases, garantissant que les modèles n'avaient pas simplement mémorisé les réponses. Ils n'ont pas seulement demandé aux modèles de deviner ; ils ont mis en place une série de défis pour voir si les modèles pouvaient définir ces mots correctement. Les chercheurs ont testé quatre façons différentes de questionner les modèles : parfois ils donna ne que le mot (comme demander « Qu'est-ce que le "tea" ? »), et parfois ils donnaient le mot plus une phrase montrant comment il était utilisé (comme « Je balance le "tea" sur la fête »). Ils ont également essayé deux types de « masques » pour les modèles : un où le modèle agissait comme un expert linguistique générique, et un autre où le modèle se voyait dire d'agir spécifement comme un expert en argot internet queer.
Les résultats étaient un peu comme regarder un étudiant passer un examen sans avoir étudié le bon manuel. Lorsque les modèles étaient interrogés sur la définition des termes d'argot sans contexte ni instructions spéciales, ils trébuchaient souvent. Ils avaient tendance à choisir le sens le plus commun et quotidien d'un mot plutôt que le sens queer spécifique. Par exemple, si vous demandiez ce qu'est un « bear » (ours), le modèle pourrait penser à un animal poilu plutôt qu'à un type de personne spécifique dans la communauté gay. Cependant, l'histoire changeait lorsque les chercheurs donnaient un peu d'aide aux modèles. Lorsqu'ils fournissaient une phrase montrant comment le mot était utilisé, ou lorsqu'ils disaient au modèle : « Hé, tu es un expert en argot queer », les modèles devenaient bien meilleurs pour deviner le bon sens. C'est comme si les modèles étaient comme une personne qui connaît la définition du dictionnaire d'un mot, mais qui a besoin d'un indice de contexte pour se souvenir de la façon dont ses amis l'utilisent réellement lors d'une fête.
Les chercheurs ont constaté que, bien que les modèles deviennent de plus en plus intelligents, ils ne sont pas encore parfaits. Même avec les meilleurs indices, les modèles n'atteignaient pas tout à fait le niveau d'un expert humain ayant grandi au sein de la communauté. Les modèles manquaient souvent les nuances culturelles subtiles, comme le fait qu'un mot ait été à l'origine une insulte qu'une communauté a réappropriée pour en faire quelque chose de positif, ou qu'il ait un lien spécifique avec certains groupes culturels. Curieusement, l'étude a également vérifié si les modèles avaient simplement mémorisé les réponses de leurs données d'entraînement. Ils ont découvert que certains modèles, particulièrement les modèles commerciaux, semblaient avoir déjà « vu » ces phrases spécifiques auparavant, tandis que les modèles open-source ne l'avaient pas fait. Mais même ceux qui n'avaient pas mémorisé les réponses pouvaient les comprendre s'ils recevaient le bon contexte.
En fin de compte, cet article suggère que, bien que nos cerveaux numériques soient puissants, ils ont encore besoin d'un peu de guidance pour véritablement comprendre le langage vibrant et changeant de la communauté queer. Ils ne peuvent pas simplement se fier à un dictionnaire générique ; on doit leur dire : « Ceci est un quartier spécial, et voici comment les habitants parlent. » L'étude ne prétend pas avoir résolu le problème pour toujours, mais elle montre que donner le bon contexte et le bon cadre de référence fait une énorme différence. C'est un rappel que pour construire une IA véritablement utile, nous devons lui enseigner non seulement les mots, mais aussi la culture et les histoires qui les sous-tendent.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.