Do Language Models Know Their Slang? Queer Slang Understanding in User-Generated Content
Este artigo apresenta o Slang-Q, um conjunto de dados e uma taxonomia curados manualmente de 118 termos de gírias queer, para avaliar a capacidade dos modelos de linguagem de compreender e definir com precisão esta linguagem específica de uma comunidade sub-representada.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine a internet como uma cidade gigante e movimentada, onde cada bairro tem seu próprio aperto de mão secreto, piadas internas e vocabulário especial. No mundo da ciência, existe um campo chamado Processamento de Linguagem Natural (PLN) que constrói cérebros digitais — conhecidos como Grandes Modelos de Linguagem (LLMs) — para ler e entender esta cidade. Pense nesses modelos como turistas superinteligentes que leram quase todos os livros e sites já escritos, mas que às vezes têm dificuldade em entender a gíria local de bairros específicos. Um desses bairros é a comunidade LGBTQIA+, que possui uma linguagem rica, criativa e em rápida mudança, repleta de palavras que podem significar coisas muito diferentes dependendo de quem as diz e de onde elas são ditas. Se esses turistas digitais errarem a gíria, eles podem entender mal uma saudação amigável como um insulto, ou perder o sentido de uma piada inteira. Isso importa porque esses modelos são cada vez mais usados para ajudar as pessoas a encontrar informações, conversar com amigos e navegar na web; se eles não entenderem a linguagem das comunidades marginalizadas, não poderão servir a todos de forma justa.
Apresentamos uma equipe de pesquisadores que decidiu testar o quão bem esses turistas digitais conhecem o bairro da "Gíria Queer". Eles construíram um campo de avaliação especial chamado Slang-Q, que é como um dicionário massivo e cuidadosamente organizado de 118 termos queer específicos pareados com 1.024 frases da vida real onde as pessoas realmente os usaram. Crucialmente, esta lista de palavras foi criada independentemente das frases, garantindo que os modelos não tivessem apenas memorizado as respostas. Eles não apenas pediram aos modelos para adivinharem; eles estabeleceram uma série de desafios para ver se os modelos conseguiam definir essas palavras corretamente. Os pesquisadores testaram quatro maneiras diferentes de perguntar aos modelos: às vezes eles apenas davam a palavra (como perguntar "O que é 'tea'?"), e às vezes davam a palavra mais uma frase mostrando como ela era usada (como "Estou contando o chá [fofoca] sobre a festa"). Eles também tentaram duas "máscaras" diferentes para os modelos: uma onde o modelo agia como um especialista em linguagem genérico, e outra onde o modelo era instruído a agir especificamente como um especialista em gírias queer da internet.
Os resultados foram um pouco como observar um aluno fazendo uma prova sem ter estudado o livro didático certo. Quando os modelos eram questionados sobre as gírias sem qualquer contexto ou instruções especiais, eles frequentemente tropeçavam. Eles tendiam a escolher o significado mais comum e cotidiano de uma palavra em vez do significado queer específico. Por exemplo, se você perguntasse sobre "bear" (urso), o modelo poderia pensar em um animal peludo em vez de um tipo específico de pessoa na comunidade gay. No entanto, a história mudava quando os pesquisadores davam um pouco de ajuda aos modelos. Quando forneciam uma frase mostrando como a palavra era usada, ou quando diziam ao modelo: "Ei, você é um especialista em gírias queer", os modelos ficavam muito melhores em adivinhar o significado correto. É como se os modelos fossem uma pessoa que conhece a definição de dicionário de uma palavra, mas precisa de uma pista de contexto para lembrar como seus amigos realmente a usam em uma festa.
Os pesquisadores descobriram que, embora os modelos estejam ficando mais inteligentes, eles ainda não são perfeitos. Mesmo com as melhores dicas, os modelos não alcançaram o nível de um especialista humano que cresceu na comunidade. Eles frequentemente perdiam as nuances culturais sutis, como se uma palavra era originalmente um insulto que a comunidade ressignificou para significar algo positivo, ou se tinha uma conexão específica com certos grupos culturais. Curiosamente, o estudo também verificou se os modelos haviam apenas memorizado as respostas de seus dados de treinamento. Eles descobriram que alguns modelos, particularmente os comerciais, pareciam ter "visto" essas frases específicas antes, enquanto os de código aberto não tinham. Mas mesmo aqueles que não tinham memorizado as respostas conseguiam decifrá-las se recebessem o contexto adequado.
No fim, este artigo sugere que, embora nossos cérebros digitais sejam poderosos, eles ainda precisam de um pouco de orientação para compreender verdadeiramente a linguagem vibrante e mutável da comunidade queer. Eles não podem apenas confiar em um dicionário genérico; precisam ser informados: "Este é um bairro especial, e é assim que os moradores locais falam". O estudo não afirma ter resolvido o problema para sempre, mas mostra que fornecer o contexto e o enquadramento corretos faz uma enorme diferença. É um lembrete de que, para construir uma IA verdadeiramente útil, precisamos ensinar a ela não apenas as palavras, mas a cultura e as histórias por trás delas.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.