Do Language Models Know Their Slang? Queer Slang Understanding in User-Generated Content
Este artículo presenta Slang-Q, un conjunto de datos y una taxonomía curados manualmente de 118 términos de la jerga queer, para evaluar la capacidad de los modelos de lenguaje para comprender y definir con precisión este lenguaje específico de una comunidad subrepresentada.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que el internet es una ciudad gigante y bulliciosa donde cada vecindario tiene su propio saludo secreto, bromas internas y vocabulario especial. En el mundo de la ciencia, existe un campo llamado Procesamiento de Lenguaje Natural (NLP, por sus siglas en inglés) que construye cerebros digitales —conocidos como Modelos de Lenguaje Extensos (LLM)— para leer y comprender esta ciudad. Piensa en estos modelos como turistas superinteligentes que han leído casi todos los libros y sitios web jamás escritos, pero que a veces tienen dificultades para entender la jerga local de vecindarios específicos. Uno de esos vecindarios es la comunidad LGBTQIA+, que posee un lenguaje rico y creativo y en constante cambio. Si estos turistas digitales entienden mal la jerga, podrían malinterpretar un saludo amistoso como un insulto, o perder por completo el sentido de un chiste. Esto es importante porque estos modelos se utilizan cada vez más para ayudar a las personas a encontrar información, charlar con amigos y navegar por la web; si no entienden el lenguaje de las comunidades marginadas, no pueden servir a todos de manera justa.
Entra en escena un equipo de investigadores que decidió probar qué tan bien conocen estos turistas digitales el vecindario de la "Jerga Queer". Construyeron un campo de evaluación especial llamado Slang-Q, que es como un diccionario masivo y cuidadosamente organizado de 118 términos queer específicos emparejados con 1,024 oraciones de la vida real donde la gente los usó realmente. Crucialmente, esta lista de palabras fue creada independientemente de las oraciones, asegurando que los modelos no solo hubieran memorizado las respuestas. No se limitaron a pedirle a los modelos que adivinaran; establecieron una serie de desafíos para ver si los modelos podían definir estas palabras correctamente. Los investigadores probaron cuatro formas diferentes de preguntar a los modelos: a veces solo daban la palabra (como preguntar "¿Qué es 'tea'?") y otras veces daban la palabra más una oración que mostraba cómo se usaba (como "Estoy derramando el té [spilling the tea] sobre la fiesta"). También probaron dos "máscaras" diferentes para los modelos: una donde el modelo actuaba como un experto lingüístico genérico, y otra donde se le decía al modelo que actuara específicamente como un experto en jerga internet queer.
Los resultados fueron un poco como ver a un estudiante tomando un examen sin haber estudiado el libro de texto adecuado. Cuando se les pedía a los modelos que definieran los términos de la jerga sin ningún contexto o instrucciones especiales, a menudo tropezaban. Tendían a elegir el significado más común y cotidiano de una palabra en lugar del significado queer específico. Por ejemplo, si preguntabas por "bear" (oso), el modelo podría pensar en un animal peludo en lugar de un tipo específico de persona en la comunidad gay. Sin embargo, la historia cambiaba cuando los investigadores les daban un poco de ayuda. Cuando proporcionaban una oración que mostraba cómo se usaba la palabra, o cuando le decían al modelo: "Oye, eres un experto en jerga queer", los modelos mejoraban mucho en su capacidad para adivinar el significado correcto. Es como si los modelos fueran una persona que conoce la definición de diccionario de una palabra, pero necesita una pequeña pista de contexto para recordar cómo la usan sus amigos en una fiesta.
Los investigadores descubrieron que, aunque los modelos se están volviendo más inteligentes, aún no son perfectos. Incluso con las mejores pistas, los modelos no alcanzaban el nivel de un experto humano que creció en la comunidad. Los modelos a menudo perdían los matices culturales sutiles, como si una palabra era originalmente un insulto que la comunidad había reclamado para que significara algo positivo, o si tenía una conexión específica con ciertos grupos culturales. Curiosamente, el estudio también comprobó si los modelos simplemente habían memorizado las respuestas de sus datos de entrenamiento. Descubrieron que algunos modelos, particularmente los comerciales, parecían haber "visto" estas oraciones específicas antes, mientras que los de código abierto no. Pero incluso aquellos que no habían memorizado las respuestas podían deducirlas si se les daba el contexto adecuado.
Al final, este artículo sugiere que, aunque nuestros cerebros digitales son poderosos, todavía necesitan un poco de guía para comprender verdaderamente el vibrante y cambiante lenguaje de la comunidad queer. No pueden confiar solo en un diccionario genérico; se les debe decir: "Este es un vecindario especial, y así es como hablan los lugareños". El estudio no pretende haber resuelto el problema para siempre, pero sí demuestra que dar a los modelos el contexto y el marco adecuados marca una gran diferencia. Es un recordatorio de que para construir una IA verdaderamente útil, necesitamos enseñarle no solo las palabras, sino la cultura y las historias que hay detrás de ellas.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.