Do Language Models Know Their Slang? Queer Slang Understanding in User-Generated Content
Dieses Paper führt Slang-Q ein, einen manuell kuratierten Datensatz und eine Taxonomie von 118 queeren Slang-Begriffen, um die Fähigkeit von Sprachmodellen zu bewerten, diese unterrepräsentierte, gemeinschaftsspezifische Sprache präzise zu verstehen und zu definieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich das Internet als eine riesige, geschäftige Stadt vor, in der jedes Viertel seine eigenen geheimen Handschläge, Insider-Witze und eine spezielle Fachsprache hat. In der Welt der Wissenschaft gibt es ein Feld namens Natural Language Processing (NLP), das digitale Gehirne baut – bekannt als Large Language Models (LLMs) –, um diese Stadt zu lesen und zu verstehen. Denken Sie an diese Modelle als superintelligente Touristen, die fast jedes Buch und jede Website je geschrieben gelesen haben, aber manchmal Schwierigkeiten haben, den lokalen Slang bestimmter Viertel zu verstehen. Eines dieser Viertel ist die LGBTQIA+-Gemeinschaft, die über eine reiche, kreative und sich schnell verändernde Sprache verfügt, die voller Wörter ist, die je nach Sprecher und Ort sehr unterschiedliche Bedeutungen haben können. Wenn diese digitalen Touristen den Slang falsch verstehen, könnten sie eine freundliche Begrüßung als Beleidigung missverstehen oder den Punkt eines Witzes völlig verpassen. Dies ist wichtig, da diese Modelle zunehmend eingesetzt werden, um Menschen zu helfen, Informationen zu finden, mit Freunden zu chatten und sich im Web zu bewegen; wenn sie die Sprache marginalisierter Gemeinschaften nicht verstehen, können sie nicht alle fair bedienen.
Hier kommt ein Team von Forschern ins Spiel, das beschloss zu testen, wie gut diese digitalen Touristen das „Queer Slang“-Viertel wirklich kennen. Sie bauten ein spezielles Evaluationsfeld namens Slang-Q, das wie ein riesiges, sorgfältig organisiertes Wörterbuch aus 118 spezifischen queeren Begriffen ist, die mit 1.024 realen Sätzen gepaart sind, in denen Menschen sie tatsächlich verwendet haben. Entscheidend war, dass diese Liste von Wörtern unabhängig von den Sätzen erstellt wurde, um sicherzustellen, dass die Modelle die Antworten nicht einfach nur auswendig gelernt hatten. Sie fragten die Modelle nicht nur nach der Definition; sie entwickelten eine Reihe von Herausforderungen, um zu sehen, ob die Modelle diese Wörter korrekt definieren konnten. Die Forscher testeten vier verschiedene Arten, die Modelle zu fragen: Manchmal gaben sie nur das Wort vor (wie die Frage „Was ist ‚tea‘?“), und manchmal gaben sie das Wort zusammen mit einem Satz an, der zeigt, wie es verwendet wurde (wie „Ich verrate gerade den ‚tea‘ über die Party“). Sie probierten auch zwei verschiedene „Masken“ für die Modelle aus: eine, bei der das Modell als generischer Sprachexperte agierte, und eine andere, bei der dem Modell gesagt wurde, es solle speziell als Experte für queeren Internet-Slang agieren.
Die Ergebnisse waren ein wenig so, als würde man einen Schüler beim Testen beobachten, der nicht das richtige Lehrbuch zum Lernen benutzt hat. Wenn die Modelle nach den Slang-Begriffen ohne Kontext oder spezielle Anweisungen gefragt wurden, stolperten sie oft. Sie neigten dazu, die gebräuchlichste, alltägliche Bedeutung eines Wortes zu wählen, anstatt die spezifische queere Bedeutung. Wenn man Sie beispielsweise nach „bear“ (Bär) fragte, dachte das Modell vielleicht an ein pelziges Tier anstatt an einen spezifischen Typ Mensch in der schwulen Community. Die Geschichte änderte sich jedoch, als die Forscher den Modellen ein wenig Hilfe gaben. Wenn sie einen Satz bereitstellten, der zeigte, wie das Wort verwendet wurde, oder wenn sie dem Modell sagten: „Hey, du bist ein Experte für queeren Slang“, wurden die Modelle viel besser darin, die richtige Bedeutung zu erraten. Es war, als wären die Modelle wie eine Person, die die Wörterbuchdefinition eines Wortes kennt, aber einen kleinen Kontext-Hinweis braucht, um sich daran zu erinnern, wie ihre Freunde es auf einer Party tatsächlich verwenden.
Die Forscher fanden heraus, dass die Modelle zwar klüger werden, aber noch nicht perfekt sind. Selbst mit den besten Hinweisen erreichten die Modelle nicht ganz das Niveau eines menschlichen Experten, der in der Gemeinschaft aufgewachsen ist. Die Modelle übersahen oft die subtilen kulturellen Nuancen, wie etwa, ob ein Wort ursprünglich eine Beleidigung war, die die Gemeinschaft zu etwas Positivem zurückerobert hat, oder ob es eine spezifische Verbindung zu bestimmten kulturellen Gruppen hatte. Interessanterweise prüfte die Studie auch, ob die Modelle die Antworten einfach aus ihren Trainingsdaten auswendig gelernt hatten. Sie fanden heraus, dass einige Modelle, insbesondere die kommerziellen, diese spezifischen Sätze offenbar schon einmal „gesehen“ hatten, während die Open-Source-Modelle dies nicht hatten. Aber selbst die, die die Antworten nicht auswendig gelernt hatten, konnten sie entschlüsseln, wenn ihnen der richtige Kontext gegeben wurde.
Am Ende legt dieses Paper nahe, dass unsere digitalen Gehirne zwar leistungsstark sind, aber noch ein wenig Anleitung benötigen, um die lebendige, sich wandelnde Sprache der queeren Gemeinschaft wirklich zu verstehen. Sie können sich nicht nur auf ein allgemeines Wörterbuch verlassen; man muss ihnen sagen: „Dies ist ein spezielles Viertel, und so sprechen die Einheimischen hier.“ Die Studie behauptet nicht, das Problem für immer gelöst zu haben, aber sie zeigt, dass das Geben des richtigen Kontexts und der richtige Rahmen einen riesigen Unterschied macht. Es ist eine Erinnerung daran, dass wir, um wirklich hilfreiche KI zu bauen, ihr nicht nur die Wörter lehren müssen, sondern auch die Kultur und die Geschichten dahinter.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.