LLMs Infer Cultural Context but Fail to Apply It When Responding
Dieses Paper führt den CAPRI-Datensatz ein, um zu zeigen, dass große Sprachmodelle zwar kulturelle Kontexte erschließen und relevante Konventionen abrufen können, jedoch häufig daran scheitern, dieses Wissen zur Generierung kulturell angepasster Antworten anzuwenden, sofern sie nicht explizit dazu angewiesen werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen sehr klugen, belesenen Bibliothekar, der fast alle Bücher der Welt gelesen hat. Dieser Bibliothekar weiß viel über verschiedene Länder: Er weiß, dass die Menschen in Frankreich Celsius für die Temperatur verwenden, dass die Menschen in den USA Fahrenheit nutzen und dass Telefonnummern in Japan anders aussehen als in Brasilien.
Diese Arbeit offenbart jedoch einen lustigen und frustrierenden Fehler in der Arbeitsweise dieses Bibliothekars. Er kennt die Fakten, aber er vergisst, sie im Gespräch mit Ihnen anzuwenden.
Hier ist die Aufschlüsselung der Forschung unter Verwendung einfacher Analogien:
1. Der Test: Das „Kulturelle Detektiv“-Spiel
Die Forscher entwickelten ein Spiel namens CAPRI (Cultural and Pragmatic Response Inference). Stellen Sie sich einen Chatbot vor, der mit einem Nutzer spricht. Der Nutzer gibt subtile Hinweise darauf, woher er kommt, wie zum Beispiel die Erwähnung einer spezifischen französischen Website (Fnac.com) oder die Verwendung eines französischen Telefonnummernformats.
Der Chatbot hat zwei Aufgaben:
- Den Hinweis erkennen: Verstehen: „Oh, dieser Nutzer ist wahrscheinlich Franzose.“
- Die Antwort anpassen: Wenn der Nutzer fragt: „Wie hoch ist die Temperatur?“ (wobei er das Bild eines Thermometers zeigt), sollte der Bot die Antwort im Stil der Franzosen geben (z. B. „40 °C“ statt „104 °F“ im amerikanischen Stil).
2. Das Problem: Der „Besserwisser“, der nicht zuhört
Die Forscher testeten die klügsten verfügbaren KI-Modelle. Dies fanden sie heraus:
- Der Detektiv-Teil (Aufgabe 1): Die KI ist darin hervorragend. Wenn man ihr nur einen oder zwei Hinweise gibt, errät sie das Land des Nutzers fast zu 100 % korrekt. Sie kennt die Fakten.
- Der Anpassungs-Teil (Aufgabe 2): Hier versagt sie. Obwohl die KI weiß, dass der Nutzer Franzose ist, ignoriert sie dieses Wissen oft und gibt die Antwort trotzdem in amerikanischen Einheiten (Fahrenheit) an.
Die Analogie: Es ist wie ein Kellner, der weiß, dass Sie Vegetarier sind (weil Sie ihm gesagt haben, dass Sie kein Fleisch essen), aber wenn Sie einen Burger bestellen, bringt er Ihnen trotzdem ein Steak, weil er auf „Autopilot“ ist und die Verbindung zwischen Ihrer Identität und Ihrer Bestellung nicht herstellt.
3. Die Lösung: „Laut Denken“
Die Forscher versuchten einen Trick, um dies zu beheben. Sie baten die KI, laut zu denken, bevor sie antwortet. Sie sagten: „Finde zuerst heraus, woher der Nutzer kommt. Entscheide dann, welche Einheit basierend darauf zu verwenden ist.“
Als sie dies taten, verbesserte sich die KI erheblich. Es war, als würde man dem Kellner sagen: „Halte inne und denke nach: Warte, diese Person ist Vegetarier. Ich muss das Steak gegen einen Salat austauschen.“ Sob sobald die KI gezwungen wurde, innezuhalten und Schritt für Schritt zu argumentieren, begann sie endlich, kulturell angemessene Antworten zu geben.
4. Der „Standardeinstellung“-Bias
Die Arbeit untersuchte auch, was passiert, wenn die KI überhaupt keine Hinweise erhält (keine Telefonnummern, keine erwähnten Websites).
- Land-Vermutung: Wenn die KI ohne Hinweise das Land erraten muss, vermutet sie meistens die Vereinigten Staaten.
- Einheiten-Vermutung: Aber hier liegt der Clou: Obwohl sie die USA vermutet, verwendet sie dennoch oft das metrische System (Celsius, Kilometer), das die USA nicht verwenden.
Es ist, als hätte die KI eine „Standard-Persönlichkeit“, die eine Mischung aus einem US-Bürger ist, der wie ein Europäer spricht. Sie ist nicht wirklich neutral; sie hat ihre eigenen verborgenen Vorurteile, basierend darauf, wo das Modell entwickelt wurde und mit welchen Daten es trainiert wurde.
5. Subjektive Dinge (Zeit und „Einige“)
Die Forscher testeten auch „schwammige“ Konzepte, die keine strengen Regeln haben, wie etwa die Tageszeit (ist 18 Uhr „Abend“ oder „Nachmittag“?) oder wie viele Eier in einem Korb sind („ein paar“ vs. „einige“).
- Die gute Nachricht: Wenn die KI mehr Hinweise erhält, beginnt sie, ihre Antworten anzupassen, um den verschiedenen Kulturen zu entsprechen.
- Die schlechte Nachricht: Ohne Hinweise neigen die „Standard“-Antworten der KI oft zur Kultur des Unternehmens, das das Modell entwickelt hat (z. B. neigt ein chinesisches Modell eher zu chinesischen Interpretationen, ein US-Modell eher zu US-amerikanischen).
Das Fazate
Die Arbeit kommt zu dem Schluss, dass aktuelle KI-Modelle wie Enzyklopädien sind, die noch nicht gelernt haben, gute Gesprächspartner zu sein. Sie speichern kulturelle Fakten in einem Teil ihres Gehirns und die Fähigkeit, diese anzuwenden, in einem anderen, aber sie verknüpfen beides nicht automatisch.
Um sie wirklich hilfreich zu machen, können wir uns nicht darauf verlassen, dass sie Kultur einfach „wissen“; wir müssen ihnen explizit beibringen, innezuhalten, darüber nachzudenken, mit wem sie sprechen, und dann ihre Antwort anzupassen. Bis dahin wissen sie vielleicht, dass Sie Franzose sind, aber sie werden Ihnen die Temperatur trotzdem in Fahrenheit mitteilen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.