Do LLMs Know What Luxembourgish Borrows? Probing Lexical Neology in Low-Resource Multilingual Models
Dieser Beitrag stellt LexNeo-Bench vor, einen Benchmark für luxemburgische lexikalische Neologismen, um zu zeigen, dass das Einbringen strukturierter linguistischer Wissensgraphen in Prompts die Fähigkeit großer Sprachmodelle zur Klassifizierung lexikalischer Entlehnungen in ressourcenarmen Kontaktsprachen erheblich verbessert, obwohl die Erkennung von Neologismen nach wie vor herausfordernd bleibt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie haben einen sehr intelligenten, gut gebildeten Roboter, der fast alles im Internet gelesen hat. Sie bitten ihn, einen Satz in Luxemburgisch zu lesen, einer kleinen Sprache, die in einem winzigen Land gesprochen wird, das zwischen Deutschland, Frankreich und Belgien liegt. In diesem Land vermischen die Menschen oft Wörter aus dem Französischen, Deutschen und Englischen in ihrer täglichen Sprache.
Die Frage, die sich die Forscher stellten, lautete: Versteht dieser Roboter tatsächlich, welche Wörter „einheimisches" Luxemburgisch sind und welche von seinen Nachbarn entlehnt wurden?
Hier ist eine einfache Aufschlüsselung dessen, was sie herausfanden, unter Verwendung einiger alltäglicher Analogien.
Das Problem: Der Roboter rät
Die Forscher entwickelten einen Test namens LexNeo-Bench. Stellen Sie sich dies wie einen Multiple-Choice-Test vor, bei dem der Roboter ein bestimmtes Wort in einem Satz betrachten und entscheiden muss:
- Ist dies ein einheimisches luxemburgisches Wort?
- Stammt es aus dem Französischen?
- Stammt es aus dem Deutschen?
- Stammt es aus dem Englischen?
Das Ergebnis: Als sie den Roboter baten, dies ohne jegliche Hilfe zu tun (wie ein Schüler, der einen Test ohne Notizen schreibt), schnitt er kaum besser als bei reinem Raten ab. Obwohl der Roboter Millionen von Büchern gelesen hatte, „wusste" er nicht die Regeln, nach denen Luxemburgisch Wörter entlehnt. Es war, als würde man jemanden bitten, der eine Million Fotos von Hunden gesehen hat, eine bestimmte Hunderasse zu identifizieren, ohne jemals ein Hundebuch studiert zu haben – sie raten einfach.
Die Lösung: Dem Roboter eine „Spickzettel" geben
Die Forscher erkannten, dass der Roboter ein wenig Hilfe benötigte. Sie erstellten einen linguistischen Wissensgraphen.
Stellen Sie sich dies als ultradetaillierten Spickzettel oder eine Karte vor. Anstatt dem Roboter nur den Satz zu geben, gaben sie ihm eine spezifische Notizkarte für jedes einzelne Wort, auf der stand:
- „Dieses Wort sieht aus, als käme es aus dem Französischen."
- „Es folgt diesem spezifischen Rechtschreibungsmuster, das im Luxemburgischen verwendet wird."
- „Hier sind drei weitere Wörter, die ähnlich aussehen und definitiv französisch sind."
Das Ergebnis: Als sie dem Roboter diesen Spickzettel gaben, schoss seine Leistung in die Höhe. Er ging vom Raten (etwa 25–35 % richtig) zum Expertenstatus (71–81 % richtig).
Die überraschende Wendung: Kleinere Roboter schnitten besser ab
Normalerweise gilt in der Welt der KI: Je größer, desto besser. Ein riesiger Roboter mit einem massiven Gehirn (wie das 70-Milliarden-Parameter-Modell) wird erwartet, einen kleineren zu schlagen.
Aber hier geschah das Gegenteil.
- Der kleinere Roboter (12 Milliarden Parameter) wurde zum Sternschüler, als ihm der Spickzettel gegeben wurde. Er befolgte die Anweisungen perfekt.
- Der riesige Roboter (70 Milliarden Parameter) schaffte es tatsächlich schlechter als der kleine, als ihm derselbe Spickzettel gegeben wurde.
Warum? Die Forscher glauben, der riesige Roboter war zu „stur". Er hatte so viel Französisch und Deutsch im Internet gelesen, dass er eine starke innere Überzeugung hatte: „Wenn dieses Wort französisch aussieht, muss es französisch sein." Als der Spickzettel ihm sagte: „Tatsächlich ist dies ein entlehntes Wort, das ins Luxemburgische angepasst wurde", ignorierte der riesige Roboter die Notiz und blieb bei seinem eigenen Bauchgefühl. Der kleinere Roboter hatte diese starken vorgefertigten Vorurteile nicht, also hörte er auf den Spickzettel und bekam die Antwort richtig.
Das Problem mit dem „neuen Wort"
Die Forscher versuchten auch, den Roboter zu täuschen, indem sie ihn nach „neuen Wörtern" (Neologismen) suchen ließen. Sie fragten: „Ist dies ein brandneues Wort oder gibt es es schon eine Weile?"
Das Ergebnis: Der Roboter versagte dabei jämmerlich, selbst mit dem Spickzettel.
- Die Analogie: Der Spickzettel sagte dem Roboter, woher ein Wort kam (seinen Ursprung), aber er sagte dem Roboter nicht, wann das Wort angekommen war. Es ist, als würde man jemandem eine Stadtkarte geben, ihm aber nicht sagen, welche Gebäude gestern gebaut wurden und welche vor 100 Jahren. Der Roboter konnte keinen Unterschied zwischen einem „neuen" entlehnten Wort und einem „alten" entlehnten Wort erkennen.
Die Haupterkenntnis
- KI ist keine Magie: Nur weil ein Roboter viel gelesen hat, bedeutet das nicht, dass er die spezifischen, chaotischen Regeln kleiner Sprachen versteht.
- Kontext ist König: Wenn man der KI einen spezifischen, strukturierten Leitfaden (wie einen Spickzettel) über die Regeln der Sprache gibt, kann sie sehr schnell lernen.
- Größer ist nicht immer besser: Manchmal hört eine kleinere, flexiblere KI neue Informationen besser an als ein riesiger, sturer Roboter, der zu sehr auf das vertraut, was er bereits „zu wissen" glaubt.
- Zeit ist schwierig: KI ist gut darin, herauszufinden, woher ein Wort kommt, aber sie ist immer noch schrecklich darin, herauszufinden, wann ein Wort Teil der Sprache wurde.
Kurz gesagt: Bei kleinen Sprachen wie Luxemburgisch kann man sich nicht einfach auf das Gedächtnis der KI verlassen; man muss ihr eine spezifische Karte geben, um die entlehnten Wörter zu navigieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.