The Effect of Scripts and Formats on LLM Numeracy
Diese Arbeit zeigt auf, dass große Sprachmodelle signifikante Genauigkeitsverluste erleiden, wenn sie numerische Ausdrücke in unterrepräsentierten Skripten oder Formaten verarbeiten, demonstriert jedoch, dass gezielte Prompting-Strategien diese Disparität effektiv mildern können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen brillanten Schüler, der fast alle Bücher der Welt gelesen hat. Dieser Schüler ist ein Meister in Mathematik und kann komplexe Additions- und Multiplikationsaufgaben sofort lösen. Aber es gibt einen Haken: Dieser Schüler hat Zahlen bisher nur in der Standardform gesehen, wie wir sie im Englischen verwenden (wie 1, 2, 3).
In dieser Arbeit geht es darum, was passiert, wenn man diesen superintelligenten Schüler bittet, Mathematik mit Zahlen zu betreiben, die in anderen „Sprachen“ oder „Stilen“ geschrieben sind, die er bisher kaum gesehen hat.
Die wichtigste Entdeckung: Die „Skript-Steuer“ (Script Tax)
Die Forscher fanden heraus, dass die mathematischen Fähigkeiten des Schülers dramatisch sanken, wenn man die Standardzahlen durch andere Schriften ersetzte – wie etwa १, २, ३ (Devanagari) oder ۱, ۲, ۳ (Perso-Arabisch).
Denken Sie an Folgendes: Wenn Sie einen Koch bitten, ein perfektes Steak zuzubereiten, kann er das problemlos machen. Aber wenn Sie ihm ein Rezept in einer Sprache überreichen, die er nicht lesen kann, oder wenn Sie ihm sagen, er solle die Zwiebeln mit einem Löffel statt mit einem Messer schneiden, könnte er die Zutaten fallen lassen oder das Steak anbrennen lassen. Der Koch weiß immer noch, wie man kocht, aber das Format der Anweisungen hat ihn verwirrt.
Die Arbeit nennt dies die „Script Tax“ (Skript-Steuer). Es ist eine Strafe, die die KI zahlt, nur weil sie Zahlen in einer anderen Form sieht. Obwohl die mathematische Aufgabe exakt dieselbe ist (z. B. „5 + 5“), liegt die KI 66 % bis 87 % häufiger falsch, wenn die Zahlen nicht im Standard-Englischen Stil geschrieben sind.
Warum passiert das?
Die Arbeit nennt zwei Hauptschuldige:
- Die „Trainings-Diät“: Die KI wurde mit einer massiven Diät aus Texten aus dem Internet trainiert. Der Großteil dieses Textes verwendet Standard-englische Zahlen. Es ist, als hätte der Schüler bisher nur Äpfel gegessen; wenn man ihm plötzlich eine Birne gibt, weiß er nicht, wie er sie richtig kauen soll.
- Das „Token“-Problem: Eine KI liest Wörter nicht so wie Menschen; sie zerlegt Text in winzige Stücke, sogenannte „Tokens“.
- Standardzahlen (wie 123) bestehen vielleicht aus einem oder zwei Chunks.
- Einige andere Schriften zerlegen dieselbe Zahl in viele winzige, verwirrende Teile.
- Die Arbeit fand heraus, dass es für die KI immer schwieriger wird, die Mathematik zu lösen, je mehr „Chunks“ eine Zahl zerlegt wird. Es ist, als würde man versuchen, ein Puzzle zu lösen, bei dem jemand das Bild in 100 winzige Teile statt in 10 große Teile geschnitten hat.
Die gute Nachricht: Wir können es mit „Hinweisen“ beheben
Die Forscher haben nicht nur ein Problem gefunden, sondern auch einen Weg, dem Schüler zu helfen. Sie probierten verschiedene Arten aus, die Frage zu stellen (das sogenannte „Prompting“):
- Einfach nur höflich fragen: „Bitte löse dies.“ -> Trotzdem gescheitert.
- Die Sprache nennen: „Dies ist in Thai geschrieben.“ -> Trotzdem gescheitert.
- Ein Spickzettel (Mapping): Der KI eine Liste zeigen wie „Dieses Symbol bedeutet 1, dieses hier bedeutet 2.“ -> Besser, aber nicht perfekt.
- Der magische Trick (Few-Shot Prompting): Dies war der Gewinner. Die Forscher gaben der KI zuerst ein paar Beispiele.
- Beispiel 1: „Hier ist eine Aufgabe in Thai: 1 + 1 = 2. Hier ist die Antwort.“
- Beispiel 2: „Hier ist noch eine...“
- Jetzt: „Löse diese eine.“
Indem sie der KI ein paar Beispiele zeigten, wie man mit diesen seltsamen Zahlenstilen umgeht, schoss die Leistung in die Höhe. Es ist, als würde man dem Schüler vor der echten Prüfung ein paar Übungsaufgaben in der neuen Sprache zeigen. Plötzlich konnte er die Mathematik perfekt lösen.
Die Formatierungs-Wendung
Die Arbeit untersuchte auch, wie Zahlen gruppiert werden. In den USA schreiben wir große Zahlen wie 1,000,000 (Kommas alle drei Stellen). In Europa schreiben sie sie vielleicht als 1.000.000 (Punkte) oder 1 000 000 (Leerzeichen).
Die KI war auch durch diese Stile verwirrt. Sie handhabte den US-Stil perfekt, hatte aber Schwierigkeiten mit den europäischen Stilen. Interessanterweise verwechselte die KI diese Zahlenformate oft mit Dingen wie IP-Adressen (z. B. 192.168.1.1), die in ihren Trainingsdaten häufig vorkommen, aber keine mathematischen Probleme darstellen.
Das Fazit
Die Arbeit kommt zu dem Schluss, dass diese KI-Modelle nicht „schlecht in Mathe“ sind. Sie sind eigentlich ziemlich gut in der Logik. Das Problem ist, dass sie fragil sind. Sie verlassen sich stark darauf, Zahlen in der spezifischen, vertrauten Weise zu sehen, wie sie ihnen beigebracht wurden.
Wenn Sie möchten, dass eine KI Mathematik in einer anderen Sprache oder mit anderen Zahlenstilen für Sie erledigt, können Sie sie nicht einfach direkt fragen. Sie müssen ihr einen kleinen Anstoß geben: Zeigen Sie ihr zuerst ein paar Beispiele oder erklären Sie genau, wie die Symbole funktionieren. Sobald Sie das tun, verschwindet die „Script Tax“ und die Mathematik wird wieder einfach.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.