Apples to Apples? Towards Comparable Crosslingual Language Model Evaluation
Diese Arbeit zeigt auf, dass weit verbreitete normalisierte Metriken zur Evaluierung kreuzlingualer Sprachmodelle aufgrund von Tokenisierung und orthografischen Unterschieden Verzerrungen einführen, und schlägt vor, dass die Satzebenen-Negative-Log-Likelihood über semantisch äquivalente Sequenzen eine konsistentere und fairere Alternative für den Vergleich von Modellen über Sprachen hinweg darstellt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der sich schnell entwickelnden Welt der künstlichen Intelligenz lernen Computer, in Dutzenden von menschlichen Sprachen zu sprechen und zu schreiben. Diese digitalen Geister, bekannt als Sprachmodelle, werden mit riesigen Textbibliotheken trainiert, um vorherzusagen, welches Wort als Nächstes in einem Satz folgt. Während diese Systeme immer leistungsfähiger werden, stehen Forscher vor einer entscheidenden Herausforderung: Woher wissen wir, ob ein Modell wirklich gut in einer bestimmten Sprache ist oder ob es nur gut darin ist, wie diese Sprache auf einem Computer niedergeschrieben wird? Um dies zu beantworten, müssen Wissenschaftler messen, wie gut ein Modell die Bedeutung eines Textes versteht, und nicht nur, wie effizient es die rohen Zeichen oder Symbole verarbeiten kann. Das Problem ist, dass die Werkzeuge, die derzeit verwendet werden, um dieses Verständnis zu messen, oft verborgene Fallen enthalten. Sie können verzerrt sein durch die Anzahl der Buchstaben in einem Wort, das spezifische Skript, das verwendet wird, um eine Sprache zu schreiben, oder durch die Art und Weise, wie der Computer einen Satz in winzige Teile zerlegt, um ihn zu verarbeiten. Wenn diese Werkzeuge voreingenommen sind, können sie ein Modell in einer Sprache brillant und in einer anderen unbeholfen erscheinen lassen, nicht aufgrund seiner tatsächlichen Intelligenz, sondern aufgrund technischer Eigenheiten in der Art und Weise, wie die Daten gehandhabt werden. Dies macht es nahezu unmöglich, fair zu vergleichen, wie gut eine künstliche Intelligenz über die vielfältigen Zungen der Welt hinweg performt.
Ein Team von Forschern der Georgetown University und EleutherAI setzte sich zum Ziel, dieses Rätsel zu lösen, indem sie genau die Werkzeuge testete, die zur Bewertung dieser Modelle verwendet werden. Sie konstruierten ein kontrolliertes Experiment mit fünfzig separaten Computermodellen, von denen jedes ausschließlich auf einer von zehn verschiedenen Sprachen trainiert wurde. Um einen fairen Test zu gewährleisten, trainierten sie diese Modelle auf parallelen Daten, was bedeutet, dass die Modelle aus Texten lernten, die exakt dieselbe Bedeutung in verschiedenen Sprachen ausdrückten. Sie testeten diese Modelle dann mit sechs verschiedenen Messmethoden, die im Fachbereich üblich sind. Einige dieser Methoden zählen die Gesamtzahl der winzigen Bausteine, oder Token, die ein Modell verwendet, um einen Satz zu verstehen. Andere zählen die Anzahl der Bytes, also der digitalen Speichereinheiten, oder die Anzahl der einzelnen Zeichen auf dem Bildschirm. Die Forscher testeten auch eine Methode, die einfach die gesamte Schwierigkeit zusammenzählt, die ein Modell bei der Vorhersage eines ganzen Satzes hat, ohne diese Schwierigkeit durch die Länge des Textes zu teilen.
Die Ergebnisse offenbarten eine erschreckende Wahrheit darüber, wie diese Messungen funktionieren. Die Methoden, welche die Leistung eines Modells durch die Anzahl der Token, Bytes oder Zeichen teilen, erwiesen sich beim Vergleich verschiedener Sprachen als zutiefst fehlerhaft. Diese Metriken begünstigten konsistent Sprachen, die natürlicherweise weniger Zeichen oder Bytes verwenden, um dieselbe Idee auszudrücken, wie etwa Chinesisch, während sie Sprachen bestraften, die längere Sequenzen von Symbolen erfordern. In einem frappierenden Beispiel wurde ein Modell, das nur auf Englisch trainiert worden war, bei der Messung durch diese fehlerhaften Methoden als „besser“ in Russisch als in Englisch dargestellt, schlicht weil der Computer den russischen Text in mehr Teile zerlegte, was den Wert künstlich senkte. Dies geschah, obwohl das Modell zuvor noch nie Russisch gesehen hatte und in der Realität schlecht darin abschnitt. Die Studie zeigte, dass diese populären Metriken nicht die tatsächliche Intelligenz oder das Verständnis des Modells maßen; sie spiegelten lediglich die technischen Entscheidungen wider, die getroffen wurden, wenn der Computer eingerichtet wurde, um den Text zu lesen.
Im Gegensatz dazu erwies sich die Methode, welche die gesamte Schwierigkeit eines Satzes zusammenzählte, ohne sie durch die Länge zu teilen, als der einzig faire Ansatz. Dieses Maß, das die Forscher als sentence-level negative log-likelihood (Satz-Ebene negative Log-Likelihood) bezeichnen, betrachtte den gesamten Aufwand, den das Modell aufbrachte, um die gesamte Bedeutung eines Textes zu verstehen. Da es nicht versuchte, den Score basierend auf der Länge des Textes in Bezug auf Buchstaben oder digitale Speicherung zu normalisieren, blieb es unabhängig vom Skript der Sprache oder der Größe des Vokabulars des Computers stabil. Als die Forscher diese Methode an großen, realen multilingualen Modellen testeten, war es die einzige Metrik, die korrekt identifizierte, welche Sprachen die Modelle am besten gelernt hatten, was mit der bekannten Zusammensetzung ihrer Trainingsdaten übereinstimmte. Die anderen Methoden produzierten weiterhin Ranglisten, die durch die technischen Details der Art und Weise, wie der Text gespeichert und verarbeitet wurde, verzerrt waren.
Die Forscher untersuchten auch, ob diese Messungen konsistent blieben, wenn dieselbe Bedeutung auf unterschiedliche Weise ausgedrückt wurde. Sie fanden heraus, dass einige Metriken stark schwankten, je nachdem, welche Übersetzung oder Paraphrase verwendet wurde, während die Methode auf Satzebene stabil blieb. Dies deutet darauf hin, dass die scheinbare Stabilität der anderen Methoden eine Illusion war, die durch ihre Sensibilität gegenüber oberflächlichen Details erzeugt wurde, statt ein Zeichen für wahre Zuverlässigkeit zu sein. Die Studie kommt zu dem Schluss, dass Wissenschaftler, um wirklich zu verstehen, wie gut künstliche Intelligenz über verschiedene Kulturen und Sprachen hinweg funktioniert, aufhören müssen, sich auf Metriken zu verlassen, die Token, Bytes oder Zeichen zählen. Stattdessen müssen sie Maße verwenden, die die gesamte Bedeutung des Textes respektieren, um sicherzustellen, dass die Bewertung das tatsächliche Lernen des Modells widerspiegelt und nicht die Eigenheiten seiner digitalen Repräsentation. Dieser Wandel ist essenziell, um Systeme zu bauen, die wirklich fair und effektiv für alle sind, unabhängig von der Sprache, die sie sprechen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.