Low-Resource Named Entity Recognition with Cross-Lingual, Character-Level Neural Conditional Random Fields

In der weiten Landschaft der menschlichen Sprache sind Computer bemerkenswert geschickt darin geworden, Texte zu lesen und zu verstehen, doch sie stolpern immer noch über eine grundlegende Aufgabe: das Erkennen von Namen von Personen, Orten und Organisationen. Diese Herausforderung, bekannt als Named Entity Recognition (Benennung von Eigennamen), erfordert von einer Maschine, einen Satz zu betrachten und zu entscheiden, welche Wörter sich auf eine bestimmte Person, einen Ort oder ein Unternehmen beziehen, und sie von den gewöhnlichen Wörtern zu unterscheiden, die sie umgeben. Für Sprachen wie Englisch, bei denen Forscher Jahrzehnte damit verbracht haben, Millionen von Beispielen annotierter Texte zu sammeln, haben Computer gelernt, diese Aufgabe mit hoher Genauigkeit auszuführen. Für die tausenden anderen Sprachen, die auf der Welt gesprochen werden, existieren jedoch einfach keine solch riesigen Bibliotheken an Beispielen. In vielen Fällen verfügen Linguisten und Informatiker nur über eine Handvoll Sätze, was es nahezu unmöglich macht, einem Computer beizubringen, Namen in diesen Sprachen mithilfe traditioneller Methoden zu erkennen. Diese Lücke lässt einen bedeutenden Teil der Sprachen der Welt für moderne digitale Werkzeuge unsichtbar werden, was eine Barriere für den Zugang zu Informationen und die Kommunikation schafft.

Ein Team von Forschern der Johns Hopkins University setzte sich zum Ziel, diese Kluft zu überbrücken, indem sie einen neuen Weg untersuchten, wie man Computern beibringen kann, Namen in diesen ressourcenarmen Sprachen zu erkennen. Anstatt zu versuchen, ein separates, isoliertes System für jede Sprache zu bauen, entwickelten sie eine Methode, die es einem Computer ermöglicht, von Sprachen zu lernen, die er bereits gut beherrscht, und dieses Wissen auf eine Sprache anzuwenden, von der er sehr wenig weiß. Der Kern ihres Ansatzes besteht darin, dem Computer beizubringen, sich auf die Bausteine der Wörter zu konzentrieren – die einzelnen Buchstaben und Zeichen – anstatt nur auf die Wörter als ganze Einheiten. Durch die Analyse dessen, wie sich Zeichen zu Namen in einer gut dokumentierten Sprache kombinieren, kann der Computer beginnen, ähnliche Muster in einer verwandten, aber datenarmen Sprache zu erkennen. Diese Technik, die die Forscher Transfer Learning nennen, ermöglicht es dem Computer im Wesentlichen, die Intuition, die er für eine Sprache entwickelt hat, zu „ausleihen“, um eine andere zu verstehen, vorausgesetzt, die beiden Sprachen teilen eine gemeinsame Familie oder strukturelle Wurzeln.

Die Forscher testeten diese Idee über fünfzehn verschiedene Sprachen hinweg, die von Galicisch und Ukrainisch bis hin zu Tagalog und Hindi reichten. Sie begannen damit, ein Szenario zu erstellen, in dem der Computer Zugriff auf nur einhundert Sätze an Trainingsdaten für eine Zielsprache hatte – eine Menge, die so gering ist, dass Standardcomputermodelle normalerweise nichts Nützliches daraus lernen können. In diesem schwierigen Setting verglichen sie zwei verschiedene Arten von Computermodellen. Das erste war ein traditionelles Modell, das darauf beruhte, dass menschliche Experten manuell spezifische Regeln und Merkmale entwarfen, um dem Computer zu helfen, Namen zu entdecken. Das zweite war ein neueres, komplexeres Modell basierend auf neuronalen Netzen, die darauf ausgelegt sind, ihre eigenen Merkmale automatisch aus den Daten zu lernen. Als der Computer gezwungen war, aus nur einhundert Sätzen ohne Hilfe durch andere Sprachen zu lernen, schnitt das traditionelle Modell tatsächlich besser ab. Das neuronale Netz, das dafür bekannt ist, riesige Datenmengen zu benötigen, um gut zu funktionieren, hatte Schwierigkeiten und lieferte niedrigere Genauigkeitswerte. Dies bestätigte, dass der komplexe neuronale Ansatz in Abwesenheit ausreichender Daten noch nicht bereit war, auf eigenen Füßen zu stehen.

Doch die Geschichte änderte sich völlig, als die Forscher das Element des cross-lingualen Transfers einführten. Sie versorgten den Computer mit einer großen Menge an Trainingsdaten aus einer verwandten Sprache – wie etwa Spanisch für Galicisch oder Russisch für Ukrainisch – zusammen mit dem winzigen Datensatz von einhundert Sätzen für die Zielsprache. In diesem neuen Setup eilte das neuronale Netz Modell weit voraus. Durch das Teilen des Wissens, das es aus der reich dokumentierten Sprache gewonnen hatte, war das neuronale Netz in der Lage, eine allgemeine Repräsentation dessen zu erlernen, was ein Name über verschiedene, aber verwandte Sprachen hinweg ist. Es lernte, dass Namen oft spezifische Zeichenmuster teilen, unabhängig davon, ob sie in der einen oder der anderen Sprache geschrieben wurden. Dies ermöglichte es dem Modell, sein Verständnis zu generalisieren und signifikant besser zu performen als das traditionelle Modell, das die zusätzlichen Daten nicht auf die gleiche Weise nutzen konnte. In einigen Fällen war die Verbesserung dramatisch, wobei die Genauigkeit des neuronalen Modells im Vergleich zum traditionellen Ansatz durch diese Transfermethode um fast zehn Punkte stieg.

Die Studie zeigte auch, dass diese Methode am besten funktioniert, wenn die Zielsprache über sehr wenige Daten verfügt. Als die Forscher dem Computer einen großen Datensatz von zehntausend Sätzen für die Zielsprache gaben, verschwand der Vorteil des Ausleihens von Daten aus einer anderen Sprache, und das neuronale Modell funktionierte gut auf eigene Faust. Dies deutet darauf hin, dass die Technik speziell darauf ausgelegt ist, das Problem der Knappheit zu lösen, indem sie als Lebensader für Sprachen fungiert, denen die massiven Textarchive fehlen, die für das Training moderner Künstlicher Intelligenz erforderlich sind. Die Forscher fanden heraus, dass die Fähigkeit des neuronalen Netzes, Zeichen anstatt ganzer Wörter zu analysieren, entscheidend für diesen Erfolg war, da es dem System ermöglichte, subtile Verbindungen zwischen Sprachen zu finden, die ein wortbasiertes System vielleicht übersehen hätte. Durch die Verknüpfung der internen Komponenten des Modells über Sprachen hinweg konnte der Computer das Konzept eines „benannten Entität“ abstrahieren, das über den spezifischen Wortschatz einer einzelnen Zunge hinausging.

Letztendlich zeigt die Arbeit, dass es möglich ist, modernste Sprachtechnologie zu den ressourcenärmsten Sprachen der Welt zu bringen, aber dies erfordert eine Änderung in der Art und Weise, wie diese Systeme trainiert werden. Die Ergebnisse zeigen, dass komplexe neuronale Netze zwar leistungsstark sind, aber keine magische Lösung darstellen, die in jeder Situation funktioniert; sie benötigen die richtige Art der Unterstützung, um bei Datenknappheit zu funktionieren. Durch die Kombination der Deep-Learning-Fähigkeiten neuronaler Netze mit der Strategie, von verwandten Sprachen zu lernen, haben die Forscher einen praktikablen Weg aufgezeigt. Dieser Ansatz erfordert nicht die unmögliche Aufgabe, Millionen von Sätzen für jede Sprache der Erde manuell zu annotieren. Stattdessen bietet er einen praktischen Weg, bestehende Ressourcen zu nutzen, um das Verständnis für Sprachen freizusetzen, die lange Zeit zurückgelassen wurden, und so sicherzustellen, dass die Vorteile der digitalen Sprachverarbeitung einem viel breiteren Teil der menschlichen Bevölkerung zugutekommen.