GottBERT: a pure German Language Model
Dieses Paper stellt GottBERT vor, das erste deutsche einsprachige RoBERTa-Modell, das auf dem OSCAR-Datensatz vortrainiert wurde, welches eine wettbewerbsfähige Leistung bei verschiedenen NLP-Aufgaben im Vergleich zu bestehenden deutschen und multilingualen Modellen zeigt, während gleichzeitig angemerkt wird, dass die Filterung des Korpus nur minimale Auswirkungen auf die Ergebnisse hatte.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie möchten einem Roboter beibringen, die deutsche Sprache zu verstehen. In der Vergangenheit haben Forscher Roboter oft mit einem „multilingualen“ Ansatz unterrichtet, indem sie ihnen eine riesige Suppe aus Texten aus Dutzenden verschiedener Sprachen gleichzeitig fütterten. Es ist, als würde man versuchen, gleichzeitig Französisch, Deutsch und Japanisch zu lernen, während man jongliert. Dies funktioniert zwar, ist aber oft weniger effizient, als sich auf nur eine Sprache zu konzentrieren.
Dieses Paper stellt GottBERT vor, ein neues „Robotergehirn“, das speziell darauf ausgelegt ist, nur Deutsch zu verstehen. Denken Sie an einen spezialisierten Chefkoch, der nur deutsche Küche kocht, statt eines allgemeinen Kochs, der versucht, alles zu kochen.
Hier ist die Geschichte, wie sie es gemacht haben, einfach aufgeschlüsselt:
1. Die Zutaten: Eine riesige Bibliothek
Um den Roboter zu lehren, brauchte das Team eine riesige Bibliothek deutscher Texte. Sie verwendeten einen Datensatz namens OSCAR, der wie ein riesiger digitaler Müllhaufen des Internets ist.
- Der rohe Haufen: Sie begannen mit 145 Gigabyte reinem deutschen Text. Stellen Sie sich eine Bibliothek mit 459 Millionen Büchern (oder Dokumenten) vor, aber viele davon sind unordentlich. Einige haben Tippfehler, einige sind nur Listen von zufälligen Wörtern (Spam) und einige haben seltsame Zeichenfehler (wie „ä“ statt „ä“).
- Der Reinigungsprozess: Das Team versuchte, diese Bibliothek zu bereinigen. Sie schrieben ein spezielles Programm, um Kodierungsfehler zu beheben, Spam zu entfernen und Dokumente herauszufiltern, die nicht wie echte deutsche Sätze aussah. Dies reduzierte die Bibliothek auf 121 Gigabyte.
- Das Experiment: Sie wollten sehen, ob eine „bereinigte“ Bibliothek einen klügeren Roboter macht als eine „rohe“ Bibliothek. Also trainierten sie zwei Sätze von Robotern: einen mit der unordentlichen Bibliothek und einen mit der bereinigten Bibliothek.
2. Das Trainingsgymnasium: Supercomputer
Das Training dieser Roboter ist wie das Laufen eines Marathons für einen Computer. Es erfordert enorme Kraft.
- Die meisten bisherigen Modelle wurden auf Graphics Processing Units (GPUs) trainiert, die wie Standard-Rennwagen sind.
- GottBERT wurde auf TPUs (Tensor Processing Units) trainiert, die wie Hochgeschwindigkeits-Züge sind, die speziell für diese Art von Mathematik entwickelt wurden. Dies machte sie zum ersten deutschen RoBERTa-Modell, das auf dieser spezifischen, superschnellen Hardware trainiert wurde.
3. Das Rennen: Wie haben sie abgeschnitten?
Nach dem Training unterzog das Team die Roboter einer Reihe von Tests, um zu sehen, wie gut sie Deutsch verstehen. Sie verglichen ihre neuen Roboter (GottBERT) mit anderen bestehenden deutschen Robotern und einigen multilingualen Modellen.
Die Tests umfassten:
- Namenserkennung (NER): Kann der Roboter erkennen, dass „Müller“ ein Personenname und „Berlin“ eine Stadt ist?
- Leseverständnis (NLI): Wenn ich sage: „Der Hund jagte die Katze“, kann der Roboter verstehen, dass „Die Katze wurde von dem Hund gejagt“ dasselbe bedeutet?
- Nachrichten sortieren (Textklassifizierung): Kann der Roboter eine Schlagzeile lesen und feststellen, ob sie über Sport, Politik oder Wetter handelt?
Die Ergebnisse:
- Die kleinen Modelle (Base): Die standardmäßig großen GottBERT-Roboter waren sehr stark. Sie gewannen oder teilten sich den ersten Platz in 4 von 6 Tests im Vergleich zu anderen standardmäßigen deutschen Modellen.
- Die großen Modelle (Large): Als sie die Roboter größer machten (komplexer), waren die Ergebnisse gemischt. Der größte deutsche Roboter eines anderen Teams (GELECTRA) schnitt in den meisten Kategorien etwas besser ab als die größten GottBERT-Roboter.
- Die Überraschung bei der Reinigung: Hier ist die Wendung. Das Team erwartete, dass der Roboter, der mit der bereinigten Bibliothek trainiert wurde, klüger wäre. Das war er nicht. Der Roboter, der mit der unordentlichen, rohen Bibliothek trainiert wurde, war genauso gut oder sogar etwas besser als derjenige, der mit dem bereinigten Text trainiert wurde. Es stellt sich heraus, dass der Roboter klug genug war, das Rauschen selbst zu verstehen.
4. Das Fazit
Die Autoren kommen zu folgenden Schlüssen:
- Spezialisten gewinnen: Ein Modell, das nur auf Deutsch trainiert wurde (GottBERT), ist äußerst wettbewerbsfähig und schlägt oft Modelle, die versuchen, viele Sprachen zu sprechen.
- Reinigung ist nicht immer notwendig: Riesige Anstrengungen zu unternehmen, um die Trainingsdaten perfekt zu bereinigen, brachte in diesem Fall keinen klaren Vorteil.
- Open Source: Sie geben ihre „Blaupausen“ (die Modelle) kostenlos für die Öffentlichkeit frei, damit andere Forscher sie nutzen können, um bessere deutsche Sprachwerkzeuge zu bauen.
Kurz gesagt: Sie haben ein spezialisiertes deutsches Sprachgehirn gebaut, es mit einer riesigen und etwas unordentlichen Internetbibliothek auf superschnellen Computern trainiert und festgestellt, dass es unglaublich gut funktioniert, was beweist, dass man seine Daten nicht immer perfekt reinigen muss, um ein großartiges Ergebnis zu erzielen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.