Language Models for Portuguese: A Systematic Mapping Study

Stellen Sie sich das Internet als eine riesige, geschäftige Bibliothek vor, in der jedes Buch in einer anderen Sprache geschrieben ist. Lange Zeit wurden die klügsten Computer in dieser Bibliothek – diejenigen, die lesen, schreiben und wie Menschen chatten können – hauptsächlich mit englischen Büchern trainiert. Sie wurden unglaublich fließend in Englisch, aber wenn man sie nach Geschichten aus anderen Ländern fragte, stolperten sie oft, waren verwirrt oder erfanden einfach etwas. Das lag daran, dass das „Gehirn“ dieser Computer aus den Wörtern aufgebaut ist, die sie gelesen haben; wenn sie nicht genug Bücher in einer bestimmten Sprache gelesen haben, können sie die Kultur, die Witze oder die Geschichte hinter diesen Wörtern nicht wirklich verstehen. Vor kurre Zeit begannen Wissenschaftler, spezielle Computer für Portugiesisch zu bauen, die Sprache, die von Hunderten Millionen Menschen in Brasilien, Portugal und Teilen Afrikas und Asiens gesprochen wird. Aber genau wie eine Bibliothek mit verstreuten Büchern sind die Informationen über diese neuen portugiesischen Computer unordentlich, versteckt an verschiedenen Orten und nur schwer auf einmal zu finden.

Dieses Papier ist wie ein super organisierter Bibliothekar, der beschließt, die gesamte portugiesische Abteilung aufzuräumen. Die Autoren, ein Team einer Universität aus Brasilien, haben eine massive Jagd gestartet, um jeden einzelnen Computer, der für die portugiesische Sprache entwickelt wurde und zwischen 2020 und 2025 veröffentlicht wurde, zu finden. Sie haben sie nicht nur gezählt; sie haben die Boxen geöffnet, die Handbücher geprüft und versucht herauszufinden, wie sie gebaut wurden, womit sie unterrichtet wurden und ob man sie tatsächlich nutzen konnte. Sie fanden 46 verschiedene Modelle, die von allgemeinen Chatbots bis hin zu Spezialisten reichen, die nur über Recht, Medizin oder Öl und Gas sprechen. Ihre große Entdeckung? Obwohl es viel aufregende Fortschritte gibt, ist die „Bibliothek“ noch etwas chaotisch. Viele dieser Modelle sind wie geheime Rezepte, die nur der Koch kennt (der Code wird nicht geteilt), einige wurden mit übersetzten Büchern unterrichtet, die den lokalen Geschmack nicht ganz einfangen, und sehr wenige von ihnen wurden daraufhin überprüft, ob sie fair oder sicher in der Anwendung sind. Die Autoren schlagen vor, dass wir, um diese Computer für alle Portugiesischsprecher wirklich hilfreich zu machen, damit aufhören müssen, uns auf Übersetzungen zu verlassen, unsere Baupläne offener zu teilen und sicherstellen müssen, dass die Computer die reiche Vielfalt der Sprache verstehen, nicht nur die populärste Version davon.

Die große Suche nach den portugiesischen Modellen

Stellen Sie sich die Welt der Künstlichen Intelligenz (KI) wie eine riesige Baustelle vor. Jahrelang wurden die größten, beeindruckendsten Wolkenkratzer mit englischen Ziegeln gebaut. Dies sind die „Großen Sprachmodelle“ (LLMs), die klugen Computer, die Essays schreiben, Fragen beantworten und sogar Code schreiben können. Aber die Arbeiter auf dieser Baustelle erkannten, dass man mit englischen Ziegeln kein Haus bauen kann, das sich für jemanden, der Portugiesisch spricht, wie ein Zuhause anfühlt. Deshalb begannen zwischen 2020 und 2025 neue Baumeister, speziell für Portugiesischsprecher Häuser zu errichten.

Das Problem war, dass diese neuen Häuser überall auf der Landkarte verstreut waren. Einige wurden in schicken wissenschaftlichen Journalen beschrieben, andere waren nur Notizen auf einer Website, und einige waren in technischen Berichten versteckt, die niemand las. Es war, als würde man versuchen, ein bestimmtes Spielzeug in einem Raum zu finden, in dem die Spielzeuge in verschiedene Haufen geworfen wurden, von denen einige beschriftet waren und andere nicht. Die Autoren dieses Papiers beschlossen, das Zimmer aufzuräumen. Sie führten eine „systematische Kartierungsstudie“ durch, was eine schicke Art zu sagen ist, dass sie eine Meisterliste eines jeden portugiesischen Sprachmodells erstellt haben, das sie finden konnten.

Sie fanden insgesamt 46 Modelle. Das sind viele verschiedene Computer! Sie sortierten sie aus wie ein Sammler, der Briefmarken sortiert. Sie schauten sich an, welches „Basismodell“ (Base Model) jedem von ihnen zugrunde lag (wie etwa, ob es auf einem Fundament von BERT, Llama oder T5 aufgebaut war), wofür es konzipiert war (allgemeines Chatten, Rechtsberatung, medizinische Diagnose oder das Analysieren von Tweets) und wie groß es war (von winzigen Modellen mit 12 Millionen Parametern bis hin zu massiven Modellen mit 72 Milliarden).

Der „Stammbaum“ der portugiesischen KI

Eine der coolsten Sachen, die die Autoren machten, war das Zeichnen eines „phylogenetischen Baums“. Stellen Sie sich einen Stammbaum für diese Computer vor. Anstatt zu zeigen, wie Menschen mit ihren Großeltern verwandt sind, zeigt dieser Baum, wie diese KI-Modelle mit ihren „Eltern“ verwandt sind.

Sie fanden heraus, dass die meisten portugiesischen Modelle Nachfahren einiger berühmter „Ahnenmodelle“ sind. Der größte Familienzweig stammt von BERT, was wie der Urgroßvater vieler dieser Modelle ist; 20 der 46 gefundenen Modelle wurden direkt auf BERT oder seinen Cousins aufgebaut. Die zweitgrößte Familie ist die Llama-Familie, der neue, trendige Ahne, auf dem 10 Modelle basieren.

Der Baum zeigt auch, wie sich diese Modelle entwickelten. Einige begannen als Allzweckcomputer (gut in allem) und erhielten dann spezialisiertes Training, um Experten in bestimmten Bereichen zu werden. Zum Beispiel gibt es einen Zweig, in dem ein Modell als allgemeiner Leser begann, dann medizinische Lehrbücher studierte, um ein „CardioBERTpt“ (eine Herzarzt-KI) zu werden, und dann eine weitere Version juristische Dokumente studierte, um eine „JurisBERT“ (eine Anwalts-KI) zu werden. Es ist wie ein Schüler, der eine allgemeine Schule besucht und dann spezialisierte Colleges besucht, um Arzt oder Anwalt zu werden.

Das Problem der „offenen Tür“

Die Autoren prüften auch die Türen dieser 46 Häuser, um zu sehen, ob jemand eintreten konnte. Sie suchten nach drei Dingen:

1. Der Code: Kann man die Baupläne sehen?
2. Das Modell: Kann man das fertige Computergehirn herunterladen?
3. Die Daten: Kann man die Bücher sehen, mit denen der Computer trainiert wurde?

Die Nachrichten hierzu sind etwas gemischt. Von den 46 Modellen hatten nur 11 ihren Quellcode (die Baupläne) für jeden sichtbar zur Verfügung. Etwa 5 Modelle waren komplett verschlossen – man konnte sie überhaupt nicht nutzen. Und für die Trainingsdaten (die Bücher) waren nur 17 Modelle auf Daten angewiesen, die frei zum Download verfügbar waren. Der Rest verwendete Daten, die entweder hinter einer Bezahlschranke versteckt waren, eine spezielle Erlaubnis erforderten, um sie anzufragen, oder von dem Unternehmen geheim gehalten wurden, das sie gebaut hatte.

Die Autoren prüften auch, ob diese Modelle eine „Model Card“ besaßen, was wie ein Nährwertetikett für KI ist. Es sagt einem, worin das Modell gut ist, worin es schlecht ist und ob es irgendwelche Vorurteile hat. Erschreckenderweise hatten nur 3 der 46 Modelle ein vollständiges, perfektes Nährwertetikett. Die meisten hatten halbfertige Etiketten, und 10 hatten gar kein Etikett. Das bedeutet, wenn Sie diese Modelle nutzen, wissen Sie vielleicht nicht genau, worauf Sie sich einlassen.

Die „Übersetzungsfalle“ und fehlende Stimmen

Eine der wichtigsten Erkenntnisse betrifft die Art und Weise, wie diese Modelle zu sprechen lernten. Die Autoren bemerkten, dass viele Modelle mit Büchern unterrichtet wurden, die aus dem Englischen ins Portugiesische übersetzt worden waren. Stellen Sie sich vor, Sie versuchen, die brasilianische Kultur kennenzulernen, indem Sie ein Buch lesen, das ursprünglich in New York geschrieben und dann Wort für Wort ins Portugiesische übersetzt wurde. Sie bekommen vielleicht die Grammatik richtig hin, aber Sie würden den Slang, die Witze und das lokale Lebensgefühl verpassen.

Das Papier legt nahe, dass das Vertrauen auf übersetzte Daten ein Problem ist. Es bedeutet, dass diese Modelle die einzigartigen kulturellen Nuancen der Portugiesischsprecher in Brasilien, Portugal oder Afrika vielleicht nicht verstehen. Darüber hinaus weisen die Autoren darauf hin, dass fast alle gefundenen Modelle sich nur auf zwei Versionen des Portugiesischen konzentrieren: Brasilianisches Portugiesisch und Europäisches Portugiesisch. Sie ignorierten die anderen sieben Länder vollständig, in denen Portugiesisch eine Amtssprache ist, wie etwa Angola, Mosambik und Kap Verde. Die Autoren argumentieren, dass dies eine Form von „linguistischem Vorurteil“ ist – die Annahme, dass ein Modell, weil es Brasilianisches und Europäisches Portugiesisch spricht, auch für alle sprechen kann, die die Sprache nutzen. Sie schlagen vor, dass zukünftige Modelle mit Daten trainiert werden müssen, die die Vielfalt aller portugiesischsprachigen Nationen wirklich repräsentieren.

Was kommt als Nächstes?

Die Autoren kommen zu dem Schluss, dass wir zwar große Fortschritte gemacht haben, aber noch einen weiten Weg vor uns haben. Sie schlagen vor, dass die nächste Generation der portugiesischen KI:

• Aufhören muss, übersetzte Daten zu verwenden, und statっ mit echten, originären portugiesischen Büchern und Gesprächen aus der ganzen Welt beginnen muss.
• Ihre Baupläne (Code) teilen sollte, damit andere Wissenschaftler ihre Arbeit überprüfen und verbessern können.
• Mehr Stimmen einbeziehen muss, insbesondere aus afrikanischen und asiatischen portugiesischsprachigen Regionen, nicht nur aus Brasilien und Portugal.
• Mehr Sinne hinzufügen sollte. Momentan verstehen die meisten dieser Modelle nur Text. Die Autoren sehen eine große Chance darin, multimodale Modelle zu bauen, die auch Bilder und Klänge (multimodal) speziell für das Portugiesische verstehen können – wie ein Computer, der ein Bild einer brasilianischen Straße betrachten und sie in lokalem Slang beschreiben kann.

Kurz gesagt: Die Bibliothek der portugiesischen KI wächst schnell, aber sie braucht bessere Organisation, offenere Türen und eine größere Vielfalt an Stimmen, um den Millionen von Menschen, die die Sprache sprechen, wirklich dienen zu können.