Common Corpus: The Largest Collection of Ethical Data for LLM Pre-Training
Dieses Paper stellt Common Corpus vor, das derzeit größte offene Datenset für das Vortraining von Sprachmodellen, das etwa zwei Billionen Token aus urheberrechtsfreien oder offen lizenzierten Quellen in vielfältigen Sprachen und Domänen umfasst und damit eine rechtssichere sowie leistungsfähige Basis für die Forschung und Entwicklung von Large Language Models bietet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stell dir vor, du möchtest einen extrem klugen Koch (eine Künstliche Intelligenz) ausbilden, der für jeden auf der Welt kochen kann. Bisher haben die großen KI-Modelle dafür einfach den gesamten Inhalt der Bibliothek der Welt, das Internet, in sich hineingeschluckt. Das Problem? Viele dieser Bücher und Rezepte sind urheberrechtlich geschützt, oder die Bibliothekare (die Webseiten-Besitzer) sagen: „Halt! Das darfst du nicht nehmen!"
Das führt zu einem riesigen Rechtschaos. Autoren klagen, Daten werden gesperrt, und Forscher wissen nicht mehr, ob ihre Arbeit morgen noch legal ist.
Die Lösung: „Common Corpus"
In diesem Papier stellen die Autoren eine neue, riesige Sammlung von Daten vor, die sie „Common Corpus" nennen. Man kann sich das wie einen riesigen, öffentlichen Gemeinschaftsgarten vorstellen.
Hier ist die einfache Erklärung, wie das funktioniert und warum es wichtig ist:
1. Der Garten der legalen Zutaten
Stell dir das Internet als einen riesigen Markt vor. Die meisten KIs kaufen dort einfach alles, was sie sehen, auch wenn sie keine Erlaubnis haben. Das „Common Corpus" ist anders. Es ist ein sorgfältig gefilterter Markt, bei dem jeder Verkäufer eine klare Lizenz hat:
- Öffentliches Eigentum: Dinge, deren Urheberrecht abgelaufen ist (wie alte Bücher aus dem 19. Jahrhundert).
- Offene Lizenzen: Dinge, bei denen die Autoren sagen: „Nimm es ruhig, solange du mich nennst."
Das Team hat etwa 2 Billionen Wörter (Tokens) gesammelt. Das ist so viel Text, dass man ihn in einer Bibliothek unterbringen müsste, die größer ist als alle Bibliotheken der Welt zusammen.
2. Eine Weltreise ohne Sprachbarrieren
Die meisten großen Datensätze sind wie ein englischsprachiger Supermarkt. Es gibt dort alles, aber nur auf Englisch.
Das „Common Corpus" ist wie ein großer internationaler Basar.
- Es gibt nicht nur Englisch, sondern auch Französisch, Deutsch, Spanisch und sogar Sprachen, die selten in KIs vorkommen (wie Latein oder bestimmte afrikanische Sprachen).
- Es gibt nicht nur Texte, sondern auch Code (die Sprache der Computer), wissenschaftliche Artikel, Gesetze und kulturelle Texte.
3. Die Putzcrew (Datenbereinigung)
Da sie alte Zeitungen und Bücher aus dem Internet genommen haben, war der Text oft dreckig (wie bei einem alten Foto, das verblasst ist).
- OCR-Fehler: Wenn man alte Bücher einscann, erkennt die Maschine manchmal Buchstaben falsch (z. B. wird aus „M" ein „H"). Das Team hat spezielle KI-Tools entwickelt, die wie Dedektive agieren, um diese Fehler zu finden und zu korrigieren.
- Toxizität: Alte Texte enthalten manchmal verletzende Sprache, die heute nicht mehr akzeptabel ist. Sie haben einen Filter entwickelt, der diesen „Müll" aussortiert, ohne den wertvollen Inhalt zu zerstören.
- Privatsphäre: Sie haben alle Namen, Adressen und Telefonnummern entfernt, damit niemand im Internet ausspioniert werden kann.
4. Der Test: Funktioniert das?
Um zu beweisen, dass dieser „saubere, legale Garten" wirklich gut ist, haben die Autoren zwei kleine KI-Köche damit trainiert.
Das Ergebnis war überraschend: Diese KIs waren genauso gut wie die großen, teuren Modelle, die mit dem „schmutzigen" Internet-Abfall trainiert wurden.
Das bedeutet: Man braucht keine illegalen Daten, um eine starke KI zu bauen.
Warum ist das wichtig?
Bisher war die Entwicklung offener KIs wie ein Hausbau auf schwankendem Grund. Man wusste nie, ob die Justiz morgen die Baustelle stilllegt (wie es bei anderen Datensätzen passiert ist).
Mit dem „Common Corpus" bauen die Forscher ein Haus auf festem, legalen Boden.
- Für Forscher: Sie können endlich ohne Angst arbeiten.
- Für die Gesellschaft: Wir bekommen KIs, die nicht nur auf englischen Webseiten basieren, sondern die ganze Welt und ihre Geschichte verstehen.
- Für die Zukunft: Es zeigt, dass man KI entwickeln kann, ohne die Rechte von Autoren zu verletzen.
Zusammenfassend:
Die Autoren haben den größten, saubersten und legalsten Datensatz der Welt gebaut. Sie haben gezeigt, dass man keine „Diebe" sein muss, um eine superkluge KI zu erschaffen. Stattdessen kann man einfach die Türen zu den öffentlichen Bibliotheken öffnen, die alten Bücher putzen und gemeinsam einen Garten anlegen, aus dem jeder schöpfen darf.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.