compar:IA: The French Government's LLM arena to collect French-language human prompts and preference data
Das Papier stellt compar:IA vor, eine Open-Source-Plattform der französischen Regierung, die durch blinde paarweise Vergleiche groß angelegte, französischsprachige Daten zu menschlichen Präferenzen sammelt, um den Mangel an nicht-englischen Datensätzen für das Training und die Evaluierung von Large Language Models zu beheben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich die Welt der Künstlichen Intelligenz (KI) als eine riesige Bibliothek vor, in der die Bücher fast ausschließlich auf Englisch geschrieben sind. Wenn Sie versuchen, ein Buch auf Französisch, Spanisch oder einer anderen Sprache zu lesen, wirkt die Geschichte vielleicht holprig, die Charaktere verhalten sich seltsam oder die Ratschläge ergeben kulturell keinen Sinn. Das passiert, weil die KI-„Schüler“ die meiste Zeit mit englischen Büchern verbracht haben und kaum mit anderen Sprachen geübt haben.
Um dies zu beheben, hat die französische Regierung einen speziellen Spielplatz namens compar:IA gebaut. Stellen Sie sich das wie einen riesigen, öffentlichen Blindverkostungswettbewerb für KI-Modelle vor, bei dem man aber statt Eiscreme Antworten auf Fragen verkostet.
So funktioniert es, unterteilt in einfache Teile:
1. Der Blindverkostungstest (Wie es funktioniert)
Stellen Sie sich vor, Sie betreten einen Raum und sehen zwei Geheimnis-Köche (KI-Modelle), die eine Antwort auf Ihre Frage zubereiten. Sie wissen noch nicht, wer sie sind.
- Schritt 1: Sie stellen eine Frage (wie „Wie backe ich ein Croissant?“ oder „Erzähl mir einen Witz“).
- Schritt 2: Beide Köche schreiben eine Antwort. Sie lesen sie nebeneinander.
- Schritt 3: Sie wählen die Antwort aus, die Ihnen besser gefällt.
- Schritt 4: Erst nachdem Sie abgestimmt haben, verraten die Köche ihre Namen.
Diese „blinde“ Methode ist entscheidend. Sie verhindert, dass Sie einen Koch nur deshalb wählen, weil Sie seinen Namen oder seine Marke kennen. Sie stellt sicher, dass die Stimme rein auf der Qualität der Antwort basiert.
2. Warum wurde dies gebaut? (Das Problem)
Die meisten KI-Trainingsdaten sind wie eine Ernährung, die nur aus englischem Essen besteht. Aus diesem Grund haben KIs Schwierigkeiten mit der französischen Kultur, dem Slang und den Sicherheitsregeln. Um eine KI darin zu lehren, gut in Französisch zu sein, braucht man tausende Franzosen, die sagen: „Diese Antwort mochte ich, aber jene hasste ich.“
Vor compar:IA waren diese Daten entweder in großen Tech-Unternehmen verborgen oder existierten für französischsprachige Nutzer schlichtweg nicht. compar:IA ist eine öffentliche Küche, in der jeder helfen kann, die Rezepte (die Daten) zuzubereiten, und dann wird das Rezept (die Datenmenge) frei für alle geteilt.
3. Die Ernte (Was sie gesammelt haben)
Seit der Eröffnung Ende 2024 war dieser digitale Spielplatz sehr beschäftigt. Stand Anfang 2026 haben sie gesammelt:
- Über 600.000 Fragen, die von echten Menschen gestellt wurden.
- Über 250.000 Stimmen, die entschieden haben, welche KI-Antwort besser war.
- 89 % der Daten sind auf Französisch, was eine große Sache ist in einer Welt, die von englischen Daten dominiert wird.
Sie haben nicht nur die Stimmen gesammelt; sie haben die Nutzer auch gebeten, auf bestimmte Teile der Antworten zu reagieren, wodurch eine reiche Karte entstand, was französischsprachige Menschen tatsächlich beschäftigt.
4. Wer nutzt es und warum?
- Für normale Menschen: Es ist ein kostenloser Weg, mit vielen verschiedenen KI-Modellen (einigen berühmten, anderen Open-Source) zu chatten, um zu sehen, wie sie denken. Es zeigt ihnen auch, wie viel Energie (Strom) die KI benötigt, um eine Antwort zu geben, was sie dazu ermutigt, über die Umwelt nachzudenken.
- Für Wissenschaftler und Unternehmen: Sie können das „Rezeptbuch“ (die Daten) herunterladen, um ihre eigenen KI-Modelle zu trainieren, damit diese besser Französisch sprechen.
- Für Schulen: Lehrer nutzen es, um Schülern zu zeigen, wie KI funktioniert, indem sie die Plattform in ein Klassenzimmer-Werkzeug verwandeln, in dem Schüler darüber debattieren, welche KI-Antwort am fairsten oder genauesten ist.
5. Die Spielregeln (Privatsphäre & Sicherheit)
Die Schöpfer waren sehr vorsichtig mit der Privatsphäre.
- Keine Anmeldung: Sie müssen keinen Namen oder keine E-Mail angeben, um mitzuspielen. Dies senkt die Hemmschwelle, bedeutet aber auch, dass sie später besonders vorsichtig sein müssen.
- Der Filter: Bevor irgendwelche Daten veröffentlicht werden, scannt ein intelligenter Computer jedes Gespräch. Wenn er einen echten Personennamen, eine Adresse oder private Informationen entdeckt, wirft er das gesamte Gespräch in den Müll. Es ist besser, ein paar Datenpunkte zu verlieren, als versehentlich Geheimnisse preiszugeben.
- Open Source: Die Daten werden unter einer französischen Regierungslizenz veröffentlicht, was bedeutet, dass jeder sie für die Forschung oder den Bau neuer Werkzeuge nutzen kann, solange die Regeln eingehalten werden.
6. Die Anzeigetafel
Die Plattform führt auch eine Rangliste (Leaderboard). Es ist wie eine Sport-Anzeigetafel, die zeigt, welche KI-Modelle die Franzosen am meisten bevorzugen. Die Autoren warnen jedoch, dass dies kein perfekter Test für „Intelligenz“ ist. Es zeigt nur, was die Leute in einem informellen Rahmen „gemocht“ haben. Es ist eher ein Popularitätswettbewerb als eine Abschlussprüfung.
7. Die Zukunft
Das französische Team sieht dies als Prototyp. Sie arbeiten bereits daran, den „Geschmackstest“ auf andere Sprachen auszuweiten (beginnend mit Dänisch), damit andere Länder ihre eigenen öffentlichen Datengärten aufbauen können.
Zusammenfassend lässt sich sagen: compar:IA ist ein öffentlicher Dienst, der durch Crowdsourcing französische Sprachpräferenzen sammelt, um KIs beizubringen, wie ein menschlicher französischer Sprecher zu sprechen, zu denken und sich zu verhalten – und das alles, während der Prozess offen, privat und für jeden kostenlos nutzbar bleibt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.