WorkRB: A Community-Driven Evaluation Framework for AI in the Work Domain

Das Paper stellt WorkRB vor, ein quelloffenes, gemeinschaftsbasiertes Evaluierungsframework, das als erster Benchmark speziell für KI-Anwendungen im Arbeitsmarkt entwickelt wurde, um die Fragmentierung bestehender Forschung durch die Vereinheitlichung von 13 verschiedenen Aufgaben und die Unterstützung mehrsprachiger Ontologien zu überwinden.

Matthias De Lange, Warre Veys, Federico Retyk, Daniel Deniz, Warren Jouanneau, Mike Zhang, Aleksander Bielinski, Emma Jouffroy, Nicole Clobes, Nina Baranowska, David Graus, Marc Palyart, Rabih Zbib, D
Veröffentlicht 2026-04-16
📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

Each language version is independently generated for its own context, not a direct translation.

Stell dir vor, die Welt der Arbeit ist ein riesiger, chaotischer Marktplatz. Auf diesem Markt gibt es Millionen von Jobs, Talente und Fähigkeiten. Um die richtigen Leute für die richtigen Jobs zu finden, nutzen Unternehmen heute künstliche Intelligenz (KI). Aber das Problem ist: Jeder Handwerker auf diesem Markt benutzt ein anderes Werkzeug, misst mit einem anderen Maßstab und spricht eine andere Sprache.

Ein Forscher in Berlin nutzt ein Lineal, ein anderer in Paris ein Maßband, und ein dritter in Madrid ein Zollstock. Wenn sie ihre Ergebnisse vergleichen wollen, ist das unmöglich. Das ist genau das Problem, das die Autoren dieses Papers mit WorkRB lösen wollen.

Hier ist die einfache Erklärung, was WorkRB ist und warum es wichtig ist:

1. Das Problem: Ein "Babel-Turm" der Daten

Bisher war die Forschung im Bereich "KI für Jobs" wie ein riesiger Turm aus Babel. Jeder baute an seinem eigenen kleinen Turm:

  • Verschiedene Sprachen: Manche nutzten nur Englisch, andere deutsche oder französische Daten.
  • Verschiedene Regeln: Manche nutzten die EU-Jobliste (ESCO), andere die US-Liste (O*NET).
  • Geheimhaltung: Da viele Daten über Gehälter und Lebensläufe sehr sensibel sind (wie private Tagebücher), konnten Forscher diese Daten nicht einfach teilen. Das machte es schwer, zu überprüfen, ob eine KI wirklich gut ist.

Das Ergebnis? Niemand konnte sagen: "Diese KI ist besser als jene", weil sie unter völlig unterschiedlichen Bedingungen getestet wurden.

2. Die Lösung: WorkRB – Der große, gemeinsame Spielplatz

WorkRB ist wie ein riesiger, gemeinsamer Spielplatz, den sich alle teilen. Es ist ein offenes Werkzeug, das von Wissenschaftlern, Firmen und der Regierung gemeinsam gebaut wurde.

Stell dir WorkRB als einen universellen Übersetzer und Schiedsrichter vor:

  • Der universelle Übersetzer (Multilingualität):
    Früher musste man für jede Sprache ein eigenes Spielzeug bauen. WorkRB kann jetzt bis zu 28 Sprachen gleichzeitig verstehen. Es nutzt eine Art "Super-Wörterbuch" (die ESCO-Ontologie), das Jobs und Fähigkeiten in allen diesen Sprachen verknüpft. Ein Job in Berlin kann also direkt mit einem Job in Kopenhagen verglichen werden, als wären sie auf derselben Sprache geschrieben.

  • Der Schiedsrichter (Einheitliche Bewertung):
    WorkRB hat eine klare Liste von 13 verschiedenen Aufgaben (wie "Welche Fähigkeiten passen zu diesem Job?" oder "Welcher Kandidat passt zu diesem Projekt?"). Es stellt sicher, dass jede KI genau nach denselben Regeln getestet wird. Es ist wie ein Sportturnier, bei dem alle Läufer auf der gleichen Strecke laufen und von denselben Schiedsrichtern bewertet werden.

  • Der sichere Tresor (Datenschutz):
    Das ist der geniale Teil: Du musst deine privaten Daten (wie echte Lebensläufe deiner Firma) nicht hochladen, um teilzunehmen.
    Stell dir vor, du hast einen Tresor mit deinen geheimen Daten. WorkRB ist wie ein Roboter, der zu dir kommt, deine Daten im Tresor prüft, das Ergebnis berechnet und dir nur das Ergebnis zurückgibt. Die Daten bleiben bei dir, aber du kannst trotzdem sehen, wie deine KI im Vergleich zu anderen abschneidet.

3. Wer baut das? (Das Team)

Das Besondere an WorkRB ist, dass es nicht nur von einem Professor in einem Keller entwickelt wurde. Es ist ein Dreiklang:

  1. Die Industrie (Firmen): Sie bringen die echten, harten Probleme und Daten aus der Praxis mit.
  2. Die Wissenschaft (Universitäten): Sie bringen die cleveren Algorithmen und Methoden mit.
  3. Die Regierung: Sie stellt das große Regelwerk (die Job- und Fähigkeitslisten) zur Verfügung.

Sie arbeiten zusammen, damit niemand mehr allein an seinem eigenen Turm bauen muss.

4. Warum ist das wichtig für uns alle?

  • Fairness: Wenn KI-Jobs bewertet, sollte sie fair sein und nicht nur Leute aus englischsprachigen Ländern bevorzugen. WorkRB sorgt dafür, dass auch Sprachen wie Bulgarisch oder Schwedisch berücksichtigt werden.
  • Sicherheit: Da KI bei Einstellungen eingesetzt wird, muss sie gesetzeskonform sein (besonders in der EU). WorkRB hilft Firmen zu beweisen, dass ihre KI keine diskriminierenden Fehler macht, ohne dass sie ihre Geschäftsgeheimnisse verraten müssen.
  • Zukunft: Es beschleunigt die Entwicklung. Statt jeden Monat das Rad neu zu erfinden, können Forscher auf dem Fundament von WorkRB aufbauen und die KI schneller verbessern.

Zusammenfassung in einem Satz

WorkRB ist wie ein gemeinsames, offenes Labor, in dem Firmen, Forscher und Behörden zusammenarbeiten, um KI-Systeme für Jobs fair, sicher und in vielen Sprachen zu testen, ohne dass dabei sensible Daten die Firma verlassen müssen.

Es verwandelt den chaotischen Marktplatz der KI-Forschung in einen gut organisierten, fairen Wettbewerb, von dem am Ende alle profitieren – besonders die Arbeitnehmer und Arbeitgeber.

Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?

Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.

Digest testen →