From Values to Benchmarks: Evaluating Large Language Models for Governmental Use in Dutch
Dieses Paper stellt das „Grip on LLMs“-Framework vor, eine umfassende Evaluierungssuite, die gemeinsam mit Experten niederländischer Kommunalverwaltungen entwickelt wurde, um große Sprachmodelle für den Einsatz in der Regierung über sechs Schlüsseldimensionen hinweg zu bewerten, wobei aufgezeigt wird, dass kein einzelnes Modell in allen Bereichen herausragt, und kritische Abwägungen zwischen Qualität, Kosten und Umweltauswirkungen hervorgehoben werden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten gerade einen superintelligenten Roboter-Assistenten gekauft, der E-Mails schreiben, Fragen beantworten und lange Berichte zusammenfassen kann. Es ist, als hätte man einen genialen Bibliothekar, der niemals schläft. Aber hier ist der Haken: Dieser Roboter wurde hauptsächlich mit Büchern trainiert, die auf Englisch geschrieben wurden, und Sie müssen ihn nutzen, um eine Stadtverwaltung in den Niederlanden zu unterstützen, wo alle Niederländisch sprechen. Sie können ihn nicht einfach bitten, „sein Bestes zu geben“, denn wenn er einen Fehler macht, könnte er versehentlich jemandem eine Leistung verweigern, Falschnachrichten verbreiten oder eine Gruppe von Menschen ungerecht behandeln.
Das ist die Welt der Large Language Models (LLMs). Betrachten Sie sie als digitale Gehirne, die fast alles im Internet gelesen haben. Sie sind erstaunlich gut darin, zu kommunizieren und zu schreiben, aber sie können auch tückisch sein. Sie können mit voller Überzeugung lügen (Dinge erfinden), Vorurteile gegenüber bestimmten Menschen haben oder so viel Strom verbrauchen, dass sie sich wie ein kleines Kraftwerk anfühlen. Für eine Regierung geht es bei der Nutzung dieser Roboter nicht nur darum, den „klügsten“ auszuwählen; es geht darum, einen zu wählen, der ehrlich, fair ist und weder das Budget noch den Planeten sprengt. Bis jetzt gab es keine gute Möglichkeit, diese Roboter speziell für niederländische Regierungsaufgaben zu testen.
Der Bericht „Grip on LLMs“: Die Roboter testen
Ein Forscherteam der Stadt Amsterdam hat, in Zusammenarbeit mit Universitätsexperten, beschlossen, dies zu beheben. Sie entwickelten ein neues Test-Framework namens „Grip on LLMs“. Anstatt nur zu fragen: „Wie klug ist dieser Roboter?“, fragten sie eine Gruppe von Stadtmitarbeitern, politischen Entscheidungsträgern und Experten für Vielfalt: „Was ist am wichtigsten, wenn Sie einen Roboter einstellen, der die Stadt verwaltet?“
Die Experten gaben ihnen eine Liste von sechs Dingen, die zählen:
- Faktizität: Sagt er die Wahrheit?
- Ehrlichkeit: Wenn er die Antwort nicht weiß, gibt er das zu, oder erfindet er einfach etwas?
- Soziale Voreingenommenheit (Bias): Behandelt er Menschen unterschiedlichen Alters, Geschlechts oder Hintergrunds fair?
- Energieverbrauch: Wie viel Strom verbraucht er?
- Kosten: Wie viel Geld kostet es, ihn zu betreiben?
- Transparenz der Trainingsdaten: Wissen wir, aus welchen Büchern und Websites er gelernt hat?
Sie testeten daraufhin über 30 verschiedene Roboter-Gehirne (sowohl die berühmten von großen Tech-Unternehmen als auch kleinere Open-Source-Modelle) anhand dieser sechs Kriterien. Sie erstellten ein spezielles „Zeugnis“, das jeder, selbst ein Laie, verstehen kann.
Die große Überraschung: Es existiert kein perfekter Roboter
Die wichtigste Erkenntnis war: Es gibt keinen einzelnen „besten“ Roboter. Es ist, als würde man versuchen, ein Auto zu kaufen, das gleichzeitig das schnellste, das effizienteste, das günstigste und das sicherste ist. Man kann nicht alles haben; man muss Kompromisse eingehen.
- Das Problem „Klug, aber hinterhältig“: Die Forscher entdeckten, dass „klug“ zu sein (hohe Faktizität) nicht bedeutet, dass ein Roboter auch „ehrlich“ ist. Tatsächlich waren einige der neuesten, leistungsfähigsten Modelle zwar großartig darin, Fragen korrekt zu beantworten, aber schrecklich darin, zuzugeben, wenn sie etwas nicht wussten. Sie erfanden voller Überzeugung Antworten, anstatt zu sagen: „Ich bin mir nicht sicher.“ Für eine Regierung ist das gefährlich, denn eine selbstbewusste Lüge ist schlimmer als ein leises „Ich weiß es nicht“.
- Der Preis der Macht: Die Roboter, die am klügsten und leistungsfähigsten waren, kosteten auch am meisten Geld und verbrauchten am meisten Energie. Wenn eine Stadt einen superklugen Roboter will, muss sie bereit sein, einen höheren Preis zu zahlen und mehr Strom zu verbrauchen.
- Bias ist ein Joker: Klug oder teuer zu sein, garantierte nicht, dass ein Roboter fair war. Einige billige Roboter waren sehr voreingenommen, während einige teure fair waren. Man kann nicht einfach davon ausgehen, dass mehr Geld auch einen „netteren“ Roboter kauft. Man muss die Voreingenommenheit gezielt prüfen.
Die Lösung: Ein benutzerfreundliches Dashboard
Da die Ergebnisse so komplex waren, veröffentlichte das Team nicht einfach eine langweilige Liste von Zahlen. Sie bauten ein farbenfrohes, leicht lesbares Dashboard (ähnlich einem Auswahlbildschirm für Charaktere in einem Videospiel).
- Grüne Pillen zeigen, wie gut der Roboter darin ist, die Wahrheit zu sagen.
- Rote Balken zeigen, wie viel Energie oder Geld er kostet.
- Icons zeigen, ob der Roboter gegen bestimmte Gruppen voreingenommen ist.
Dieses Tool ermöglicht es einem Stadtmanager, auf das Dashboard zu schauen und zu sagen: „Okay, wir brauchen einen Roboter, der sehr ehrlich und günstig ist, auch wenn er nicht der absolut Klügste ist“, oder: „Wir brauchen den Klügsten, und wir sind bereit, den hohen Energieaufwand zu tragen.“
Was sie nicht gefunden haben (und wie es weitergeht)
Das Papier weist vorsichtig darauf hin, dass dies keine endgültige „Winner-takes-all“-Liste ist. Es ist eine Momentaufnahme der aktuellen Situation. Sie stellten auch fest, dass sie zwar auf Voreingenommenheit in Bezug auf Alter, Geschlecht und Herkunft getestet haben, es aber viele andere Arten von Bias (wie etwa politische Ansichten) gibt, die sie noch nicht vollständig abgedeckt haben. Zudem fanden sie heraus, dass einige Roboter großartig darin waren, Dokumente zusammenzufassen, aber schrecklich darin, komplexe Rechtstexte für normale Bürger zu vereinfachen.
Die wichtigste Erkenntnis ist, dass Regierungen nicht einfach den Roboter mit der höchsten Punktzahl in einem Standardtest wählen können. Sie müssen das Gesamtbild betrachten. Wenn sie einen Robollen wollen, der sicher, fair und ehrlich für die niederländischen Bürger ist, müssen sie bereit sein, Entscheidungen zu treffen und zu akzeptieren, dass kein einzelner Roboter perfekt in allem ist. Das „Grip on LLMs“-Tool ist die Karte, die ihnen hilft, diese Entscheidungen zu navigieren, ohne sich zu verirren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.