Bye Bye Perspective API: Lessons for Measurement Infrastructure in NLP, CSS and LLM Evaluation
Dieser Beitrag kritisiert die strukturelle Abhängigkeit der NLP- und LLM-Forschung von der nun schließenden proprietären Perspective-API, hebt hervor, wie deren intransparente Updates und die singuläre Operationalisierung von Toxizität zu nicht reproduzierbaren Ergebnissen führten, und fordert die Etablierung einer unabhängigen, validen und reproduzierbaren Messinfrastruktur, um ähnliche erkenntnistheoretische Risiken in Zukunft zu verhindern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich das Internet als einen riesigen, chaotischen Marktplatz vor, auf dem Millionen von Menschen jede Sekunde schreien, streiten und Geschichten austauschen. Um zu verhindern, dass dieser Platz in totale Anarchie verfällt, benötigten Forscher eine Möglichkeit, das gemeine, hasserfüllte oder toxische Geschrei automatisch zu erkennen.
Fast ein Jahrzehnt lang verließ sich die gesamte Gemeinschaft auf ein einziges, kostenloses Werkzeug namens Perspective API, um diese Aufgabe zu erfüllen. Es war wie ein universeller „Toxizitäts-Messgerät", das einem Technologieunternehmen (Googles Jigsaw) gehörte. Jeder nutzte es, um zu messen, wie unhöflich Menschen waren, um zu bewerten, wie „sicher" neue KI-Chatbots waren, und um Online-Verhalten zu untersuchen.
Nun stellen die Eigentümer des Messgeräts es Ende 2026 ab. Diese Arbeit argumentiert, dass der Verlust des Werkzeugs zwar bedauerlich ist, das eigentliche Problem jedoch darin besteht, dass die gesamte Forschungscommunity ihr Haus auf einem Fundament errichtet hat, das sie nicht besaß, nicht verstand und nicht reparieren konnte.
Hier ist die Aufschlüsselung des Arguments der Arbeit unter Verwendung einfacher Analogien:
1. Das „Black-Box"-Messgerät
Stellen Sie sich vor, Sie kaufen eine Waage, um Ihr Lebensmittel einzukaufen. Sie vertrauen ihr, weil sie kostenlos ist und jeder andere sie nutzt. Doch dann stellen Sie fest:
- Die Eigentümer ändern die Gewichte: Alle paar Monate tauscht das Unternehmen heimlich die inneren Federn der Waage aus, ohne Sie zu informieren. Eines Tages wiegt ein 5-Pfund-Sack Äpfel 5 Pfund; am nächsten Tag wiegt er 6 Pfund, aber die Waage zeigt immer noch „5" an.
- Die Anweisungen sind vage: Das Unternehmen sagt: „Das misst 'Bösartigkeit'." Aber sie erklären nie, was Bösartigkeit ist. Ist es eine laute Stimme? Ein unhöfliches Wort? Eine bestimmte Art von Beleidigung? Sie geben Ihnen einfach eine Zahl zwischen 0 und 1 und sagen: „Sie entscheiden, was zu hoch ist."
- Der Kontext fehlt: Die Waage wiegt nur den Apfel isoliert. Sie weiß nicht, ob der Apfel auf jemanden geworfen wurde (toxisch) oder ob jemand über einen Apfel scherzte (nicht toxisch). Sie behandelt jeden Satz so, als schwebe er in einem Vakuum.
2. Die „Zirkuläre" Falle
Da das Messgerät so einfach zu bedienen war, begannen Forscher, es zu verwenden, um andere Computer zu trainieren, zu Maschinen zur Erkennung von Gemeinheit zu werden.
- Die Schleife: Sie nutzten die Perspective API, um Daten zu labeln (z. B. „Dieser Satz ist toxisch"). Dann trainierten sie neue KI-Modelle mit diesen Daten. Schließlich testeten sie diese neuen Modelle, indem sie prüften, ob sie mit der Perspective API übereinstimmten.
- Das Problem: Es ist wie ein Schüler, der einen Test macht, dann den Lösungsschlüssel nutzt, um sich selbst zu benoten, und dann behauptet, ein Genie zu sein, weil er 100 % erreicht hat. Sie maßen nicht „Toxizität"; sie maßen nur, „wie gut Sie mit Googles aktueller Definition von Toxizität übereinstimmen".
3. Die versteckten Verzerrungen
Da das Messgerät Kontext und Kultur nicht verstand, machte es konsistente Fehler, die die Forscher nicht sehen oder beheben konnten:
- Bestrafung der Opfer: Es markierte oft Wörter, die von marginalisierten Gruppen verwendet wurden (wie wiedergewonnene Schimpfwörter oder LGBTQ+-Begriffe), als „toxisch", weil es nicht wusste, wer sie sagte oder warum.
- Übersehen des echten Hasses: Es überging subtile, codierte Hassrede, weil es nur nach oberflächlichen unhöflichen Wörtern suchte.
- Sprachverzerrung: Es war mit deutschen Texten viel strenger als mit englischen Texten, nicht weil Deutsch unhöflicher ist, sondern weil die Personen, die das Modell trainierten, unterschiedliche kulturelle Vorurteile hatten.
4. Der Schock der „plötzlichen Abschaltung"
Als das Unternehmen ankündigte, die API abzuschalten, hinterließen sie kein Handbuch, kein Backup und keine Versionshistorie.
- Das Ergebnis: Alle Forschungsarbeiten, die in den letzten zehn Jahren geschrieben wurden und sich auf dieses Werkzeug verließen, sind nun „nicht reproduzierbar". Wenn Sie versuchen, dasselbe Experiment heute durchzuführen, können Sie nicht dieselben Ergebnisse erzielen, weil das „Lineal", mit dem sie maßen, nicht mehr existiert. Es ist wie der Versuch, die Höhe eines Gebäudes mit einem Lineal zu messen, das eingeschmolzen wurde.
5. Die Warnung: Tauschen Sie das Messgerät nicht einfach aus
Die Autoren warnen, dass die einfachste Lösung – die Verwendung eines neuen, proprietären Tools eines anderen großen Technologieunternehmens (wie OpenAI) – eine Falle ist.
- Das Risiko: Diese neuen Tools sind ebenfalls „Black Boxes". Sie könnten noch undurchsichtiger sein, mit Daten trainiert, die von ausgebeuteten Arbeitern gesammelt wurden, und ohne Warnung aktualisiert werden. Wenn wir einfach eine Black Box gegen eine andere austauschen, wiederholen wir nur dieselben Fehler.
Die Lösung: Bauen Sie unser eigenes Lineal
Die Arbeit fordert die Forschungscommunity auf, die Messung nicht länger als einen „Service" zu behandeln, den jemand anderes bereitstellt. Stattdessen müssen sie ihre eigene Infrastruktur aufbauen. Dieses neue System muss Folgendes haben:
- Open Source: Jeder kann sehen, wie es funktioniert und die Mathematik überprüfen.
- Kontextbewusstsein: Es muss wissen, wer spricht, mit wem sie sprechen und die Geschichte des Gesprächs.
- Einbeziehung der Gemeinschaft: Die Definition von „Toxizität" sollte nicht von einem Unternehmen entschieden werden; sie sollte die Gemeinschaften einbeziehen, die gemessen werden.
- Transparenz: Wir müssen genau wissen, wie die Daten gelabelt wurden und wer das Labeling durchgeführt hat.
Kurz gesagt: Die Arbeit argumentiert, dass es ein Fehler war, sich auf ein einziges, geheimes, unternehmerisches Werkzeug zur Messung menschlichen Verhaltens zu verlassen. Die Schließung dieses Werkzeugs ist ein Weckruf. Forscher müssen aufhören, passive Nutzer unternehmerischer Tools zu sein, und beginnen, ihre eigenen offenen, fairen und transparenten Wege zu entwickeln, um zu messen, was wichtig ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.