A Cascaded Unsupervised-Supervised NLP Pipeline for Detecting Accusatory Language in Public Procurement

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstatt nach Fingerabdrücken oder Fußabdrücken zu suchen, wühlen Sie sich durch Millionen von winzigen, chaotischen Notizen, die Menschen auf einem riesigen, unordentlichen Marktplatz hinterlassen haben. Dies ist die Welt des Natural Language Processing (NLP), eines Zweigs der Informatik, bei dem Maschinen lernen, menschlichen Text zu lesen und zu verstehen. Manchmal sind Computer großartig darin, formale Bücher zu lesen, aber sie werden oft verwirrt durch den Slang, Tippfehler und die emotionalen Wutausbrüche, die Menschen im echten Leben schreiben. Die große Frage hierbei lautet: Können wir einen Computer dazu bringen, die spezifischen, wütenden Flüstertöne zu erkennen, die auf Korruption oder Unregelmäßigkeiten bei öffentlichen Regierungsgeschäften hindeuten, selbst wenn diese Flüstertöne unter einem Berg von langweiligen Beschwerden und Fragen vergraben sind? Dies ist wichtig, weil öffentliches Geld eine riesige Ressource ist, und wenn Menschen Unregelmäßigkeiten begehen, verlieren alle. Wenn wir einen digitalen „Lügendetektor“ bauen können, der diese Notizen liest, könnten wir böswillige Akteure stoppen, bevor sie das Vertrauen der Öffentlichkeit stehlen.

Dieses Papier erzählt die Geschichte eines Teams von Forschern, die ein cleveres, zweistufiges Detektivsystem gebaut haben, um „anklagende“ Sprache in Ecuadors öffentlichem Beschaffungssystem zu finden. Denken Sie bei der öffentlichen Beschaffung an den Prozess, bei dem die Regierung alles einkauft, von Straßenreparaturen bis hin zu Schulsachen. Bevor der endgültige Deal abgeschlossen wird, dürfen Lieferanten Fragen stellen oder Kommentare hinterlassen. Die meisten dieser Kommentare sind harmlos, wie „Können Sie diese Regel erklären?“ oder „Mir gefällt der Preis nicht“. Aber einige sind gefährliche Flüstertöne wie: „Dieser Deal ist manipuliert“ oder „Sie lassen nur eine einzige Firma gewinnen“. Die Herausforderung besteht darin, dass diese gefährlichen Flüstertöne selten sind – wie das Finden einer einzelnen roten Nadel in einem Heuhaufen von einer Million blauen Nadeln.

Die Forscher versuchten, die leistungsstärksten, teuersten „Super-Lese“-Computer (genannt Large Language Models wie LLaMA und RoBERTa) einzusetzen, um diese Nadeln zu finden. Sie erwarteten, dass diese mächtigen Werkzeuge die besten sein würden. Sie entdeckten jedoch etwas Überraschendes: Die schicken, schwergewichtigen Computer waren tatsächlich zu sehr durch den unordentlichen, informellen Text verwirrt. Sie sahen die Nadeln, konnten sie aber nicht vom Heu trennen. Das Team fand statlich heraus, dass ein viel einfacheres, älteres und leichteres Werkzeug namens Word2Vec, das sie speziell auf die lokale Sprache und den Slang dieser Beschaffungskommentare trainiert hatten, hervorragend funktionierte. Es war, als würde man einen hochmodernen, überdimensionierten Metalldetektor, der bei allem piept, gegen einen einfachen, gut abgestimmten Magneten austauschen, der nur das spezifische Metall aufnimmt, nach dem man sucht.

Die Lösung des Teams war eine „kaskadierte“ Pipeline, was nur eine schicke Art zu sagen ist, dass sie einen Filter vor der endgültigen Prüfung eingesetzt haben. Zuerst nutzten sie das einfache Word2Vec-Tool, um ähnliche Kommentare zusammenzugruppieren, so wie man einen Haufen gemischter Briefe basierend auf dem Handschriftstil in Umschläge sortiert. Dann verwendeten sie eine mathematische Methode (Gaussian Mixture Models), um den spezifischen Umschlag zu finden, der am wahrscheinlichsten die „anklagenden“ Briefe enthielt. Schließlich nutzten sie einen Standard-Classifier, einen zuverlässigen Random-Forest-Algorithmus, um nur genau diese spezifischen Briefe zu lesen und zu entscheiden, ob es sich tatsächlich um Anschuldigungen wegen Korruption handelt.

Die Ergebnisse waren beeindruckend. Obwohl die „anklagenden“ Kommentare nur etwa 3 % der Gesamtdaten ausmachten (ein extremes Ungleichgewicht), fing dieses einfache, zweistufige System 91 % von ihnen (Recall) mit einer Genauigkeit (Precision) von 84 % ab. Dies deutet darauf hin, dass man keinen massiven, teuren Supercomputer braucht, um dieses Problem zu lösen; ein leichtgewichtiges, klug trainiertes System kann den Job genauso gut, wenn nicht sogar besser erledigen. Das Paper widerlegt explizit die Vorstellung, dass die neuesten, komplexesten KI-Modelle automatisch die beste Wahl für diese spezifische, verrauschte, reale Aufgabe sind. Während die schicken Modelle vielversprechend waren, hatten sie mit der „Anisotropie“ der Daten zu kämpfen – ein technischer Weg zu sagen, dass die Daten in eine Form gepresst wurden, die die komplexen Modelle verwirrte. Das einfachere Modell, das direkt auf den chaotischen, realen Kommentaren trainiert wurde, konnte mit dem Chaos viel besser umgehen.

Die Forscher testeten ihr System auch auf einem riesigen Stapel unbeschrifteter Daten (Kommentare, die sie noch nicht manuell geprüft hatten). Das System markierte etwa 1.892 potenzielle Anschuldigungen aus fast 93.000 Kommentaren. Als sie eine Stichprobe dieser markierten Kommentare manuell überprüften, fanden sie, dass etwa 84 % tatsächlich echte Anschuldigungen bezüglich Korruption oder Unregelmäßigkeiten waren. Dies deutet darauf hin, dass das System robust genug ist, um als Echtzeit-Wachhund für Staatsausgaben eingesetzt zu werden. Das Paper weist jedoch auf eine Einschränkung hin: Das System ist gut darin, direkte Anschuldigungen zu erkennen, könnte aber subtile, sarkastische oder ironische Kommentare übersehen, die nicht die üblichen „Korruptions-Keywords“ verwenden.

Am Ende zeigt dieses Papier, dass der beste Weg, ein komplexes Problem zu lösen, manchmal nicht darin besteht, die leistungsstärkste Technologie daraufzuwerfen, sondern einen klugen, maßgeschneiderten Prozess zu entwickeln, der die spezifischen Eigenheiten der Daten versteht. Durch die Kombination eines einfachen, domänenspezifischen Embeddings mit einer klugen Filterstrategie haben die Forscher ein Werkzeug geschaffen, das schnell ist, kostengünstig im Betrieb ist und effektiv das Licht in die Schatten wirft, in denen sich Korruption verbirgt. Sie schlagen vor, dass dieser Ansatz auf andere Länder übertragen werden könnte, vorausgesetzt, diese Länder haben ihre öffentlichen Beschaffungsdaten so organisiert, dass Computer sie leicht lesen können.