Operational Evidence Gaps for LLMs in Fraud Detection and Trust-and-Safety Workflows

Stellen Sie sich vor, Sie sind der Sicherheitschef einer riesigen, geschäftigen digitalen Stadt. Diese Stadt hat zwei Hauptaufgaben: die Straßen vor böswilligen Akteuren (wie Betrügern und Fälschern) zu schützen und sicherzustellen, dass alle die Regeln der Gemeinschaft befolgen (wie das Stoppen von Hassrede oder Spam). In der Vergangenheit haben Sie ein Team von menschlichen Detektiven eingestellt, das jede einzelne Notiz las, jede Transaktion prüfte und entschied, wer die Wahrheit sagte. Aber die Stadt ist zu groß geworden, und das menschliche Team geht unter.

Hier kommen die neuen Rekruten ins Spiel: Large Language Models (LLMs). Betrachten Sie diese nicht als menschliche Detektive, sondern als unglaublich schnelle, superintelligente Roboter, die in der Lage sind, eine Million Seiten in einer Sekunde zu lesen und die Bedeutung hinter den Worten zu verstehen. Es wird vorgeschlagen, dass sie dem menschlichen Team helfen, indem sie verdächtige Notizen markieren, komplexe Fälle zusammenfassen oder sogar als erste Verteidigungslinie fungieren. Aber hier liegt der Haken: Nur weil ein Roboter klug ist, bedeutet das noch lange nicht, dass er bereit für die reale Welt ist. In einem Videospiel mag ein Roboter perfekt sein. Aber in einer echten Stadt: Wenn der Roboter zu langsam ist, verursacht er Verkehrsstaus. Wenn er zu viel kostet, geht die Stadt bankrott. Und wenn er von einem geschickten Lügner getäuscht wird, könnte das gesamte System kollabieren. Die große Frage ist nicht nur: „Ist der Roboter klug?“, sondern: „Können wir diesem Roboter vertrauen, in unserer geschäftigen, unter Hochdruck stehenden Stadt zu arbeiten, ohne etwas kaputt zu machen?“

Dieses Papier mit dem Titel „Operational Evidence Gaps for LLMs in Fraud Detection and And Trust-and-Safety Workflows“ ist wie ein strenger Inspektionsbericht für diese neuen Roboter-Rekruten. Der Autor, Keyur Gabani, hat 49 verschiedene Studien und Berichte untersucht, die über den Einsatz dieser KI-Roboter zur Betrugserkennung, zum Stoppen von Scams und zur Moderation von Inhalten sprechen. Das Ziel war zu sehen, ob es genügend Beweise dafür gibt, dass diese Roboter tatsächlich in der Lage sind, den Job in einem echten, lebendigen System zu erledigen, oder ob sie nur in einem Sandkasten spielen.

Das Hauptergebnis des Papers ist ein wenig schockierend: Es gibt eine riesige Lücke zwischen dem, was wir denken, dass diese Roboter können, und dem, was wir tatsächlich darüber wissen, was sie in der realen Welt leisten können. Der Autor nennt dies ein „Evidenz-Ungleichgewicht“ (evidence imbalance).

Hier ist die Geschichte, die das Paper erzählt:

Das Betrugsteam vermisst die Ergebnistabelle
In der Welt der Betrugserkennung (wie Kreditkartenbetrug oder Phishing-E-Mails) fand der Forscher 18 verschiedene Studien. Diese Studien sind großartig darin zu zeigen, dass die Roboter einen Scam in einem Reagenzglas erkennen können. Sie können sagen: „Hey, das sieht wie ein Scam aus!“ – mit hoher Genauigkeit. Aber als der Autor nach der „Ergebnistabelle“ der realen Leistung suchte, war diese fast leer.

• Die fehlenden Zahlen: Keine der 18 Betrugsstudien berichtete darüber, wie lange der Roboter für eine einzige Entscheidung benötigt (Latenz). Keine von ihnen sagte uns, wie viel Geld eine einzige Entscheidung kostet (Kosten). Keine erklärte, wie sicher sich der Roboter ist, wenn er eine Entscheidung trifft (Kalibrierung).
• Die Metapher: Es ist, als hätte man ein Rennauto, das auf einer Teststrecke bewiesen hat, dass es schnell ist, aber niemand hat jemals gesagt, wie viel Benzin es pro Meile verbraucht oder ob es einen Regentag übersteht. Man weiß, dass es schnell fahren kann, aber man weiß nicht, ob es sicher auf der Autobahn zu fahren ist.

Das Moderationsteam zeigt mehr Karten
In der Welt der Inhaltsmoderation (das Stoppen von schlechten Kommentaren oder Spam) fand der Autor 14 Studien. Überraschenderweise war diese Gruppe ehrlicher in Bezug auf die reale Welt. Sie waren eher bereit, darüber zu sprechen, wie viel Zeit der Roboter benötigt, wie viel er kostet und wie Fairness gehandhabt wird (um sicherzustellen, dass der Roboter verschiedene Gruppen von Menschen nicht ungerecht behandelt).

• Die Metapher: Das Moderationsteam ist wie eine Baustelle, die nicht nur das Haus baut, sondern Ihnen auch eine detaillierte Materialliste und einen Zeitplan liefert. Sie sind noch dabei, die Kinderkrankheiten zu beseitigen, aber sie legen ihre Arbeit offen.

Das „FORTE“-Framework: Ein neuer Weg, die Roboter zu betrachten
Um all das einzuordnen, hat der Autor einen neuen Weg geschaffen, um die Roboter zu organisieren, genannt FORTE. Anstatt nur zu fragen „Welches Modell ist das?“, fragt FORTE: „Welchen Job erledigt dieser Roboter?“

• Der Klassifikator (The Classifier): Der Roboter agiert als Richter und sagt „Schuldig“ oder „Nicht schuldig“.
• Der Assistent (The Assistant): Der Roboter hilft einem menschlichen Detektiv, indem er eine lange Fallakte zusammenfasst.
• Der Ermittler (The Investigator): Der Roboter geht auf Spurensuche, sammelt Hinweise und schreibt einen Bericht.
• Der Eskalator (The Escalator): Der Roboter erledigt die einfachen Fälle und leitet nur die schwierigen, verwirrenden Fälle an einen Menschen weiter.

Das Paper argumentet, dass wir aufhören müssen, diese Roboter als magische Black Boxes zu betrachten, und anfangen müssen, sie als spezifische Werkzeuge mit spezifischen Aufgaben zu sehen.

Was das Paper ausschließt
Das Paper ist sehr deutlich darüber, was es nicht sagt. Es sagt nicht, dass diese Roboter schlecht sind oder dass wir sie nicht verwenden sollten. Es sagt auch nicht, dass die Roboter bereit sind, menschliche Detektive vollständig zu ersetzen.

• Der Realitätscheck: Der Autor stellt explizit fest, dass wir nicht genug Beweise haben, um zu sagen, dass ein LLM jetzt schon eine Echtzeit-Betrugserkennungs-Engine ersetzen kann. Wir wissen nicht, ob sie schnell genug, günstig genug und sicher genug gegen geschickte Hacker sind, die versuchen, sie auszutricksen.
• Das „Sandkasten“-Problem: Viele der Studien, die der Autor untersuchte, wurden „offline“ durchgeführt. Das bedeutet, sie wurden mit alten Daten in einem ruhigen Raum getestet. Das Paper argumentiert, dass dies nicht dasselbe ist wie ein Test in einer lauten, chaotischen, lebendigen Stadt, in der Hacker aktiv versuchen, einzubrechen.

Die fehlenden Teile und die Zukunft
Das Paper kommt zu dem Schluss, dass wir, bevor wir diesen Robotern in unserer digitalen Stadt voll vertrauen können, die fehlenden Ergebnistabellen füllen müssen. Der Autor schlägt eine „Mindest-Checkliste“ vor, für jeden, der diese Roboter einsetzen möchte:

1. Latenzbudget: Wie schnell muss es sein?
2. Kosten pro Entscheidung: Wie viel kostet jede Prüfung?
3. Entscheidungsschwellenwert: Wann sagt es: „Ich bin mir nicht sicher, lassen Sie einen Menschen ran“?
4. Erklärungsintegrität: Wenn der Roboter einen Grund für seine Entscheidung angibt, ist dieser Grund wahr oder hat er sich etwas ausgedacht?
5. Adversarieller Druck: Was passiert, wenn ein böswilliger Akteur versucht, den Roboter zu täuschen?

Das Paper schlägt vor, dass der beste Weg nach vorne derzeit ein „Hybrid-Ansatz“ ist. Lassen Sie die schnellen, einfachen und günstigen Werkzeuge die einfachen Dinge erledigen. Heben Sie die superintelligenten, teuren Roboter für die schwierigen Fälle auf, um zu erklären, warum eine Entscheidung getroffen wurde, oder um menschlichen Detektiven zu helfen.

Kurz gesagt ist das Paper ein Aufruf zum Handeln. Es sagt uns, dass wir zwar die Technologie spannend und vielversprechend finden, aber wir derzeit in vielen Bereichen blind fliegen. Wir haben die Roboter, aber wir haben das Handbuch nicht. Um diese Systeme sicher und nützlich zu machen, müssen Forscher und Unternehmen aufhören, nur zu zeigen, wie klug die Roboter sind, und statfangen, uns zu zeigen, wie sie sich verhalten, wenn der Druck steigt, die Uhr tickt und die Kosten real sind.