Rethinking LLMOps for Fraud and AML: Building a Compliance-Grade LLM Serving Stack
Dieser Beitrag stellt einen arbeitslastbewussten LLMOps-Stack vor, der auf Betrugs- und AML-Compliance zugeschnitten ist, offene Gewichtsmodelle nutzt, fortschrittliche Serving-Optimierungen wie PagedAttention und Prefix-Caching sowie strenge Qualitätskontrollen einsetzt, um im Vergleich zu generischen LLM-Serving-Ansätzen signifikante Verbesserungen beim Durchsatz, der Latenz und der GPU-Auslastung zu erzielen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie betreiben eine riesige, hochgeschwindigkeitsfähige Bibliothek, deren Ziel nicht nur darin besteht, Bücher zu lesen, sondern spezifische, gefährliche Muster in Millionen von Seiten finanzieller Transaktionen zu finden, um Geldwäscher zu fassen. Dies ist die Welt des Betrugserkennung und der Geldwäschebekämpfung (AML).
Die Autoren dieses Papiers argumentieren, dass die Standard„Bibliothek" (das KI-System), die wir normalerweise für das Chatten mit Freunden bauen, für diese spezifische Aufgabe schrecklich ist. Es ist, als würde man versuchen, einen allgemeinen Lieferwagen für den Transport zerbrechlicher, schwerer, vorgepackter Kisten zu verwenden. Sie benötigen ein spezialisiertes Fahrzeug.
Hier ist die Aufschlüsselung ihrer Lösung unter Verwendung einfacher Analogien:
1. Das Problem: Der „Einheitsgröße"-LKW
Die meisten KI-Systeme sind für das Chatten gebaut. In einem Chat ist jede Unterhaltung einzigartig, lang und unvorhersehbar.
- Die Realität des Betrugs: Die Betrugserkennung ist anders. Jede einzelne Anfrage an die KI sieht fast gleich aus. Es ist, als würde man ein Formular senden, bei dem die oberen 80 % der Seite immer dieselben rechtlichen Regeln und Anweisungen sind (das „Präfix"), und nur die unteren 20 % sich ändern (die spezifischen Transaktionsdetails).
- Das Ergebnis: Die Standard-KI-Systeme verschwenden eine enorme Menge an Zeit damit, dieselben rechtlichen Regeln immer wieder neu zu lesen, wie ein Schüler, der vor jeder einzelnen Hausaufgabenfrage dasselbe Kapitel eines Lehrbuchs erneut liest. Dies macht sie langsam und teuer.
2. Die Lösung: Ein „intelligentes" Serving-Stack
Die Autoren bauten einen spezialisierten „Serving-Stack" (die Engine, die die KI ausführt), der speziell für diese repetitiven, regelintensiven Aufgaben entwickelt wurde. Denken Sie daran als an den Upgrade von einem Standard-Lieferwagen zu einer hochgeschwindigkeitsfähigen, automatisierten Sortieranlage.
Hier sind die wichtigsten Upgrades, die sie vorgenommen haben:
Die „Spickzettel" (Prefix Caching):
Anstatt jedes Mal die 2.000 Wörter rechtlicher Anweisungen neu zu lesen, merkt sich das System sie. Es ist, als hätte man einen Spickzettel an die Wand geklebt. Wenn ein neuer Fall hereinkommt, wirft die KI nur einen Blick auf den Spickzettel (der bereits im Speicher geladen ist) und konzentriert sich nur auf die neuen Transaktionsdetails. Dies spart enorme Mengen an Zeit.Der „intelligente Aktenschrank" (PagedAttention):
Der Standard-KI-Speicher ist wie ein unordentlicher Schreibtisch, auf dem Sie keine neuen Papiere unterbringen können, ohne alles umzuräumen. Die Autoren verwendeten ein „Paged"-System, das wie ein perfekt organisierter Aktenschrank ist. Es zerlegt den Speicher in kleine, handhabbare Blöcke, sodass die KI Tausende von Fällen in ihrem Arbeitsbereich unterbringen kann, ohne überfüllt zu werden oder abzustürzen.Die „Gruppierungsstrategie" (Multi-Adapter Batching):
Stellen Sie sich eine Postfiliale vor, in der Sie Briefe für 10 verschiedene Städte sortieren müssen. Ein naives System sortiert einen Brief für Stadt A, dann einen für Stadt B, dann zurück zu Stadt A.
Das System der Autoren gruppiert alle „Stadt A"-Briefe zusammen, dann alle „Stadt B"-Briefe. In KI-Terminologie gruppieren sie Anfragen, die denselben spezifischen „Adapter" benötigen (ein spezialisiertes Werkzeug für eine bestimmte Aufgabe), und verarbeiten sie in einem einzigen Batch. Dies ist 3,9-mal schneller als die alte Methode.Der „Ruhemodus" (Lifecycle Management):
Manchmal benötigt eine Betrugsuntersuchung drei verschiedene KI-Modelle, die in einer Reihe arbeiten: eines, um Beweise zu finden, eines, um sie zu klassifizieren, und eines, um einen Bericht zu schreiben. Alle drei rund um die Uhr mit voller Geschwindigkeit laufen zu lassen, ist eine Verschwendung von Strom (und Geld).
Das System der Autoren versetzt die ungenutzten Modelle in den Ruhemodus (befreit Speicher) und weckt sie sofort auf, wenn sie benötigt werden. Dies ist wie ein Hybridauto, das den Motor an roten Ampeln abschaltet, aber sofort beschleunigt, wenn die Ampel auf Grün springt. Es verkürzt die „Aufwachzeit" von fast einer Minute auf wenige Sekunden.Der „Geschwindigkeitsschub" (Speculative Decoding):
Für kurze Antworten (wie ein einfaches „Ja/Nein" oder ein JSON-Code) denkt die KI manchmal zu lange. Die Autoren fügten einen „Entwurfs"-Schritt hinzu, bei dem eine kleinere, schnellere KI die Antwort errät, und die große KI sie nur überprüft. Es ist, als hätte man einen Speed-Reader, der den Text überfliegt und die Antwort für den Professor markiert, damit dieser sie verifizieren kann.
3. Das „Qualitätstor" (Der Richter)
Geschwindigkeit ist nutzlos, wenn die KI Fehler macht. Bei der Betrugserkennung kann eine falsche Antwort bedeuten, einen Kriminellen zu übersehen oder eine unschuldige Person zu beschuldigen.
- Die Autoren schufen ein „Richter"-System. Bevor ein KI-Update live geht, prüft ein Gremium aus KI-Richtern (und menschlichen Experten) die Arbeit.
- Sie prüfen nicht nur, ob die KI schnell ist; sie prüfen, ob die Ausgabe gültig ist (z. B. ist es ein korrektes JSON? Hat sie die Regeln befolgt?).
- Es ist wie ein Sicherheitsinspektor in einer Fabrik. Wenn das Produkt schnell, aber defekt ist, verlässt es das Gebäude nicht.
4. Die Ergebnisse: Die „magischen" Zahlen
Unter Verwendung öffentlicher, gefälschter Daten (damit sie keine echten Bankgeheimnisse preisgaben) testeten sie dieses neue System. Die Ergebnisse waren dramatisch:
- Geschwindigkeit: Sie gingen von etwa 600 Anfragen pro Stunde auf 3.600 Anfragen pro Stunde über (eine Verbesserung um das 5,5- bis 6-fache).
- Wartezeit: Die Zeit, die es dauerte, eine Antwort zu erhalten, sank von 31–38 Sekunden auf 6–8 Sekunden.
- Effizienz: Die Computerhardware (GPUs) ging von einer Leerlaufzeit von 88 % auf eine Auslastung von 78 %.
- Kosten: Da sie mit derselben Hardware so viel mehr leisteten, benötigten sie weniger als die Hälfte der Computer, um dieselbe Arbeit zu verrichten.
Das Fazit
Das Papier kommt zu dem Schluss, dass man für hochriskante Aufgaben wie das Aufspüren von Geldwäschern nicht einfach das „beste" KI-Modell verwenden kann. Man muss ein spezialisiertes Liefer-System aufbauen, das versteht, dass die Aufgabe repetitiv, regelintensiv und erfordert eine strenge Genauigkeit ist. Indem man das „Präfix" (die Regeln) als wiederverwendbar behandelt und den Arbeitsablauf wie eine intelligente Fabrik organisiert, kann man das System schneller, günstiger und zuverlässiger machen, ohne das zugrunde liegende KI-Gehirn zu verändern.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.