Rethinking LLMOps for Fraud and AML: Building a Compliance-Grade LLM Serving Stack
Dit artikel presenteert een werklastbewuste LLMOps-stack die is toegespitst op fraude- en AML-compliance, en die gebruikmaakt van open-weight modellen, geavanceerde serving-optimalisaties zoals PagedAttention en prefix-caching, en strikte kwaliteitscontroles om aanzienlijke verbeteringen te realiseren in doorvoer, latentie en GPU-gebruik in vergelijking met generieke LLM-servingbenaderingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een enorme, supersnelle bibliotheek runt waar het doel niet is om boeken te lezen, maar om specifieke, gevaarlijke patronen in miljoenen pagina's financiële transacties te vinden om geldwassers op te sporen. Dit is de wereld van Fraudebestrijding en Anti-Money Laundering (AML).
De auteurs van dit paper betogen dat de standaard "bibliotheek" (het AI-systeem) die we gewoonlijk bouwen voor het chatten met vrienden, verschrikkelijk slecht is in deze specifieke taak. Het is alsof je probeert een algemeen bestelwagen te gebruiken om fragiele, zware, voorverpakte kratten te vervoeren. Je hebt een gespecialiseerd voertuig nodig.
Hier is de uiteenzetting van hun oplossing, met eenvoudige analogieën:
1. Het Probleem: De "Eén-Maat-Voor-Allen" Bestelwagen
De meeste AI-systemen zijn gebouwd voor chatten. In een chat is elk gesprek uniek, lang en onvoorspelbaar.
- De Realiteit van Fraude: Fraudeopsporing is anders. Elke enkele aanvraag die naar de AI wordt gestuurd, ziet er bijna hetzelfde uit. Het is alsof je een formulier verstuurt waarbij de bovenste 80% van de pagina altijd dezelfde wettelijke regels en instructies bevat (de "prefix"), en alleen de onderste 20% verandert (de specifieke transactiegegevens).
- Het Resultaat: De standaard AI-systemen verspillen enorm veel tijd aan het opnieuw lezen van dezelfde wettelijke regels keer op keer, zoals een student die voor elke afzonderlijke huiswerkvraag hetzelfde hoofdstuk van een leerboek opnieuw leest. Dit maakt hen traag en duur.
2. De Oplossing: Een "Slimme" Serving Stack
De auteurs bouwden een gespecialiseerde "serving stack" (de motor die de AI draait) die specifiek is ontworpen voor deze repetitieve, regels-rijke taken. Denk hierbij aan een upgrade van een standaard bestelwagen naar een supersnel, geautomatiseerd sorteercentrum.
Hier zijn de belangrijkste upgrades die ze hebben doorgevoerd:
Het "Spiekbriefje" (Prefix Caching):
In plaats van elke keer opnieuw de 2.000 woorden aan wettelijke instructies te lezen, onthoudt het systeem ze. Het is alsof je een spiekbriefje op de muur hebt geplakt. Wanneer een nieuwe zaak binnenkomt, werpt de AI gewoon een blik op het spiekbriefje (dat al in het geheugen is geladen) en richt zich alleen op de nieuwe transactiegegevens. Dit bespaart enorme hoeveelheden tijd.De "Slimme Archiefkast" (PagedAttention):
Standaard AI-geheugen is als een rommelig bureau waar je geen nieuwe papieren kunt plaatsen zonder alles te verschuiven. De auteurs gebruikten een "Paged"-systeem, dat lijkt op een perfect georganiseerde archiefkast. Het breekt het geheugen op in kleine, hanteerbare blokken zodat de AI duizenden zaken in zijn werkruimte kan passen zonder rommelig te worden of vast te lopen.De "Groeperingsstrategie" (Multi-Adapter Batching):
Stel je een postkantoor voor waar je post moet sorteren voor 10 verschillende steden. Een naïef systeem sorteert één brief voor Stad A, dan één voor Stad B, en dan weer terug naar Stad A.
Het systeem van de auteurs groepeert alle "Stad A"-brieven samen, en vervolgens alle "Stad B"-brieven. In AI-termen groeperen ze aanvragen die dezelfde specifieke "adapter" nodig hebben (een gespecialiseerd hulpmiddel voor een specifieke taak) en verwerken ze deze in één enkele batch. Dit is 3,9 keer sneller dan de oude manier.De "Slaapstand" (Lifecycle Management):
Soms heeft een fraudeonderzoek drie verschillende AI-modellen nodig die in een rij werken: één om bewijs te vinden, één om het te classificeren en één om een rapport te schrijven. Het constant op volle snelheid laten draaien van alle drie, 24/7, is een verspilling van elektriciteit (en geld).
Het systeem van de auteurs zet de ongebruikte modellen in slaapstand (waardoor geheugen vrijkomt) en wekt ze direct op wanneer ze nodig zijn. Dit is als een hybride auto die de motor uitschakelt op stoplichten maar direct accelereert wanneer het licht op groen springt. Het verkort de "opstarttijd" van bijna een minuut naar een paar seconden.De "Snelheidsboost" (Speculative Decoding):
Voor korte antwoorden (zoals een simpele "Ja/Nee" of een JSON-code) denkt de AI soms te lang na. De auteurs voegden een "concept"-stap toe waarbij een kleinere, snellere AI het antwoord gist en de grote AI het gewoon controleert. Het is alsof je een snellezende hebt die de tekst scant en het antwoord markeert voor de professor om te verifiëren.
3. De "Kwaliteitspoort" (De Rechter)
Snelheid is nutteloos als de AI fouten maakt. Bij fraudeopsporing kan een verkeerd antwoord betekenen dat je een crimineel mist of een onschuldige beschuldigt.
- De auteurs creëerden een "Rechter"-systeem. Voordat een AI-update live gaat, controleert een panel van AI-rechters (en menselijke experts) het werk.
- Ze controleren niet alleen of de AI snel is; ze controleren of de output geldig is (bijvoorbeeld: is het correcte JSON? Heeft het de regels gevolgd?).
- Het is als een veiligheidsinspecteur in een fabriek. Als het product snel is maar defect, verlaat het het gebouw niet.
4. De Resultaten: De "Magische" Getallen
Met behulp van publieke, neppe data (zodat ze geen echte bankgeheimen lekten), testten ze dit nieuwe systeem. De resultaten waren dramatisch:
- Snelheid: Ze gingen van ongeveer 600 aanvragen per uur naar 3.600 aanvragen per uur (een verbetering van 5,5x tot 6x).
- Wachttijd: De tijd die nodig was om een antwoord te krijgen, daalde van 31–38 seconden naar 6–8 seconden.
- Efficiëntie: De computerhardware (GPU's) ging van 88% van de tijd inactief zijn naar 78% van de tijd actief bezig zijn.
- Kosten: Omdat ze met dezelfde hardware zoveel meer werk verzetten, hadden ze minder dan de helft van het aantal computers nodig om hetzelfde werk te doen.
De Conclusie
Het paper concludeert dat je voor hoog-risico banen zoals het opsporen van geldwassers niet zomaar het "beste" AI-model kunt gebruiken. Je moet een gespecialiseerd distributiesysteem bouwen dat begrijpt dat de taak repetitief is, vol regels zit en strikte nauwkeurigheid vereist. Door de "prefix" (de regels) als herbruikbaar te behandelen en de workflow te organiseren als een slimme fabriek, kun je het systeem sneller, goedkoper en betrouwbaarder maken zonder de onderliggende AI-geest te veranderen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.