Algorithmic Compliance and Regulatory Loss in Digital Assets

Dit onderzoek toont aan dat statische machine learning-modellen voor anti-witwasdoeleinden in cryptocurrency's hun effectiviteit sterk overschatten door tijdsgebonden marktveranderingen, wat leidt tot aanzienlijke en aanhoudende extra reguleringskosten als gevolg van verkeerd afgestemde beslissingsregels in plaats van een afname in voorspellende nauwkeurigheid.

De kern

Hier is een uitleg van het onderzoek in eenvoudig Nederlands, met behulp van alledaagse vergelijkingen.

Het Probleem: De Valse Alarmen van de Digitale Politie

Stel je voor dat er een digitale politiedienst is die de Bitcoin-wereld bewaakt. Hun taak is om te voorkomen dat criminelen hun geld wassen (illegale transacties). Ze gebruiken slimme computers (kunstmatige intelligentie) om elke transactie te scannen. Als de computer denkt: "Dit ziet er verdacht uit!", dan slaat hij een alarm en moet een menselijke agent het gaan onderzoeken.

De onderzoekers van dit paper hebben gekeken naar hoe goed deze computers eigenlijk werken in de echte wereld. En ze ontdekten iets verrassends: De computers lijken in tests super slim, maar in de praktijk maken ze veel meer fouten dan gedacht.

Vergelijking 1: De Vaste Snelheidscontrole vs. De Veranderende Weg

Om dit te begrijpen, kun je denken aan een snelheidscontrole op een snelweg.

• De oude manier (wat de paper bekritiseert): Stel, je hebt een camera die ingesteld is om elke auto die harder rijdt dan 100 km/u te fotograferen. Je test deze camera op een rustige zondagmiddag. Alles werkt perfect! De camera pikt precies de snelheidsboeven op. Je zegt: "Deze camera is 99% accuraat!"
• De nieuwe realiteit (wat de paper laat zien): Maar de weg verandert. Soms is het een drukke woensdagochtend (veel normale verkeer), soms is het een race-evenement (alle auto's rijden hard). Als je de camera niet aanpast aan deze nieuwe situatie, krijg je twee problemen:
  1. Je schrijft boetes uit aan honderden onschuldige mensen die net iets harder reden dan 100, maar niet echt gevaarlijk waren (veel valse alarmen).
  2. Je mist de echte race-auto's die nu 150 km/u rijden, omdat je camera verouderd is ingesteld (je mist de echte criminelen).

De onderzoekers laten zien dat de Bitcoin-markt precies zo werkt. De "weg" (de manier waarop mensen transacties doen) verandert voortdurend. Maar de regels van de computer (de drempel om een alarm te laten afgaan) blijven vaak stilstaan.

De Kern van het Onderzoek

De auteurs hebben gekeken naar historische Bitcoin-data. Ze hebben drie dingen ontdekt:

1. De "Test" liegt: Als je de computer test met een simpele "willekeurige" test (alsof je alle auto's van gisteren en morgen door elkaar gooit), ziet het er fantastisch uit. De computer lijkt slim.
2. De "Realiteit" is pijnlijk: Zodra je de computer in de echte wereld zet, waar de tijd vooruitgaat en de markt verandert, gaat het mis. De computer blijft dezelfde oude regels toepassen, terwijl de wereld om hem heen veranderd is.
3. Het kost veel geld: Omdat de computer te veel valse alarmen geeft, moeten agentsuren besteden aan onschuldige mensen. Omdat hij te weinig alarmen geeft, laten ze criminelen soms ontsnappen. Dit noemen de auteurs "Regulatory Loss" (verlies voor de regelgever).

Vergelijking 2: De Vaste Thermometer in een Klimaatverandering

Stel je voor dat je een thermometer hebt die je gebruikt om te beslissen of je een jas moet aantrekken.

• In de winter (de oude markt) is het 5 graden. Je stelt je thermometer in: "Als het onder de 10 graden is, trek een jas aan." Perfect!
• Nu komt de lente (de nieuwe markt). De temperatuur schommelt tussen 10 en 15 graden.
• Je thermometer is nog steeds ingesteld op "onder de 10 graden".
  • Je krijgt geen jas aan, terwijl het koud is (je wordt ziek = illegale transactie gaat door).
  • Of, als je de instelling verkeerd aanpast, trek je een jas aan op een zonnige dag (je zweet en bent ongemakkelijk = veel tijd verspillen aan onschuldige mensen).

De onderzoekers zeggen: "Het probleem is niet dat de thermometer (de computer) slecht is in het meten van de temperatuur. Het probleem is dat je de regels (wanneer je een jas aantrekt) niet aanpast aan het weer."

Wat betekent dit voor de toekomst?

De boodschap van dit paper is helder:

• Stop met alleen kijken naar cijfers: Het is niet genoeg om te zeggen "Onze AI is 95% goed". Dat is net als zeggen "Onze thermometer is goed". Je moet kijken naar de kosten van de fouten.
• Pas je regels aan: De regels voor het detecteren van crimineel gedrag moeten dynamisch zijn. Ze moeten meebewegen met de markt, net zoals je je kledingkeuze aanpast aan het seizoen.
• Voorbereid zijn op verandering: In de cryptowereld verandert alles razendsnel. Een systeem dat vandaag werkt, kan morgen al verouderd zijn.

Samenvatting in één zin

Deze studie waarschuwt dat slimme computers voor het opsporen van crypto-criminaliteit vaak misleidend goed lijken in tests, maar in de echte, veranderende wereld veel geld en tijd kosten omdat hun "alarm-instellingen" verouderd zijn en niet worden aangepast aan de nieuwe realiteit.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Algorithmic Compliance and Regulatory Loss in Digital Assets" in het Nederlands.

Titel: Algorithmische Compliance en Regulatorische Verliezen in Digitale Activiteiten

1. Het Probleem

De snelle expansie van cryptocurrency-markten heeft de noodzaak van geautomatiseerde Anti-Money Laundering (AML) systemen vergroot. Huidige evaluaties van deze machine learning-systemen vertrouwen voornamelijk op statische classificatiemetrieken, zoals ROC-AUC en PR-AUC. Deze metrieken meten de rangschikkingskwaliteit van het model maar negeren de operationele realiteit van toezicht:

• Asymmetrische kosten: Het onderscheid tussen vals-negatieven (illegale activiteiten laten passeren) en vals-positieven (legitieme transacties blokkeren) heeft zeer verschillende economische en regulatorische gevolgen.
• Niet-stationariteit: Cryptomarkten vertonen sterke concept drift. De verdeling van transactiedata, de prevalentie van illegale activiteiten en de verhouding tussen kenmerken en labels veranderen voortdurend.
• Het kernprobleem: De auteurs stellen dat statische evaluaties de werkelijke regulatorische effectiviteit sterk overschatten. Zelfs als een model zijn voorspellende nauwkeurigheid behoudt, kunnen vaste drempelwaarden (enforcement thresholds) die zijn gekalibreerd op historische data, leiden tot grote economische verliezen wanneer de marktomstandigheden veranderen.

2. Methodologie

De auteurs gebruiken de Elliptic Bitcoin-transactiedataset (46.564 gelabelde transacties) om de prestaties van AML-systemen in een evoluerend netwerk te analyseren.

• Model: Een geregulariseerde logistische regressie (L2) wordt gebruikt als voorspellend model. De keuze voor een eenvoudig model dient om te isoleren dat het probleem ligt in de implementatie en besluitvorming, niet in de complexiteit van het algoritme.
• Evaluatieprotocollen:
  1. Random Split: Een conventionele 70/30 train-test split (ignorerend tijdsorde) als benchmark.
  2. Forward Split: Training op vroege perioden ($t \leq 34$) en testen op latere perioden ($t \geq 35$).
  3. Rolling Deployment: Een realistischere simulatie waarbij het model wordt getraind op een historisch venster ($t-10$ tot $t-1$) en wordt ingezet op transacties in periode $t$. De drempelwaarde wordt hierbij geoptimaliseerd op de trainingsdata en vervolgens vastgehouden tijdens de inzet.
• Regulatorische Verliesfunctie: In plaats van alleen nauwkeurigheid te meten, definiëren de auteurs een kostenfunctie:
  $$L(\tau) = C_{FN} \cdot FN(\tau) + C_{FP} \cdot FP(\tau)$$
  Waarbij $C_{FN}$ en $C_{FP}$ de kosten zijn van respectievelijk vals-negatieven en vals-positieven. Er worden twee kostenverhoudingen ($C_{FN}/C_{FP}$) getest: 10 en 25.
• Orakel-Benchmark: Om de inefficiëntie van statische regels te meten, vergelijken ze de werkelijke verliezen met een "onmogelijk orakel" dat de drempelwaarde na afloop ($ex-post$) opnieuw optimaliseert op basis van de huidige testdata. Het verschil wordt het Deployment Gap genoemd.

3. Belangrijkste Bijdragen

• Verschuiving van Statistiek naar Economie: Het artikel introduceert een raamwerk dat regulatorische effectiviteit meet in termen van economisch verlies (cost-sensitive loss) in plaats van puur statistische nauwkeurigheid.
• Identificatie van Drempel-Instabiliteit: De auteurs tonen aan dat de primaire oorzaak van regulatorisch falen niet noodzakelijk een afname van de voorspellende nauwkeurigheid is, maar de miscalibratie van beslissingsregels (vaste drempels) in een veranderende omgeving.
• Kritiek op Bestaande Praktijken: Het werk demonstreert dat conventionele train-test splits in de financiële sector en regelgeving leiden tot ernstige overoptimistische inschattingen van modelprestaties.

4. Resultaten

De empirische resultaten tonen een duidelijk disfunctioneren van statische AML-systemen in dynamische markten:

• Overschrijding van Verliezen: De werkelijke regulatorische verliezen onder een historisch gekalibreerde drempel zijn aanzienlijk hoger dan die van het orakel.
  • Bij een kostenverhouding van 10: De gemiddelde verliezen zijn 1,51 keer zo hoog als het orakel.
  • Bij een kostenverhouding van 25: De verliezen zijn 1,75 keer zo hoog.
  • In piekperiodes (tijden van marktovergang) loopt het verlies op tot dubbel (ratio's van 1,97 tot 2,23) ten opzichte van het orakel.
• Drempel-Instabiliteit: De optimale drempelwaarde ($\tau^*$) fluctueert sterk in de tijd, gedreven door veranderingen in de prevalentie van illegale activiteiten (die daalt van 14,3% naar 5,3% in de dataset) en veranderingen in de verdeling van risicoscores.
• Statistische vs. Operationele Prestaties:
  • Bij een random split lijkt het model uitstekend (PR-AUC 0,77, ROC-AUC > 0,96).
  • Bij een forward/rolling split stort de operationele prestatie in (PR-AUC daalt naar 0,36, top-1% precisie daalt naar 0,43).
• Robuustheid: Deze bevindingen houden stand bij gebruik van complexere modellen (zoals XGBoost) en zijn niet afhankelijk van de specifieke modelkeuze, maar zijn inherent aan het vasthouden van drempelwaarden in niet-stationaire omgevingen.

5. Betekenis en Conclusie

Het artikel heeft belangrijke implicaties voor regelgevers, beurzen en compliance-teams:

1. Fragiliteit van Vaste Beleid: Vaste AML-beleidspunten zijn inherent fragiel in digitale activa-markten. Wat gisteren een optimale drempel was, kan vandaag leiden tot enorme verliezen.
2. Noodzaak van Dynamisch Toezicht: Evaluatieprotocollen moeten tijdsafhankelijk zijn (forward-looking of rolling). Statische backtests zijn misleidend.
3. Governance van Drempels: Het selecteren van een drempelwaarde moet worden gezien als een continu governance-proces en niet als een eenmalige technische kalibratie.
4. Economische Kosten: Het falen om zich aan te passen aan concept drift resulteert in meetbare, economisch significante kosten (extra onderzoekslasten of gemiste illegale transacties), wat de urgentie onderstreept voor "loss-based evaluation frameworks".

Kortom, de studie waarschuwt dat hoge statistische scores geen garantie zijn voor effectieve regelgeving in crypto-markten en pleit voor een verschuiving naar evaluatie op basis van economisch verlies en dynamische aanpassing van beslissingsregels.