A Cascaded Unsupervised-Supervised NLP Pipeline for Detecting Accusatory Language in Public Procurement

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van te zoeken naar vingerafdrukken of voetstappen, graaf je door miljoenen kleine, slordige briefjes die mensen in een gigantisch, chaotisch stadsplein hebben achtergelaten. Dit is de wereld van Natural Language Processing (NLP), een tak van de informatica waarbij machines leren lezen en menselijke tekst te begrijpen. Soms zijn computers erg goed in het lezen van formele boeken, maar ze raken vaak in de war door de straattaal, typefouten en emotionele rants die mensen in het echte leven schrijven. De grote vraag hier is: kunnen we een computer leren om de specifieke, boze fluisteringen op te sporen die wijzen op corruptie of onregelmatigheden in publieke overheidsdeals, zelfs wanneer die fluisteringen begraven liggen onder een berg saaie klachten en vragen? Dit is belangrijk omdat publiek geld een enorme hulpbron is, en wanneer mensen zich bezighouden met onregelmatigheden, verliest iedereen. Als we een digitale "leugendetector" kunnen bouwen die deze briefjes leest, kunnen we kwaadwillenden betrappen voordat ze het publieke vertrouwen stelen.

Dit artikel vertelt het verhaal van een team onderzoekers dat een slim, tweestaps detectivesysteem heeft gebouwd om "beschuldigende" taal te vinden in het publieke aanbestedingssysteem van Ecuador. Denk aan publieke aanbesteding als de overheid die winkelt voor alles, van wegwerkzaamheden tot schoolbenodigdheden. Voordat de definitieve deal wordt gesloten, mogen leveranciers vragen stellen of opmerkingen achterlaten. De meeste van deze opmerkingen zijn onschadelijk, zoals "Kunt u deze regel uitlepen?" of "Ik vind de prijs niet goed." Maar sommige zijn gevaarlijke fluisteringen zoals: "Deze deal is gemanipuleerd," of "Ze laten alleen één bedrijf winnen." De uitdaging is dat deze gevaarlijke fluisteringen zeldzaam zijn—zoals het vinden van een enkele rode naald in een hooiberg van een miljoen blauwe naalden.

De onderzoekers probeerden de meest hightech, dure "superlees"-computers (genaamd Large Language Models zoals LLaMA en RoBERTa) te gebruiken om deze naalden te vinden. Ze verwachtten dat deze krachtige instrumenten de beste zouden zijn. Echter, ze ontdekten iets verrassends: de chique, zware computers waren eigenlijk te verward door de rommelige, informele tekst. Ze zagen de naalden wel, maar konden ze niet scheiden van het hooi. De onderzoekers ontdekten dat een veel simpeler, ouder en lichter hulpmiddel genaamd Word2Vec, dat zij specifiek hadden getraind op de lokale taal en straattaal van deze aanbestedingsopmerkingen, uitstekend werkte. Het was alsof je een hoogwaardige, overgedimensioneerde metaaldetector die bij alles piept, verving voor een eenvoudige, goed afgestelde magneet die alleen het specifieijke metaal oppikt waar ze naar op zoek waren.

De oplossing van het team was een "gecascadeerde" pijplijn, wat gewoon een chique manier is om te zeggen dat ze een filter gebruikten vóór de definitieve controle. Eerst gebruikten ze het simpele Word2Vec-hulpmiddel om vergelijkbare opmerkingen bij elkaar te groeperen, zoals het sorteren van een stapel gemengde brieven in enveloppen op basis van de handschriftstijl. Vervolgens gebruikten ze een wiskundige methode (Gaussian Mixture Models) om de specifieke envelop te vinden die het meest waarschijnlijk de "beschuldigende" brieven bevatte. Ten slotte gebruikten ze een standaard, betrouwbare classifier (een Random Forest-algoritme) om alleen die specifieke brieven te lezen en te beslissen of het daadwerkelijk beschuldigingen van corruptie waren.

De resultaten waren indrukwekkend. Hoewel de "beschuldigende" opmerkingen slechts ongeveer 3% van de totale data uitmaakten (een ernstige onbalans), ving dit simpele, tweestaps systeem 91% van hen (recall) met 8aft 84% nauwkeurigheid (precision). Dit suggereert dat je geen massieve, dure supercomputer nodig hebt om dit probleem op te lossen; een lichtgewicht, slim getraind systeem kan het werk net zo goed, of zelfs beter, doen. Het artikel sluit expliciet de gedachte uit dat de nieuwste, meest complexe AI-modellen automatisch de beste keuze zijn voor deze specifieke, ruisige, real-world taak. Hoewel de chique modellen veelbelovend waren, hadden ze moeite met de "anisotropie" van de data—een technische manier om te zeggen dat de data in een vorm werd geperst die de complexe modellen in verwarring bracht. Het simpelere model, dat direct op de rommelige, real-world opmerkingen was getraind, kon veel beter omgaan met de chaos.

De onderzoekers testten hun systeem ook op een enorme stap ongelabelde data (opmerkingen die ze nog niet handmatig hadden gecontroleerd). Het systeem markeerde ongeveer 1.892 potentiële beschuldigingen uit bijna 93.000 opmerkingen. Wanneer ze een steekproef van de gemarkeerde opmerkingen handmatig controleerden, vonden ze dat ongeveer 84% inderdaad echte beschuldigingen van corruptie of onregelmatigheden waren. Dit suggereert dat het systeem robuust genoeg is om als een real-time waakhond voor overheidsuitgaven te worden gebruikt. Het artikel merkt echter een beperking op: het systeem is goed in het opsporen van directe beschuldigingen, maar kan subtiele, sarcastische of ironische opmerkingen missen die niet de gebruikelijke "corruptie"-trefwoorden gebruiken.

Uiteindelijk laat dit artikel zien dat de beste manier om een complex probleem op te lossen niet altijd is om de krachtigste technologie erop los te laten, maar om een slim, op maat gemaakt proces te bouwen dat de specifieke eigenaardigheden van de data begrijpt. Door een eenvoudige, domeinspecifieke embedding te combineren met een slimme filterstrategie, creëerden de onderzoekers een hulpmiddel dat snel is, goedkoop in gebruik en effectief in het werpen van licht op de schaduwen waar corruptie zich verbergt. Ze suggereren dat deze aanpak kan worden aangepast voor andere landen, mits die landen hun publieke aanbestedingsgegevens op een manier organiseren die computers gemakkelijk kunnen lezen.