💬 NLP

AI Appeals Processor: A Deep Learning Approach to Automated Classification of Citizen Appeals in Government Services

Dit artikel introduceert de AI Appeals Processor, een microservice-systeem dat op deep learning is gebaseerd en aantoont dat een Word2Vec+LSTM-architectie de verwerkingstijd van overheidsverzoeken met 54% verkort en de classificeerbaarheid verbetert tot 78%, waardoor een optimale balans wordt gevonden tussen nauwkeurigheid en rekenefficiëntie ten opzichte van zwaardere transformer-modellen.

Oorspronkelijke auteurs: Vladimir Beskorovainyi

Gepubliceerd 2026-04-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Vladimir Beskorovainyi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De AI-Postbode: Hoe een slimme computer de overheid helpt met duizenden klachten

Stel je voor dat de overheid een enorm postkantoor is. Elke dag komen er duizenden brieven binnen van burgers. Soms is het een klacht over een kapotte lift, soms een aanvraag voor een paspoort, en soms een idee voor een nieuw park. Vroeger zaten er mensen achter een bureau die elke brief moesten lezen, begrijpen en in de juiste stapel moeten leggen.

Het probleem? Dit was een enorme rompslomp. Een mens nam gemiddeld 20 minuten per brief en maakte zelfs dan nog fouten. Het was alsof je probeert een berg ijs te eten met een lepeltje: het gaat veel te langzaam en je raakt oververmoeid.

In dit artikel vertellen de auteurs over een nieuwe oplossing: de AI Appeals Processor. Dit is een slim computerprogramma dat deze brieven leest en automatisch indeelt. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Grote Dilemma: Snelheid vs. Slimheid

De onderzoekers wilden weten: Kan een computer dit sneller en beter doen dan een mens? En belangrijker: Is de slimste computer ook de snelste, of is er een "gouden middenweg"?

Ze testten verschillende soorten "hersenen" voor de computer:

De oude school: Simpele telpunten (zoals tellen hoe vaak het woord "lift" voorkomt).
De snelle leerling: Een systeem dat snel patronen herkent (fastText).
De super-intelligente lezer: Een heel complex systeem dat hele zinnen begrijpt (BERT).
De gouden middenweg: Een systeem dat woorden in een ruimtelijke kaart zet en dan een slimme route zoekt (Word2Vec + LSTM).

2. De Uitslag: De "Gouden Middenweg" wint

Je zou denken dat de aller-slimste computer (BERT) altijd wint. En inderdaad, die was het meest nauwkeurig (82% goed). Maar die had ook een enorme energierekening nodig en duurde 240 minuten om te "leren". Het was alsof je een Formule 1-auto gebruikt om boodschappen te doen: het werkt, maar het is onpraktisch en duur.

De Word2Vec + LSTM-oplossing bleek de winnaar.

Hoe het werkt: Stel je voor dat dit systeem een enorme bibliotheek heeft waar elk woord een eigen plekje heeft. Woorden die op elkaar lijken (zoals "klacht" en "probleem") staan dicht bij elkaar. Het systeem leest de brief, kijkt naar de kaart, en zegt: "Ah, dit staat in de buurt van 'klachten'!"
Het resultaat: Het was 78% correct (veel beter dan de menselijke 67%) en het leerde in slechts 95 minuten.
De winst: De verwerkingstijd per brief daalde van 20 minuten naar 10 minuten. Dat is bijna de helft sneller!

3. Waarom niet 100% automatisch? (De Mens in de Loop)

Je zou denken: "Laat de computer alles doen!" Maar de onderzoekers zijn slim. Ze hebben het systeem zo ontworpen dat de computer de brief voorbereidt en voorstelt, maar een mens nog even snel kijkt of het klopt.

Dit is als een assistent die voor je schrijft. De assistent schrijft een perfect verslag, maar jij tekent het pas af.

Het voordeel: Als de assistent een foutje maakt, corrigeer jij het. Die correctie wordt onthouden. De volgende keer is de assistent nog slimmer.
Het resultaat: Na een tijdje werd het systeem zelfs nog beter dan de 78% die het in het begin haalde, omdat het van elke menselijke correctie leerde.

4. Hoe snel gaat het onder druk?

Stel je voor dat er ineens 20 mensen tegelijk een brief sturen.

Bij een mens zou de wachtrij enorm worden en iedereen zou wachten.
Bij dit systeem? De computer is zo snel dat hij bijna geen merkt dat er drukte is. Zelfs bij 20 gelijktijdige verzoeken wordt het slechts 25% langzamer. Het is alsof je een supermarkt hebt met 20 kassa's die allemaal tegelijk werken, terwijl er maar één kassier is die de bonnetjes controleert.

5. Wat betekent dit voor jou?

Voor de gewone burger betekent dit dat je klacht of aanvraag veel sneller bij de juiste afdeling terechtkomt.

Vroeger: Je brief ligt uren of dagen in een stapel, en wie weet wordt hij per ongeluk bij de verkeerde afdeling gelegd.
Nu: De computer leest het, herkent dat het over "huisvesting" gaat, en stuurt het direct naar de mensen die daarvoor verantwoordelijk zijn.

Conclusie: De Slimme Assistent

Dit artikel laat zien dat we geen robots nodig hebben die alles volledig overnemen, maar wel slimme assistenten die ons helpen. Door een combinatie van slimme technologie en menselijke controle, kan de overheid veel efficiënter werken. Het is alsof je van een fiets op een elektrische scooter stapt: je bent nog steeds de bestuurder, maar je komt veel sneller en met minder moeite op je bestemming.

Kortom: De overheid heeft nu een digitale postbode die niet slaapt, niet moe wordt, en elke dag een beetje slimmer wordt.

Probleemstelling

Overheidsinstanties wereldwijd staan voor een toenemende stroom van burgerklachten en verzoeken, waarbij elektronische inzendingen de laatste jaren sterk zijn toegenomen. De traditionele, handmatige verwerking van deze appeals kent aanzienlijke tekortkomingen:

Snelheid: De gemiddelde verwerkingstijd bedraagt ongeveer 20 minuten per appeal.
Nauwkeurigheid: De classificatie-accuraatheid ligt rond de 67%, wat leidt tot fouten en inefficiëntie.
Specifieke uitdagingen voor het Russisch: De toepassing van NLP op Russische teksten is complex door de rijke morfologie (uitgestrekte vervoegingen), domeinspecifieke terminologie en de noodzaak van integratie met bestaande overheidsinformatiesystemen.

De kernvraag is of moderne NLP-technieken de verwerkingstijd en nauwkeurigheid voor Russisch-talige burgerappeals significant kunnen verbeteren ten opzichte van handmatige baselines, en welke diepe leerarchitectuur de beste balans biedt tussen prestaties en rekenefficiëntie.

Methodologie

1. Dataset

Bron: 10.000 echte burgerappeals van een overheidsinstantie.
Labeling: Twee lagen van annotatie:
- Type: Klacht (zhaloby), Verzoek (zayavleniya), Voorstel (predlozheniya).
- Domein: 7 categorieën (bijv. woningbouw, zorg, onderwijs).
Preprocessing: De dataset werd gesplitst in training (70%), validatie (15%) en test (15%) sets. Persoonlijke gegevens werden verwijderd. Ground truth werd vastgesteld via een tweestapsproces (operator + expertpanel), met een inter-annotator overeenstemming van $\kappa = 0.81$ .

2. Architectuur
Het systeem, AI Appeals Processor, is een microservices-gebaseerde webapplicatie:

Frontend: JavaScript-framework.
Backend: Objectgeoriënteerd server-side framework.
AI-module: Python met TensorFlow, geïmplementeerd als een onafhankelijke microservice.
Infrastructuur: Gedockerde componenten (Docker) georkestreerd via Kubernetes voor horizontale schaalbaarheid. Communicatie verloopt via een message broker voor asynchrone verwerking.

3. Tekstverwerkingspijplijn

Preprocessing: Normalisatie, tokenisatie, verwijdering van stopwoorden (NLTK Russische lijst) en lemmatisatie via pymorphy2 om de Russische morfologie te hanteren.
Feature Extractie: Conversie naar numerieke representaties via TF-IDF of Word2Vec (128-dimensionale vectoren).
Classificatie: Toepassing van verschillende modellen.
Post-processing: Opslag in database en notificatie aan operators voor review en routing.

4. Geëvalueerde Modellen
Er werden zes benaderingen vergeleken:

Baseline: Handmatige classificatie door operators.
BoW + SVM: Bag-of-Words met Support Vector Machine.
TF-IDF + SVM: Term Frequency-Inverse Document Frequency met SVM.
fastText: Supervised fastText classifier met character n-grams (zonder expliciete lemmatisatie).
Word2Vec + LSTM: Word2Vec embeddings ingevoerd in een unidirectionele LSTM (64 hidden units, dropout 0.3).
BERT: Fine-tuning van bert-base-multilingual-cased.

Belangrijkste Resultaten

1. Classificatieprestaties

Word2Vec + LSTM werd geselecteerd als de productiemodel. Het bereikte een accuraatheid van 78% en een F1-score van 78%.
Dit is een verbetering van 11 procentpunten ten opzichte van de handmatige baseline (67%).
BERT behaalde de hoogste nauwkeurigheid (82%), maar vereiste 2,5x meer trainingstijd en aanzienlijk meer rekenkracht voor inferentie.
fastText presteerde verrassend goed (76%) met slechts 3 minuten trainingstijd, dankzij de inherente morfologische capture via character n-grams.

2. Verwerkingstijd

De totale verwerkingstijd (inclusief operator review) daalde met 54%: van 22,5 minuten (handmatig) naar 10,25 minuten (geautomatiseerd).
De pure ML-inferentie (preprocessing + voorspelling) duurt minder dan 2 seconden per appeal. De resterende tijd wordt bepaald door menselijke verificatie.

3. Schaalbaarheid en Belasting

Het systeem toont stabiele prestaties onder gelijktijdige belasting. Bij 20 gelijktijdige verzoeken steeg de latentie slechts met 25%.
De vertraging onder belasting wordt veroorzaakt door de wachtrij bij de operator-review (beperkt aantal reviewers), niet door de ML-inferentie.

4. Domeinspecifieke Resultaten

Categorieën met gespecialiseerde terminologie (bijv. Woningbouw & Utiliteit, Zorg) behaalden hogere F1-scores (84% en 80%).
De "Miscellaneous" (Overige) categorie presteerde het slechtst (71%) door gebrek aan duidelijke thematische grenzen.

5. Foutanalyse
De belangrijkste foutenpatronen waren:

Dubbele intentie (klacht én verzoek in één tekst).
Ambiguïteit door formeel bureaucratisch taalgebruik.
Gemengde framing (feitelijke beschrijving met emotionele taal).

Bijdragen

Uitgebreide Evaluatie: Een systematische vergelijking van vijf ML-benaderingen op een dataset van 10.000 Russische burgerappeals.
Productie-klare Architectuur: Een microservices-oplossing die NLP-classificatie integreert met overheidsdocumentbeheersystemen via REST API.
Domeinbenchmarks: Specifieke prestatie-indicatoren voor zeven thematische domeinen.
Human-in-the-Loop Validatie: Bewijs dat iteratief hertrainen op door operators geverifieerde data de nauwkeurigheid in de productieomgeving verder verbetert.

Betekenis en Conclusie

Het paper demonstreert dat diepe leermodellen, specifiek een Word2Vec + LSTM architectuur, een optimale balans bieden tussen nauwkeurigheid en rekenefficiëntie voor de Russische overheidscontext. Hoewel transformer-modellen (BERT) iets nauwkeuriger zijn, is de extra complexiteit en kosten niet gerechtvaardigd voor deze toepassing in een resource-constrained overheidsomgeving.

Het systeem is succesvol ingezet in een productieomgeving en bewijst dat een mens-in-de-lus aanpak (waarbij operators de voorspellingen controleren en feedback geven) leidt tot een continu lerend systeem. Dit resulteert in een significante versnelling van overheidsdiensten en een hogere kwaliteit van data voor verdere analyse, terwijl de naleving van regelgeving en privacy wordt gewaarborgd. Toekomstig werk richt zich op het uitbreiden van de dataset, fijnmazigere classificatie en het gebruik van Russisch-specifieke transformer-modellen (zoals RuBERT).