AI Appeals Processor: A Deep Learning Approach to Automated Classification of Citizen Appeals in Government Services

Titolo: AI Appeals Processor: Un Approccio di Deep Learning per la Classificazione Automatizzata delle Ricorsi dei Cittadini nei Servizi Governativi

1. Il Problema

Le agenzie governative a livello globale stanno affrontando un aumento esponenziale del volume di ricorsi e richieste da parte dei cittadini, in particolare nelle forme elettroniche. Il processo attuale di gestione è prevalentemente manuale e presenta gravi inefficienze:

• Tempi di elaborazione: La media è di circa 20 minuti per ricorso.
• Accuratezza: La classificazione manuale ha un'accuratezza di circa il 67%.
• Colli di bottiglia: Queste metriche creano ritardi significativi nella fornitura dei servizi pubblici e non rispettano i quadri normativi nazionali che impongono tempi di registrazione e trattamento rapidi.
• Sfide linguistiche: L'applicazione di tecniche NLP (Natural Language Processing) al russo presenta sfide uniche dovute alla complessità morfologica (flessione estesa), alla terminologia specifica dei domini e alla necessità di integrazione con sistemi informativi governativi esistenti.

2. Metodologia

Il paper presenta l'AI Appeals Processor, un sistema basato su microservizi che integra tecniche di NLP e Deep Learning per classificare e instradare automaticamente i ricorsi.

• Dataset: Un insieme di 10.000 ricorsi reali in lingua russa, annotati con due livelli di etichettatura:
  1. Tipo di ricorso: 3 classi (Reclami, Richieste, Proposte).
  2. Dominio tematico: 7 classi (es. Abitazioni, Sanità, Istruzione, ecc.).
  • I dati sono stati divisi in set di training (70%), validazione (15%) e test (15%).
• Architettura del Sistema:
  • Implementazione basata su microservizi (Frontend JS, Backend OOP, Modulo AI in Python/TensorFlow, Database Relazionale, Layer di integrazione REST).
  • Containerizzazione Docker e orchestrazione Kubernetes per scalabilità orizzontale.
  • Pipeline di elaborazione del testo: Normalizzazione, tokenizzazione, rimozione stop-word, lemmatizzazione (tramite pymorphy2 per il russo), estrazione delle feature e classificazione.
• Modelli Valutati: Sono stati confrontati sei approcci:
  1. Baseline: Classificazione manuale.
  2. BoW + SVM: Bag-of-Words con Support Vector Machine.
  3. TF-IDF + SVM: Feature TF-IDF con SVM.
  4. fastText: Classificatore supervisionato con n-grammi di caratteri.
  5. Word2Vec + LSTM: Embedding Word2Vec (128 dimensioni) alimentati in una rete LSTM unidirezionale.
  6. BERT: Modello pre-addestrato multilingue (bert-base-multilingual-cased) fine-tuned.

3. Contributi Chiave

1. Valutazione Comparativa: Un'analisi approfondita di cinque approcci ML su un dataset reale di 10.000 ricorsi in russo.
2. Architettura di Produzione: Progettazione di un microservizio pronto per il deployment che integra la classificazione NLP con i sistemi di gestione documentale governativi.
3. Benchmark Specifici per Dominio: Risultati dettagliati su sette categorie tematiche diverse.
4. Ciclo di Feedback "Human-in-the-Loop": Dimostrazione di come il sistema migliori iterativamente grazie alla revisione e correzione degli operatori umani, che vengono utilizzati per riaddestrare il modello.

4. Risultati

• Prestazioni di Classificazione (3 classi):
  • Il modello Word2Vec + LSTM è stato selezionato per il deployment di produzione, raggiungendo un'accuratezza del 78% e un F1-score del 78%.
  • Questo rappresenta un miglioramento di 11 punti percentuali rispetto alla baseline manuale (67%).
  • Confronto con altri modelli:
    • BERT ha ottenuto l'accuratezza più alta (82%), ma con costi computazionali significativamente superiori (240 min di training vs 95 min per LSTM) e tempi di inferenza più lunghi.
    • fastText ha ottenuto il 76% con un training estremamente rapido (3 min), ma LSTM ha offerto un miglior compromesso qualità/complessità.
• Riduzione dei Tempi di Elaborazione:
  • Il tempo medio di elaborazione è sceso da 22,5 minuti (manuale) a 10,25 minuti (automatizzato + revisione umana), una riduzione del 54%.
  • L'inferenza del modello ML avviene in meno di 2 secondi; il tempo residuo è dovuto alla revisione umana e all'instradamento.
• Scalabilità:
  • Il sistema mantiene prestazioni stabili sotto carico. Con 20 richieste concorrenti, la latenza aumenta solo del 25%.
  • Anche a 100 richieste concorrenti, il sistema automatizzato (18,6 min) rimane più veloce della gestione manuale (22,5 min).
• Classificazione per Dominio:
  • I domini con terminologia specializzata (es. Abitazioni e Servizi Pubblici) hanno ottenuto i punteggi F1 più alti (84%), mentre la categoria "Varie" ha mostrato le prestazioni più basse (71%) a causa della sua eterogeneità.

5. Significato e Implicazioni

Il paper dimostra che l'adozione di tecniche di Deep Learning, in particolare architetture ibride come Word2Vec + LSTM, può risolvere efficacemente i colli di bottiglia nei servizi governativi digitali, offrendo un equilibrio ottimale tra accuratezza ed efficienza computazionale rispetto ai modelli Transformer più pesanti (come BERT).

• Efficienza Operativa: La riduzione del 54% nei tempi di elaborazione libera risorse umane per compiti a maggior valore aggiunto.
• Adattabilità: L'approccio "Human-in-the-loop" permette al sistema di migliorare continuamente man mano che gli operatori correggono le previsioni, trasformando il processo di revisione in un meccanismo di annotazione scalabile.
• Deploy Reale: Il sistema è stato implementato con successo in un'agenzia governativa, validando la sua fattibilità tecnica e operativa in un ambiente di produzione reale con vincoli normativi e di sicurezza dei dati.

In sintesi, lo studio fornisce una roadmap pratica per la digitalizzazione dei servizi pubblici, dimostrando che soluzioni NLP meno complesse ma ben ottimizzate possono superare i limiti dei processi manuali e offrire vantaggi immediati rispetto a modelli di stato dell'arte eccessivamente costosi in termini di risorse.