Sintesi Tecnica: GuidaPA – Chatbot per la Pubblica Amministrazione che preserva la privacy tramite il Federated Learning

1. Definizione del Problema

L'implementazione di chatbot basati su Large Language Models (LLM) all'interno della Pubblica Amministrazione (PA) affronta barriere significative dovute ai silos organizzativi, ai vincoli normativi e ai requisoli di privacy. L'addestramento centralizzato convenzionale è spesso impraticabile perché i dati istituzionali sensibili (ad esempio, manuali interni, ticket di supporto, estratti di database) non possono essere raggruppati in un unico repository senza violare la sovranità dei dati o le politiche di governance. Al contrario, le soluzioni completamente localizzate sono costose e portano a comportamenti inconsistenti tra i diversi uffici amministrativi.

La sfida principale è sviluppare un sistema di IA conversazionale che:

1. Preservi la Località dei Dati: Mantenga la documentazione sensibile all'interno dei singoli uffici della PA.
2. Garantisca l'Adattamento al Dominio: Adatti gli LLM general-purpose alla terminologia specifica e ai flussi di lavoro procedurali della PA (ad esempio, richieste di autorizzazione, accesso alla contabilità).
3. Applichi il Controllo degli Accessi: Garantisca che gli utenti accedano solo alle informazioni rilevanti per i loro ruoli istituzionali (ad esempio, cittadini rispetto a funzionari).
4. Gestisca i Dati Non-IID: Gestisca il fatto che i diversi uffici possiedano dataset correlati ma distinti (non indipendenti e non identicamente distribuiti).

2. Metodologia

Gli autori propongono GuidaPA, un'architettura di sistema che integra il Federated Learning (FL) con il controllo degli accessi basato sui ruoli (RBAC) e l'elaborazione sicura lato client.

Architettura del Sistema

GuidaPA è composto da quattro componenti primari:

• Conversation Manager: Il punto di ingresso per l'interazione dell'utente. Applica l'RBAC validando le credenziali dell'utente e limitando il contesto del modello alle fonti di dati autorizzate. Impedisce attacchi di prompt injection bloccando esplicitamente l'accesso a contenuti riservati in base al ruolo dell'utente (ad esempio, un funzionario SIGESON non può accedere ai dati SIDFORS).
• Modulo di Federated Learning (FL): Orchestra l'addestramento collaborativo senza condividere dati grezzi. I client (uffici della PA) addestrano modelli locali sui propri dataset privati e trasmettono solo gli aggiornamenti del modello (pesi) a un server centrale. Il server aggrega questi aggiornamenti utilizzando FedAvg (pesato in base alla dimensione del dataset) per creare un modello globale, che viene poi ridistribuito ai client.
• Pipeline dei Dati del Client: Gestisce il pre-processing locale sicuro. I documenti grezzi (PDF/HTML) vengono estratti, puliti e convertiti in formati di instruction-tuning localmente. Nessun dato grezzo lascia l'ambiente del client.
• Modulo di Performance: Monitora la qualità del modello globale e locale e quantifica l'eterogeneità dei dati (effetti non-IID) utilizzando misure statistiche come la divergenza di Jensen–Shannon (JSD) e la distanza di Hellinger (HD).

Setup Sperimentale

• Fonti dei Dati: Lo studio utilizza la documentazione pubblica di due piattaforme della PA italiana gestite dal Ministero delle Imprese e del Made in Italy (MIMIT):
  • SIGESON: Gestione delle trasmissioni radio (8 pagine di manuali + FAQ).
  • SIDFORS: Autorizzazione delle reti di comunicazioni elettroniche (31 pagine di manuali + FAQ).
  • Nota: Questi documenti pubblici fungono da "proxy sicuro" per le fonti interne riservate.
• Modelli: Lo studio valuta otto LLM, inclusi modelli incentrati sulla lingua italiana (es. cerbero-7b, zefiro-7b) e baseline multilingue (es. Llama-3.1-8B, Mistral-7B).
• Protocollo di Addestramento:
  • Fine-tuning: Parameter-Efficient Fine-Tuning (PEFT) utilizzando QLoRA (quantizzazione a 4 bit) con rank LoRA $r=32$.
  • Round di Federated Learning: 15 round del server con 1 epoca locale per round.
  • Split: Split train-test 80/20 per client.
  • Hardware: Singola workstation con GPU (RTX A6000).

3. Contributi Chiave

1. Prima Applicazione FL nella PA Italiana: Questo è il primo studio ad applicare il Federated Learning a chatbot basati su LLM specificamente all'interno del contesto della Pubblica Amministrazione italiana, affrontando i vincoli unici dei silos di dati istituzionali.
2. Framework di Deployment Integrato: A differenza della precedente ricerca sul FL focalizzata esclusivamente sull'addestramento del modello, GuidaPA integra meccanismi a livello di applicazione essenziali per la PA:
   • Controllo degli accessi basato sui ruoli (RBAC) applicato a livello di conversazione.
   • Pipeline di pre-processing sicure lato client.
   • Monitoraggio esplicito degli effetti dei dati non-IID.
3. Validazione Empirica della Qualità Quasi-Centralizzata: Lo studio fornisce prove che il fine-tuning federato può raggiungere prestazioni comparabili all'addestramento centralizzato privato mantenendo i dati locali.
4. Quantificazione del Non-IID Istituzionale: Gli autori dimostrano che, sebbene i dataset della PA siano non-IID (a causa di verticali procedurali distinti), la divergenza è moderata abbastanza da permettere una aggregazione globale stabile senza meccanismi di personalizzazione complessi.

4. Risultati

La valutazione confronta i modelli di Federated Learning (FL) con una Baseline Centralizzata Privata (dove tutti i dati sono raggruppati) e una Baseline General-Purpose (modelli pre-addestrati senza fine-tuning).

• Adattamento al Dominio: Il fine-tuning supera significativamente i modelli general-purpose. Per il miglior modello (cerbero-7b-openchat), il ROUGE-1 è migliorato da 41.45 a 62.18, e il BLEU-4 da 26.97 a 50.90.
• Federated vs. Centralized: Il miglior modello federato (cerbero-7b-openchat) ha ottenuto punteggi molto vicini alla baseline centralizzata:
  • ROUGE-1: 61.10 (FL) vs. 62.18 (Centralizzato).
  • BLEU-4: 45.02 (FL) vs. 50.90 (Centralizzato).
  • METEOR: 63.94 (FL) vs. 64.17 (Centralizzato).
• Performance Locale: Le prestazioni sono variate per client. Il modello cerbero-7b ha performato meglio sul dataset SIGESON, mentre cerbero-7b-openchat eccelleva sul dataset SIDFORS, evidenziando l'impatto dell'eterogeneità dei dati.
• Analisi Non-IID: La divergenza lessicale (misurata tramite HD e JSD) è risultata moderata, coerente con un linguaggio normativo condiviso ma con terminologie di dominio distinte, supportando la stabilità dell'aggregazione federata.

5. Significato e Claim

Il paper sostiene che GuidaPA dimostra la fattibilità di un'IA conversazionale che preserva la privacy nei servizi pubblici senza la necessità di raggruppare i dati in modo centralizzato.

• Viabilità Pratica: I risultati suggeriscono che le entità della PA possono collaborare per costruire assistenti di alta qualità pur rispettando i rigorosi vincoli di sovranità dei dati e di governance.
• Equilibrio dei Trade-off: Il sistema bilancia con successo scalabilità, protezione dei dati e usabilità. Offre un'alternativa pratica alla creazione di repository di dati centralizzati, che sono spesso lenti, costosi o legalmente vincolati.
• Supporto alla Governance: Integrando RBAC e monitoraggio non-IID, il framework supporta un flusso di lavoro di governance adatto a contesti con dati locali in evoluzione e politiche di accesso rigorose.

Gli autori rimangono modesti, osservando che lo studio utilizza la documentazione pubblica come proxy e che la dimensione del dataset è ridotta. Inquadrano i risultati come prova di fattibilità piuttosto che come una garanzia che il framework possa scalare invariato verso corpora istituzionali più grandi, rumorosi e più eterogenei senza ulteriori ottimizzazioni. Il lavoro futuro proposto mira ad affrontare scenari non-IID più forti, includere la privacy differenziale e includere la valutazione umana.