Technische Samenvatting: GuidaPA – Privacy-bewuste Chatbot voor Publieke Administratie via Federated Learning

1. Probleemstelling

De implementatie van Large Language Model (LLM) chatbots binnen de Publieke Administratie (PA) stuit op aanzienlijke barrières door organisatorische silo's, regelgevende beperkingen en privacyvereisten. Conventionele gecentraliseerde training is vaak onpraktisch omdat gevoelige institutionele gegevens (bijv. interne handleidingen, supporttickets, extracten uit databases) niet in één centrale opslagplaats kunnen worden samengevoegd zonder de soevereiniteit van gegevens of governance-richtlijnen te schenden. Daartegenover staan volledig gelokaliseerde oplossingen die kostbaar zijn en leiden tot inconsistent gedrag tussen verschillende administratieve kantoren.

De kernuitdaging is het ontwikkelen van een conversationeel AI-systeem dat:

1. Data-lokaliteit behoudt: Houdt gevoelige documentatie binnen de individuele PA-kantoren.
2. Domeinadaptatie waarborgt: Past algemene LLM's aan op specifieke PA-terminologie en procedurele workflows (bijv. machtigingsverzoeken, toegang tot boekhouding).
3. Toegangscontrole afdwingt: Garandeert dat gebruikers alleen toegang hebben tot informatie die relevant is voor hun institutionele rollen (bijv. burgers versus ambtenaren).
4. Omgaat met Non-IID Data: Beheert het feit dat verschillende kantoren gerelateerde maar verschillende datasets bezitten (niet-onafhankelijk en niet identiek verdeeld).

2. Methodologie

De auteurs stellen GuidaPA voor, een systeemarchitectuur die Federated Learning (FL) integreert met rolgebaseerde toegangscontrole (RBAC) en veilige verwerking aan de client-zijde.

Systeemarchitectuur

GuidaPA bestaat uit vier primaire componenten:

• Conversation Manager: Het toegangspunt voor gebruikersinteractie. Het handhaaft RBAC door gebruikersgegevens te valideren en de context van het model te beperken tot geautoriseerde databronnen. Het voorkomt prompt injection-aanvallen door expliciet de toegang tot beperkte inhoud te blokkeren op basis van de rol van de gebruiker (bijv. een SIGESON-ambtenaar kan geen toegang krijgen tot SIDFORS-gegevens).
• Federated Learning (FL) Module: Orquestreert collaboratieve training zonder ruwe data te delen. Clients (PA-kantoren) trainen lokale modellen op hun private datasets en verzenden alleen modelupdates (gewichten) naar een centrale server. De server aggregeert deze updates met behulp van FedAvg (gewogen naar datasetgrootte) om een globaal model te creëren, dat vervolgens naar de clients wordt herverdeeld.
• Client Data Pipeline: Verwerkt veilige lokale voorbewerking. Ruwe documenten (PDF/HTML) worden lokaal geëxtraheerd, opgeschoond en omgezet naar instructie-tuning formaten. Geen enkele ruwe data verlaat de client-omgeving.
• Performance Module: Monitort de kwaliteit van globale en lokale modellen en kwantificeert de heterogeniteit van data (non-IID effecten) met behulp van statistische maten zoals de Jensen–Shannon Divergentie (JSD) en de Hellinger-afstand (HD).

Experimentele Opstelling

• Databronnen: De studie maakt gebruik van publieke documentatie van twee Italiaanse PA-platforms beheerd door het Ministerie van Ondernemerschap en "Made in Italy" (MIMIT):
  • SIGESON: Beheer van radio-omroep (8 pagina's handleidingen + FAQ's).
  • SIDFORS: Netwerkautorisatie voor elektronische communicatie (31 pagina's handleidingen + FAQ's).
  • Noot: Deze publieke documenten dienen als een "veilige proxy" voor beperkte interne bronnen.
• Modellen: De studie evalueert acht LLM's, inclus_ief Italiaans-gecentreerde modellen (bijv. cerbero-7b, zefiro-7b) en meertalige baselines (bijv. Llama-3.1-8B, Mistral-7B).
• Trainingsprotocol:
  • Fine-tuning: Parameter-Efficient Fine-Tuning (PEFT) met behulp van QLoRA (4-bit kwantisatie) met een LoRA rank $r=32$.
  • Federated Rounds: 15 server-rondes met 1 lokale epoch per ronde.
  • Split: 80/20 train-test split per client.
  • Hardware: Enkele GPU workstation (RTX A6000).

3. Belangrijkste Bijdragen

1. Eerste FL-toepassing in de Italiaanse PA: Dit is de eerste studie die Federated Learning toepast op LLM-gebaseerde chatbots specifiek binnen de context van de Italiaanse Publieke Administratie, waarbij rekening wordt gehouden met de unieke beperkingen van institutionele datasilo's.
2. Geïntegreerd Deployment Framework: In tegen tegenstelling tot eerder FL-onderzoek dat zich enkel richtte op modeltraining, integreert GuidaPA mechanismen op applicatieniveau die essentieel zijn voor de PA:
   • Rolgebaseerde toegangscontrole (RBAC) afgedwongen op conversatieniveau.
   • Veilige client-zijde preprocessing pipelines.
   • Expliciete monitoring van non-IID data-effecten.
3. Empirische Validatie van Nabij-Gecentraliseerde Kwaliteit: De studie levert bewijs dat federated fine-tuning prestaties kan leveren die vergelijkbaar zijn met private gecentraliseerde training, terwijl de data lokaal blijft.
4. Kwantificering van Institutionele Non-IID: De auteurs demonstreren dat hoewel PA-datasets non-IID zijn (door verschillende procedurele verticale segmenten), de divergentie matig genoeg is om stabiele globale aggregatie mogelijk te maken zonder complexe personalisatiemechanismen.

4. Resultaten

De evaluatie vergelijkt de Federated Learning (FL) modellen met een Private Centralized Baseline (waar alle data is samengevoegd) en een General-Purpose Baseline (pre-trained modellen zonder fine-tuning).

• Domeinadaptatie: Fine-tuning presteert significant beter dan general-purpose modellen. Voor het beste model (cerbero-7b-openchat) verbeterde ROUGE-1 van 41.45 naar 62.18, en BLEU-4 van 26.97 naar 50.90.
• Federated vs. Centralized: Het beste federated model (cerbero-7b-openchat) behaalde scores die zeer dicht bij de gecentraliseerde baseline lagen:
  • ROUGE-1: 61.10 (FL) vs. 62.18 (Centralized).
  • BLEU-4: 45.02 (FL) vs. 50.90 (Centralized).
  • METEOR: 63.94 (FL) vs. 64.17 (Centralized).
• Lokale Prestaties: De prestaties varieerden per client. Het cerbero-7b model presteerde het best op de SIGESON-dataset, terwijl cerbero-7b-openchat uitblonk op de SIDFORS-dataset, wat de impact van data-heterogeniteit benadrukt.
• Non-IID Analyse: Lexicale divergentie (gemeten via HD en JSD) bleek matig te zijn, wat consistent is met gedeelde regelgevende taal maar verschillende domein-terminologieën, wat de stabiliteit van de federated aggregatie ondersteunt.

5. Betekenis en Claims

Het artikel claimt dat GuidaPA aantoont dat privacy-bewuste conversationele AI in publieke diensten haalbaar is zonder de noodzaak voor gecentraliseerde data-pooling.

• Praktische Leefbaarheid: De resultaten suggereren dat PA-entiteiten kunnen samenwerken om hoogwaardige assistenten te bouren terwijl zij voldoen aan strikte eisen voor datasoevereiniteit en governance.
• Gebalanceerde Trade-offs: Het systeem balanceert succesvol schaalbaarheid, dataprotectie en bruikbaarheid. Het biedt een praktisch alternatief voor het bouwen van gecentraliseerde datarepositories, die vaak traag, duur of juridisch beperkt zijn.
• Ondersteuning van Governance: Door RBAC en non-IID monitoring te integreren, ondersteunt het framework een governance-workflow die geschikt is voor implementatie in omgevingen met evoluerende lokale data en strikte toegangsbeleid.

De auteurs blijven bescheiden en merken op dat de studie publieke documentatie gebruikt als een proxy en dat de omvang van de dataset klein is. Zij presenteren de resultaten als bewijs van haalbaarheid in plaats van een garantie dat het framework ongewijzigd zal schalen naar grotere, luidruchtigere en heterogene institutionele corpora zonder verdere optimalisatie. Toekomstig werk wordt voorgesteld om sterkere non-IID settings aan te pakken, differential privacy te incorporeren en menselijke evaluatie toe te voegen.