Resumo Técnico: GuidaPA – Chatbot de Preservação de Privacidade para a Administração Pública via Aprendizado Federado

1. Declaração do Problema

A implementação de chatbots baseados em Grandes Modelos de Linguagem (LLMs) na Administração Pública (AP) enfrenta barreiras significativas devido a silos organizacionais, restrições regulatórias e requisitos de privacidade. O treinamento centralizado convencional é frequentemente impraticável porque dados institucionais sensíveis (ex: manuais internos, tickets de suporte, extratos de bancos de dados) não podem ser agrupados em um único repositório sem violar a soberania de dados ou as políticas de governança. Por outro outro lado, soluções totalmente localizadas são dispendiosas e levam a comportamentos inconsistentes entre diferentes órgãos administrativos.

O desafio central é desenvolver um sistema de IA conversacional que:

1. Preserve a Localidade dos Dados: Mantenha a documentação sensível dentro de cada escritório da AP.
2. Garanta a Adaptação de Domínio: Adapte LLMs de propósito geral à terminologia específica da AP e aos fluxos de trabalho procedimentais (ex: solicitações de autorização, acesso contábil).
3. Aplique Controle de Acesso: Garanta que os usuários acessem apenas informações relevantes para suas funções institucionais (ex: cidadãos vs. agentes públicos).
4. Lide com Dados Não-IID: Gerencie o fato de que diferentes escritórios possuem conjuntos de dados relacionados, mas distintos (não independentes e não identicamente distribuídos).

2. Metodologia

Os autores propõem o GuidaPA, uma arquitetura de sistema que integra Aprendizado Federado (FL) com controle de acesso baseado em funções (RBAC) e processamento seguro no lado do cliente.

Arquitetura do Sistema

O GuidaPA consiste em quatro componentes primários:

• Gerenciador de Conversa: É o ponto de entrada para a interação do usuário. Ele aplica o RBAC validando as credenciais do usuário e restringindo o contexto do modelo às fontes de dados autorizadas. Ele evita ataques de injeção de prompt bloqueando explicitamente o acesso a conteúdos restritos com base na função do usuário (ex: um agente do SIGESON não pode acessar dados do SIDFORS).
• Módulo de Aprendizado Federado (FL): Orquestra o treinamento colaborativo sem compartilhar dados brutos. Os clientes (escritórios da AP) treinam modelos locais em seus conjuntos de dados privados e transmitem apenas atualizações de modelo (pesos) para um servidor central. O servidor agrega essas atualizações usando FedAvg (ponderado pelo tamanho do conjunto de dados) para criar um modelo global, que é então redistribuído aos clientes.
• Pipeline de Dados do Cliente: Lida com o pré-processamento local seguro. Documentos brutos (PDF/HTML) são extraídos, limpos e convertidos em formatos de ajuste de instrução (instruction-tuning) localmente. Nenhum dado bruto sai do ambiente do cliente.
• Módulo de Desempenho: Monitora a qualidade do modelo global e local e quantifica a heterogeneidade dos dados (efeitos não-IID) usando medidas estatísticas como a Divergência de Jensen–Shannon (JSD) e a Distância de Hellinger (HD).

Configuração Experimental

• Fontes de Dados: O estudo utiliza documentação pública de duas plataformas da AP italiana geridas pelo Ministério das Empresas e do Made in Italy (MIMIT):
  • SIGESON: Gestão de radiodifusão (8 páginas de manuais + FAQs).
  • SIDFORS: Autorização de redes de comunicações eletrônicas (31 páginas de manuais + FAQs).
  • Nota: Estes documentos públicos servem como um "proxy seguro" para fontes internas restritas.
• Modelos: O estudo avalia oito LLMs, incluindo modelos centrados no italiano (ex: cerbero-7b, zefiro-7b) e baselines multilingues (ex: Llama-3.1-8B, Mistral-7B).
• Protocolo de Treinamento:
  • Ajuste Fino (Fine-tuning): Ajuste fino eficiente de parâmetros (PEFT) usando QLoRA (quantização de 4 bits) com rank LoRA $r=32$.
  • Rodadas Federadas: 15 rodadas de servidor com 1 época local por rodada.
  • Divisão (Split): Divisão 80/20 treino-teste por cliente.
  • Hardware: Estação de trabalho com GPU única (RTX A6000).

3. Principais Contribuições

1. Primeira Aplicação de FL na AP Italiana: Este é o primeiro estudo a aplicar Aprendizado Federado a chatbots baseados em LLM especificamente dentro do contexto da Administração Pública italiana, abordando as restrições únicas de silos de dados institucionais.
2. Framework de Implantação Integrado: Diferente de pesquisas anteriores de FL focadas apenas no treinamento do modelo, o GuidaPA integra mecanismos de nível de aplicação essenciais para a AP:
   • Controle de Acesso Baseado em Funções (RBAC) aplicado ao nível da conversa.
   • Pipelines de pré-processamento seguros no lado do cliente.
   • Monitoramento explícito dos efeitos de dados não-IID.
3. Validação Empírica de Qualidade Próxima à Centralizada: O estudo fornece evidências de que o ajuste fino federado pode alcançar um desempenho comparável ao treinamento centralizado privado, mantendo os dados locais.
4. Quantificação de Não-IID Institucional: Os autores demonstram que, embora os conjuntos de dados da AP sejam não-IID (devido a verticais procedimentais distintas), a divergência é moderada o suficiente para permitir uma agregação global estável sem mecanismos de personalização complexos.

4. Resultados

A avaliação compara os modelos de Aprendizado Federado (FL) contra um Baseline Centralizado Privado (onde todos os dados são agrupados) e um Baseline de Propósito Geral (modelos pré-treinados sem ajuste fino).

• Adaptação de Domínio: O ajuste fino supera significativamente os modelos de propósito geral. Para o melhor modelo (cerbero-7b-openchat), o ROUGE-1 melhorou de 41.45 para 62.18, e o BLEU-4 de 26.97 para 50.90.
• Federado vs. Centralizado: O melhor modelo federado (cerbero-7b-openchat) alcançou pontuações muito próximas ao baseline centralizado:
  • ROUGE-1: 61.10 (FL) vs. 62.18 (Centralizado).
  • BLEU-4: 45.02 (FL) vs. 50.90 (Centralizado).
  • METEOR: 63.94 (FL) vs. 64.17 (Centralizado).
• Desempenho Local: O desempenho variou por cliente. O modelo cerbero-7b teve melhor desempenho no dataset SIGESON, enquanto o cerbero-7b-openchat se destacou no dataset SIDFORS, destacando o impacto da heterogeneidade dos dados.
• Análise Não-IID: A divergência lexical (medida por HD e JSD) foi considerada moderada, consistente com o uso de linguagem regulatória compartilhada, mas com terminologias de domínio distintas, apoiando a estabilidade da agregação federada.

5. Significância e Alegações

O artigo afirma que o GuidaPA demonstra a viabilidade de IA conversacional com preservação de privacidade em serviços públicos sem a necessidade de agrupamento centralizado de dados.

• Viabilidade Prática: Os resultados sugerem que entidades da AP podem colaborar para construir assistentes de alta qualidade enquanto aderem a rigorosas restrições de soberania e governança de dados.
• Equilíbrio de Trocas (Trade-offs): O sistema equilibra com sucesso escalabilidade, proteção de dados e usabilidade. Oferece uma alternativa prática para a construção de repositórios de dados centralizados, que costumam ser lentos, caros ou legalmente restritos.
• Suporte à Governança: Ao integrar RBAC e monitoramento de não-IID, o framework suporta um fluxo de trabalho de governança adequado para implantação em ambientes com dados locais em evolução e políticas de acesso estritas.

Os autores mantêm a modéstia, observando que o estudo utiliza documentação pública como um proxy e que o tamanho do dataset é pequeno. Eles apresentam os resultados como evidência de viabilidade, e não como uma garantia de que o framework escalará inalterado para corpora institucionais maiores, mais ruidosos e mais heterogêneos sem otimizações adicionais. Trabalhos futuros são propostos para abordar configurações de não-IID mais fortes, incorporar privacidade diferencial e incluir avaliação humana.