AI Appeals Processor: A Deep Learning Approach to Automated Classification of Citizen Appeals in Government Services

1. Problema

As agências governamentais enfrentam um aumento significativo no volume de apelos de cidadãos (reclamações, solicitações e propostas), especialmente em formato eletrônico. O processamento tradicional é predominantemente manual, apresentando as seguintes limitações críticas:

• Tempo de Processamento: Média de 20 minutos por apelo.
• Precisão: Taxa de classificação de apenas 67%.
• Gargalos: Essas métricas criam atrasos na entrega de serviços públicos e dificultam o cumprimento de prazos regulatórios.
• Desafios Específicos: A aplicação de técnicas de Processamento de Linguagem Natural (NLP) em textos em russo é complexa devido à morfologia rica (flexão extensa), terminologia específica de domínio e a necessidade de integração com sistemas legados governamentais.

2. Metodologia

O artigo propõe o AI Appeals Processor, um sistema baseado em microserviços que integra NLP e aprendizado profundo para classificar e rotear apelos automaticamente.

• Arquitetura do Sistema:

  • Baseada em microserviços (Frontend, Backend, Módulo de IA, Banco de Dados e Camada de Integração REST).
  • Implementado com Docker e orquestrado via Kubernetes para escalabilidade horizontal.
  • Pipeline de processamento de texto: Normalização, tokenização, remoção de stop-words (lista russa do NLTK) e lematização usando pymorphy2.

• Conjunto de Dados:

  • 10.000 apelos reais de cidadãos em russo.
  • Tarefas de Classificação:
    1. Tipo de Apelo (3 classes): Reclamações (zhaloby), Solicitações (zayavleniya), Propostas (predlozheniya).
    2. Domínio Temático (7 classes): Habitação, Saúde, Educação, Transporte, Desenvolvimento Urbano, Bem-estar Social e Diversos.
  • Divisão: 70% treino, 15% validação, 15% teste (amostragem estratificada).

• Modelos Avaliados:
  O estudo comparou seis abordagens, desde baselines manuais até modelos de deep learning:

  1. Baseline Manual: Operadores humanos (67% de precisão).
  2. BoW + SVM: Bolsa de palavras com Máquina de Vetores de Suporte.
  3. TF-IDF + SVM: Frequência Term-Inverso Documento com SVM.
  4. fastText: Classificador supervisionado com n-grams de caracteres (captura padrões morfológicos sem lematização explícita).
  5. Word2Vec + LSTM: Embeddings de palavras (128 dimensões) alimentando uma rede LSTM unidirecional.
  6. BERT: Modelo fine-tuned (bert-base-multilingual-cased).

• Configuração de Produção:
  A arquitetura Word2Vec + LSTM foi selecionada para implantação, oferecendo o melhor equilíbrio entre precisão e eficiência computacional.

3. Contribuições Principais

1. Avaliação Abrangente: Comparação sistemática de cinco abordagens de ML em um dataset real de 10.000 apelos em russo.
2. Arquitetura de Microserviços: Um sistema pronto para produção que integra classificação de NLP com sistemas de gerenciamento de documentos governamentais.
3. Benchmarks Específicos de Domínio: Análise detalhada de desempenho por categoria temática (7 domínios).
4. Ciclo de Feedback Humano-no-Loop: Demonstração de como a reclassificação por operadores humanos alimenta o re-treinamento iterativo do modelo, melhorando a precisão ao longo do tempo.
5. Análise de Escalabilidade: Validação do desempenho sob carga concorrente em ambiente real.

4. Resultados

• Desempenho de Classificação (Tipo de Apelo - 3 classes):

  • Word2Vec + LSTM: Alcançou 78% de precisão (F1-Score), superando a baseline manual em 11 pontos percentuais.
  • BERT: Obteve a maior precisão (82%), mas exigiu 2,5x mais tempo de treinamento e recursos computacionais significativamente maiores.
  • fastText: Alcançou 76% com apenas 3 minutos de treinamento, demonstrando eficiência notável.
  • Seleção: O modelo LSTM foi escolhido por equilibrar qualidade (78%) e custo computacional.

• Classificação por Domínio (7 classes):

  • Precisão variou de 71% (categoria "Diversos") a 84% (Habitação e Utilidades). Domínios com vocabulário especializado performaram melhor.

• Eficiência Operacional:

  • Redução de Tempo: O tempo médio de processamento caiu de 22,5 min (manual) para 10,25 min (automatizado), uma redução de 54%.
  • Latência de Inferência: A inferência do modelo (pré-processamento + previsão) leva menos de 2 segundos. O tempo restante é dominado pela revisão humana e roteamento.

• Escalabilidade:

  • O sistema manteve desempenho estável sob carga. Com 20 requisições simultâneas, a latência aumentou apenas 25%. Mesmo com 100 requisições, o sistema automatizado (18,6 min) permaneceu mais rápido que o processamento manual (22,5 min).

• Melhoria Contínua:

  • Após a implantação, o re-treinamento iterativo com dados verificados por operadores aumentou a precisão além dos 78% iniciais, validando a eficácia do ciclo de feedback.

5. Significado e Conclusão

O artigo demonstra que a aplicação de técnicas modernas de NLP e aprendizado profundo pode transformar significativamente a eficiência dos serviços governamentais digitais.

• Viabilidade Técnica: A arquitetura Word2Vec+LSTM provou ser superior a abordagens tradicionais (SVM) e mais eficiente em recursos do que modelos Transformer pesados (BERT) para este contexto específico de língua russa e volume de dados moderado.
• Impacto Prático: A redução de 54% no tempo de processamento e o aumento de precisão aliviam gargalos operacionais, permitindo que as agências atendam melhor aos cidadãos.
• Sustentabilidade: A abordagem de "humano-no-loop" não é vista como uma falha, mas como um mecanismo escalável de anotação que melhora continuamente o modelo.
• Relevância para o Setor Público: O sistema oferece um modelo replicável para digitalização governamental, demonstrando como integrar IA em infraestruturas existentes com requisitos de conformidade e privacidade de dados.

O trabalho conclui que, embora modelos como BERT ofereçam ganhos marginais de precisão, soluções mais leves e eficientes como LSTM são mais adequadas para ambientes governamentais com restrições de recursos computacionais, especialmente quando combinadas com ciclos de melhoria contínua baseados em dados humanos.