Natural Language Processing Models for Robust Document Categorization

Título: Modelos de Processamento de Linguagem Natural para Categorização Robusta de Documentos

1. Problema e Contexto

O trabalho aborda o desafio de automatizar a categorização e distribuição de documentos em fluxos de trabalho corporativos, especificamente focando em tickets de suporte técnico de TI. O problema central envolve a classificação de grandes volumes de dados textuais não estruturados em três categorias desbalanceadas:

• Problema (Problem): Falhas ou erros (7.120 observações).
• Solicitação (Request): Pedidos de informação ou assistência (3.479 observações).
• Alteração (Change): Problemas relacionados a atualizações ou propostas de mudança (1.280 observações).

O objetivo é desenvolver um sistema que equilibre alta precisão na classificação com eficiência computacional, permitindo a integração em pipelines de automação do mundo real sem criar gargalos de processamento.

2. Metodologia

Os autores compararam três abordagens de aprendizado de máquina com diferentes níveis de complexidade, utilizando o conjunto de dados "Customer IT Support - Ticket Dataset". O pré-processamento incluiu normalização de texto, remoção de caracteres especiais, stopwords e concatenação dos campos "assunto" e "corpo".

As três arquiteturas avaliadas foram:

1. Naïve Bayes: Um classificador probabilístico clássico, conhecido por sua extrema velocidade e baixo custo computacional, mas limitado na captura de dependências contextuais complexas.
2. LSTM Bidirecional (BiLSTM): Uma rede neural recorrente que processa sequências em ambas as direções (passado e futuro), permitindo uma melhor compreensão do contexto e dependências sintáticas dentro do texto.
3. BERT (Bidirectional Encoder Representations from Transformers): Um modelo baseado em transformers de grande escala, pré-treinado e ajustado (fine-tuned) para a tarefa específica. Utiliza mecanismos de atenção para capturar dependências de longo alcance e relações semânticas profundas.

Configuração Experimental:

• Validação cruzada k-fold executada 10 vezes para garantir robustez.
• Métricas de avaliação: Acurácia, Precisão, Revocação (Recall) e F1-Score.
• Hardware: NVIDIA GeForce RTX 3060.
• Tratamento de desbalanceamento: Uso de ponderação de classes (class weighting) no BERT e análise crítica da revocação nas classes minoritárias.

3. Principais Contribuições

• Sistema Demonstrativo Funcional: Implementação de um sistema completo de categorização e roteamento automático de tickets, projetado com escalabilidade horizontal e alta disponibilidade (arquitetura baseada em containers).
• Análise Comparativa de Trade-offs: Estudo detalhado que contrasta a precisão máxima dos modelos modernos (Transformers) contra a eficiência operacional de modelos mais simples, oferecendo diretrizes para a seleção de modelos em cenários industriais.
• Validação em Cenário de Dados Desbalanceados: Demonstração prática de como diferentes modelos lidam com classes minoritárias (categoria "Change"), um problema comum em dados do mundo real.

4. Resultados

Os experimentos revelaram diferenças significativas no desempenho e nos custos computacionais:

• BERT:

  • Desempenho: Alcançou a maior acurácia, consistentemente acima de 99% (média de 99,23%).
  • Métricas: Excelente precisão e revocação em todas as classes, incluindo a minoritária "Change" (F1 de 0,97).
  • Custo: Tempo de treinamento extremamente alto (aprox. 20 minutos por ciclo, totalizando mais de 1.100 segundos em testes), tornando-o pesado para inferência em tempo real em ambientes com recursos limitados.

• BiLSTM:

  • Desempenho: Ofereceu um equilíbrio ideal, atingindo ~98,56% de acurácia (melhor configuração: 98,81%).
  • Métricas: Alta precisão e revocação, superando significativamente o Naïve Bayes na classe "Change" (F1 de 0,95 vs 0,71).
  • Custo: Tempo de treinamento moderado (entre 66 e 320 segundos), com escalabilidade aceitável e tempos de inferência adequados para produção.

• Naïve Bayes:

  • Desempenho: Acurácia média de 94,5%.
  • Limitação: Embora seja o mais rápido (treinamento em milissegundos), sofreu severamente com a classe minoritária "Change", apresentando baixa revocação (0,55), indicando que frequentemente falhava em identificar essa categoria.
  • Custo: Mínimo consumo de recursos.

5. Significado e Conclusão

O estudo conclui que não existe uma solução única perfeita, mas sim um compromisso (trade-off) entre precisão e eficiência:

• Recomendação Principal: Para o cenário analisado (tickets de TI com recursos limitados e necessidade de escalabilidade), o modelo BiLSTM é a solução mais equilibrada. Ele oferece uma precisão próxima à do BERT (diferença marginal de ~0,7%) com custos computacionais drasticamente menores e tempos de inferência muito mais rápidos.
• Limitações do BERT: Embora seja o mais preciso, o custo computacional e o tempo de treinamento do BERT podem torná-lo impraticável para sistemas que exigem respostas em tempo real ou que operam em ambientes com hardware restrito, a menos que a precisão absoluta seja o único critério de decisão.
• Impacto Prático: O sistema demonstrado valida a viabilidade de automatizar o roteamento de solicitações técnicas, alcançando um volume de processamento inatingível por métodos manuais, enquanto fornece uma estrutura para futuras melhorias em arquiteturas de transformers mais leves.

Em suma, o trabalho destaca que, em aplicações industriais de automação de documentos, modelos intermediários como o BiLSTM frequentemente oferecem o melhor retorno sobre o investimento (ROI) em termos de desempenho versus custo computacional.