Content-Based Smart E-Mail Dispatcher Using Large Language Models

Resumo Técnico: Despachador de E-mail Inteligente Baseado em Conteúdo Utilizando Grandes Modelos de Linguagem

Definição do Problema
O artigo aborda a ineficiência e a carga cognitiva associadas ao processamento manual de altos volumes de e-mails em grandes organizações, especificamente no contexto de uma faculdade de engenharia. Embora o e-mail continue ubíquo, a leitura e o encaminhamento manuais de notificações acadêmicas e circulares das caixas de entrada departamentais para grupos específicos de WhatsApp de estudantes é descrito como propenso a erros, demorado e estressante para os funcionários. Os fluxos de trabalho manuais atuais criam gargalos onde os funcionários devem ler, interpretar e rotear conteúdos diversos para as turmas corretas (definidas por ano acadêmico e programa) sem automação. As soluções automatizadas existentes frequentemente dependem de uma simples correspondência de palavras-chave nos assuntos ou no encaminhamento de e-mails de contas específicas sem analisar o conteúdo semântico, falhando em lidar com a nuance necessária para um roteamento preciso.

Metodologia
A solução proposta é um "Despachador de E-mail Inteligente Baseado em Conteúdo" (SEDS) que utiliza Grandes Modelos de Linguagem (LLMs) e um framework baseado em agentes para automatizar a classificação e o roteamento de e-mails. O sistema opera através de um processo de três etapas:

1. Captura de Dados: O sistema ingere mensagens de e-mail e seus anexos. Durante o desenvolvimento, esses dados são lidos offline; na implementação, ele se conecta diretamente à caixa de entrada de e-mail.
2. Análise de Conteúdo: Esta é a etapa computacional central. O sistema emprega um framework de agentes de IA (utilizando a biblioteca Langchain) onde agentes consultam LLMs via APIs. Os agentes utilizam engenharia de prompt para analisar o conteúdo textual do e-mail e de seus anexos. Os prompts fornecem o conteúdo do e-mail, instruções e contexto, permitindo que o LLM determine a relevância semântica da mensagem.
3. Despacho: Com base na análise do LLM, o agente identifica os grupos de WhatsApp específicos (por exemplo, turmas de estudantes específicas ou grupos de docentes) e posta automaticamente a mensagem e os anexos nesses grupos.

O sistema foi projetado para funcionar sem conjuntos de dados rotulados, baseando-se, em vez disso, na capacidade inerente do LLM de compreender o contexto e realizar classificação zero-shot ou few-shot. O conjunto de dados usado para validação consistiu em mais de 1.000 e-mails cuidadosamente selecionados relacionados a estudantes e docentes.

Principais Contribuições

• Roteamento Impulsionado por LLM: O artigo introduz um mecanismo que vai além da filtragem baseada em palavras-chave para a análise de conteúdo semântico para o roteamento de e-mails para grupos organizacionais específicos.
• Arquitetura Baseada em Agentes: A implementação utiliza um framework multi-agente onde um agente identifica a categoria do e-mail e agentes subsequentes lidam com as ações de roteamento específicas para ferramentas de despacho customizadas.
• Operação Livre de Datasets: O sistema é destacado por não exigir esforço manual extensivo para criar conjuntos de dados de treinamento rotulados, um obstáculo comum para as abordagens tradicionais de aprendizado de máquina neste domínio.
• Lidando com Estruturas Dinâmicas: A abordagem aborda o desafio das estruturas de grupo dinâmicas (por exemplo, novas turmas adicionadas anualmente), que frequentemente complicam sistemas baseados em regras estáticas ou agrupamento (clustering).

Resultos
Os autores avaliaram o sistema utilizando quatro plataformas diferentes de LLM: Gemini, ChatGPT, DeepSeek e Perplexity AI. A métrica de desempenho foi a precisão de classificação estrita, definida como o modelo identificando todos os grupos de destino corretos, sem grupos extras ou ausentes.

• O Gemini alcançou a maior precisão de 93,5%.
• O ChatGPT seguiu de perto com 92%.
• O Perplexity e o DeepSeek pontuaram 82,5% e 80%, respectivamente.

A análise das classificações incorretas revelou que os erros ocorriam frequentemente com circulares sobre "avaliação e reavaliação", onde o modelo às vezes recomendava incorretamente o compartilhamento de conteúdo exclusivo para docentes com grupos de estudantes. No entanto, o sistema mapeou com sucesso circulares que mencionavam séries de turmas (mesmo sem anos específicos) para os alvos corretos.

Significância e Alegações
O artigo afirma que este sistema representa um passo significativo à frente na automação do gerenciamento de e-mails institucionais. Ao integrar modelos baseados em transformer e técnicas de aprendizado não supervisionado, o sistema aborda desafios relacionados à compreensão semântica e ao processamento de dados não estruturados. Os autores afirmam que o sistema:

• Aumenta a Produtividade: Reduz significativamente a carga de trabalho manual e a carga cognitiva dos funcionários, permitindo que foquem em tarefas de alta prioridade.
• Garante a Pontualidade: Facilita um fluxo suave de informações, garantindo que os estudantes recebam atualizações acadêmicas prontamente através de seus canais de comunicação preferidos (WhatsApp).
• Reduz Erros: A automação minimiza os erros humanos associados ao encaminhamento manual.
• Versatilidade: O sistema é capaz de processar diversos formatos, incluindo PDFs, imagens e documentos do Word.

Os autores posicionam este trabalho como um "degrau" para futuras inovações, observando que as próximas iterações focarão em resumir o conteúdo do e-mail antes do despacho para fornecer notificações concisas. Eles declaram explicitamente que substituir o LLM por modelos tradicionais de aprendizado de máquina ou aprendizado profundo seria desafiador devido à necessidade de dados rotulados e à dificuldade em lidar com a seleção multi-rótulo (múltiplos grupos de destino) e adições dinâmicas de grupos.