Content-Based Smart E-Mail Dispatcher Using Large Language Models

Résumé Technique : Diffuseur d'E-mails Intelligent Basé sur le Contenu Utilisant des Grands Modèles de Langage

Énoncé du Problème
L'article traite de l'inefficacité et de la charge cognitive associées au traitement manuel de volumes élevés d'e-mails dans les grandes organisations, plus précisément dans un contexte de collège d'ingénieurs. Bien que l'e-mail reste omniprésent, la lecture et le transfert manuels des notifications académiques et des circulaires des boîtes de réception départementales vers des groupes WhatsApp d'étudiants spécifiques sont décrits comme étant sujets aux erreurs, chronophages et stressants pour le personnel. Les flux de travail manuels actuels créent des goulots d'étranglement où le personnel doit lire, interpréter et acheminer des contenus divers vers les bons lots (définis par l'année académique et le programme) sans automatisation. Les solutions automatisées existantes reposent souvent sur une simple correspondance de mots-clés dans les objets ou sur le transfert d'e-mails provenant de comptes spécifiques sans analyser le contenu sémantique, échouant ainsi à gérer la nuance requise pour un routage précis.

Méthodologie
La solution proposée est un « Diffuseur d'E-mails Intelligent Basé sur le Contenu » (SEDS) qui exploite les Grands Modèles de Langage (LLM) et un cadre basé sur des agents pour automatiser la classification et le routage des e-mails. Le système fonctionne via un processus en trois étapes :

1. Capture de Données : Le système ingère les messages d'e-mails et leurs pièces jointes. Pendant le développement, ces données sont lues hors ligne ; lors du déploiement, il se connecte directement à la boîte de réception de messagerie.
2. Analyse de Contenu : Il s'agit de l'étape de calcul centrale. Le système utilise un cadre d'agents d'IA (utilisant la bibliothèque Langchain) où des agents interrogent des LLM via des API. Les agents utilisent l'ingénierie de prompts pour analyser le contenu textuel de l'e-mail et de ses pièces jointes. Les prompts fournissent le contenu de l'e-mail, des instructions et du contexte, permettant au LLM de déterminer la pertinence sémantique du message.
3. Diffusion : Sur la base de l'analyse du LLM, l'agent identifie les groupes WhatsApp cibles spécifiques (par exemple, des lots d'étudiants ou des groupes de professeurs spécifiques) et publie automatiquement le message et les pièces jointes dans ces groupes.

Le système est conçu pour fonctionner sans ensembles de données étiquetés, s'appuyant plutôt sur la capacité intrinsèque du LLM à comprendre le contexte et à effectuer une classification zero-shot ou few-shot. L'ensemble de données utilisé pour la validation consistait en plus de 1 000 e-mails soigneusement sélectionnés relatifs aux étudiants et aux professeurs.

Principales Contributions

• Routage Piloté par LLM : L'article introduit un mécanisme qui dépasse le filtrage par mots-clés pour passer à une analyse de contenu sémantique pour le routage des e-mails vers des groupes organisationnels spécifiques.
• Architecture Basée sur des Agents : L'implémentation utilise un cadre multi-agents où un agent identifie la catégorie de l'e-mail et les agents suivants gèrent les actions de routage spécifiques vers des outils de diffusion personnalisés.
• Fonctionnement Sans Jeu de Données : Le système est mis en avant pour ne pas nécessiter d'efforts manuels extensifs pour créer des ensembles de données d'entraînement étiquetés, un obstacle courant pour les approches traditionnelles d'apprentissage automatique dans ce domaine.
• Gestion des Structures Dynamiques : L'approche répond au défi des structures de groupes dynamiques (par exemple, de nouveaux lots ajoutés annuellement) qui compliquent souvent les systèmes statiques basés sur des règles ou du clustering.

Résultats
Les auteurs ont évalué le système en utilisant quatre plateformes de LLM différentes : Gemini, ChatGPT, DeepSeek et Perplexity AI. La métrique de performance était la précision de classification stricte, définie comme la capacité du modèle à identifier tous les groupes cibles corrects sans groupes supplémentaires ou manquants.

• Gemini a obtenu la précision la plus élevée à 93,5 %.
• ChatGPT a suivi de près avec 92 %.
• Perplexity et DeepSeek ont obtenu respectivement 82,5 % et 80 %.

L'analyse des erreurs de classification a révélé que les erreurs se produisaient souvent avec les circulaires concernant la « notation et la revalorisation », où le modèle recommandait parfois de partager du contenu réservé aux professeurs avec des groupes d'étudiants. Cependant, le système a réussi à mapper les circulaires mentionnant des séries de lots (même sans années spécifiques) vers les cibles appropriées.

Signification et Revendications
L'article affirme que ce système représente une étape significative vers l'automatisation de la gestion des e-mails institutionnels. En intégrant des modèles basés sur les transformers et des techniques d'apprentissage non supervisé, le système répond aux défis liés à la compréhension sémantique et au traitement des données non structurées. Les auteurs affirment que le système :

• Améliore la Productivité : Il réduit considérablement la charge de travail manuelle et la charge cognitive du personnel, leur permettant de se concentrer sur des tâches prioritaires.
• Garantit la Ponctualité : Il facilite un flux d'informations fluide, garantissant que les étudiants reçoivent les mises à jour académiques rapidement via leurs canaux de communication préférés (WhatsApp).
• Réduit les Erreurs : L'automatisation minimise les erreurs humaines associées au transfert manuel.
• Polyvalence : Le système est capable de traiter divers formats, y compris les PDF, les images et les documents Word.

Les auteurs positionnent ce travail comme une « pierre de touche » pour de futures innovations, notant que les prochaines itérations se concentreront sur la synthèse du contenu des e-mails avant la diffusion afin de fournir des notifications concises. Ils déclarent explicitement que le remplacement du LLM par des modèles d'apprentissage automatique ou d'apprentissage profond traditionnels serait difficile en raison du besoin de données étiquetées et de la difficulté à gérer la sélection multi-labels (plusieurs groupes cibles) et l'ajout de groupes dynamiques.