Content-Based Smart E-Mail Dispatcher Using Large Language Models

Sintesi Tecnica: Smistatore di E-mail Intelligente Basato sul Contenuto Utilizzando Modelli di Linguaggio di Grandi Dimensioni (LLM)

Problematica
Il documento affronta l'inefficienza e il carico cognitivo associati alla gestione manuale di grandi volumi di e-mail nelle grandi organizzazioni, specificamente nel contesto di un istituto di ingegneria. Sebbene l'e-mail rimanga onnipresente, la lettura e l'inoltro manuale delle notifiche accademiche e delle circolari dai database di dipartimento ai gruppi WhatsApp specifici degli studenti è descritto come un processo soggetto a errori, dispendioso in termini di tempo e stressante per il personale. Gli attuali flussi di lavoro manuali creano colli di bottiglia in cui il personale deve leggere, interpretare e instradare contenuti eterogenei verso i gruppi corretti (definiti per anno accademico e programma) senza automazione. Le soluzioni automatizzate esistenti spesso si affidano a un semplice abbinamento di parole chiave negli oggetti delle e-mail o all'inoltro di messaggi da account specifici senza analizzare il contenuto semantico, fallendo nel gestire la sfumatura necessaria per un instradamento accurato.

Metodologia
La soluzione proposta è uno "Smistatore di E-mail Intelligente Basato sul Contenuto" (SEDS) che sfrutta i Modelli di Linguaggio di Grandi Dimensioni (LLM) e un framework basato su agenti per automatizzare la classificazione e l'instradamento delle e-mail. Il sistema opera attraverso un processo in tre fasi:

1. Acquisizione dei Dati: Il sistema ingerisce i messaggi e-mail e i relativi allegati. Durante lo sviluppo, questi dati vengono letti offline; in fase di implementazione, si connettono direttamente alla casella di posta elettronica.
2. Analisi del Contenuto: Questa è la fase computazionale centrale. Il sistema impiega un framework di agenti AI (utilizzando la libreria Langchain) in cui gli agenti interrogano gli LLM tramite API. Gli agenti utilizzano il prompt engineering per analizzare il contenuto testuale dell'e-mail e dei suoi allegati. I prompt forniscono il contenuto dell'e-mail, le istruzioni e il contesto, consentendo all'LLM di determinare la rilevanza semantica del messaggio.
3. Smistamento (Dispatching): In base all'analisi dell'LLM, l'agente identifica i gruppi WhatsApp target specifici (ad esempio, specifici lotti di studenti o gruppi di docenti) e pubblica automaticamente il messaggio e gli allegati in tali gruppi.

Il sistema è progettato per funzionare senza dataset etichettati, facendo affidamento invece sulla capacità intrinseca dell'LLM di comprendere il contesto e di eseguire una classificazione zero-shot o few-shot. Il dataset utilizzato per la validazione consisteva in oltre 1.000 e-mail accuratamente selezionate relative a studenti e docenti.

Contributi Chiave

• Instradamento Guidato da LLM: Il documento introduce un meccanismo che va oltre il filtraggio basato su parole chiave per passare all'analisi del contenuto semantico per l'instradamento delle e-mail verso gruppi organizzativi specifici.
• Architettura Basata su Agenti: L'implementazione utilizza un framework multi-agente in cui un agente identifica la categoria dell'e-mail e gli agenti successivi gestiscono le azioni di instradamento specifiche verso strumenti di smistamento personalizzati.
• Operatività Senza Dataset: Il sistema si distingue per non richiedere sforzi manuali estesi per creare dataset di addestramento etichettati, un ostacolo comune per gli approcci tradizionali di machine learning in questo dominio.
• Gestione di Strutture Dinamiche: L'approccio affronta la sfida delle strutture di gruppo dinamiche (ad esempio, nuovi lotti aggiunti annualmente) che spesso complicano i sistemi basati su regole statiche o sul clustering.

Risultati
Gli autori hanno valutato il sistema utilizzando quattro diverse piattaforme LLM: Gemini, ChatGPT, DeepSeek e Perplexity AI. La metrica di prestazione è stata l'accuratezza della classificazione rigorosa, definita come la capacità del modello di identificare tutti i gruppi target corretti senza gruppi extra o mancanti.

• Gemini ha raggiunto l'accuratezza più elevata con il 93,5%.
• ChatGPT è seguito da vicino con il 92%.
• Perplexity e DeepSeek hanno ottenuto rispettivamente l'82,5% e l'80%.

L'analisi delle classificazioni errate ha rivelato che gli errori si verificavano spesso con le circolari riguardanti la "valutazione e rivalutazione", dove il modello talvolta raccomandava erroneamente la condivisione di contenuti riservati ai docenti con i gruppi degli studenti. Tuttavia, il sistema ha mappato con successo le circolari che menzionavano serie di lotti (anche senza anni specifici) verso i target corretti.

Significatività e Rivendicazioni
Il documento sostiene che questo sistema rappresenti un passo avanti significativo nell'automazione della gestione delle e-mail istituzionali. Integrando modelli basati su transformer e tecniche di apprendimento non supervisionato, il sistema affronta le sfide relative alla comprensione semantica e all'elaborazione di dati non strutturati. Gli autori affermano che il sistema:

• Migliora la Produttività: Riduce significativamente il carico di lavoro manuale e il carico cognitivo del personale, permettendo loro di concentrarsi su compiti ad alta priorità.
• Garantisce la Tempestività: Facilita un flusso fluido di informazioni, assicurando che gli studenti ricevano aggiornamenti accademici tempestivamente tramite i loro canali di comunicazione preferiti (WhatsApp).
• Riduce gli Errori: L'automazione minimizza gli errori umani associati all'inoltro manuale.
• Versatilità: Il sistema è in grado di elaborare diversi formati, inclusi PDF, immagini e documenti Word.

Gli autori pongono questo lavoro come un "punto di partenza" per innovazioni future, osservando che le iterazioni successive si concentreranno sul riassunto del contenuto delle e-mail prima dello smistamento per fornire notifiche concise. Essi dichiarano esplicitamente che sostituire l'LLM con modelli di machine learning o deep learning tradizionale sarebbe difficile a causa della necessità di dati etichettati e della difficoltà nel gestire la selezione multi-label (scelta di molteplici gruppi target) e l'aggiunta di gruppi dinamici.