Content-Based Smart E-Mail Dispatcher Using Large Language Models

Resumen Técnico: Despachador de Correo Electrónico Inteligente Basado en Contenido mediante Modelos de Lenguaje de Gran Escala

Planteamiento del Problema
El artículo aborda la ineficiencia y la carga cognitiva asociadas con el procesamiento manual de altos volúmenes de correo electrónico en grandes organizaciones, específicamente en el contexto de una facultad de ingeniería. Aunque el correo electrónico sigue siendo ubicuo, la lectura y el reenvío manual de notificaciones académicas y circulares desde las bandejas de entrada departamentales hacia grupos específicos de WhatsApp de estudiantes se describe como un proceso propenso a errores, lento y estresante para el personal. Los flujos de trabajo manuales actuales crean cuellos de botella donde el personal debe leer, interpretar y dirigir contenidos diversos a los lotes (batches) correctos (definidos por año académico y programa) sin automatización. Las soluciones automatizadas existentes suelen depender de la simple coincidencia de palabras clave en las líneas de asunto o del reenvío de correos electrónicos de cuentas específicas sin analizar el contenido semántico, lo que impide manejar el matiz requerido para un enrutamiento preciso.

Metodología
La solución propuesta es un "Despachador de Correo Electrónico Inteligente Basado en Contenido" (SEDS, por sus siglas en inglés) que aprovecha los Modelos de Lenguaje de Gran Escala (LLMs) y un marco basado en agentes para automatizar la clasificación y el enrutamiento de correos electrónicos. El sistema opera a través de un proceso de tres pasos:

1. Captura de Datos: El sistema ingiere mensajes de correo electrónico y sus archivos adjuntos. Durante el desarrollo, estos datos se leen de forma desconectada (offline); en el despliegue, se conecta directamente a la bandeja de entrada del correo.
2. Análisis de Contenido: Este es el paso computacional central. El sistema emplea un marco de agentes de IA (utilizando la biblioteca Langchain) donde los agentes consultan a los LLMs a través de APIs. Los agentes utilizan la ingeniería de prompts para analizar el contenido textual del correo electrónico y de sus archivos adjuntos. Los prompts proporcionan el contenido del correo, instrucciones y contexto, permitiendo que el LLM determine la relevancia semántica del mensaje.
3. Despacho: Basándose en el análisis del LLM, el agente identifica los grupos de WhatsApp específicos (por ejemplo, lotes de estudiantes específicos o grupos de facultad) y publica automáticamente el mensaje y los archivos adjuntos en dichos grupos.

El sistema está diseñado para funcionar sin conjuntos de datos etiquetados, confiando en su lugar en la capacidad inherente del LLM para comprender el contexto y realizar una clasificación de cero disparos (zero-shot) o de pocos disparos (few-shot). El conjunto de datos utilizado para la validación consistió en más de 1,000 correos electrónicos cuidadosamente seleccionados relacionados con estudiantes y profesores.

Contribuciones Clave

• Enrutamiento Impulsado por LLM: El artículo introduce un mecanismo que va más allá del filtrado por palabras clave hacia el análisis de contenido semántico para el enrutamiento de correos electrónicos a grupos organizacionales específicos.
• Arquitectura Basada en Agentes: La implementación utiliza un marco de múltiples agentes donde un agente identifica la categoría del correo electrónico y los agentes subsiguientes gestionan las acciones de enrutamiento específicas hacia herramientas de despacho construidas a medida.
• Operación Libre de Datasets: Se destaca que el sistema no requiere un esfuerzo manual extensivo para crear conjuntos de datos de entrenamiento etiquetados, un obstáculo común para los enfoques tradicionales de aprendizaje automático en este dominio.
• Gestión de Estructuras Dinámicas: El enfoque aborda el desafío de las estructuras de grupo dinámicas (por ejemplo, la adición anual de nuevos lotes/batches) que suelen complicar los sistemas basados en reglas estáticas o de agrupamiento (clustering).

Resultados
Los autores evaluaron el sistema utilizando cuatro plataformas de LLM diferentes: Gemini, ChatGPT, DeepSeek y Perplexity AI. La métrica de rendimiento fue la precisión de clasificación estricta, definida como la capacidad del modelo para identificar todos los grupos objetivo correctos sin incluir grupos extra o faltantes.

• Gemini alcanzó la precisión más alta con un 93.5%.
• ChatGPT le siguió de cerca con un 92%.
• Perplexity y DeepSeek obtuvieron un 82.5% y 80%, respectivamente.

El análisis de las clasificaciones erróneas reveló que los errores ocurrieron frecuentemente con circulares relativas a "calificación y reevaluación", donde el modelo a veces recomendaba incorrectamente compartir contenido exclusivo para docentes con grupos de estudiantes. Sin embargo, el sistema logró mapear con éxito las circulares que mencionaban series de lotes (incluso sin años específicos) hacia los objetivos correctos.

Significancia y Reivindicaciones
El artículo afirma que este sistema representa un paso significativo hacia la automatización de la gestión del correo institucional. Al integrar modelos basados en transformadores y técnicas de aprendizaje no supervisado, el sistema aborda desafíos relacionados con la comprensión semántica y el procesamiento de datos no estructurados. Los autores aseguran que el sistema:

• Mejora la Productividad: Reduce significamente la carga de trabajo manual y la carga cognitiva del personal, permitiéndoles enfocarse en tareas de alta prioridad.
• Garantiza la Puntualidad: Facilita un flujo fluido de información, asegurando que los estudiantes reciban actualizaciones académicas de manera oportuna a través de sus canales de comunicación preferidos (WhatsApp).
• Reduce Errores: La automatización minimiza los errores humanos asociados con el reenvío manual.
• Versatilidad: El sistema es capaz de procesar diversos formatos, incluyendo PDFs, imágenes y documentos de Word.

Los autores posicionan este trabajo como un "escalón" para futuras innovaciones, señalando que las iteraciones futuras se centrarán en resumir el contenido del correo electrónico antes del despacho para proporcionar notificaciones concisas. Expresan explícitamente que reemplazar el LLM con modelos tradicionales de aprendizaje automático o aprendizaje profundo sería desafiante debido a la necesidad de datos etiquetados y la dificultad para manejar la selección de etiquetas múltiples (múltiples grupos objetivo) y la adición de grupos dinámicos.