Beyond Keywords: Intent-Aware Message Routing for Gmail and Slack Using Large Language Models
تقدم هذه الورقة تصميم وتنفيذ وتقييم أولي لنظام ذكي لتوجيه الرسائل لـ Gmail وSlack يستفيد من نموذج LLaMA 3.1 عبر Groq للقيام بتصنيف النوايا الدلالية، مما يمكّن المستخدمين من تحديد قواعد التوجيه بلغة إنجليزية بسيطة ويتفوق بشكل كبير على المرشحات التقليدية القائمة على الكلمات المفتاحية في دراسة جدوى.
في بيئة العمل الحديثة، تفتت التواصل إلى عشرات المسارات المختلفة. فقد يضطر المهني الواحد إلى الموازنة بين رسائل البريد الإلكتروني، والرسائل الفورية، وتحديثات المشاريع عبر منصات متعددة، مما يخلق طنينًا مستمرًا ومنخفض المستوى من المعلومات الواردة. ولعقود من الزمن، اعتمدت الأدوات المصممة لإدارة هذا التدفق على منطق بسيط وصلب: إذا كانت الرسالة تحتوي على كلمة محددة، فقم بفعل شيء معين. يعمل هذا النهج القائم على الكلمات المفتاحية بشكل جيد في الحالات الواضحة، لكنه يعاني مع دقة اللغة البشرية. فإذا طلب شخص ما المساعدة بشأن فاتورة، قد يكتب "تم تحصيل المبلغ مرتين"، أو "فاتورتي خاطئة"، أو ببساطة "مشكلة في الدفع". والنظام الذي يبحث فقط عن كلمة "فاتورة" سيفوت الحالتين الأوليين، مما يترك المرسل في حالة انتظار والمستلم غارقًا في صندوق وارد مزدحم. لقد كان التحدي الذي واجه علماء الكمبيوتر لفترة طويلة هو بناء أنظمة تفهم "القصد" وراء الكلمات بدلاً من مجرد الكلمات نفسها، وهي مهمة تتطلب من الآلات استيعاب السياق والمعنى بنفس الطريقة التي يفعلها البشر.
قام فريق من الباحثين الآن ببناء نظام أولي يحاول حل هذه المشكلة باستخدام جيل جديد من الذكاء الاصطناعي لقراءة وفرز الرسائل للشركات الصغيرة. وبدلاً من الاعتماد على قوائم جامدة من الكلمات المفتاحية، تستخدم منصتهم نموذج لغة كبير — وهو نوع من الذكاء الاصطناعي المدرب على كميات هائلة من النصوص لفهم كيفية تواصل البشر — لتفسير معنى رسائل البريد الإلكتروني ورسائل الدردشة الواردة. يتيح النظام، المصمم للعمل مع Gmail وSlack، لصاحب العمل كتابة قواعد التوجيه بلغة إنجليزية بسيطة، مثل "إذا سأل شخص ما عن الفواتير، أرسل هذا إلى الفريق المالي". بعد ذلك، يقرأ الكمبيوتر الرسالة الواردة، ويكتشف ما يريده الشخص حقًا، ويقوم تلقائيًا بتوجيهها إلى المكان الصحيح، أو إرسال رد، أو وضعها جانبًا. يهدف هذا النهج إلى استبدال المرشحات الهشة المعتمدة على الكلمات المفتاحية في الماضي بمساعد أكثر مرونة وذكاءً يمكنه التعامل مع الواقع الفوضوي للتواصل التجاري اليومي.
بنى الباحثون هذا النظام كتطبيق برمجيات كامل يتصل مباشرة بحسابات البريد الإلكتروني والدردشة الخاصة بالمستخدم. وفي الخلفية، تقوم عملية تعمل في الخلفية بالتحقق من الرسائل الجديدة كل خمس دقائق. وعند وصول رسالة جديدة، لا يكتفي النظام بمسحها بحثًا عن مصطلحات محددة؛ بل يرسل محتواها إلى نموذج ذكاء اصطناعي قوي مع تعليمات المستخدم المكتوبة بلغة بسيطة. يقوم النموذج بتحليل الرسالة لتحديد الغرض منها، سواء كان استفسارًا عن الفواتير، أو طلبًا لعقد اجتماع، أو سؤالاً عامًا. وبناءً على هذا الفهم، يقرر النظام ما يجب فعله. فإذا كانت الرسالة تطابق قاعدة ما بوضوح وكان الذكاء الاصطناعي واثقًا، فإنه يتصرف فورًا عن طريق توجيه الرسالة أو إرسال رد آلي. أما إذا كانت الرسالة غامضة، أو لم يكن الذكاء الاصطناعي متأكدًا، أو كان الموضوع بالغ الأهمية، فإن النظام يتوقف ويضع علامة على الرسالة لمراجعتها من قبل بشري. تضمن استراتيجية "الامتناع والتصعيد" هذه أن الكمبيوتر لن يخمن أبدًا عندما لا يكون متأكدًا، مما يمنع أنواع الأخطاء التي قد تزعج العملاء أو تؤخر العمل المهم.
لاختبار ما إذا كانت هذه الفكرة ناجحة بالفعل، أنشأ الباحثون مجموعة صغيرة من أربع عشرة رسالة اختبار تغطي أربعة مواضيع تجارية شائعة: الفواتير، والجدولة، والشراكات، والاستفسارات العامة. وقد كتبوا هذه الرسائل بعناية لتجنب استخدام الكلمات الموجودة بالضبط في قواعد النظام، مما يجبر الكمبيوتر على الاعتماد على الفهم بدلاً من مجرد مطابقة الكلمات. على سبيل المثال، إذا كانت القاعدة مكتوبة لكلمة "فاتورة"، فقد استخدمت رسائل الاختبار عبارات مثل "تم تحصيل المبلغ من بطاقتي مرتين" أو "أحتاج مساعدة بشأن فاتورتي". وأظهرت النتائج أن النظام الذكي حدد القصد الصحيح لاثنتي عشرة رسالة من أصل أربع عشرة، ووجهها إلى الفئة الصحيحة. في المقابل، نجح نظام محاكى يستخدم مطابقة الكلمات المفتاحية التقليدية، على غرار المرشحات الموجودة في برامج البريد الإلكتروني القياسية، في تحديد خمس رسائل فقط من أصل أربع عشرة. أما الرسالتان اللتان فاتتا النظام الذكي فلم يتم إرسالهما إلى المكان الخاطئ؛ بل أدرك النظام أنهما يصعب تصنيفهما، وقام بشكل صحيح بوضع علامة عليهماما ليتم التعامل معهما من قبل بشري.
تسلط الدراسة الضوء على تحول كبير في كيفية عمل الأتمتة للشركات الصغيرة، لا سيما في المناطق التي تكون فيها الموارد محدودة والفرق صغيرة. وجد الباحثون أنه من خلال استخدام نموذج ذكاء اصطناعي مدرب مسبقًا، يمكنهم إنشاء نظام يفهم اللغة دون الحاجة إلى جمع آلاف الأمثلة أو توظيف خبراء لتعليمه. تم تصميم النظام ليكون متاحًا، مما يسمح للمستخدمين غير التقنيين بتحديد قواعدهم الخاصة بلغة يومية. وبينما كانت الاختبارات صغيرة والرسائل كتبها الباحثون أنفسهم بدلاً من استخراجها من الفوضى الواقعية، إلا أن النتائج تشير إلى أن هذا النهج قابل للتطبيق. لقد أثبت النظام بنجية أنه قادر على تفسير معنى الرسالة واتخاذ قرار توجيه كان من الممكن أن يفوته مرشح الكلمات المفتاحية البسيط. ويؤكد المؤلفون أن هذا عرض أولي للمفهوم، وليس حلاً نهائيًا، وأن القيمة الحقيقية للنظام ستتحدد من خلال مدى أدائه مع الاتصالات المتنوعة وغير المنقحة والفوضوية التي تتعامل معها الشركات الحقيقية كل يوم.
ملخص تقني: ما وراء الكلمات المفتاحية: توجيه الرسائل القائم على فهم القصد لـ Gmail وSlack باستخدام النماذج اللغوية الكبيرة
1. بيان المشكلة
تتناول الورقة البحثية مشكلة مستمرة تتمثل في التوجيه الخاطئ للرسائل في بيئات الشركات، لا سيما داخل الشركات الصغيرة والمتوسطة في نيجيريا وأفريقيا. وبينما توجد أدوات مثل فلاتر Gmail، وخطوات عمل Slack (Slack Workflows)، وZapier، وMake، إلا أنها تعتمد بشكل كبير على مطابقة الكلمات المفتاحية ومنطق الشروط الجامد. وتفشل هذه الأنظمة في استيعاب القصد الدلالي للغة الطبيعية، مما يؤدي إلى تصنيفات خاطئة متكررة عندما يصيغ المستخدمون طلباتهم بطرق مختلفة (على سبيل المثال: "لا يمكنني الوصول إلى حسابي" مقابل "تسجيل دخولي معطل").
علاوة على ذلك، فإن أدوات الأتمتة المتطورة الموجودة تتطلب غالباً خبرة تقنية كبيرة وتفرض تكاليف متكررة بالعملات الأجنبية (الدولار الأمريكي)، مما يخلق عوائق أمام الشركات الصغيرة والمتوسطة الأفريقية محدودة الموارد. كما أن الحلول الأكاديمية الحالية للتصنيف الآلي للتذاكر تتطلب غالباً ضبطاً دقيقاً تحت إشراف (supervised fine-tuning) على مجموعات بيانات ضخمة وموسومة، وهو أمر غير ممكن للمؤسسات التي تفتقر إلى قدرات هندسة تعلم الآلة المخصصة. وتتمثل الفجوة المحددة في غياب منصة سهلة الوصول ومنخفضة التكلفة تجمع بين التصنيف الدلالي للنماذج اللغوية الكبيرة (LLM) وواجهة قواعد باللغة الإنجليزية العادية لا تتطلب كتابة أكواد (no-code) للتوجيه عبر قنوات متعددة.
2. المنهجية وهندسة النظام
تصميم النظام
صمم المؤلفون ونفذوا منصة ذكية لتوجيه الرسائل كاملة المواصفات (full-stack) باستخدام بنية عميل-خادم:
الواجهة الأمامية (Frontend): تقنية Next.js (React, TypeScript) للوحة تحكم قائمة على الويب.
الواجهة الخلفية (Backend): تقنية Express.js (TypeScript) للتعامل مع المصادقة، وإدارة القواعد، وتنسيق واجهة برمجة التطبيقات (API orchestration).
Gmail وSlack: متصلان عبر OAuth 2.0 وواجهات برمجة التطبيقات الخاصة بهما (Google Gmail API، وSlack Web API).
محرك النماذج اللغوية الكبيرة (LLM Engine): يستخدم نموذج LLaMA 3.1 (8B) عبر Groq API لضمان سرعة الاستنتاج العالية.
سير العمل الأساسي
خدمة الاستطلاع (Polling Service): عملية خلفية بـ Node.js تقوم باستطلاع حسابات Gmail وSlack المتصلة كل خمس دقائق (Tp) بحثاً عن رسائل جديدة.
محرك التصنيف: عند استرداد رسالة، يقوم النظام ببناء "مطالبة" (prompt) مهيكلة تحتوي على البيانات الوصفية للرسالة (المرسل، الموضوع، نص الرسالة المختصر حتى 400 حرف)، وقواعد المستخدم باللغة الإنجليزية العادية، وبعض الأمثلة المتنوعة دلالياً لكل فئة. تُرسل هذه المطالبة إلى النموذج اللغوي الكبير (LLM).
علامة requiresUserAction (هل تتطلب إجراءً من المستخدم؟) (h).
سياسة التوجيه (الامتناع والتصعيد): يطبق النظام قاعدة قرار متحفظة d(M):
الإجراء التلقائي: يتم تنفيذه فقط إذا تم مطابقة قاعدة (i∗=∅)، ولم يشر النموذج إلى الحاجة للمراجعة (h=false)، ولم يكن الاستعجال مرتفعاً.
التصعيد: إذا لم تتطابق أي قاعدة، أو أشار النموذج للمراجعة، أو كان الاستعجال مرتفعاً، يتم توجيه الرسالة إلى قائمة مراجعة بشرية بدلاً من اتخاذ إجراء تخميني عليها.
القابلية للتدقيق: يتم تسجيل كل حدث في مجموعة "النشاط" (Activity)، حيث يتم تسجيل نتيجة التصنيف والإجراء المتخذ دون تخزين نص الرسالة الكامل.
تفاصيل التنفيذ
استراتيجية المطالبة (Prompting Strategy): يستخدم النظام "المطالبة المعززة بالأمثلة" بدلاً من التصنيف الصرف (zero-shot). وهي تتضمن عدداً صغيراً من صياغات الأمثلة لكل فئة قاعدة لتشجيع المطابقة القائمة على القصد بدلاً من مجرد التداخل الحرفي للكلمات المفتاحية.
الإعداد (Configuration): تم ضبط درجة حرارة النموذج (temperature) عند 0.1 لتقليل تباين المخرجات. لم يتم إجراء أي ضبط دقيق (fine-tuning) خاص بالمهمة أو تحديثات تدرج؛ بل تم استخدام نموذج LLaMA 3.1 المدرب مسبقاً كما هو.
التطوير: تم بناء النظام بشكل تكراري عبر أربع دورات، انتهت باختبارات وظيفية (34 اختباراً) واختبارات التكامل.
3. المساهمات الرئيسية
تتمثل المساهمات الرئيسية للورقة في:
تصميم النظام: بنية موثقة لدمج التصنيف الدلالي القائم على النماذج اللغوية الكبيرة في أدوات الأعمال متعددة القنوات (Gmail/Slack) دون الحاجة إلى بنية تحتية للضبط الدقيق.
واجهة بدون كود (No-Code Interface): آلية تسمح للمستخدمين غير التقنيين بتحديد منطق التوجيه باللغة الإنجليزية العادية، مما يسد الفجوة بين قدرات النماذج اللغوية المعقدة وسهولة الاستخدام للشركات الصغيرة والمتوسطة.
آلية الامتناع والتصعيد (Abstain-and-Escalate): قاعدة قرار محددة تعطي الأولوية للسلامة من خلال تصعيد الرسائل الغامضة أو عالية الاستعجال إلى المراجعين البشريين، مما يمنع الإجراءات الآلية التخمينية.
الملاءمة السياقية: تصميم مصمم خصيصاً للقيود الاقتصادية والتقنية للشركات الصغيرة والمتوسطة في نيجيريا وأفريقيا، مما يوفر بديلاً للأتمتة المؤسسية المكلفة والقائمة على الاشتراكات.
4. النتائج والتقييم
كان التقييم متواضعاً، حيث ركز على الصحة الوظيفية وفحص أولي للجدوى على مجموعة بيانات صغيرة من إنشاء المؤلفين.
الاختبار الوظيفي: حقق معدل نجاح بنسبة 100% عبر 34 اختباراً شملت عمليات المصادقة، وعمليات CRUD، والتكاملات، والتدوين.
جدوى التصنيف:
مجموعة البيانات: 14 رسالة موزعة على أربع فئات (الفواتير، الجدولة، الشراكة، والاستفسارات العامة). تمت صياغة الرسائل عمداً لتجنب المطابقة التامة للكلمات المفتاحية مع القواعد.
أداء النموذج اللغوي الكبير (LLM): طابق بنجاح 12 من أصل 14 رسالة (85.7%). أما الرسالتان اللتان لم يتم مطابقتهما فقد تم تصعيدهما للمراجعة البشرية (سلبيات كاذبة)، ولم يتم توجيههما خطأً.
المقارنة مع الخط المرجعي: طابق نموذج محاكاة لمطابقة الكلمات المفتاحية (الذي يحاكي فلاتر Gmail القياسية) 5 من أصل 14 رسالة فقط (35.7%).
المقاييس: كانت الدقة (Precision) هي 1.00 (لا توجد حالات توجيه خاطئ)، والاستدعاء (Recall) هو 0.857، ودرجة F1 هي 0.923.
تحليل الخطأ: حدثت الإخفاقات في فئة "الجدولة" حيث كانت الصياغة أقل ارتباطاً بشروط القاعدة المحددة (مثل "إيجاد وقت للتحدث" مقابل "تحديد موعد لمكالمة"). وهذا يبرز حساسية النظام تجاه تحديد القواعد.
القيود التي أقر بها المؤلفون:
مجموعة الاختبار كانت صغيرة (14 رسالة)، من إنشاء المؤلفين، وتفتقر إلى الضجيج الواقعي (الأخطاء الإملائية، أو تبديل اللغات/Code-switching، أو لغة البيجين النيجيرية).
تم تقييم تكوين نموذج واحد وتشغيل واحد فقط.
الخط المرجعي للكلمات المفتاحية كان بسيطاً؛ ولم يتم اختبار خطوط مرجعية أقوى (مثل TF-IDF أو تشابه التضمين/Embedding similarity).
الأهمية الإحصائية محدودة بسبب حجم العينة الصغير وتداخل فترات الثقة بين النموذج اللغوي والخط المرجعي.
5. الأهمية والادعاءات
تؤطر الورقة أهميتها صراحةً كـ عرض لجدوى تقنية و مساهمة في التصميم، وليس كإثبات نهائي للتفوق في الدقة على جميع الطرق الموجودة.
الجدوى: تثبت الدراسة أن النماذج اللغوية الكبيرة يمكنها تصنيف القصد بفعالية باستخدام "المطالبة المعززة بالأمثلة" دون الحاجة إلى بيانات موسومة أو ضبط دقيق، مما يجعل التوجيد الدلالي متاحاً للمؤسسات التي تفتقر إلى موارد هندسة تعلم الآلة.
السلامة: تم تسليط الضوء على سياسة "الامتناع والتصعيد" كسمة تصميمية حاسمة تضمن عدم تسبب النظام في أي تعطيل من خلال التوجيه الآلي الخاطئ، وهو خطر شائع في أتمتة الأعمال.
سهولة الوصول: يوفر العمل مخططاً للأتمتة الميسورة والسهلة للشركات الصغيرة والمتوسطة الأفريقية، معالجاً حواجز التكلفة والتعقيد التي تفرضها حلول المؤسسات الحالية.
يخلص المؤلفون إلى أنه بينما تتوافق النتائج مع جدوى المطابقة الدلالية، إلا أنها لا تثبت أن هذا النهج أكثر دقة عالمياً من مطابقة الكلمات المفتاحية أو غيرها من الخطوط المرجعية في بيئة الإنتاج. وقد تم تحديد العمل المستقبى كضرورة للتحقق من النظام مع مستخدمي الشركات الصغيرة والمتوسطة الحقيقيين، ومجموعات بيانات أكبر، ومدخلات لغوية متنوعة.