From RAG to Runtime Intelligence: Design and Evaluation of a Multi-LLM Automated Learning Engine for Enterprise Knowledge Synthesis
تقدم هذه الورقة وتقيّم محرك تعلم آلي (ALE) يتجاوز أنظمة التوليد المعزز بالاسترجاع (RAG) القياسية عبر توظيف نظام متعدد النماذج اللغوية الكبيرة (multi-LLM) مُدار بنظام استرجاع هجين وسير عمل يعتمد على آلات الحالة (state-machine)، مما أظهر تحسناً ملحوظاً في الدقة الواقعية، والارتباط السياقي، وخفض معدلات الهلوسة في توليف المعرفة للمؤسسات مقارنة بالإعدادات المرجعية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً تستطيع فيه الحواسيب قراءة مكتبات كاملة في جزء من الثانية والإجابة على أسئلتك بطلاقة البشر. هذا هو الوعد الذي تقدمه النماذج اللغوية الكبيرة (LLMs)، وهي الأدمغة الاصطناعية فائقة الذكاء وراء العديد من برامج الدردشة الآلية اليوم. لكن هناك مشكلة: هذه النماذج تشبه الطلاب العباقرة الذين حفظوا كتاباً مدرسياً منذ سنوات ولكنهم لم يقرؤوا الأخبار منذ ذلك الحين. فهي غالباً ما تخترع حقائق تبدو حقيقية تماماً ولكنها من وحي الخيال، وهو خلل يُعرف باسم "الهلوسة". ولإصلاح ذلك، اخترع العلماء حيلة تسمى "التوليد المعزز بالاسترجاع" (RAG). فكر في RAG كمنح الذكاء الاصطناعي بطاقة مكتبة وأميناً للمكتبة؛ فقبل أن يجيب، يقوم بسرعة بالبحث في قاعدة بياناته الخاصة للعثور على الصفحات الصحيحة لقراءتها. إنه تحسن هائل، لكن النسخة القياسية من هذا النظام بها بعض العيات. فهي غالباً ما تستخدم طريقة واحدة فقط للبحث (مما قد يؤدي لتفويت أشياء)، وتعتمد على عقل اصطناعي واحد للقيام بكل عمليات التفكير والكتابة، وتتعامل مع كل سؤال كحدث جديد تماماً دون التعلم من الأخطاء الماضية.
إليك "محرك التعلم الآلي" (ALE)، وهو نظام جديد صُمم لتحويل هذه الأدوات الاصطناعية الثابتة إلى شيء أكثر ديناميكية، وهو ما يسميه الباحثون "ذكاء وقت التشغيل". بدلاً من وجود ذكاء اصطناعي واحد يحاول القيام بكل شيء، يعمل ALE مثل غرفة أخبار عالية المخاطر. فهو يستخدم فريقاً من العمال المتخصصين في الذكاء الاصطناعي: أحدهم لتحليل الحقائق وصياغة التقارير، وآخر لمراجعة العمل، ومديراً صارماً (آلة حالة حتمية) لضمان اتباع العملية بأكملها لخطة دقيقة وقابلة للتنبؤ. اختبر الباحثون هذا النظام على 847 سؤالاً من العالم الحقيقي في المجال المالي، وقارنوه بالطرق القديمة ذات "العقل الواحد". ووجدوا أنه من خلال تقسيم العمل واستخدام استراتيجية بحث أذكى، أصبح ALE أكثر دقة بشكل ملحوظ، وقلل عدد الحقائق المختلقة بهامش ضخم، بل ويمكنه حتى إنشاء أربعة أنواع مختلفة من التقارير (مثل الملخص الاستراتيجي، والتحذير من المخاطر، والتوقعات التنبؤية) من سؤال واحد. وهذا يشير إلى أن مستقبل ذكاء المؤسسات لا يتعلق ببناء روبوت واحد عملاق وعليم بكل شيء، بل بتنسيق فريق من الأدوات المتخصصة التي تعمل معاً بدقة.
المشكلة في نهج "العقل الواحد"
لفترة طويلة، كانت الطريقة القياسية لجعل الذكاء الاصطناعي أكثر ذكاءً هي إعطاؤه "بطاقة مكتبة" (RAG). عندما تطرح سؤالاً، يقوم النظام بالبحث في قاعدة بياناته، ويجلب المستندات ذات الصلة، ويغذي نموذجاً واحداً للذكاء الاصطناعي ليكتب الإجابة. الأمر يشبه طلب طالب واحد لقراءة كومة من الأوراق ثم كتابة مقال. وبينما يعد هذا أفضل من التخمين، وجد الباحثون أن نهج "العقل الواحد" هذا يصطدم بحائط مسدود.
أولاً، كانت طريقة البحث غالباً ما تكون بسيطة للغاية. تعتمد معظم الأنظمة فقط على "البحث الشعاعي" (vector search)، وهو ما يشبه محاولة العثور على كتاب من خلال طابعه العام أو موضوعه. إذا كنت تبحث عن مصطلح تقني محدد أو اسم علم، فقد تكون هذه الطريقة غير دقيقة. ثانياً، إن طلب القيام بكل شيء من ذكاء اصطناعي واحد — البحث عن المعلومات، والتفكير فيها، والتحقق من الحقائق، وكتابة التقرير — يخلق نقطة اختناق. إنه يشبه طلب من طاهٍ أن يكون أيضاً غاسل أطباق، ونادلاً، ومفتش صحة في آن واحد؛ قد يقوم بعمل جيد، لكنه لن يكون مثالياً في كل هذه المهام. وأخيراً، هذه الأنظمة "عديمة الحالة" (stateless)، مما يعني أنها لا تتذكر أي شيء عن كيفية تعاملها مع الأسئلة السابقة. فهي تعامل كل تفاعل كبداية جديدة، وتفوت فرصة التعلم والتكيف.
الفريق الجديد: ALE في العمل
لحل هذه المشكلة، بنى الباحثون "محرك التعلم الآلي" (ALE). بدلاً من ذكاء اصطناعي واحد يفعل كل شيء، أنشأوا "نظاماً منسقاً متعدد النماذج اللغوية الكبيرة". تخيل غرفة أخبار حيث يمتلك مختلف المراسلين وظائف محددة.
البحث الهجين (أمين المكتبة): لا يستخدم ALE طريقة واحدة فقط للعثور على المعلومات. بل يستخدم طريقتين في نفس الوقت: إحداهما تبحث عن كلمات رئيسية دقيقة (مثل الفهرس الدقيق) والأخرى تبحث عن المعنى الدلالي (مثل فهم المفهوم). وجد الباحثون أن خلط هذين الأمرين كان هو "الخلطة السرية". لقد اختبروا نسباً مختلفة واكتشفوا أن إعطاء أفضلية طفيفة للبحث بالكلمات الرئيسية (55% للكلمات الرئيسية و45% للمعنى) كان هو الأفضل لبياناتهم المالية. ساعد هذا النهج "الهجين" في العثور على المستندات الصحيحة بنسبة 23% أكثر مما لو استخدموا البحث القائم على المعنى فقط.
فريق العقل المزدوج (المحرر والكاتب): يستخدم النظام نموذجين مختلفين من الذكاء الاصطناعي. النموذج (أ) هو "المستنتج" (Reasoner)، وهو عقل قوي يحلل المستندات المسترجعة ويصيغ التقرير. النموذج (ب) هو خبير "ضمان الجودة" (QA). مهمته الوحيدة هي قراءة مسودة النموذج (أ)، والتحقق من الأخطاء، وإصلاح أي أخطاء قبل إرسال الإجابة إلى المستخدم. هذا يشبه وجود محرر أول يراجع قصة مراسل مبتدئ قبل طباعتها.
آلة الحالة (المدير الصارم): لضمان عدم ارتباك النظام أو تخطي الخطوات، استخدم الباحثون "آلة حالة حتمية". وهي عبارة عن مخطط انسيابي صارم يحدد بالضبط ما سيحدث بعد ذلك. لا يمكن للذكاء الاصطناعي أن يقرر تخطي فحص الجودة أو الانتقال إلى خطوة خاطئة. يجب أن ينتقل من "استلام الاستعلام" إلى "البحث" ثم إلى "الاستنتاج" ثم إلى "الفحص" وصولاً إلى "الانتهاء". هذا يجعل النظام قابلاً للتنبؤ وآمناً، وهو أمر بالغ الأهمية في صناعات مثل التمويل حيث يمكن أن تكون الأخطاء مكلفة.
محرك المخرجات المتعددة: بدلاً من تقديم إجابة واحدة فقط، يمكن لـ ALE إنشاء أربعة أنواع متميزة من التقارير من سؤال واحد: الرؤى الاستراتيجية (الاتجاهات الكبرى)، الإجراءات الذكية (ما يجب فعله لاحقاً)، تقييم المخاطر (ما قد يسوء)، والتحليلات التنبؤية (ما قد يحدث في المستقبل).
النتائج: أذكى، آمن، وأكثر دقة
وضع الباحثون هذا النظام الجديد تحت الاختبار مقابل ثلاثة أساليب قديمة: ذكاء اصطناعي مستقل (بدون مكتبة)، و"RAG بسيط" (طريقة بحث واحدة وعقل واحد)، و"RAG مُحسّن" (بحث هجين ولكن بعقل واحد). استخدموا 847 سؤالاً من قاعدة معرفة مالية.
كانت النتائج مذهلة. حقق نظام ALE دقة واقعية بلغت 94.2%. وبالمقارنة، حقق نظام RAG البسيط 71.3% فقط. وحتى نسخة النموذج الواحد المحسنة، التي كانت تمتلك بحثاً أفضل ولكن عقلاً واحداً، لم تصل إلا إلى 86.4%. لقد تفوق فريق العقل المزدوج بوضوح على الأداء الفردي.
وربما كان الأمر الأكثر إثارة للإعجاب هو الانخفاض في "الهلوسة" (الحقائق المختلقة). فقد اخترع الذكاء الاصطناعي المستقل حقائق بنسبة 31.2% من الوقت. وحسّن نظام RAG البسيط هذه النسبة إلى 18.7%، لكن نظام ALE خفض معدل الخطأ إلى 4.1% فقط. لقد كان طبقة ضمان الجودة هي البطل هنا؛ حيث رصدت وأصلحت 127 حالة من الأخطاء الواقعية التي كانت ستُرسل للمستخدم لولا ذلك، مما قلل معدل الخطأ الخام فعلياً بنسبة 15%.
كما أثبت النظام أن البحث "الهجين" كان حيوياً. فمن خلال الجمع بين البحث بالكلمات الرئيسية والبحث القائم على المعنى، حسّن النظام قدرته على العثور على أفضل 10 مستندات ذات صلة (Recall@10) بنسبة 23% مقارنة باستخدام البحث القائم على المعنى وحده. وهذا يشير إلى أنه في المجالات المتخصصة مثل التمويل، حيث المصطلحات الدقيقة مهمة، لا يمكنك الاعتماد على "الانطباع العام" وحده.
ماذا يعني هذا للمستقبل
تشير الدراسة إلى أن عصر "الذكاء الاصطناعي الواحد الذي يحكم الجميع" قد يكون في نهايته بالنسبة للأعمال المؤسسية الجادة. يجادل الباحثون بأن الانتقال من الاسترجاع الثابت إلى "ذكاء وقت التشغيل" — حيث تنسق نماذج متعددة متخصصة من خلال سير عمل صارم وقابل للتنبؤ — هو الطريق للمضي قدماً.
وجدوا أن أكبر المكاسب جاءت عندما كانت الأسئلة معقدة. بالنسبة للأسئلة البسيطة، كان الفرق بين النظام الجديد والأنظمة القديمة أصغر، ولكن بالنسبة للمهام التحليلية المعقدة، كان ALE أكثر دقة بنسبة 14.3% من أفضل بديل يعتمد على نموذج واحد. وهذا يشير إلى أن نهج "العمل الجماعي" هو الأكثر قيمة عندما يصبح التفكير صعباً.
ومع ذلك، يلاحظ الباحثون بحذر أن هذا ليس حلاً سحرياً لكل المواقف. فالنظام يستغرق وقتاً أطول قليلاً للتشغيل (حوالي 4.7 ثانية في المتوسط) لأنه يتعين عليه تمرير العمل عبر خطوات وفحوصات متعددة. وبينما يعد هذا مقبولاً لإنشاء تقارير مفصلة، فقد يكون بطيئاً جداً للتطبيقات التي تحتاج إلى إجابة فورية. كما أن "الوصفة" المحددة التي وجدوها لخلط طرق البحث (55% كلمات رئيسية، 45% معنى) تم ضبطها للبيانات المالية وقد تحتاج إلى تعديل لأنواع أخرى من المعلومات.
في النهاية، تشير الورقة البحثية إلى أن بناء ذكاء المؤسسات أصبح يشبه هندسة النظم أكثر من مجرد "هندسة الأوامر". فهو يتطلب تصميم هيكل حيث يكون الاسترجاع، والاستنتاج، والتوليد، والتحقق وظائف متميزة ولكن منسقة. إن الأيام التي كان يُعامل فيها الذكاء الاصطناعي كعراف واحد معزول بدأت تتلاشى؛ فالمستقبل ينتمي إلى فرق منسقة من العمال الرقميين الذين يسترجعون المعلومات، ويستنتجون، ويتحققون معاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.