A corrective agentic hybrid RAG and an operations-grounded evaluation for a scientific facility
تقدم هذه الورقة نظام APS-RAG، وهو نظام هجين لوكيل التوليد المعزز بالاسترجاد (RAG) تم نشره لـ "مصدر الفوتون المتقدم" (Advanced Photon Source)، يدمج مصادر بيانات متنوعة وحلقة تصحيحية لتحسين استرجاع المعرفة التشغيلية بشكل كبير، إلى جانب إصدار مجموعة بيانات APS-Bench وإطار عمل للتقييم لإرساء سير عمل موثوق ومبني إحصائياً للمساعدة بالذكاء الاصطناعي في المرافق العلمية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل مصنعًا ضخمًا عالي التقنية يطلق حزمًا من الضوء شديد السطوع على عينات متناهية الصغر لمعرفة كيفية تكوينها. هذا المكان، الذي يُسمى منشأة علمية، يعمل منذ عقود. وعلى مر ذلك الوقت، دون العاملون فيه ملايين الملاحظات: ما الذي تعطل، وكيف تم إصلاحه، وما هي الإعدادات التي نجحت، وماذا حدث عندما جربوا شيئًا جديدًا. هذه الملاحظات مبعثرة في كل مكان: في سجلات رقمية، ورسائل دردشة، وكتيبات تقنية، وحتى في تدفقات البيانات الحاسوبية الحية. الأمر يشبه محاولة العثور على وصفة محددة في مكتبة حيث الكتب مبعثرة على الأرض، والسقف، وحتى داخل الجدران، ولا يوجد فهرس واحد يساعدك في العثور عليها.
لحل هذه المشكلة، يستخدم العلماء أداة تسمى الاسترجاع المعزز بالتوليد (RAG). فكر في (RAG) كأنه أمين مكتبة فائق الذكاء لا يعتمد فقط على تخمين الإجابة من ذاكرته الخاصة (التي قد تكون خاطئة)، بل يركر أولاً إلى الرفوف، ويجلب الصفحات الدقيقة من الكتب القديمة، ثم يكتب إجابة جديدة بناءً فقط على ما تقوله تلك الصفحات. تقدم هذه الورقة نسخة مطورة من أمين المكتبة هذا خصيصًا لـ "مصدر الفوتون المتقدم" (APS)، وهو مصنع ضوء عملاق في إلينوي. لقد بنوا نظامًا يسمى APS-RAG يمكنه فهم الأسئلة العادية مثل "لماذا توقف الشعاع؟" والبحث عبر عقود من السجلات الفوضوية والمبعثرة للعثور على الإجابة. ولأن النظام يقوم بعمليات استدلال عميقة وخطوات بحث متعددة لضمان الدقة، فإن هذه العملية تستغرق وقتًا، يتراوح عادةً بين 40 إلى 178 ثانية لكل استعلام، بدلاً من أن تكون فورية. كما بنوا اختبارًا خاصًا، يسمى APS-Bench، لمعرفة ما إذا كان أمين المكتبة الجديد لديهم أفضل من القدامى، باستخدام 50 سؤالًا صعبًا قد يطرحها الموظفون الحقيقيون.
المشكلة: مكتبة في حالة فوضى
في منشأة (APS)، المعرفة موجودة في كل مكان ولكنها ليست في مكان واحد في آن واحد. إذا تعطلت آلة، فقد تكون قصة الإصلاح في رسالة دردشة من ثلاث سنوات مضت، وقد يكون الدليل التقني في قاعدة بيانات مختلفة، والبيانات الحية التي تظهر الخطأ موجودة في نظام ثالث. وعندما يتقاعد العمال ذوو الخبرة أو يغيرون نوبات عملهم، فإن تلك "المعرفة المتوارثة" غالبًا ما ترحل معهم، مما يؤدي إلى فترات توقف أطول وإحباط الموظفين.
أراد الفريق بناء مساعد ذكاء اصطناعي يمكنه التحدث مع الموظفين باللغة الإنجليزية العادية وسحب الإجابات من كل هذه الأماكن المختلفة في وقت واحد. لكنهم أدركوا أنه إذا قام الذكاء الاصطناعي بتأليف أشياء من عنده (وهي مشكلة تسمى "الهلوسة")، فقد يكون ذلك خطيرًا في مكان تتطلب فيه الدقة عناية فائقة. لذا، لم يكتفوا ببناء برنامج دردشة آلي فحسب؛ بل بنوا نظامًا "تصحيحيًا" يراجع عمله بنفسه.
الحل: APS-RAG وقواه الخارقة
أنشأ الفريق منصة APS-RAG، والتي تعمل كالمحقق الذي لديه ثلاث طرق مختلفة للبحث عن الأدلة:
- بحث "تطابق الكلمات": مثل فهرس بطاقات المكتبة الكلاسيكي، يبحث عن الكلمات والأرقام الدقيقة (مثل أكواد الآلات المحددة).
- بحث "المعنى": مثل مساعد ذكي يفهم أن "المحرك المكسور" و"المحرك المتعطل" متشابهان، حتى لو اختلفت الكلمات.
- بحث "الروابط": يستخدم "رسمًا بيانيًا للمعرفة"، وهو يشبه شبكة ضخمة من الاتصالات. فهو يعرف أن رمز خطأ معين مرتبط بقطعة معينة، والتي ترتبط بدورها بدليل إصلاح معين.
بمجرد أن يجد النظام هذه الأدلة، فإنه لا يكتفي بسردها فحسب. بل يستخدم مُعيد ترتيب عبر التشفير (Cross-Encoder Reranker). تخيل مدير توظيف يقرأ كل سيرة ذاتية (نتائج البحث) ثم يعيد ترتيبها بعناية للتأكد من أن الأفضل منها في المقدمة. وجدت الورقة أن هذه الخطوة حاسمة للغاية؛ فبدونها، تنخفض قدرة النظام على إيجاد الإجابة الصحيحة بنسبة هائلة تصل إلى 32.8%.
لكن السحر الحقيقي يكمن في حلقة الوكيل التصحيحية (Corrective Agentic Loop). هذا يشبه المحرر الذي يصحح نفسه. بعد أن يكتب الذكاء الاصطناعي مسودة الإجابة، يتوقف ويسأل نفسه: "هل وجدت دليلًا فعليًا على هذا؟ هل هذا مكتمل؟" إذا كانت الإجابة "لا" أو "ربما"، فلا يكتفي النظام بالتخمين؛ بل يعود إلى المكتبة، ويبحث مرة أخرى بشبكة أوسع، ويحاول العثء على الأجزاء المفقودة. يمكنه القيام بذلك حتى مرتين لضمان أن الإجابة متينة قبل عرضها على المستخدم.
ما وجدوه: الجيد، والسيئ، والمفاجئ
اختبر الفريق نظامهم الجديد مقابل نسخة "ساذجة" (بحث بسيط يبحث فقط عن الكلمات المفتاحية) باستخدام اختبارهم المكون من 50 سؤالًا، APS-Bench.
- الفوز الكبير: كان كل إصدار من نظامهم الجديد الذي استخدم طريقة "البحث + الذكاء الاصطناعي" أفضل من البحث البسيط بالكلمات المفتاحية. النسخة الأفضل، والتي استخدمت أنواع البحث الثلاثة بالإضافة إلى حلقة التصحيح الذاتي، حصلت على أعلى درجة، حيث وجدت الحقائق الأكثر أهمية بنسبة 70.3% من الوقت، مقارنة بـ 63.8% للبحث البسيط.
- المكون الحاسم: تنص الورقة صراحة على أن مُعيد الترتيب عبر التشفير (Cross-Encoder Reranker) هو الجزء الأهم. إذا نزعته، سيفشل النظام بشكل كبير. إنه الفرق بين أمين مكتبة يعرف كيف يعطي الأولوية لأفضل الكتب، وآخر يكتفي بجلب أول ما يقع تحت يده.
- الأجزاء "المشكوك فيها": بينما ساعد "الرسم البياني للمعرفة" (شبكة الروابط) و"حلقة التصحيح الذاتي" في تحسين النتائج، إلا أن الورقة حذرة في القول بأن التحسين الذي قدموه كان هامشيًا ولم يثبت إحصائيًا أنه فوز كبير مقارنة بالأجزاء الأخرى في هذا الحجم المحدد من الاختبار. ساعد الرسم البياني في الأسئلة المعقدة من نوع "لماذا حدث هذا؟"، ولكن بالنسبة للحقائق البسيطة، لم يكن نقطة تحول جذرية.
- نتيجة "لا تلم الكاتب": اختبر الفريق نماذج ذكاء اصطناعي مختلفة لكتابة الإجابات النهائية. ووجدوا أن جودة البحث كانت أكثر أهمية بكثير من نموذج الذكاء الاصطناعي الذي يكتب الإجابة. حتى نموذج ذكاء اصطناعي أصغر ومفتوح المصدر يمكنه كتابة إجابة رائعة إذا توفرت له الحقائق الصحيحة. ومع ذلك، كانت بعض النماذج أفضل بكثير في عدم الكذب (الأمانة/Faithfulness) من غيرها.
الحكم النهائي
تخلص الورقة إلى أن APS-RAG هو أداة واعدة لتحويل عقود من الملاحظات الفوضوية للمنشأة إلى مساعد موثوق وجدير بالثقة. وهي تثبت أن الجمع بين طرق بحث مختلفة مع خطوة "مراجعة العمل" يجعل الذكاء الاصطناعي أكثر أمانًا ودقة للاستخدام الصناعي في العالم الحقيقي.
ومع ذلك، فإن المؤلفين صريحون بشأن الحدود؛ فقد وجدوا أنه بينما يعمل النظام، فإن التعقيد الإضافي لـ "حلقة التصحيح الذاتي" و"الرسم البياني للمعرفة" لم يؤدِ دائمًا إلى قفزة كبيرة في الدرجات مقارنة بطريقة "البحث الهجين" الأبسط. الخلاوة الكبرى هي أن إعادة الترتيب (فرز نتائج البحث بعناية) هي "الخلطة السرية" التي تجعل الأمر برمته ينجح.
باختصار، لقد بنوا نظامًا لا يكتفي بالتخمين؛ بل يبحث، ويتحقق، ويصحح نفسه. وبينما ليس حلاً سحريًا مثاليًا يحل كل المشكلات فورًا (فهو يستغرق دقيقة أو دقيقتين ليكون دقيقًا)، إلا أنه يقدم طريقة موثوقة ومبنية على أسس إحصائية لمساعدة العلماء والمهندسين في العثية على الإجابات في بحر من البيانات، مما يقلل من فترات التوقف ويحافظ على استمرار العمل في المنشأة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.