Large Language Model Integration for Knowledge Retrieval and Interaction for the DUNE Experiment

ملخص تقني: DUNE-GPT – دمج النماذج اللغوية الكبيرة لاسترجاع المعرفة والتفاعل

بيان المشكلة
يواجه تجربة النيوترينو تحت الأرض العميقة (DUNE) تحديات كبيرة في إدارة المعرفة بسبب الحجم غير المسبوق وتنوع البيانات. فالمعلومات موزعة عبر منصات متعددة، بما في ذلك DocDB وIndico والويكي الداخلي، وهي تشمل التوثيق، والملاحظات الفنية، والبيانات التجريبية، ومسارات إعادة البناء (reconstruction pipelines). ومع نمو التعاون، يصبح التنقل في هذا المشهد الموزع للوصول إلى تفاصيل تقنية محددة تتعلق بإعادة البناء، أو المحاكاة، أو عمليات الكاشف أمراً يستغرق وقتاً طويلاً بشكل متزايد، لا سيما بالنسبة للمتعاونين الجدد. علاوة على ذلك، فإن النشر المباشر للنماذج اللغوية الكبيرة (LLMs) التجارية أو المفتوحة في تعاونات فيزياء الطاقات العالية (HEP) يثير مخاوف حرجة تتعلق بخصوصية البيانات، وقابلية التكرار، وإمكانية الوصول إلى الشبكة، مما يستلزم حلاً داخلياً آمناً.

المنهجية
لمعالجة هذه التحديات، طور المؤلفون DUNE-GPT، وهو إطار عمل تجريبي يعمل ضمن بيئة الحوسبة الخاصة بـ Fermilab. يستخدم النظام بنية التوليد المعزز بالاسترجاع (RAG)، والتي تتكون من ثلاثة مكونات رئيسية:

1. معالجة المستندات وتوليد التضمين (Embedding Generation): يقوم النظام باستيعاب وثائق DUNE المتاحة للجمهور والداخلية (مثل تقارير التصميم الفني، وملاحظات الاجتماعات، ومواد مجموعات العمل) من DocDB وIndico. تتضمن المعالجة المسبقة للنصوص تحليل تنسيقات مختلفة (PDF، DOCX، TXT، PNG)، واستخراج البيانات الوصفية، وإجراء تقسيم على مستوى الرموز (token-level segmentation). يتم استبعاد المحتوى الحساس أو المقيد للامتثال لسياسات التعاون. تُدمّن المستندات المعالجة باستخدام مشفرات قائمة على المحولات (تحديداً multi-qa-mpnet-base-dot-v1)، وهي محسنة للنصوص العلمية.
2. قاعدة بيانات المتجهات ومحرك الاسترجاع: تُخزن التضمينات الناتجة في قاعدة بيانات متجهة باستخدام تقنية البحث عن التشابه من فيسبوك (FAISS). وعند تلقي استعلام من المستخدم، يقوم النظام بإجراء بحث عن التشابه باستخدام تشابه جيب التمام (cosine similarity) لاسترجاع أجزاء النص الأكثر صلة.
3. واجهة النموذج اللغوي الكبير لتوليد الاستجابة: يتم توجيه مقتطفات السياق المسترجعة إلى نماذج لغوية كبيرة موجودة مسبقاً مستضافة على أجهزة Argonne (Argo) وFermilab (Ollama). يتم ضبط النموذج اللغوي بناءً على هذه المقتطفات المصدرية المتحقق منها لتوليد الاستجابات. يضمن هذا النهج بقاء المخرجات مرتكزة على مصادر خاصة بـ DUNE، مما يقلل من خطر "الهلوسة" مع الحفاظ على خصوصية البيانات من خلال إبقاء جميع العمليات داخل بيئة الحوسبة الداخلية.

المساهمات الرئيسية والتنفيذ

• بنية داخلية آمنة: على عكس أدوات الذكاء الاصطناعي الخارجية، تم تصميم DUNE-GPT ليعمل بالكامل ضمن موارد الحوسبة الخاصة بـ Fermilab وArgonne، مما يضمن أن المتعاونين المعتمدين فقط في DUNE هم من يمكنهم الوصول إلى الأداة، وأنه لا تخرج أي بيانات حساسة من الشبكة الداخلية.
• واجهة مدعومة بالاستشهادات: يوفر النظام واجهة ويب خفيفة حيث يمكن للمستخدمين تقديم استعلامات بلغة طبيعية. يتم تنسيق الاستجابات المولدة لتشمل استشهادات تشير إلى المستندات المحددة التي تم استرجاعها من قواعد بيانات DUNE الداخلية، مما يعزز إمكانية التتبع.
• النشر التجريبي: تم تطوير النموذج الأولي في البداية باستخدام السوبر كمبيوتر Aurora في مرفق Argonne للحوسبة القيادية (ALCF) مع خلفية برمجية بلغة Python تدمج مكتبات مفتوحة المصدر. وتتضمن الخطة طويلة المدى نقل البنية التحتية إلى Fermilab للاستضافة على مستوى التعاون.

النتائج الأولية
تشير الاختبارات المعيارية الأولية إلى أن النظام القائم على RAG يحقق دقة تبلغ حوالي 70% في استرجاع الوثائق ذات الصلة عبر أنواع متنوعة من الاستعلامات، بما في ذلك تفاصيل الكاشف، وخوارزميات إعادة البناء، وسير عمل تحليل الفيزياء. تُظهر الواجهة الأمامية الحالية القدرة على عرض سؤال عينة، والاستجابة المولدة، وأفضل ثلاثة مراجع مسترجعة استُخدمت في عملية التوليد.

الأهمية والآفاق المستقبلية
يضع البحث DUNE-GPT كخطوة حاسمة نحو تحسين الإنتاجية وكفاءة التهيئة على مستوى التعاون من خلال تمكين الاستعلام باللغة الطبيعية للموارد التقنية المعقدة. يحافظ المؤلفون على نطاق متواضع، مشيرين إلى أن الأداة لا تزال قيد التطوير النشط. يركز العمل المستقبلي على:

• توسيع مجموعة التضمين لتشمل سجلات تشغيل الكاشف وتوثيق الكود البرمجي.
• تطوير نموذج لغوي كبير متكيف مع المجال خصيصاً لفهم لغة فيزياء الطاقات العالية (HEP).
• دمج المحتوى متعدد الوسائط (مثل الرسوم البيانية والأشكال التوضيحية).
• إنشاء استضافة ويب في Fermilab لتسهيل الوصول الآمن على مستوى التعاون.
• دمج ملاحظات المستخدمين لتحسين جودة الاسترجاع وسهولة استخدام الواجهة.

يمثل هذا العمل نهجاً منضبطاً وقابلاً للتفسير لدمج الذكاء الاصطنا في سير عمل فيزياء الطاقات العالية، مع إعطاء الأولوية لأمن البيانات والتحقق من المصدر على نشر النماذج الخارجية غير الموثقة.