\textbf{\textsc{HepUKE}}: Uncertainty-aware Knowledge Evolution for High Energy Physics Analysis Agents
تقدم هذه الورقة HepUKE، وهو نظام تطور معرفي مدرك لعدم اليقين لوكلاء تحليل فيزياء الطاقات العالية، يقوم بقياس ثقة الأدلة عبر اعتلاج المعلومات لتمكين قواعد معرفية للغات وصفية (DSL) ذاتية التطور، ويقلل بشكل كبير من جولات الاسترجاع مع الحفاظ على جودة الإجابة.
المؤلفون الأصليون:Zijie Shang, Ke Li, Junkun Jiao, Shengchun Wang, Changzheng Yuan, Xiongfei Wang, Beijiang Liu, Weimin Song, Xiaoshen Kang
فيزياء الطاقة العالية هي علم صدم الجسيمات ببعضها البعض بسرعات هائلة لمعرفة مما تتكون وكيف تتصرف. ولتفسير مليارات الاصطدامات التي تحدث في كل ثانية، يعتمد العلماء على حواسيب ضخمة وبرمجيات معقدة لفرز البيانات، وتصفية الضجيج، وإيجاد الأحداث النادرة التي تكشف عن قوانين جديدة للطبيعة. تتطلب هذه العملية فهماً عميقاً للمعدات، والرياضيات، وقواعد اللعبة المحددة. وفي السنوات الأخيرة، بدأ الباحثون يتساءلون عما إذا كان الذكاء الاصطناعي يمكنه المساعدة. فقد بنوا مساعدين رقميين يمكنهم قراءة الأوراق العلمية وكتابة الكود اللازم لتحليل البيانات. ومع ذلك، غالباً ما تعاني هذه المساعدات لأنها تعامل كل معلومة تجدها على أنها صحيحة بالتساوي. فإذا قرأ الكمبيوتر وثيقة تبدو مشابهة للتي يحتاجها ولكنها تصف في الواقع تجربة مختلفة أو تستخدم طريقة مختلفة، فقد ينسخ المساعد التعليمات الخاطئة. ويمكن أن يؤدي هذا إلى أخطاء جسيمة في النتائج النهائية، لأنه في هذا المجال، يمكن لخطأ صغير في الكود أن يغير الاستنتاج الفيزيائي بأكمله.
لقد طور فريق من الباحثين نظاماً جديداً يسمى HEPUKE لحل هذه المشكلة. فبدلاً من مجرد البحث عن وثائق تبدو مشابهة للسؤال، يعمل هذا النظام كخبير حذر يتحقق من موثوقية كل نصيحة يتلقاها. أدرك الباحثون أنه في فيزياء الطاقة العالية، هناك نوعان من عدم اليقين: الأول هو إحصائي، وينتج عن العشوائية الطبيعية لكيفية توليد الكمبيوتر للإجابة. والثاني هو منهجي، وينتج عن الاختيارات المتخذة في الطريقة نفسها، مثل الأدوات أو الإعدادات المحددة المستخدمة. معظم أنظمة الذكاء الاصطناك الحالية تتجاهل النوع الثاني. يجمع HEPUKE بين كلا النوعين من عدم اليقين في مقياس واحد للثقة. فعندما يجد النظام مثالاً محتملاً للنسخ، فإنه يسأل: "إذا استخدمت هذا المثال، هل تصبح إجابتي أكثر تأكداً، أم تصبح مشوشة؟" إذا كان المثال يسبب ارتباكاً أو يعتمد على طريقة لا تناسب المهمة الحالية، فإن النظام يرفضه.
يعمل النظام من خلال بناء مكتبة حية من المعرفة الخبيرة. يبدأ بمجموعة من برامج التحليل المثبتة التي كتبها علماء بشريون. وعندما تأتي مهمة جديدة، يبحث النظام في هذه المكتبة عن أفضل تطابق. ولكن بخلاف الأنظمة القديمة التي كانت تكتفي بجلب النتيجة الأعلى ببساطة، يقوم HEPUKE باختبار التطابق. فهو يولد عدة حلول ممكنة بناءً على ذلك التطابق ويتحقق من مدى اتساقها. إذا تباينت الحلول بشكل كبير، فهذا يعني أن التطابق ضعيف أو أن الطريقة غير مستقرة، لذا يستبعدها النظام. أما إذا كانت الحلما متسقة وكان عدم اليقين منخفضاً، فإن النظام يقبل النصيحة. والأهم من ذلك، إذا نجح النظام في حل مشكلة جديدة لم تكن موجودة في المكتبة من قبل، فإنه يضيف ذلك الحل الجديد إلى المكتبة لاستخدامه مستقبلاً. وهذا يسمح للنظام بأن يصبح أكثر ذكاءً بمرور الوقت، ولكن فقط من خلال إضافة الحلول التي تم فحصها بدقة.
ولجعل هذه العملية فعالة، يتضمن النظام زر إيقاف ذكي. ففي العديد من قواعد البيانات العلمية، تتكرر المعلومة نفسها في العديد من الوثائق. قد يستمر الكمبيوتر القياسي في البحث عبر صفحة تلو الأخرى، مما يهدر الوقت والمال، حتى بعد أن يجد الإجابة. يراقب HEPUKE تدفق المعلومات أثناء بحثه؛ فهو يعرف متى يكون قد جمع ما يكفي من الأدلة الموثوقة ومتى يكون البحث الإضافي مجرد بحث عن نفس الأشياء مرة أخرى. يتوقف البحث عند تلك النقطة، مما يوفر قدراً كبيراً من الوقت وقوة الحوسبة. وفي الاختبارات باستخدام بيانات من تجربة "Beijing Spectrometer III"، قلل النظام عدد خطوات البحث بنسبة 43 بالمائة مع الحفاظ على جودة الإجابات كما هي تقريباً. كما عمل بشكل جيد في اختبار معرفة عامة ليس له علاقة بالفيزياء، مما أظهر أن الطريقة قوية.
وجد الباحثون أن هذا النهج جيد بشكل خاص في التعامل مع القواعد المحددة والصارمة لفيزياء الجسيمات. واكتشفوا أن الجزء الأكثر أهمية من الكود للتحقق منه هو القسم الذي يقرر فيه العالم أي الأحداث يحتفظ بها وأيها يستبعدها. وهنا يكمن عدم اليقين عادةً. ومن خلال التركيز على هذا الجزء، يمكن للنظام التمييز بين المثال المفيد والمثال المضلل. وتظهر الدراسة أنه من خلال معاملة عدم اليقين كأداة وليس كخلل، يمكن لمساعدي الذكاء الاصطناعي أن يصبحوا شركاء أكثر موثوقية للعلماء. يمكنهم التعلم من أخطائهم، وتجنب نسخ الطرق الخاطئة، ومساعدة الباحثين في الوصول إلى الإجابات بشكل أسرع دون التضحية بالدقة. ويشير هذا العمل إلى أن مستقبل الاكتشاف العلمي لن يقتصر فقط على امتلاك المزيد من البيانات، بل يتعلق بامتلاك طرق أذكى للوثوق بالمعلومات التي نجدها.
ملخص تقني: HEPUKE – تطور المعرفة المدرك لعدم اليقين لوكلاء تحليل فيزياء الطاقات العالية
بيان المشكلة
يتطلب تحليل فيزياء الطاقات العالية (HEP) من الوكلاء تركيب سير عمل برمجيات معقدة (لغات متخصصة في المجال أو DSLs) بناءً على سوابق قليلة (few-shot). تواجه أنظمة التوليد المعزز بالاسترجاع (RAG) الحالية المستخدمة في فيزياء الطاقات العالية ثلاث قيود حرجة:
الارتباط المضلل: تعامل أنظمة التشابه الدلالي القياسية جميع المستندات المسترجعة على أنها موثوقة بالتساوي. في فيزياء الطاقات العالية، قد تشترك المستندات في المصطلحات ولكنها تختلف في الأهمية الفيزيائية، أو أنواع القياس، أو الموثوقية، مما يؤدي إلى تحيز منهجي.
المعرفة الساكنة: لا تقوم الأنظمة الحالية بتخزين السوابق التي تم التحقق من صحتها بشكل تكراري أو تقدير مدى ثقة الأدلة المخزنة، مما يمنع قاعدة المعرفة من التطور بناءً على التحليلات الناجحة.
عدم اليقين غير المعاير: تقيس طرق تقدير عدم اليقين الحالية بشكل أساسي التقلبات الإحصائية (تباين المخرجات تحت دليل ثابت)، لكنها تفشل في حساب عدم اليقين المنهجي الناتج عن الخيارات المنهجية في الأدلة المسترجعة. علاوة على ذلك، تفتقر حلقات الاسترجاع غالبًا إلى آليات التوقف التكيفي، مما يؤدي إلى استدعاءات مكررة في مجموعات بيانات فيزياء الطاقات العالية شديدة التكرار.
المنهجية: إطار عمل HEPUKE
يقترح المؤلفون HEPUKE (تطور المعرفة المدرك لعدم اليقين)، وهو نظام يدمج عدم اليقين الإحصائي من توليد النماذج اللغوية الكبيرة (LLM) مع عدم اليقين المنهجي من خيارات منهجية فيزياء الطاقات العالية. يعمل الإطار على قاعدة معرفة مشتركة K=KQA∪KDSL، حيث KDSL هي مكتبة متطورة من برامج الـ DSL (تحديدًا HepScript لتجربة BESIII).
1. مقدر الثقة المدرك لعدم اليقين
يقوم HEPUKE بقياس مدى موثوقية سابقة مسترجعة عبر قياس قدرتها على تقليل عدم اليقين في لغة الـ DSL المولدة.
عدم اليقين الإحصائي (Hstat): يتم حسابه عبر الإنتروبيا التنبؤية على مستوى الرمز (token) من النموذج اللغوي الكبير.
عدم اليقين المنهجي (Hsyst): يتم حسابه عبر التباين الهيكلي (تباعد جينسن-شانون) عبر مسارات توليد الـ DSL المتكافئة دلاليًا. هذا يلتقط الحساسية تجاه الخيارات المنهجية (مثل قطع الاختيار، أو تكوينات الملاءمة/fit).
التسجيل (Scoring): يحسب النظام تقليل الإنتروبيا (ΔH) عند استخدام سابقة مرشحة مقابل خط أساس. يتم تشكيل درجة المرشح عن طريق وزن تقليل إنتروبيا الكود الكامل وإنتروبيا وحدة الاختيار: score(q,k)=ΔHstat(q,k)+αΔHfull(q,k)+(1−α)ΔHsel(q,k) يتم اشتقاق الثقة c(q) من هذه الدرجة باستخدام دالة سيجمويد (sigmoid).
2. قاعدة معرفة الـ DSL ذاتية التطور
يستخدم النظام آلية توسيع المعرفة المعتمدة على الثقة والملحق فقط (append-only).
البوابة المزدوجة: لا يتم قبول برنامج مُصنع في قاعدة المعرفة إلا إذا اجتاز:
بوابة الثقة: يجب أن يظهر البرنامج "نقطة مثالية" (sweet spot) من تقليل عدم اليقين. يلاحظ المؤلفون وجود علاقة منحنى (inverted-U) حيث يشير تقليل عدم اليقين المرتفع جدًا إلى نسخ غير ملائم للقيم الخاصة بالسابقة (ذيل النسخ/transcription tail)، بينما يشير التقليل المنخفض إلى وجود تعارض. تُقبل فقط البرامج ذات تقليل عدم اليقين الإيجابي المعتدل.
الأصل (Provenance): يحتفظ كل مدخل بمصادر المقاطع وتاريخ التصنيع، مما يسمح بتتبع المصدر وصولاً إلى البذور المكتوبة بشريًا.
3. متحكم التوقف المبكر
لمعالجة التكرار في مجموعات بيانات فيزياء الطاقات العالية، يقدم HEPUK متحكم توقف تكيفي يحدد متى يتم إنهاء جولات الاسترجاع.
الآلية: يدمج اختبار استقرار خلفي (بناءً على كشف نقطة التغير عبر الإنترنت البايزي، BOCPD) على التوزيع اللاحق للإجابة مع تقدير أمامي لكسب المعلومات الهامشي.
القرار: يتوقف الاسترجاع عندما يكون التوزيع اللاحق مستقرًا بما يكفي ويكون كسب المعلومات المتوقع من جولة أخرى منخفضًا، مما يمنع الاسترجاع المفرط دون الحاجة إلى رموز انعكاس (reflection tokens) أو إعادة تدريب.
المساهمات الرئيسية
إشارة عدم يقين موحدة: يقترح البحث طريقة لدمج عدم اليقين الإحصائي (تباين توليد LLM) وعدم اليقين المنهجي (الخيارات المنهجية في الأدلة) في إشارة ثقة واحدة لإعادة ترتيب الأولويات وقبول المعرفة.
قاعدة معرفة ذاتية التطور: يقدم آلية للتوسع المستمر لقاعدة معرفة متخصصة في المجال، والموجهة بالثقة، متجاوزًا بذلك مؤشرات الاسترجاع الساكنة.
التوقف المبكر القائم على نظرية المعلومات: طور المؤلفون متحكمًا يقلل من الاسترجاع المكرر في مجموعات البيانات العلمية شديدة التكرار من خلال الجمع بين كشف الاستقرار وتقدير كسب المعلومات.
معيار BESIII: يطلق العمل معيارًا واسع النطاق وموسومًا من قبل الخبراء (BESIII-PhysicsQA) يحتوي على 1,000 زوج من الأسئلة والأجوبة ومكتبة تضم 700 برنامج HepScript مؤلف من قبل خبراء.
النتائج التجريبية
أُجريت التجارب على معيار BESIII-PhysicsQA (داخل النطاق) وHotpotQA (خارج النطاق).
الثقة مقابل الارتباط: تفوق اختيار الثقة المدرك لعدم اليقين على الاسترجاع القائم على الارتباط القياسي. في مهمة BESIII-DSL، حقق أفضل تكوين للثقة (α=0.0) مطابقة صارمة بنسبة 76.08% ودقة فيزياء بنسبة 65.02%، مقارنة بـ 74.94% و 62.46% للاختيار القائم على الارتباط لأعلى قيمة (top-1).
تطور المعرفة: أدت "بوابة الفترة" (قبول البرامج ذات تقليل عدم اليقين المعتدل فقط) إلى تحسين جودة البرامج المقبولة من 0.93 إلى 0.95، مما أدى فعليًا إلى رفض "ذيل النسخ" حيث يقوم النماذج بنسخ قيم محددة للسابقة بشكل أعمى.
الكفاءة: في معيار BESIII-PhysicsQA، قلل متحكم التوقف المبكر جولات الاسترجاع بنسبة 43.0% (من 5.23 إلى 2.98) وإجمالي الرموز (tokens) بنسبة 44.9%، مع الحفاظ على 95.5% من دقة الإجابة الأصلية (انخفاض قدره 2.27 نقطة مئوية فقط). في HotpotQA، قلل المتحكم وقت الاسترجاع بنسبة 18.2% مع انخفاض ضئيل في الدقة (0.76 نقطة في F1).
المتانة: ظلت بوابة الثقة فعالة تحت تأثير تغييرات في عمق الاسترجاع (k=10) وإعادة صياغة المطالبات (prompts)، مما أظهر متانة خاصة في مقاييس التقييم الحساسة للفيزياء.
الأهمية
يزعم البحث أن HEPUKE يعالج الاحتياجات المحددة لوكلاء العلوم حيث تكون "التوجيهات الاستراتيجية" أكثر قيمة من "الإجابات الجاهزة". من خلال معاملة عدم اليقين ليس فقط كأثر جانبي للتوليد بل كإشارة للموثوقية المنهجية، يُمكّن النظام من إنشاء قاعدة معرفة ذاتية التصحيح والمتطورة. تشير النتائج إلى أنه بالنسبة لمجالات فيزياء الطاقات العالية عالية المخاطر والمكررة، فإن التحكم في عدم اليقين المنهجي واستخدام التوقف التكيفي يحقق مقايضة أفضل بين التكلفة والدقة مقارنة بمسارات RAG القياسية. تم تصميم الإطار ليكون مستقلاً عن المولد (generator-agnostic) وقابلًا للتطبيق على أي تجربة فيزياء طاقات عالية تستخدم لغات DSL مهيكلة.