📊 statistics

Laplace Approximation for Bayesian Tensor Network Kernel Machines

تقترح هذه الورقة نموذج "آلة النواة لشبكة الموتر البايزية" (LA-TNKM) الذي يستخدم تقريب لابلاس الخطي لتوفير تقديرات مبدئية لعدم اليقين، مُظهرةً أداءً يطابق أو يتجاوز العمليات الغاوسية والشبكات العصبية البايزية في معايير قياسية متنوعة للانحدار.

المؤلفون الأصليون: Albert Saiapin, Kim Batselier

نُشر 2026-04-30

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Albert Saiapin, Kim Batselier

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: جعل الذكاء الاصطناعي "واثقاً" (أو صادقاً)

تخيل أنك تقوم بتوظيف خبير في التنبؤ بالطقس.

الذكاء الاصطناعي التقليدي يخبرك: "ستمطر غداً."
الذكاء الاصطناعي "المدرك لعدم اليقين" يخبرك: "ستمطر غداً، لكنني متأكد بنسبة 60% فقط لأن البيانات تبدو غريبة."

هذا النوع الثاني أمر بالغ الأهمية. فإذا كان الذكاء الاصطناعي غير متأكد، يجب أن يعبر عن ذلك، بدلاً من تقديم إجابة خاطئة بكل ثقة. تقدم هذه الورقة البحثية نوعاً جديداً من نماذج الذكاء الاصطناعي يسمى LA-TNKM، وهو بارع في تقديم التنبؤات وأيضاً في معرفة متى لا يملك الإجابة.

المشكلة: المقايضة بين السرعة والأمان

في عالم تعلم الآلة، هناك طريقتان رئيسيتان للحصول على هذه القوة الخارقة المتمثلة في "إدراك عدم اليقين":

"المعيار الذهبي" (العمليات الغاوسية - Gaussian Processes): فكر في هذا كأمين مكتبة دقيق للغاية وبطيء الحركة. هو يفحص كل كتاب في المكتبة ليعطيك إجابة. إنه دقيق جداً وصادق بشأن مستوى ثقته، لكنه يشعر بالإرهاق إذا كانت المكتبة تحتوي على أكثر من بضعة آلاف من الكتب. إنه بطيء جداً بالنسبة للبيانات الضخمة.
"المسرع" (آلات النواة ذات الشبكات الموتورية - Tensor Network Kernel Machines): هذا يشبه عامل توصيل سريع يستخدم طريقاً مختصراً وذكياً لتنظيم الكتب. يمكنه التعامل مع مكتبات ضخمة (مجموعات بيانات هائلة) بسرعة كبيرة. ومع ذلك، ولأنه يستخدم هذا الطريق المختصر، فإنه يفقد القدرة على التحقق من مدى ثقته. هو فقط يعطيك إجابة دون أن يقول: "أنا لست متأكداً".

هدف الورقة البحثية: أراد المؤلفون بناء نظام يكون سريعاً مثل "المسرع" ولكن صادقاً مثل "أمين المكتبة".

الحل: "تقريب لابلابلاس" (الخريطة المحلية)

لإصلاح نقص الثقة لدى "المسرع"، استخدم المؤلفون حيلة رياضية تسمى تقريب لابلابلاس (Laplace Approximation).

التشبيه:
تخيل أنك تقف على قمة جبل (أفضل إجابة ممكنة). لفهم تضاريس المنطقة من حولك، يمكنك محاولة رسم خريطة للعالم بأكمله (وهذا مستحيل). بدلاً من ذلك، أنت تنظر فقط إلى الأرض المحيطة بقدميك مباشرة. أنت تفترض أن الأرض مسطحة (أو منحنية قليلاً) في ذلك المكان تحديداً.

طريقة الورقة البحثية: هم يجدون "القمة" (أفضل تنبؤ) ثم ينظرون إلى "انحناء" الأرض حولها.
- إذا كانت الأرض مسطحة، يكون النموذج واثقاً جداً (الإجابة واضحة).
- إذا كانت الأرض وعرة ومتعرجة، يكون النموذج غير متأكد (التغييرات الصغيرة في البيانات تؤدي إلى تغييرات كبيرة في الإجابة).

من خلال قياس هذا "التعرج" المحلي، يمكن للنموذج حساب مدى قدرته على الوثوق بتنبؤه الخاص.

السر الخفي: الشبكات الموتورية (Tensor Networks)

لم يستخدم المؤلفون أي رياضيات عادية؛ بل استخدموا الشبكات الموتورية (Tensor Networks).

التشبيه:
تخيل أن لديك مكعب روبيك عملاق متعدد الأبعاد يمثل كل بياناتك.

الذكاء الاصطناعي العادي: يحاول حل المكعب بالكامل دفعة واحدة. إنه ضخم ويستغرق وقتاً طويلاً جداً.
الشبكة الموتورية: تفكك مكعب روبيك العملاق إلى سلسلة من المكعبات الأصغر والأسهل في الإدارة والمربوطة ببعضها البعض عبر خيوط. هي تحل القطع الصغيرة وتربطها معاً.

هذا يسمح للنموذج بالتعامل مع كميات هائلة من البيانات (مثل ملايين السجلات) دون أن يتوقف عن العمل. تجمع الورقة بين هذه "السلسلة من المكعبات الصغيرة" وحيلة "الخريطة المحلية" (لابلابلاس) للحصول على السرعة والثقة معاً.

ما اختبروه (التجارب)

اختبر المؤلفون نموذجهم الجديد (LA-TNKM) على مجموعات بيانات من العالم الحقيقي (مثل التنبؤ بأسعار المنازل، أو استهلاك الطاقة، أو سرعة القوارب) وقارنوه بـ:

أمين المكتبة البطيء والدقيق (العمليات الغاوسية).
نماذج ذكاء اصطناعي سريعة أخرى تحاول تخمين مستوى الثقة (الشبكات العصبية البايزية).

النتائج:

السرعة مقابل الدقة: كان LA-KM أسرع بكثير من "أمين المكتبة" ولكنه كان بنفس الدقة.
الأمانة: كان أفضل في الاعتراف بعدم تأكده مقارنة بالنماذج السريعة الأخرى.
خدعة "النواة الأخيرة": جربوا طرقاً مختلفة لحساب "تعرج" الأرض. وجدوا أن النظر فقط إلى الجزء الأخير من السلسلة (الـ "Last Core") كان غالباً هو التوازن الأفضل بين السرعة والدقة.

الخاتمة

تزعم الورقة أن LA-TNKM هو أداة عملية جديدة. فهو يسمح للحواسيب بإجراء تنبؤات سريعة على مجموعات بيانات ضخمة مع القدرة أيضاً على قول: "أنا لست متأكداً من هذا"، تماماً كما يفعل الخبير البشري. إنه يسد الفجوة بين النماذج البطيئة جداً لدرجة عدم الجدوى، والنماذج السريعة جداً لدرجة عدم إمكانية الثقة بها.

باخت مختصر: لقد صنعوا سيارة سريعة لا تزال تمتلك عداد سرعة ومؤشر وقود يعملان بشكل جيد، حتى تعرف بالضبط مدى سرعتك ومتى قد ينفد منك الوقود.

إليك ملخص تقني مفصل لورقة البحث بعنوان "تقريب لابلاب لآلات النواة ذات الشبكات التنسورية البايزية" (Laplace Approximation for Bayesian Tensor Network Kernel Machines) من إعداد ألبرت سايابين وكيم باتسليير.

1. بيان المشكلة

تتطلب أنظمة تعلم الآلة تقديرًا قويًا لعدم اليقين (Uncertainty Estimation - UE) للتعامل مع المدخلات الغامضة، والبيانات الخارجة عن التوزيع (out-of-distribution)، والميزات المشوشة. وبينما توفر العمليات الغاوسية (Gaussian Processes - GPs) أطرًا احتمالية رصينة لتقدير عدم اليقين، إلا أن تعقيدها الحسابي يتزايد بشكل تكعيبي ( $O(N^3)$ ) مع عدد نقاط البيانات، مما يحد من استخدامها في مجموعات البيانات الكبيرة والمتوسطة.

في المقابل، تقدم آلات النواة ذات الشبكات التنسورية (Tensor Network Kernel Machines - TNKMs) بديلًا قابلًا للتوسع عبر تمثيل أوزان النموذج كشبكات تنسورية (تحديدًا تفكيك "كانونيكال بولياديك" أو CPD). وهذا يقلل عدد المعلمات من نمط أسي إلى نمط خطي بالنسبة لبعد المدخلات. ومع ذلك، تعتمد نماذج TNKMs القياسية عادةً على تقدير "الاحتمال الأقصى البعدي" (Maximum A Posteriori - MAP). إن البنية غير الخطية ومتعددة الخطوط للشبكات التنسورية تكسر فرضية التوزيع الطبيعي (الغاوسي) المطلوبة للاستدلال البايزي المغلق، مما يجعل من الصعب اشتقاق تقديرات رصينة لعدم اليقين دون اللجوء إلى طرق أخذ العينات المكلفة (مثل MCMC) أو الاستدلال التبايني المعقد.

السؤال الجوهبري: كيف يمكن لآلات النواة ذات الشبكات التنسورية أن توفر تقديرات رصينة وقابلة للتوسع لعدم اليقين، مقارنة بالعمليات الغاوسية (GPs) أو الشبكات العصبية البايزية (BNNs)؟

2. المنهجية: LA-TNKM

يقترح المؤلفون إطار عمل LA-TNKM (تقريب لابلاب لآلات النواة ذات الشبكات التنسورية)، وهو إطار يوحد الاستدلال التبايني مع (تقريب لابلاب الخطي) لإجراء استدلال بايزي قابل للتطبيق على الشبكات التنسورية.

المكونات الرئيسية:

صياغة النموذج:
- يتم تعريف النموذج كـ $f(x) = \phi(x)^T w$ ، حيث تمتلك الميزات $\phi(x)$ بنية ناتج تنسوري (tensor-product structure) وتُمثل الأوزان $w$ كشبكة تنسورية بنظام CPD.
- يُفترض وجود احتمالية غاوسية (Gaussian likelihood) وتوزيع قبلي غاوسي (Gaussian prior) على المعلمات.
تقريب لابلاب (Laplace Approximation):
- بدلًا من التكامل عبر التوزيع البعدي عالي الأبعاد (وهو أمر مستعصٍ)، يقرب المؤلفون التوزيع البعدي $p(v|D)$ باستخدام توزيع غاوسي ممركز عند تقدير MAP وهو $v^*$ :
  $q(v) = \mathcal{N}(v | v^*, H_{v^*}^{-1})$
- هنا، $H_{v^*}$ هي مصفوفة هسيان (Hessian matrix) لدالة الخسارة عند نقطة الأمثلية.
تقريبات الهسيان (Hessian Approximations):
- حساب مصفوفة الهسيان الكاملة للشبكات التنسورية يستهلك ذاكرة ضخمة. لذا، قيمت الورقة البحثية بشكل منهجي خمس استراتيجيات تقريب للموازنة بين الذاكرة والدقة:
- الهسيان الكامل (Full Hessian): دقيق ولكنه مكلف حاسوبيًا ( $O((DIR)^2)$ ).
- طريقة غاوس-نيوتن المعممة (GGN): تقريب شبه موجب محدد، ويُستخدم غالبًا في الشبكات العصبية البايزية (BNNs).
- القطري الكتلي (Block-Diagonal): يفترض الاستقلالية بين نوى الـ CPD (على غرار الطبقات في BNNs).
- القطري (Diagonal): يفترض أن جميع الأوزان مستقلة (نموذج المجال المتوسط - mean-field).
- النواة الأخيرة (Last Core): يطبق الاستدلال البايزي فقط على نواة الـ CPD الأخيرة، مع معاملة النوى السابقة كقيم ثابتة. وقد ثبت أن هذا الأسلوب فعال للغاية ( $O(I^2R^2)$ ) وناجع.
تقريب لابلاب الخطي (Linearized Laplace Approximation - LLA):
- يعالج المؤلفون عدم التطابق بين النموذج غير الخطي والتوزيع الغاوسي البعدي من خلال خطية دالة النموذج $f(x, v)$ حول $v^*$ .
- يسمح هذا بحساب التوزيع التنبؤي تحليليًا باستخدام النموذج الخطي، مما يحسن الأداء التنبؤي (اللوغاريتم السالب للاحتمالية - NLL) بشكل كبير مقارنة بتقريب لابلاب غير الخطي.
تجريد القيم الذاتية (Eigenvalue Truncation):
- للتعامل مع مصفوفات الهسيان سيئة الحالة (حيث تكون القيم الذاتية قريبة من الصفر أو سالبة)، يطبق المؤلفون عملية تجريد القيم الذاتية المقطوعة. يتم ضبط المعلم الفائق $\hat{t}$ عبر التحقق المتقاطع (cross-validation) لتصفية القيم الذاتية الصغيرة، مما يمنع انفجار التباين التنبؤي.

3. المساهمات الرئيسية

إطار عمل مبتكر (LA-TNKM): تقديم أول آلة نواة تنسورية بايزية تتيح تنبؤات مدركة لعدم اليقين مع الحفاظ على التكاليف الحسابية المماثلة لـ TNKMs القائمة على MAP.
تحليل منهجي للهسيان: مقارنة شاملة لتقنيات تقريب الهسيان (Full, GGN, Block, Diagonal, Last Core) ضمن سياق الشبكات التنسورية، مما يوفر إرشادات حول استخدام الذاكرة والأداء التنبؤي.
استراتيجية الخطية (Linearization Strategy): إثبات أن خطية دالة التنبؤ (LLA) أمر بالغ الأهمية لتحقيق تقديرات عالية الجودة لعدم اليقين في الشبكات التنسورية، وهو ما يتماشى مع النتائج الحديثة في BNNs.
التحقق التجريبي: تجارب واسعة النطاق تظهر أن LA-TNKM يطابق أو يتفوق على العمليات الغاوسية (GPs) والشبكات العصبية البايزية (BNNs) في مهام الانحدار المتنوعة.

4. النتائج التجريبية

تم تقييم الطريقة على تسع مجموعات بيانات انحدار من UCI ومهمة انحدار تكعيبية اصطناعية ( $y = x^3 + \epsilon$ ).

الأداء مقابل النماذج المرجعية (Baselines):
- حققت LA-TNKM (تحديدًا باستخدام تقريب النواة الأخيرة - Last Core) باستمرار أقل لوغاريتم سالب للاحتمالية (NLL) في 4 من أصل 9 مجموعات بيانات، وكانت منافسة في البقية.
- تفوقت على نماذج BNNs القياسية (Bayes-by-Backprop, Variational Dropout) وعلى طرق تنسورية أخرى (MF-BTN, SP-BTN).
- من حيث معايرة عدم اليقين (Uncertainty Calibration) (مقاسة بـ ECP-95 وRelative Calibration Error)، أنتجت LA-TNKM فترات ثقة أكثر حدة (WCPI-95 أقل) وأفضل معايرة من BNNs، مقتربة في سلوكها من العمليات الغاوسية.
نتائج البيانات الاصطناعية:
- في مهمة $x^3$ الاصطناعية، نجحت LA-TNKM في التقاط عدم اليقين في المناطق ذات البيانات الشحيحة، بينما مال نموذج SP-BTN إلى المبالغة في تقدير التباين (فترات واسعة جدًا)، وأظهر نموذج LA-BNN علامات على عدم تطابق النموذج أثناء الاستقراء (extrapolation).
دراسات الاستئصال (Ablation Studies):
- الخطية (Linearization): تفوق تقريب لابلاب الخطي (LLA) باستمرار على تقريب لابلاب القياسي من حيث NLL.
- اختيار الهسيان: بينما كان تقريب "النواة الأخيرة" هو الأكثر كفاءة في الذاكرة والأفضل أداءً بشكل عام، فقد وُجد أن الاختيار الأمثل يعتمد على البيانات. ومع ذلك، قدم كل من "النواة الأخيرة" و"القطري الكتلي" أفضل توازن بين الكفاءة والدقة.

5. الأهمية والخاتمة

يقلص هذا العمل الفجوة بين قابلية التوسع لـ الشبكات التنسورية ورصانة الاستدلال البايزي.

القابلية للتوسع: من خلال استخدام التفكيكات التنسورية وتقريبات الهسيان الفعالة، تتجنب LA-TNKM عقبة التعقيد $O(N^3)$ الخاصة بالعمليات الغاوسية، مما يجعل تقدير عدم اليقين الرصين ممكنًا لمجموعات البيانات الأكبر والمدخلات عالية الأبعاد.
العملية: توفر الطريقة طبقة احتمالية "جاهزة للاستخدام" (plug-and-play) لهياكل الشبكات التنسورية الحالية دون الحاجة إلى عمليات أخذ عينات معقدة أو عائلات تباينية.
التأثير المستقبلي: تشير النتائج إلى أنه بالنسبة للعديد من مهام الانحدار، فإن المعالجة البايزية الموضعية (مثل النواة الأخيرة) مع الخطية كافية لتحقيق حالة متقدمة من التقدير لعدم اليقين، مما يوفر بديلًا فعالًا حسابيًا لكل من العمليات الغاوسية (GPs) والشبكات العصبية البايزية (BNNs) الكاملة.

باخت ملخص، تثبت LA-TNKM أن آلات النواة ذات الشبكات التنسورية يمكن أن تكون بايزية بفعالية، مما يوفر نهجًا قابلًا للتوسع، ورصينًا، ومنهجيًا لتقدير عدم اليقين في تعلم الآلة الحديث.