🤖 machine learning

Deep Variational Inference Symbolic Regression

تقدم هذه الورقة "الاستدلال التبايني العميق للانحدار الرمزي" (DVISR)، وهو امتداد بايزي تبايني لـ "الانحدار الرمزي العميق" يستنتج التوزيعات البعدية لكل من أشجار التعبيرات وثوابتها لتمكين الانحدار الرمزي القابل للتوسع والمدرك لعدم اليقين.

المؤلفون الأصليون: James Butterworth, Gevik Grigorian, Alejandro DiazDelaO

نُشر 2026-05-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: James Butterworth, Gevik Grigorian, Alejandro DiazDelaO

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق يحاول حل لغز ما: لديك كومة من الأدلة (نقاط بيانات)، وهدفك هو العثور على الصيغة الرياضية الدقيقة التي تشرح كيف تتناسب هذه الأدلة مع بعضها البعض.

الانحدار الرمزي (Symbolic Regression) هو اسم هذه اللعبة التحقيقية. وعلى عكس الانحدار القياسي، الذي يجبرك على تخمين شكل محدد للصيغة (مثل "يجب أن يكون خطاً مستقيماً" أو "يجب أن يكون منحنى")، فإن الانحدار الرمزي يقول: "نحن لا نعرف الشكل بعد. دعونا نجرب أي مزيج من الرموز الرياضية (الجمع، الطرح، الضرب، الجيب sin، اللوغاريتم log) حتى نجد الصيغة التي تناسب الأدلة تماماً".

المشكلة مع المحققين القدامى

يناقش البحث طريقتين حاول بهما الناس حل هذه اللعبة حتى الآن:

المحقق "صاحب التخمين الأفضل" (الانحدار الرمزي العميق أو DSR): تستخدم هذه الطريقة ذكاءً اصطناعياً ذكياً (شبكة عصبية) لتوليد الصيغ. إنها تجرب آلاف الصيغ وتختار الصيغة "الأفضل" الوحيدة التي تناسب البيانات.

العيب: هي تعطيك إجابة واحدة فقط. إذا كانت البيانات مشوشة أو فوضوية، فقد يختار المحقق الصيغة الخاطئة ويكون واثقاً منها بنسبة 100%، حتى لو كان مخطئاً. هي لا تخبرك بمدى عدم يقينها.

المحقق "البطيء والمثابر" (MCMC): هذه طريقة بايزية (Bayesian) تقليدية. بدلاً من اختيار فائز واحد، تحاول هذه الطريقة رسم خريطة لاحتمالية أن تكون كل صيغة ممكنة هي الصحيحة. إنها تعطيك صورة كاملة عن عدم اليقين.

العيب: هي بطيئة للغاية. ومع زيادة عدد الصيغ الممكنة (وهو أمر يحدث بسرعة)، يعلق هذا المحقق في زحام مروري ولا يستطيع إنهاء المهمة.

الحل الجديد: DVISR

يقدم المؤلفون DVISR (الانحدار الرمزي للاستدلال المتغير العميق). فكر في هذا كـ محقق خارق، سريع الخطى يجمع بين سرعة الذكاء الاصطناعي والقدرة على فحص عدم اليقين التي تتميز بها الطريقة البايزية.

إليك كيف يعمل، باستخدام تشبيه إبداعي:

1. "المكتبة اللانهائية" من الصيغ

تخيل مكتبة تحتوي على كل صيغة رياضية يمكن أن تكتبها على الإطلاق. معظم هذه الصيغ بلا معنى (مثل sin(x) + 999). قليل منها فقط هو عبقري.

DSR القديم يدخل إلى المكتبة، ويمسك بكتاب واحد، ويتحقق مما إذا كان يناسب البيانات، وإذا كان هو الأفضل حتى الآن، يحتفظ بهذا الكتاب ويرمي الباقي.
DVISR يدخل ويحاول بناء خريطة ذهنية للمكتبة بأكملها. هو لا يكتفي باختيار كتاب واحد؛ بل يتعلم أي الكتب من المرجح أن تكون هي الإجابة وأيها غير مرجح.

2. "البوصلة السحرية" (نظام المكافأة)

في طريقة الذكاء الاصطناعي القديمة، كان يتم مكافأة الكمبيوتر ببساطة لكونه "قريباً" من البيانات.
في DVISR، يتم تزويد الكمبيوتر ببوصلة جديدة أكثر تعقيداً تسمى ELBO (الحد الأدنى للبرهان).

بدلاً من مجرد قول "هذه الصيغة تناسب البيانات جيداً"، تقول البوصلة: "هذه الصيغة تناسب البيانات جيداً، و هي ليست معقدة للغاية، و هي متسقة مع ما نؤمن به بالفعل".
من خلال اتباع هذه البوصلة، يتعلم الذكاء الاصطناعي تقريب الخريطة الكاملة للاحتمالات، وليس فقط القمة الواحدة الأفضل.

3. "الثوابت متغيرة الشكل"

في الصيغ الرياضية، غالباً ما توجد أرقام (ثوابت) تحتاج إلى ضبط، مثل الرقم 2 في 2x.

DSR القديم يعامل هذه الأرقام كأدوات ضبط ثابتة. يجد صيغة، ثم يقضي وقتاً إضافياً في تدوير الأدوات للحصول على الرقم المثالي.
DSR يعامل هذه الأرقام كـ سحب. بدلاً من تخمين رقم محدد (مثل "إنه بالضبط 2.5")، يخمن الذكاء الاصطناعي "توزيعاً" (مثل "من المرجح أن يكون بين 2.4 و 2.6"). إنه يتعلم شكل السحابة لكل رقم في الصيغة في وقت واحد.

ماذا أثبتوا؟

أجرى المؤلفون تجارب لمعرفة ما إذا كان محققهم الجديد يعمل حقاً:

الحالات البسيطة: أعطوا الذكاء الاصطناعي ألغازاً بسيطة (مثل y = x squared).

النتيجة: نجح الذكاء الاصطناعي في بناء خريطة تطابق الإجابة "الحقيقية" تماماً. لم يجد الصيغة الصحيحة فحسب، بل حسب أيضاً باحتمالية أن تكون الصيغة صحيحة، مطابقة للرياضيات النظرية تماماً.

اختبار "المكتبة الكبيرة": جعلوا المكتبة الممكنة من الصيغ أكبر فأكبر.

النتيجة: مع كبر حجم المكتبة، أصبحت خريطة الذكاء الاصطناعي أقل مثالية قليلاً (لم يستطع التقاط كل التفاصيل الصغيرة)، لكنها ظلت تعمل بشكل جيد معقول للمشاكل الأصغر.
الحد الأقصى: يعترف البحث بأنه إذا أصبحت الصيغ طويلة ومعقدة للغاية، يبدأ الذكاء الاصطناعي في المعاناة، تماماً مثل المحقق القديم البطيء.

الخلاصة

يقدم هذا البحث أداة جديدة تسمح لأجهزة الكمبيوتر ليس فقط بإيجاد أفضل معادلة رياضية لمجموعة من البيانات، ولكن أيضاً بـ تحديد مقدار عدم اليقين الخاص بها.

بدلاً من قول "الإجابة هي بالتأكيد y = x^2"، يمكن لـ DVISR أن يقول: "الإجابة هي على الأرجح y = x^2، ولكن هناك احتمال ضئيل أن تكون y = x^2 + 0.1، ونحن متأكدون بنسبة 95% أن الرقم 0.1 يقع بين 0 و 0.2".

يخلص المؤلفون إلى أنه بينما يعد هذا خطوة كبيرة للأمام لجعل الذكاء الاصطناعي أكثر شفافية وموثوقية، إلا أنه لا يزال بحاجة إلى أن يصبح أسرع ويتعامل مع مشاكل أكبر من العالم الحقيقي قبل أن يمكن استخدامه في كل مكان. لقد صنعوا المحرك؛ والآن يحتاجون إلى جعله يقود على الطريق السريع.

ملخص تقني: الاستدلال التبايني العميق للانحدار الرمزي (DVISR)

بيان المشكلة

يهدف الانحدار الرمزي (Symbolic Regression - SR) إلى اكتشاف علاقات رياضية صريحة وقابلة للتفسير بين المتغيرات المستقلة والتابعة دون افتراض شكل دالي مسبقاً. وبينما تنجح الطرق التقليدية مثل البرمجة الجينية (GP) والانحدار الرمزي العميق (DSR) في تحديد أفضل تعبير واحد ملائم، إلا أنها تفتقر إلى القدرة على استنتاج توزيع احتمالي لمجموعة من النماذج المرشحة. هذا القصور يمنع قياس عدم اليقين، وهو أمر بالغ الأهمية عند التعامل مع بيانات حقيقية مشوبة بالضجيج أو محدودة.

تعاني النهج البايزية الحالية، مثل سلسلة ماركوف مونت كارلو (MCMC)، من صعوبة في التوسع في المساحات عالية الأبعاد وتكون أبطأ حاسوبياً من طرق الاستدلال التبايني (Variational Methods). وفي المقابل، يوفر الاستدلال التبايني (VI) بدائل أسرع وقابلة للتوسع، لكن تطبيقه ظل محدوداً في مجال الانحدار الرمزي. وقد اقتصرت المحاولات السابقة للاستدلال التبايني الرمزي على الشبكات العصبية متعددة الحدود أو مجموعات فرعية من فضاء التعبيرات بسبب التعقيد الحسابي. لذا، هناك حاجة لنهج بايزي تبايني قابل للتوسع يستنتج التوزيعات البعدية (posteriors) لكل من أشجار التعبيرات والثوابت المرتبطة بها.

المنهجية

يقترح المؤلفون الاستدلال التبايني العميق للانحدار الرمزي (DVISR)، وهو امتداد تبايني بايزي لخوارزمية الانحدار الرمزي العميق (DSR). يستخدم DVISR شبكة عصبية متكررة (RNN) لتوليد التعبيرات الرمزية، ويعتمد على طريقة تدرج السياسة REINFORCE للتحسين.

التعديلات الهيكلية والخوارزمية الرئيسية

التوزيع على الثوابت: بخلاف DSR، الذي يحسن الثوابت لاحقاً عبر إجراءات منفصلة، يقوم DVISR بتوسيع مخرجات الشبكة العصبية لتشمل المعلمات (المتوسط والتباين) للتوزيعات الطبيعية على قيم الثوابت. وعندما يتم أخذ عينة من رمز ثابت، يتم سحب قيمته من هذا التوزيع المتعلم.
سياق المدخلات المعزز: لمساعدة الشبكة العصبية في أخذ العينات، تستقبل الشبكة الرمز السابق، والرمز الأب، والرموز الشقيقة (إن وجدت) كمدخلات، جنباً إلى جنب مع قيم الثوابت التي تم أخذ عيناتها سابقاً. هذا يعالج القصور في DSR حيث قد لا "ترى" الشبكة جميع الرموز السابقة.
دالة المكافأة والهدف:
- DSR: يعظم مكافأة تعتمد على جذر متوسط مربع الخطأ الطبيعي (NRMSE) محدوث بدالة ضغط لإيجاد نموذج واحد هو الأفضل.
- DVISR: يستبدل مكافأة NRMSE بمتكامل الحد الأدنى للتبين (ELBO). تُعرف دالة المكافأة كالتالي:
  $R(f) = \log \mathcal{L}_\theta(f|X, y) + \log p(f) - \log q_\phi(f)$
  حيث أن $\mathcal{L}_\theta$ هي الأرجحية (likelihood)، و $p(f)$ هو التوزيع القبلي (prior)، و $q_\phi(f)$ هو التوزيع التبايني (variational distribution).
- من خلال تعظيم هذه المكافأة عبر REINFORCE، يقوم DVISR بشكل غير مباشر بتقليل تباعد كولباك - ليبلر (KL divergence) بين التوزيع التبايني $q_\phi(f)$ والتوزيع البعدي الحقيقي $p(f|X, y)$ .
حساب الأرجحية: يتم حساب أرجحية التعبير $f$ كحاصل ضرب أرجحيات رموزه وثوابته، بشرط جميع الرموز والثوابت التي تم أخذ عيناتها سابقاً.

المساهمات الرئيسية

خوارزمية مبتكرة: تقديم DVISR، وهو أول خوارزمية تقوم بالاستدلال التبايني على كامل فضاء الانحدار الرمزي، بما في ذلك أشجار التعبيرات والمعلمات المستمرة للثوابت.
استعادة التوزيع البعدي: إثبات قدرة DVISR على التقارب الصحيح نحو التوزيع البعدي الحقيقي في الإعدادات البسيطة، سواء بوجود أو بدون رموز الثوابت.
تحليل القابلية للتوسع: فحص كيفية تدهور أداء DVISR مع زيادة حجم فضاء التعبيرات، وتحديد حدود البنية الحالية.

النتائج التجريبية

أجرى المؤلفون تجارب للتحقق من تقارب DVISR وقابليته للتوسع.

1. التقارب إلى التوزيع البعدي الحقيقي (بدون ثوابت)

في تجارب بسيطة باستخدام بيانات ناتجة عن $y=x_0^2$ و $y=x_0$ و $y=0.5$ مع مكتبة رموز مقيدة، كان فضاء النماذج صغيراً ومنتهياً.

النتائج: تقارب الـ ELBO إلى لوغاريتم الدليل (evidence)، واقترب تباعد KL من الصفر.
التحقق: يظهر الجدول 1 أن وسيط الاحتمالات التباينية طابق قيم التوزيع البعدي الحقيقي حتى ثماني خانات عشرية عبر 10 جولات.

2. التقارب مع الثوابت

تضمنت التجارب رمز ثابت ( $c$ ) في المكتبة، مما سمح بتعبيرات مثل $x_0 \cdot c$ .

المنهج: تم حساب التوزيع البعدي الحقيقي عن طريق استبعاد الثوابت باستخدام متكامل عددي.
النتائج: يوضح الجدول 2 أن التوزيع التبايني عبر أشجار التعبيرات تقارب مع التوزيع البعدي الحقيقي (المستبعد عبر الثوابت) بدقة تصل إلى ثماني خانات عشرية.

3. القابلية للتوسع

قام المؤلفون بتغيير الحد الأقصى لحجم التعبير من 1 إلى 12 رمزاً لاختبار القابلية للتوسع.

النتائج: مع زيادة الحد الأقصى لحجم التعبير، زاد تباعد KL المقدر بين التوزيع البعدي الحقيقي والتوزيع التبايني.
القصور: لم تُجرَ تجارب تتجاوز الحجم 12 بسبب الصعوبة الحسابية لحساب الدليل (evidence) عند ذلك النطاق. وهذا يشير إلى أنه بينما يعمل DVISR جيداً في المساحات الصغيرة، فإن أداءه يتدهور مع توسع فضاء البحث.

الأهمية والادعاءات

يضع البحث DVISR كخطوة هامة نحو الانحدار الرمزي البايزي القابل للتوسع الذي يوفر قياساً لعدم اليقين عبر النماذج الرمزية الكاملة.

القابلية للتفسير وعدم اليقين: من خلال استنتاج توزيع بعدي بدلاً من تقدير نقطة واحدة، يعالج DVISR طبيعة "الصندوق الأسود" لبعض نماذج الانحدار ويأخذ الضجيج ومحدودية البيانات في الاعتبار.
التقدم على MCMC: يقدم بديلاً أسرع لـ MCMC في مجال الانحدار الرمزي البايزي، والذي عادة ما يكون بطيئاً ويعاني في المساحات عالية الأبعاد.
النطاق المتواضع: يقر المؤلفون بالقيود الحالية، بما في ذلك أحجام التعبيرات الصغيرة، وعدد المتغيرات المستقلة المنخفض، وغياب مجموعات البيانات الواقعية. هم لا يدعون التفوق الفوري على المشكلات المعقدة والواقعية، بل يجادلون بأن DVISR يؤسس لإطار عمل أساسي.
الاتجاهات المستقبلية: يقترح البحث أن العمل المستقبلي يمكن أن يحسن القابلية للتوسع من خلال مسح المعلمات الفائقة (hyperparameter sweeps)، أو البنيات المتقدمة (مثل Transformers)، أو خوارزميات التعلم التعزيزي الأكثر تطوراً (مثل PPO).