🤖 machine learning

NRGPT: An Energy-based Alternative for GPT

تقدم الورقة البحثية NRGPT، وهي بنية GPT معدلة توحد النمذجة التوليدية مع أطر العمل القائمة على الطاقة من خلال تصور الاستدلال كاستكشاف لمشهد طاقة، وتُظهر أداءً تنافسياً عبر مهام متنوعة مع إبداء مقاومة متزايدة للإفراط في التخصيص.

المؤلفون الأصليون: Nima Dehmamy, Benjamin Hoover, Bishwajit Saha, Leo Kozachkov, Jean-Jacques Slotine, Dmitry Krotov

نُشر 2026-05-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Nima Dehmamy, Benjamin Hoover, Bishwajit Saha, Leo Kozachkov, Jean-Jacques Slotine, Dmitry Krotov

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "NRGPT: بديل قائم على الطاقة لنماذج GPT" بلغة بسيطة واستعارات إبداعية.

الفكرة الكبرى: من قطار فائق السرعة إلى كرة متدحرجة

تخيل نموذج لغة ذكاء اصطناعي قياسي (مثل نموذج GPT الشهير) كأنه قطار فائق السرعة. إنه يتحرك كلمة بكلمة (token by token) على طول مسار محدد. عندما يرى كلمة "الـ"، فإنه يعرف فوراً أن الكلمة التالية من المرجح أن تكون "قط" أو "كلب"، بناءً على تدريبه. هو سريع، لكنه يتبع فقط المسارات التي وُضعت له أثناء التدريب.

يقترح مؤلفو هذه الورقة طريقة مختلفة لفهم كيفية عمل هذه النماذج. أطلقوا على نموذجهم الجديد اسم NRGPT. وبدلاً من كونه قطاراً على مسارات، تخيل NRGPT كأنه كرة تتدحرج في منظر طبيعي تليله التلال والوديان.

في هذا المنظور الجديد:

المنظر الطبيعي: تمثل "التلال" و"الوديان" طاقة النص.
الكرة: هي الكلمة الحالية (أو الرمز) التي يحتاج النموذج للتنبؤ بها.
الهدف: تريد الكرة أن تتدحرج لتستقر في أعمق وادٍ (حالة الطاقة الأدنى). وفي عالم الذكاء الاصطناعي، تعني "حالة الطاقة المنخفضة" كلمة تبدو منطقية تماماً في سياق الجملة.

تجادل الورقة بأنه بدلاً من مجرد "التنبؤ" بالكلمة التالية، يقوم النموذج في الواقع بـ استكشاف التضاريس للعثور على المكان الأكثر استقراراً ومنطقية لاستقرار الكلمة التالية.

كيف يعمل: "طاقة" الكلمات

تقدم الورقة مفهوماً يسمى النمذجة القائمة على الطاقة (EBM). تخيل الأمر كالتالي:

الطاقة العالية: كلمة تشعر بأنها "خاطئة" أو "مزعجة" (مثل "القط أكل الـ بيتزا..."، إذا كان السياق يتحدث عن حديقة حيوان). هذه تمثل نقطة مرتفقة على التلة.
الطاقة المنخفضة: كلمة تشعر بأنها "صحيحة" وطبيعية (مثل "القط أكل الـ فأر"). هذا يمثل وادياً عميقاً.

تم بناء نموذج NRGPT بحيث تولد رياضياتُه الداخلية هذا المنظر الطبيعي. عندما يحتاج النموذج لتوليد الكلمة التالية، فإنه لا يقوم بمجرد تخمين؛ بل يقوم بعملية انحدار متدرج (gradient descent). وهذا يعني أنه يأخذ خطوات صغيرة نحو الأسفل ويتحقق باستمرار: "هل هذه الكلمة ذات طاقة أقل (أفضل) مما أنا عليه الآن؟" ويستمر في اتخاذ خطوات نحو الأسفل حتى يجد نقطة مستقرة.

التغيير "الأدنى"

لم يتخلَّ المؤلفون عن بنية GPT القديمة، بل قاموا بـ تعديل أدنى.

أخذوا اللبنات الأساسية لنموذج GPT (الأجزاء التي تتعامل مع الانتباه والمعالجة الأمامية).
أعادوا كتابة الرياضيات بحيث تعمل هذه اللبنات كالقوى التي تدفع الكرة نحو الأسفل.
أثبتوا أنه تحت ظروف معينة، تكون عملية "الكرة المتدحرجة" هذه متطابقة رياضياً مع عملية "القطار على المسارات" التقليدية، ولكن من منظور مختلف.

ما الذي اختبروه (التجارب)

اختبر الفريق NRGPT في ثلاثة أنواع مختلفة من التحديات لمعرفة ما إذا كان نهج "الكرة المتدحرجة" فعالاً حقاً:

الألغاز الرياضية (ListOps): أعطوا النموذج قوائم من الأرقام والعمليات الرياضية (مثل "مجموع الحد الأقصى لـ 4 و 13"). أدى NRGPT بشكل جيد مثل النماذج القياسية وأظهر قدرته على التعامل مع المنطق.
شكسبير: طلبوا من النموذج الكتابة بأسلوب شكسبير. قام NRGPT بعمل ممتاز وطابق جودة النماذج القياسية، ولكن مع لمسة مختلفة: لم يقع في فخ الإفراط في التخصيص (Overfitting).
- الاستعارة: تخيل طالباً يحفظ الكتاب المدرسي بدقة شديدة لدرجة أنه لا يستطيع الإجابة على سؤال إذا تغيرت الصياغة قليلاً. هذا هو "الإفراط في التخصيص". بدا أن NRGPT تعلم مفهوم شكسبير بدلاً من مجرد حفظ النص، مما جعله أكثر قوة ومتانة.
النصوص الواقعية (OpenWebText): اختبروه على مجموعة بيانات ضخمة من نصوص الإنترنت. أنتج NRGP نصاً منافساً للنماذج القياسية، باستخدام عدد أقل قلي من المعلمات (أي "قدرة الدماغ" أو الذاكرة).

النتائج الرئيسية و"السمات الغريبة"

الاستقرار التقاربي (Asymptotic Stability): اكتشفت الورقة شيئاً مثيراً للاهتمام حول "الكرة المتدحرجة". بمجرد أن تستقر الكرة في وادٍ، فإنها لا تتحرك بعد ذلك. يطلق المؤلفون على هذا "الاستقرار التقاربي". وهذا يعني أن النموذج ينتقل بشكل طبيعي إلى إجابة مستقرة ويتوقف عن التقلب، وهي خاصية نظرية جيدة.
المقاومة للإفراط في التخصيص: في مجموعة بيانات شكسبير، لم يقع NRGPT في "فخ الحفظ" بسهولة مثل النماذج القياسية عندما تصبح النماذج كبيرة جداً.
التكاليف: هناك مقايضة. بينما قد يستخدم NRGPT عدد معلمات (ذاكرة) أقل، فإن الخطوات الحسابية الفعلية (FLOPs) المطلوبة لتدحرج الكرة نحو الأسفل قد تكون أكثر تكلفة من نهج القطار القياسي. الأمر يشبه المسار المتعرج والجميل أسفل الجبل بدلاً من رحلة المصعد المستقيمة؛ قد ترى المزيد، لكن الأمر يتطلب جهداً أكبر للمشي.

الخاتمة

تخلص الورقة إلى أن NRGPT هو تجربة ناجحة في الجمع بين عالمين مختلفين: تصميم GPT الشعبي ونماذج الطاقة النظرية.

إنها تثبت أنه يمكننا رؤية عملية توليد النص ليس فقط كتنبؤ، بل كـ عملية تحسين (optimization process) — أي كبحث عن الحالة الأكثر استقراراً ومنطقية. ورغم أنه لا يتفوق بعد على أفضل نماذج GPT في كل المعاياي، إلا أنه يقدم طريقة رياضية أنيقة لفهم كيفية عمل عقول الذكاء الاصطناعي القوية هذه، مما يشير إلى أن "التفكير" بالنسبة للذكاء الاصطناعي قد يكون ببساطة عملية البحث عن أعمق نقطة في مشهد طاقة معقد للغاية.

ملخص تقني: NRGPT – بديل قائم على الطاقة لنموذج GPT

بيان المشكلة

تهيمن بنيات المحولات التوليدية مسبقة التدريب (GPT) حاليًا على نمذجة اللغات ذات التراجع الذاتي (autoregressive) من خلال رسم خرائط تسلسل الرموز (tokens) إلى تسلسل مُزاح (التنبؤ بالرمز التالي) عبر سلسلة من طبقات المحولات (Transformer). ورغم فعاليتها، إلا أن هذا التكوين القياسي يختلف عن النماذج القائمة على الطاقة (EBMs)، وهي نموذج يُنظر فيه إلى الاستدلال كعملية ديناميكية على مشهد طاقة (energy landscape)، حيث تقابل حالات الطاقة المنخفضة البيانات ذات الاحتمالية العالية.

وعلى الرغم من الأدلة المتزايدة على وجود روابط عميقة بين المحولات والنزول الاشتقاقي (gradient descent) (على سبيل المثال، في سياق التعلم داخل السياق) والمحاولات السابقة لتوحيد هذه المجالات (مثل محولات الطاقة - Energy Transformers)، إلا أن إطار عمل محددًا بوضوح يحول تكوين GPT السببي القياسي إلى نموذج قائم على الطاقة ظل أمرًا بعيد المنال. غالبًا ما تعتمد نهج الطاقة الموجودة على إعادة بناء الرموس المقنعة (وهو أمر غير مناسب للتوليد السببي) أو تعامل المحولات كمجرد حاسبات للطاقة بدلاً من كونها أنظمة ديناميكية. يحدد المؤلفون فجوة في توحيد آلية استدلال GPT القياسية مع إطار عمل EBM دون التخلي عن الطبيعة التراجعية لنمذجة اللغة.

المنهجية

يقترح المؤلفون NRGPT (eNeRgy-GPT)، وهو تعديل أدنى لبنية GPT يوحدها مع إطار عمل EBM. يكمن الابتكار الجوهري في تصور خطوة الاستدلال ليس كمرور أمامي (forward pass) ثابت، بل كاستكشاف للرموز على مشهد طاقة، حيث يتم توجيه قاعدة التحديث بواسطة اشتقاق دالة طاقة محددة.

1. صياغة دالة الطاقة

يُعرف النموذج دالة طاقة إجمالية $E$ تتكون من حدين: طاقة الانتباه ( $E_{AT}$ ) وطاقة الشبكة الأمامية ( $E_{FF}$ ).

طاقة الانتباه: مشتقة من آلية الانتباه متعدد الرؤوس، حيث تمت صياغة $E_{AT}$ بحيث يؤدي اشتقاقها بالنسبة لحالة الرمز إلى مخرج الانتباه. يحدد المؤلفون طاقة انتباه قابلة للتعلم حيث تحاكي خطوة النزول الاشتقاقي آلية الانتباه القياسية، باستخدام وزن قابل للتعلم $\alpha$ ومصفوفة معدل استدلال $\eta$ .
طاقة الشبكة الأمامية: تُشتق الشبكة الأمامية (FF) من صياغة الذاكرة الترابطية الكثيفة. تم بناء $E_{FF}$ بحيث ينتج اشتقاقها التحديث القياسي لشبكة MLP ذات طبقتين. يستقصي المؤلفون متغيرات محددة، بما في ذلك $E_{FF} = -\|\sigma(W g_A)\|^2$ (النموذج NRGPT_H_FF1) ومتغير أكثر تعقيدًا يتضمن مصفوفتي أوزان (النموذج NRGPT_H_FF2W).

2. قاعدة التحديث والديناميكيات

تُنمذج عملية الاستدلال كنظام ديناميكي حيث تتطور حالة الرمز $x$ عبر الخطوات الزمنية $t$ :
$x^{(t+1)} = x^{(t)} - \eta(t) \nabla E(x^{(t)})$
هنا، $\eta(t)$ هي مصفوفة معدل الاستدلال (تعمل كمُهيئ مسبق/preconditioner).

القيد السببي: تعتمد طاقة الرمز $A$ فقط على الرموز $B \leq A$ ، مما يضمن التوليد السببي.
الاستقرار التقاربي: يثبت المؤلفون أنه تحت شروط محددة لـ $\eta$ (على سبيل المثال، $\eta = c \cdot \text{diag}(\gamma)$ ، حيث $\gamma$ هي عوامل قياس LayerNorm) ومع التطبيع (normalization)، يظهر النظام استقرارًا تقاربيًا. بعد مرحلة انتقالية، تنخفض طاقة كل رمز بشكل رتيب، وتتقارب حالات الرموز نحو نقاط ثابتة. يوفر هذا ضمانًا نظريًا بأن "المرور الأمامي" يشكل عملية نزول طاقة صالحة.

3. المتغيرات البنيوية

يفحص العمل عدة تكوينات:

التطبيع (Normalization): يدعم النموذج LayerNorm و RMSNorm، مع إثباتات نظرية تظهر أن عمليات التطبيع هذه تساعد في حصر الطاقة وضمان التقارب.
متغيرات FF: يختبر المؤلفون أشكالًا مختلفة من $E_{FF}$ لموازنة الأداء مع التشابه البنيوي مع نماذج GPT القياسية.
الاستدلال المتكرر: على عكس نماذج GPT القياسية، حيث تكون الطبقات متميزة، يستخدم NRGPT كتلة متكررة واحدة. يقابل عدد خطوات الاستدلال المتكرر "عمق" الشبكة.

المساهمات الرئيسية

إطار عمل موحد: تصميم دالة طاقة وقاعدة تحديث تصف تكوين GPT، مما يوحد نمذجة اللغة التراجعية مع النمذجة القائمة على الطاقة.
ضمانات نظرية: إثبات أنه تحت شروط محددة لمصفوفة معدل الاستدلال والتطبيع، تُظهر ديناميكيات الاستدلال انخفاضًا في الطاقة بعد مرحلة انتقالية، مما يؤسس لـ الاستقرار التقاربي.
التحقق التجريبي: إثبات أن NRGPT تنافسي في المجالات التالية:
- ListOps: المهام الحسابية والمنطقية المتداخلة.
  يدخل في مهام مثل ListOps.
- Shakespeare: نمذجة اللغة على مستوى الحروف.
- OpenWebText (OWT): نمذجة اللغة الطبيعية واسعة النطاق.
مقارنة منهجية: تحليل مفصل لتقارب الأداء بين المحولات المتكررة وNRGPT، بما في ذلك كفاءة المعلمات وتكاليف العمليات الحسابية (FLOPs).
التحليل الديناميكي: استقصاء تجريبي لمسارات الرموز على مشاهد الطاقة، مع ملاحظة التقارب نحو حالات منخفضة الطاقة مستقرة.

النتائج التجريبية

ListOps: حققت متغيرات NRGPT (خاصة NRGPT_H_FF1 و NRGPT_H_FF2W) أداءً مشابهًا لنموذج GPT المتكرر المرجعي (GPT_Rec_parallel) من حيث الدقة وخسارة التدريب. وصلت النماذج إلى انتقالات التعلم (تحقيق دقة > 80%) عند أعداد معلمات مماثلة (حوالي $2.3 \times 10^4$ إلى $3.0 \times 10^4$ معلمة).
Shakespeare: حقق NRGPT خسائر تحقق (validation losses) مماثلة لنماذج GPT العميقة عبر مختلف أحجام المعلمات. ومن الجدير بالذكر أن NRGPT أظهر مقاومة أكبر لفرط التخصيص (overfitting) على مجموعة بيانات التدريب مقارنة بنماذج GPT القياسية عند أحجام المعلمات الكبيرة.
OpenWebText: في مجموعة بيانات OWT، حقق NRGFT (خاصة متغير NRGPT_H_FF2W) مقاييس جودة توليد (الارتباك/perplexity، درجة القواعد، التنوع) تنافسية مع نموذج GPT قياسي (بـ 124 مليون معلمة)، رغم احتوائه على حوالي 34 مليون معلمة أقل (90 مليون مقابل 124 مليون).
المهام اللاحقة (MMLU): في إعداد 5-shot على مجموعة بيانات MMLU، حقق نموذج NRGPT بـ 128 مليون معلمة متوسط دقة أعلى (29.3%) مقارنة بنموذج GPT المماثل في الحجم (28.0%) ونماذج GPT المتكررة المرجعية (26.0%). يشير المؤلفون إلى وجوب النظر إلى هذه النتائج بحذر بسبب صغر حجم النموذج، لكنهم يقترحون إمكانية وجود مزايا محتملة.

القيود والملاحظات

التكلفة الحسابية: على الرغم من أن NRGPT أكثر كفاءة في المعلمات، إلا أنه يتكبد تكاليف FLOPs أعلى لكل تكرار (1-2×) مقارنة بنماذج GPT المتكررة المكافئة، ويرجع ذلك أساسًا إلى تصميم وحدة FF واستخدام مصفوفات أوزان كاملة الرتبة في الانتباه.
الحساسية للمعلمات الفائقة: يظهر NRGPT حساسية أكبر لاختيارات المعلمات الفائقة (مثل معدلات التعلم) مقارنة بمتغيرات GPT القياسية.
سلوك فرط التخصيص: النماذج أكثر مقاومة لفرط التخصيص، وهو أمر مفيد في أنظمة البيانات الصغيرة ولكنه قد يكون غير مثالي للبيانات الضخمة حيث يعمل فرط التخصيص غالبًا كوسيط لتعلم الأنماط المعقدة.
قيود معدل الاستدلال: لضمان نزول الطاقة، يجب أن تستوفي مصفوفة معدل الاستداف $\eta$ شروطًا محددة (على سبيل المثال، أن تكون متناسبة مع قياس التطبيع). ومع ذلك، تشير النتائج التجريبية إلى أن حتى $\eta$ غير المقيدة يمكن أن تؤدي إلى التقارب في الممارسة العملية.

الأهمية والادعاءات

يدعي العمل أن NRGPT يمثل تعديلًا أدنى لبنية GPT ينجح في توحيد نمذجة اللغة التراجعية مع النمذجة القائمة على الطاقة. تكمن أهميته الأساسية في:

التوحيد النظري: توفير أساس مبدئي حيث يكون "المرور الأمامي" لنموذج لغوي سببي هو صراحةً نظام ديناميكي قائم على الاشتقاق على مشهد طاقة.
الاستقرار التقاربي: إثبات أن هذا النظام الديناميكي يتقارب طبيعيًا نحو حالات مستقرة، مما يقدم منظورًا جديدًا لاستدلال المحولات.
النموذج البديل: إظهار أن النهج القائم على الطاقة يمكن أن ينافس نماذج GPT القياسية في الأداء مع تقديم خصائص فريدة مثل مقاومة فرط التخصيص وإمكانية الاستكشاف المنهجي لمساحة الحلول (مثل التوقف المبكر أو المنظمات)، وإن كان العمل يشير إلى أن هذه التطبيقات المتقدمة تمثل عملًا مستقبليًا.

يضع المؤلفون NRGPT ليس كبديل لجميع نماذج GPT، بل كخطوة مهمة نحو فهم بنية المحول من خلال عدسة الطاقة والتحسين، مما يسد الفجوة بين نماذج التعلم العميق الثابتة والأنظمة الديناميكية.