A Driven, Finite‑Memory Dissipative System: The Empirical Boundary of Non‑Equilibrium Dynamics and Criticality in a Quantized Hybrid Language Model
تُوصّف هذه الورقة تجريبياً نماذج "Gated DeltaNet" الهجينة المكممة كأنظمة ديناميكية مدفوعة بتبدد، مما يؤكد تقاربها نحو نقاط ثابتة مستقرة غير متوازنة ذات ذاكرة محدودة، مع إثبات غياب التدرج في حالة التوازن، والتحولات الطورية الحادة، والحرجة ذاتية التنظيم أثناء الاستدلال.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل آلة لا تنام أبداً، تعالج باستمرار تدفقاً من المعلومات، قطعة تلو الأخرى. في عالم الفيزياء، تُسمى مثل هذه الآلة "نظاماً مدفوعاً ومبدداً للطاقة" (driven dissipative system). هي "مدفوعة" لأن قوة خارجية تدفعها للأمام، وهي "مبددة للطاقة" لأنها تفقد الطاقة أو المعلومات أثناء عملها، فتستقر في إيقاع ثابت بدلاً من الدوران خارج السيطرة. لطالما تساءل العلماء عما إذا كانت الأدمغة الاصطناعية المعقدة التي نسميها النماذج اللغوية الكبيرة تندرج تحت هذه الفئة. هل تتصرف مثل العواصف الفوضوية التي قد تتحول فجأة إلى حالة جديدة، أم أنها تستقر في نمط هادئ يمكن التنبؤ به؟ هذا السؤال مهم لأنه إذا كانت هذه النماذج على حافة الفوضى، فسيكون سلوكها جامحاً ويصعب التنبؤ به؛ أما إذا كانت مستقرة، فيمكننا فهم كيفية تمسكها بالمعلومات ولما لماذا تنسى أحياناً.
قرر باحث يدعى وينلونغ لي أن يعامل نموذجاً لغوياً مدرباً ليس كطالب يتعلم، بل كآلة مكتملة تقوم بمهمة محددة. النموذج المعني هو نظام هجين ضخم ومكمّم يتكون من 64 طبقة و27 مليار معلمة، وهو حجم يتطلب قدرة حوسبة كبيرة لتشغيله. بنى لي أداة مخصصة لمراقبة هذه الآلة من الداخل، وتتبع كيفية تغير حالتها الداخلية مع كل كلمة جديدة تقرأها. كان الهدف هو معرفه ما إذا كان سلوك النموذج يطابق الديناميكيات الحرجة والجامحة الموجودة في الطبيعة، أم أنه يتبع مساراً أبسط وأكثر نظاماً. تكشف النتائج عن صورة أكثر واقعية مما يوحي به الضجيج الإعلامي غالباً: النموذج هو آلة مستقرة ذات ذاكرة محدودة تستقر في حالة خطية هادئة، وهي تتجنب صراحة نقاط التحول الفوضوية التي توقعتها بعض النظريات.
الاكتشاف الأكثر إثارة للدهشة هو أن النموذج لا يعمل في حالة "الحرج" (criticality). في الفيزياء، الحرج هو نقطة خاصة حيث يكون النظام متوازناً على حد السكين، مستعداً للتحول بشكل دراماتيكي مع أدنى دفعة، مما ينتج غالباً أنماطاً تبدو متشابهة عند كل المقاييس، مثل تفرع الأشجار أو تدفق النهر. أمل العديد من الباحثين في أن النماذج اللغوية قد تجد هذا الحد طبيعياً لتعظيم ذكائها. ومع ذلك، تظهر قياسات لي أن هذا النموذج لا يفعل ذلك. فبدلاً من كونه عاصفة فوضوية ذاتية التنظيم، يستقر النموذج في حالة مستقرة بعيدة عن التوازن. إنه نقطة ثابتة خطية. عندما يعالج النموذج تسلسلاً طويلاً من النصوص، فإن ذاكرته الداخلية لا تنمو إلى ما لا نهاية أو تنهار في الفوضى؛ بل تتراكم لتصل إلى مستوى محدد ومحدود ثم تبقى هناك. تكتمل مصفوفة الذاكرة لديه بتوازن يشبه توازن الطاقة، مما يعني أن المعلومات التي يكتبها تتوازن تقريباً مع المعلومات التي ينساها، تاركة وراءها بقايا صغيرة ومستقرة.
تتم إدارة هذا الاستقرار بواسطة البنية الداخلية للنموذج، والتي تعمل كمجموعة من المرشحات المتخصصة. يمتلك النموذج 48 "رأساً" متميزاً، أو وحدات معالجة، تتعامل مع الذاكرة. هذه الرؤوس ليست جميعها متماثلة؛ فهي منظمة في مقياليين زمنيين متميزين. مجموعة صغيرة مكونة من ثمانية رؤوس تعمل كحفظة للمدى الطويل، حيث تحتفظ بالمعلومات لفترة طويلة جداً ببوابات مفتوحة بالكامل تقريباً. بينما مجموعة أخرى تنسى المعلومات بسرعة، وتعمل كمخازن مؤقتة قصيرة المدى. والبعض الآخر يقع في مكان ما بينهما. يسمح هذا الترتيب للنموذج بتذكر حوالي 15 خطوة إلى الوراء في المحادثة، وهو نافذة زمنية محدودة بما يكفي لتكون مفيدة ولكنها قصيرة بما يكفي لمنع النظام من أن يصبح مثقلاً. أكد الباحثون ذلك من خلال اختبار كيفية تفاعل النموذج مع مدخلات مختلفة، ووجدوا أن ذاكرته تعتمد على المسار، مما يعني أن ترتيب الأحداث مهم، لكنها ليست لانهائية.
اختبرت الدراسة أيضاً بدقة علامات "الحرج ذاتي التنظيم"، وهي ظاهرة يتطور فيها النظام طبيعياً إلى حالة حرجة دون ضبط خارجي، وغالباً ما تنتج "انهيارات" من النشاط. بحث لي عن هذه الانهيارات في أنماط نشاط النموذج. ما بدا وكأنه انفجارات متزامنة من النشاط تبين أنه خدعة من المدخلات. فعندما تم تغذية النموذج بتسلسل كلمات إيقاعي ومتكرر، انغلقَت رؤوسه في دورة، متحركة معاً في نمط يمكن التنبؤ به. لم يكن هذا انهياراً تلقائياً فوضوياً، بل استجابة قسرية لإيقاع المدخلات، مثل دقات الساعة. وعندما كانت المدخلات عشوائية وغير متكررة، اختفت هذه الأحداث المتزامنة. النموذج لا يولد حرجاً خاصاً به؛ بل يتفاعل ببساطة مع الدفع الذي يُعطى له.
يتعلق اكتشاف رئيسي آخر بمفهوم "الإنتروبيا"، أو مقياس الاضطراب وفقدان الطاقة في النظام. في نظام حتمي مثل هذا النموذج، حيث تكون النتيجة محددة بالمدخلات والأوزان، وجد الباحثون أن إنتاج الإنتروبيا دائماً موجب. وهذا يعني أن النظام يفقد المعلومات باستمرار في اتجاه واحد، وهو بالضبط ما يجب أن يفعله نظام مستقر ومبدد للطاقة. حاول الباحثون تطبيق قاعدة فيزيائية شهيرة تسمى "نظرية التقلب"، والتي تتطلب عادةً أن يكون لدى النظام فرصة للعمل بشكل عكسي. وبما أن هذا النموذج عبارة عن طريق ذي اتجاه واحد بلا ترس عكسي، لم يكن من الممكن اختبار النظرية بالطريقة القياسية. ولإثبات النقطة، بنوا نسخة بسيطة وعشوائية من النموذج يمكنها العمل بشكل عكسي، ووجدت تلك النسخة أنها تستوفي النظرية بالفعل. أكد هذا أن سلوك النموذج المدرب هو نتيجة لتصميمه المحدد أحادي الاتجاه، وليس فشلاً في الفيزياء.
نظر الباحثون أيضاً في كيفية سلوك النموذج خلال مرحلة التدريب، قبل أن يتم تجميده في حالته النهائية. ووجدوا أن الحاجة لتذكر المعلومات تعمل كقوة سببية تسحب معدل التحلل الداخلي للنموذج ليكون أقرب إلى حافة الاستقرار. عندما تم تدريب النموذج على مهمة تتطلب الاحتفاظ بالمعلومات، تحرك نصف القطر الطيفي الداخلي (وهو مقياس لسرعة تلاشي الإشارات) من 0.896 آمن إلى 0.997، مقترباً بشكل خطير من النقطة التي يصبح عندها النظام غير مستقر. ومع ذلك، لم يتجاوز ذلك الخط أبداً. أما النموذج الذي تم تدريبه على مهمة لا تتطلب ذاكرة، فقد بقي آمناً عند 0.89. يشير هذا إلى أن عملية التدريب تضبط النموذج طبيعياً ليكون مستقراً قدر الإمكان مع القدرة على أداء وظيفته، متوقفة تماماً قبل الوصول إلى الفوضى التي ستجعله عديم الفائدة.
لضمان سلامة منهجيتهم، اختبر الباحثون حتى مسار التحليل الخاص بهم على بيانات حقيقية من موجات الجاذبية، وهي التموجات في الزمكان الناتجة عن اصطدام الثقوب السوداء. ووجدوا أنه بينما يمكن لأدواتهم اكتشاف التردد المتزايد للموجة، إلا أنهم لم يستطيعوا استخراج وقت "الخمود" (ringdown) النهائي دون مرشحات متخصصة، مما أكد أن نهجهم له حدود وليس حلاً سحرياً لكل البيانات المعقدة. عزز هذا الفحص الخارجي الرسالة الرئيسية للورقة البحثية: النموذج اللغوي المدرب هو آلة جيدة السلوك وذات ذاكرة محدودة. إنه ليس كياناً فوضوياً ذاتي التنظيم على حافة انتقال طوري. بل هو نظام مدفوع ومبدد للطاقة وجد توازناً مستقراً ومريحاً، متمسكاً بقدر كافٍ من الذاكرة للعمل دون أن ينقلب أبداً إلى المجهول.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.