Thermodynamic cost of inference and learning in physical neural networks
تُثبت هذه الورقة أنه في حين أن الاستدلال شبه الساكن في الشبكات العصبية الفيزيائية لا يترتب عليه أي تكلفة ثيرموديناميكية، فإن تعلم المعلمات يحمل نفقات طاقة غير قابلة للاختزال، مما يؤسس لكون السعر الثيرموديناميكي الجوهري للحوسبة العصبية يتحدد من خلال تخزين الذاكرة وليس المعالجة الحسابية.
في كل مرة يحل فيها الحاسوب مشكلة أو يتعلم نمطاً جديداً، فإنه يستهلك طاقة. ونحن نرى ذلك في محطات الطاقة الضخمة التي تغذي مراكز البيانات لدينا والحرارة المنبعثة من أجهزة المحمول الخاصة بنا. لعقود من الزمن، تساءل العلماء عما إذا كان جزء من تكلفة هذه الطاقة هو مجرد خلل في تقنيتنا الحالية، أم أنه قانون أساسي في الطبيعة لا يمكن لأي آلة الهروب منه. الإجابة القياسية بالنسبة للحواسيب الرقمية تأتي من قاعدة تسمى مبدأ لانداور. تنص هذه القاعدة على أنه إذا قامت آلة بمسح قطعة من المعلومات، فيجب أن تطلق كمية ضئيلة ولا مفر منها من الحرارة. ينطبق هذا القانون على المفاتيح الثنائية داخل معالجاتنا، حيث تُخزن المعلومات كحالات متميزة ومستقرة مثل "تشغيل" أو "إيقاف". ومع ذلك، يقوم العديد من الباحثين الآن ببناء نوع مختلف من الحواسيب؛ وهي الشبكات العصبية الفيزيائية، وهي أجهزة مصنوعة من الضوء أو الأجزاء الميكانيكية أو الدوائر الإلكترونية التي تحسب من خلال الاسترخاء إلى حالة من التوازن، تماماً مثل كرة تتدحرج أسفل تلة لتجد أدنى نقطة. ولأن هذه الآلات لا تعتمد على قلب مفاتيح صلبة، فإن القواعد القديمة المتعلقة بمسح البتات قد لا تنطبق عليها بنفس الطريقتين. والسؤال هو ما إذا كانت هذه الآلات الجديدة قادرة على الحساب والتعلم بأقل قدر ممكن من الطاقة، أم أنها هي الأخرى مقيدة بحد فيزيائي صارم.
لقد قام باحث في مختبر بروكهافن الوطني الآن برسم خريطة توضح بدقة مقدار الطاقة التي تتطلبها هذه الشبكات الفيزيائية. لم يقم ببناء جهاز فيزيائي في المختبر، بل أنشأ نموذجاً رياضياً مفصلاً يعامل الشبكة العصبية كنظام من الزنبركات والأوزان. في نموذجه، ليست الروابط بين طبقات الشبكة تعليمات صلبة، بل هي قيود مرنة، مثل الزنبركات التي تسحب النظام نحو شكل محدد. عندما تُعطى الشبكة مدخلاً، فإنها ببساال تسترخي لتتخذ الشكل الذي يلبي جميع متطلبات الزنبركات في آن واحد. سمح هذا النهج للعالم بحساب تكلفة الطاقة لعمليتين متميزتين: الاستدلال، وهو فعل حل المشكلة، والتعلم، وهو فعل تدريب الآلة لتصبح أفضل في حل المشكلات. وتكشف نتائجهم عن انقسام مفاجئ في فيزياء هذه الآلات؛ فقد اكتشفوا أن عملية التفكير، أو الاستدلال، يمكن نظرياً القيام بها بطاقة صفرية إذا تحركت الآلة ببطء كافٍ. التكلفة تظهر فقط عندما تُجبر الآلة على التحرك بسرعة. في المقابل، يحمل فعل التعلم سعراً طاقياً دائماً لا يمكن تجنبه، بغض النظر عن مدى بطء عمل الآلة.
وجد الباحث أن تكلفة الطاقة بالنسبة للاستدلال لا تتحدد بعدد الروابط أو "الأوزان" داخل الشبكة، كما هو الحال في الحواسيب الرقمية. بدلاً من ذلك، تعتمد التكلفة على عرض الشبكة، أو عدد الخلايا العصبية النشطة في وقت واحد. إذا سُمح للآلة بالاسترخاء ببطء، بالانتقال من مدخل إلى آخر بوتيرة هادئة، فإنها لا تتطلب أي عمل على الإطلاق. وذلك لأن الآلة تكون دائماً في حالة توازن، تنزلق على طول وادٍ سلس من الطاقة دون الحاجة أبداً لتسلق تلة أو مسح ذاكرة. الوقت الوحيد الذي تُبذل فيه الطاقة هو عندما تُدفع الآلة للتحرك أسرع من سرعة استرخائها الطبيعية. في هذا النظام السريع، تكون الطاقة المطلوبة متناسبة مع المسافة التي يجب أن تقطعها الآلة عبر فضاء الحالة الخاص بها، مقسومة على الوقت الذي تستغرقه. أظهرت عمليات المحاكاة أنه حتى عند أسرع سرعة مفيدة، فإن تكلفة الطاقة منخفضة بشكل ملحوç، فهي تعادل تقريباً الطاقة الحرارية للبيئة لكل بُعد في أوسع طبقة في الشبكة. وهذا يعني أن التكلفة تتناسب مع حجم عرض الشبكة، وليس تعقيدها الإجمالي. بالنسبة لشبكة تحتوي على مليون خلية عصبية نشطة، فإن تكلفة الطاقة تبلغ حوالي مليون ضعف الطاقة الحرارية الضئيلة لجسيم واحد، وهو رقم أصغر بمليارات المرات مما تستهلكه الأجهزة الرقمية الحالية.
أما التعلم، فيروي قصة مختلفة. فعندما يتم تدريب الآلة، يتم فرض كل من المدخل والمخرج المطلوب على النظام في نفس الوقت. وهذا يخلق صراعاً، أو توتراً، داخل زنبركات الشبكة، لأن الإعدادات الحالية لا يمكنها تلبية المدخل والهدف في آن واحد. ومن أجل التعلم، يجب على الآلة تعديل أوزانها الداخلية لتخفيف هذا التوتر. وجد الباحث أن عملية تعديل الأوزان هذه تحمل تكلفة طاقة لا يمكن الحد منها. وخلافاً للاستدلال، فإن هذه التكلفة لا تختفي حتى لو تم التدريب ببطء لانهائي. في كل مرة يتغير فيها وزن، يتم تبديد كمية صغيرة من الطاقة كحرارة، وهي تعادل تقريباً بضعة أضعاف الطاقة الحرارية للبيئة لكل معلمة (parameter). تُدفع هذه التكلفة مرة واحدة لكامل مجموعة المعلمات التي تحدد معرفة الآلة. وهي لا تعتمد على عدد الأمثلة التي تراها الآلة أثناء التدريب، بل على عدد الأوزان التي يتعين عليها تخزينها. وهذا يتناقض بشكل حاد مع التدريب الرقمي، حيث يجب على الآلة مسح وإعادة كتابة المعلومات لكل مثال تراه، مما يؤدي إلى فاتورة طاقة ضخمة تتناسب مع حجم مجموعة البيانات.
اختبر الباحث هذه الأفكاء من خلال محاكاة شبكة صغيرة مدربة للتعرف على الأرقام المكتوبة بخط اليد، وهي مهمة قياسية في تعلم الآلة. وراقب كيف تتصرف الآلة أثناء التبديل بين الأرقام المختلفة وأثناء تعديل أوزانها لتحسين دقتها. تطابقت النتائج مع توقعاته النظرية تماماً. عندما طُلب من الآلة استدلال رقم ما بسرعة، ارتفعت الطاقة التي استهلكتها بشكل حاد، وانخفضت دقتها مع اقتراب العمل الذي تقوم به من مستوى الاهتزاز العشوائي للحرارة في النظام. ولكن عندما سُمح للآلة بالتحرك ببطء، فقد حلت المشكلة بأقل قدر من الطاقة، وظلت دقتها عالية. وأثناء التدريب، لاحظ أن الطاقة المبذولة لتعديل الأوزان اتبعت نمطاً دقيقاً، مما أكد أن كمية صغيرة وثابتة من الحرارة تنطلق مع كل عملية تعلم تحدث. وأظهرت عمليات المحاكاة أنه بمجرد أن تعلمت الآلة المهمة، كانت الطاقة المطلوبة للحفاظ على تلك المعرفة ضئيلة، لكن الطاقة المطلوبة لكتابة تلك المعرفة في المقام الأول كانت تكلفة أساسية لا مفر منها.
تشير هذه النتائج إلى أن الثمن الديناميكي الحراري للشبكة العصبية يتحدد بذاكرتها وليس بعملياتها الحسابية. إن عملية حساب نتيجة ما شبه مجانية، وتقتصر فقط على مدى سرعة إجبار الآلة على التحرك. أما عملية التعلم، فتتطلب دفع رسوم صغيرة ولكن دائمة لكتابة المعلمات في البنية الفيزيائية للآلة. يوفر هذا التمييز منظوراً جديداً لمستقبل الحوسبة. فبينما تظل الآلات الرقمية مقيدة بتكلفة مسح البتات لكل عملية، يمكن للآلات الفيزيائية أن تؤدي حسابات معقدة بكفاءة طاقة تتجاوز الأجهزة الحالية بعدة مراتب عشرية. إن الفجوة المتبقية بين الأجهزة الحالية وهذه الحدود النظرية ليست بسبب خلل في قوانين الفيزياء، بل هي بسبب عدم كفاءة موادنا وتصاميمنا الحالية. تقدم الدراسة خارطة طريق واضحة لما هو ممكن، موضحة أنه إذا تمكنا من بناء آلات تسترخي حقاً في حلولها، فإن تكلفة الذكاء يمكن تقليلها إلى الحد الأدنى المسموح به في الكون.
بيان المشكلة أدى التوسع السريع للشبكات العصبية العميقة إلى تصاعد الطلب على الطاقة لكل من التدريب والاستدلال. وبينما تم توثيق عدم كفاءة الأجهزة الرقمية الحالية جيداً، يظل هناك سؤال جوهري: ما هي التكاليف الطاقية المتأصلة في الحوسبة العصبية نفسها، بمعزل عن تطبيقات أجهزة محددة؟ بالنسبة للأجهزة الرقمية، المعيار الديناميكي الحراري القياسي هو مبدأ لانداور، الذي يحدد حداً أدنى من التبديد قدره kBTln2 لكل بت يتم مسحه للعمليات غير القابلة للعكس منطقياً. ومع ذلك، فإن هذا الحد ينطبق على الحالات التي تحمل المعلومات والمتعددة الاستقرار، ولا ينطبق مباشرة على الحوسبة التناظرية المستمرة أو الأنظمة الفيزيائية التي تعمل عبر الاسترخاء والوصول إلى حالة التوازن بدلاً من البوابات الرقمية ذات النبضات الزمنية (clocked gates). تسعى الورقة إلى تحديد الحدود الديناميكية الحرارية للشبكات العصبية الفيزيائية القائمة على الطاقة، وتحديداً كيفية تحديد الطاقة المطلوبة للاستدلال والتعلم عندما تُنمذج الشبكة كنظام فيزيائي محكوم بهاملتوني (Hamiltonian).
المنهجية يقترح المؤلف إطاراً نظرياً يدمج شبكة عصبية أمامية عامة داخل هاملتوني فيزيائي.
تضمين الهاملتوني: يتم رسم خريطة لشبكة أمامية قياسية ذات طبقات xn، وأوزان Wn، وانحيازات bn إلى دالة طاقة مرنة: H(x;θ)=2κn=1∑L∥xn−fn(Wnxn−1+bn)∥2 هنا، تُعامل علاقة كل طبقة كقيد توافق مرن مع صلابة κ. تمثل "الحالة الأمامية" (feedforward state) المنطوقة في الفضاء ذي الطاقة الصفرية (H=0). وخلافاً لشبكات هوبفيلد حيث تكون الحالات عبارة عن نقاط جذب (attractors)، فإن هذا البناء يخلق فضاءً شديد التعدد من حالات الحالة الصفرية، حيث يختار كل مدخل حالة فريدة ذات طاقة صفرية متوافقة.
الديناميكيات: يتطور النظام عبر ديناميكيات لانجفان المفرطة في التخميد (x˙n=−μ∇xnH+noise).
الاستدلال مقابل التدريب:
الاستدلال: يُنمذج كعملية استرخاء للمتغيرات الخفية والمخرجات نحو فضاء الطاقة الصفرية تحت مدخل ثابت.
التدريب: يُنمذج كعملية مفرطة في القيود، حيث يتم تثبيت كل من المدخل والمخرج المستهدف، مما يخلق إجهاداً (خسارة/loss) يدفع تحديثات المعلمات عبر توازن القوى الميكانيكية (الانتشار العكسي/backpropagation).
الحدود الديناميكية الحرارية: تشتق الورقة حدوداً دقيقة للعمل المطلوب لدفع النظام بين الحالات الحرارية. وهي تستخدم مسافة واسرتاين-2 (W2) للنقل الأمثل، وتخففها إلى حد هندسي معلوماتي يتضمن تباعد كولباك-ليبلر (KL divergence) ومسافة فيشر-راو.
التحقق العددي: أُجريت عمليات محاكاة على شبكة فيزيائية دنيا (بنية 64 → 20 → 10) تم تدريبها على مجموعة بيانات الأرقام المكتوبة بخط اليد (MNIST). اختبرت عمليات المحاكاة تبديد العمل، وأوقات الاسترخاء، والدقة تحت بروتوكولات سرعة ودرجات حرارة متفاوتة.
المساهمات والنتائج الرئيسية
الاستدلال العكسي في حد شبه السكون: تثبت الورقة أن الطاقة الحرة للتوازن للشبكة المدمجة مستقلة عن المدخل وجميع المعلمات (الأوزان والانحيازات) عند جميع درجات الحرارة. وبناءً على ذلك، فإن التغير في الطاقة الحرة (ΔF) لأي انتقال في المدخلات هو صفر تماماً. في حد التشغيل شبه الساكن (التشغيل البطيء للغاية)، يتطلب الاستدلال طاقة صفرية. وهذا يتناقض مع الأنظمة الرقمية حيث غالباً ما تتضمن الحوسبة مسح البتات؛ هنا، الحوسبة هي استجابة أحادية الاستقرار (monostable) على طول فضاء طاقة صفرية، مما يتجنب تكلفة لانداور تماماً.
تكلفة الاستدلال عند سرعة محدودة: بالنسبة للتشغيل بسرعة محدودة، يُحد العمل المطلوب بمسافة واسرتاين-2 المربعة بين الحالات الحرارية الأولية والنهائية، مقسومة على مدة البروتوكول τ.
تم تخفيف الحد إلى مقياس إنتروبي: Einf≥dkBTΓinfττL، حيث d هو عرض أوسع طبقة، وτL هو المقياس الزمني للانتشار، وΓinf هو عامل دقة مرتبط بنسبة الإشارة إلى الضوضاء.
عند أقصى سرعة قابلة للاستخدام (حيث τ≈τinf)، تلغي الدقة وزمن الاسترخاء بعضهما البعض، مما يعطي تكلفة تبلغ حوالي kBT لكل بُعد في أوسع طبقة.
والأهم من ذلك، أن هذه التكلفة تتناسب مع عرض الشبكة (عدد الخلايا العصبية)، وليس مع عدد المعلمات (الوصلات العصبية/synapses). أكدت عمليات المحاكاة أن العمل المقاس يشبع حد النقل ضمن هامش 4%.
تنهار الدقة عندما تنخفض العمل المبدد عن المقياس الحراري (kBT)، مما يؤكد أن الموثوقية تتحدد من خلال نسبة العمل إلى التمايز الحراري.
التكلفة غير القابلة للاختزال للتعلم: التعلم مختلف جوهرياً عن الاستدلال. نظرًا لأن التدريب يتطلب تغيير المعلمات (الأوزان والانحيازات)، فإنه يحمل تكلفة غير قابلة للاختزال تظل قائمة حتى في حد شبه السكون.
تتكون تكلفة التدريب الإجمالية من حد تقديم البيانات (الذي يتلاشى مع التقديم البطيء) وحد تلدين المعلمات (parameter-annealing).
تبلغ تكلفة تلدين المعلمات حوالي بضعة kBT لكل معلمة لإجمالي عملية التدريب. يتم تكبد هذه التكلفة مرة واحدة لإنشاء تكوين المعلمات، على عكس التدريب الرقمي الذي يدفع تكلفة المسح لكل تقديم للبيانات.
تتناسب التكلفة مع عدد المعلمات (Nθ) ولكنها مستقلة عن حجم مجموعة البيانات في حد شبه السكون (على عكس المعايير الرقمية التي تتناسب مع Nθ×Dataset Size).
المقارنة مع المعايير الرقمية: تقارن الورقة هذه الحدود الفيزيائية بحد لانداور للأجهزة الرقمية غير القابلة للعكس (حسابات 16 بت).
الاستدلال: التكلفة الفيزيائية (∼dkBT) أقل بعدة مراتب من معيار لانداور الرقمي (∼NθkBT) لأن الشبكات الفيزيائية تقوم بعمليات الضرب عبر الهندسة بدلاً من العمليات المنفصلة.
التدريب: التكلفة الفيزيائية هي تكلفة تحديث معلمات لمرة واحدة، بينما يتحمل التدريب الرقمي تكاليف المسح لكل عنصر (token) في مجموعة البيانات.
يقدر الجدول 1 في الورقة أن الاستدلال الفيزيائي يمكن أن يكون أكثر كفاءة بمقدار ∼105 من معيار لانداور، وبمقدار ∼1013 من تقديرات الأجهزة الحالية، بينما يوفر التدريب الفيزيائي ميزة مماثلة فوق التدريب الرقمي بسبب غياب تكاليف المسح لكل عنصر.
الأهمية والادعاءات تدعي الورقة أنها وضعت السعر الديناميكي الحراري الأساسي للحوسبة العصبية، مع التمييز بين تكاليف الحساب (الاستدلال) والذاكرة (التعلم).
الاستدلال: يتم تحديد التكلفة الديناميكية الحرارية بعرض الشبكة وسرعة التشغيل، وليس بعدد معالماتها. في الحد المثالي، تكون الحوسبة نفسها مجانية؛ وتنشأ التكلفة فقط من السرعة المحدودة اللازمة لفصل الإشارة عن الضجيج الحراري.
التعلم: تهيمن تكلفة الذاكرة (كتابة المعلمات) على عملية التعلم. هذه التكلفة غير قابلة للاختزال حتى في الحد البطيء، ولكن يتم توزيعها (amortized) على كامل مجموعة البيانات، مما يجعلها أرخص بكثير من التدريب الرقمي الذي يدفع مقابل كل مثال.
الفيزيائي مقابل الرقمي: تشير الورقة إلى أن الشبكات العصبية الفيزيائية يمكنها نظرياً التفوق على التنفيذات الرقمية ليس فقط من خلال التحسينات الهندسية، بل لأنها تتجنب تكلفة لانداور الأساسية المرتبطة بمسح المعلومات أثناء الحوسبة. وهكذا، فإن "السعر الديناميكي الحراري" للشبكة العصبية يرتبط أكثر بذاكرتها (التعلم) منه بحساباتها (الاستدلال).
يشير المؤلف إلى أن هذه الحدود تنطبق على الركائز المثالية؛ أما التكاليف في العالم الحقيقي (تحويل البيانات، التحكم، المواد غير المثالية) فهي تهيمن حالياً. علاوة على ذلك، يفترض النموذج بنية "أفينية زائد تفعيل" (affine-plus-activation) ولا يتناول بعد آلية الانتباه (attention mechanisms) أو تكاليف تخزين الأوزان بعد التدريب. ومع ذلك، توفر النتలు خط أساساً ديناميكياً حرارياً صارماً لتقييم بنيات الحوسبة العصبية والفيزيائية المستقبلية.