Informative Fisher Modes in Neural Networks as a Result of Explicit Symmetry Breaking

في المشهد الواسع للعلوم الحديثة، تقع دراسة كيفية تعلم الآلات عند مفترق طرق بين الرياضيات والإحصاء والفيزياء. وفي جوهرها يكمن تحدٍ بسيط ولكنه عميق: فهم كيف يمكن للحاسوب، بدءًا من تخمينات عشوائية، أن يكتشف تدريجيًا قواعد مهمة ما. تخيل طالبًا يحاول حل لغز معقد؛ المسار الذي يسلكه ليس خطًا مستقيمًا، بل رحلة متعرجة عبر تضاريس وعرة من الاحتمالات، حيث تؤدي بعض المسارات إلى نهايات مسدودة وأخرى إلى الحل. لقد عرف العلماء منذ زمن طويل أن هذه التضاريس تتشكل بفعل بنية البيانات وتصميم الآلة نفسها. ويعد مفهوم "التماثل" (Symmetry) مفهومًا رئيسيًا في هذا المجال، والذي يشير في هذا السياق إلى الطرق العديدة المختلفة التي يمكن من خلالها ترتيب الآلة داخليًا مع الاستمرار في إنتاج نفس المخرجات تمامًا. تمامًا كما يمكن تدوير المكعب في الفضاء دون تغيير شكله، يمكن غالبًا إعادة تكوين الشبكة العصبية بطرق لا حصر لها دون تغيير ما تفعله. وتخلق هذه التماثلات اتجاهات "مسطحة" في مشهد التعلم، حيث يمكن للآلة أن تتحرك دون تحسين أو تدهور أدائها. ولسنوات، تساءل الباحثون عما إذا كانت هذه التماثلات هي المبدأ المنظم الوحيد الفعال، أم أن هناك قواعد خفية تحكم الاتجاهات المحددة التي يحدث فيها التعلم الحقيقي.

لقد كشف فريق من الباحثين في جامعة بوتسدام الآن عن طبقة جديدة من التنظيم تشرح كيفية تعلم الآلات لميزات محددة في مهمة ما. واكتشفوا أن التعلم لا يتعلق فقط بالتصميم الداخلي للآلة، بل بكيفية تقييد المهمة نفسها لحرية الآلة. فعندما يُطلب من الآلة تعلم جزء معين من المشكلة، فإنها تفقد القدرة على تغيير بعض الإعدادات الداخلية دون التأثير على النتيجة. ووجد الباحثون أن هذا الفقدان في الحرية هو المفتاح لفهم كيفية ظهور اتجاهات التعلم. وقد أظهروا أنه عندما تُجبر الآلة على تلبية متطلب محدد، فإن اتجاهًا كان سابقًا مسطحًا وغير مهم في هيكلها الداخلي يصبح فجأة "ضخمًا" أو صلبًا. هذه الصلابة هي علامة على أن الآلة قد بدأت في تعلم تلك الميزة المحددة. وقبل تطبيق هذا القيد، كان بإمكان الآلة تغيير ذلك الإعداد بحرية؛ أما بعده، فإن أي تغيير من شأنه أن يفسد الحل. وتعمل هذه العملية بمثابة مرشح (فلتر)، يكشف عن الأجزاء التي تحمل معلومات عن المهمة في بنية الآلة الداخلية.

ولإثبات ذلك، بنى العلماء نموذجًا بسيطًا وقابلًا للحل لآلة تعلم تحتوي على عدد قليل فقط من المقابض القابلة للضبط. بدأوا بمهمة محددة جزئيًا فقط، مما ترك للآلة طرقًا عديدة لتكون صحيحة. وفي هذه الحالة، امتلكت الآلة الكثير من "التماثل المشروط" (Contingent Symmetry)، مما يعني أنه كان بإمكانها تغيير إعداداتها الداخلية بطرق عديدة دون تغيير نتيجة المهمة الجزئية. ثم أضاف الباحثون متطلبًا ثانيًا للمهمة. وبمجرد فرض هذا المتطلب الجديد، انكسر التماثل. لم تعد الآلة قادرة على تغيير إعداداتها الداخلية بحرية؛ أصبح اتجاه واحد محدد صلبًا. ولم يكن هذا الجمود عشوائيًا؛ فقد تطابق تمامًا مع المعلومة الجديدة التي طُلِب من الآلة تعلمها الآن. وأوضح الباحثون أن كسر التماثل هذا يخلق إشارة قابلة للقياس: يتغير انحناء الآلة الداخلي، وتكتسب القدرة على التمييز بين الإعدادات المختلفة بناءً على البيانات. ويشير هذا الاكتشاف إلى أن التعلم عملية خطوة بخوة، حيث يزيل كل جزء جديد من المعلومات حرية محددة، محولًا اتجاهًا مسطحًا وغير معلوماتي إلى اتجاه حاد ومعلوماتي.

كما استكشف الفريق كيف تتم هذه العملية في الشبكات العميقة الأكثر تعقيدًا وكيف يمكن اكتشافها في سيناريوهات العالم الحقيقي. ووجدوا أنه من خلال ضبط معامل تحكم قياسي يُستخدم في التدريب — وهو في الأساس عقوبة على وجود قيم داخلية كبيرة — يمكنهم إجبار الآلة على تعلم الميزات بترتيب محدد. ومع تخفيف هذه العقوبة، تتعلم الآلة الميزات الأقوى أولاً، ثم الميزة التالية الأقوى، وهكذا. وقد خلق هذا سلسلة من التحولات، حيث انتقلت الآلة من حالة عدم معرفة أي شيء عن المهمة إلى حالة معرفة كل شيء، مرورًا بمراحل متميزة حيث لم تكن تعرف سوى مجموعة فرعية من الميزات. كما أظهروا أن إضافة الضوضاء إلى البيانات، على غرار التشويش في الراديو، يمكن أن يؤخر عملية التعلم هذه. فالآلة لن تتعلم ميزة ما إلا عندما تصبح الإشارة من تلك الميزة قوية بما يكفي للارتفاع فوق مستوى الضوضاء. وقد سمح لهم ذلك برسم "مخطط طوري" (Phase Diagram) للتعلم، يوضح بالضبط متى وكيف تكتسب الآلة قطعًا مختلفة من المعرفة بناءً على قوة البيانات وصرامة قواعد التدريب.

إن ما يجعل هذا الاكتشاف مهمًا هو أنه يوفر طريقة لرؤية عملية التعلم دون الحاجة إلى معرفة التماثلات الرياضية الدقيقة للآلة. فقد أظهر الباحثون أن هذه التغييرات في اتجاهات التعلم تترك بصمات واضحة في سلوك الآلة يمكن قياسها مباشرة. فهم لا يحتاجون إلى معرفة المجموعة الخفية من التماثلات لرؤية ما إذا كانت الميزة قد تم تعلمها؛ بل يحتاجون فقط إلى مراقبة كيفية ازدياد صلابة الهيكل الداخلي للآلة استجابةً للبيانات. يوفر هذا النهج أداة جديدة لدراسة كيفية تعلم الشبكات العصبية، متجاوزًا فكرة أن التعلم مجرد بحث فوضوي في فضاء عالي الأبعاد. وبدلاً من ذلك، فإنه يكشف عن تسلسل هرمي منظم حيث تملي المهمة نفسها الترتيب الذي تكتسب به الآلة المعرفة. ويشير العمل إلى أن المسار نحو التعلم ممهد بكسر هذه التماثلات المشروطة، حيث يحول كل قيد جديد اتجاهًا حرًا وغير مهم إلى اتجاه حرج حامل للمعلومات.

كما أوضح الباحثون ما لا يحدث خلال هذه العملية. فقد أظهروا أن ليس كل التغييرات في البنية الداخلية للآلة ناتجة عن التعلم. فبعض الاتجاهات تصبح صلبة ببساطة بسبب قواعد التدريب، وليس لأن الآلة تعلمت شيئًا جديدًا عن البيانات. هذه هي اتجاهات "المقياس" (Gauge directions)، وهي مرتبطة بالوفرة الداخلية للآلة وليس بالمهمة نفسها. وقد ميزت الدراسة بعناقة بين هذين النوعين من الصلابة، لضمان أن التغييرات المرصودة مرتبطة حقًا بالمعلومات التي يتم تعلمها. ومن خلال فصل آثار المهمة عن آثار طريقة التدريب، قدم الباحثون صورة أوضح لما يحدث بالفعل داخل الآلة. ووجدوا أنه بينما يمكن إعادة تكوين الآلة بطرق عديدة دون تغيير مخرجاتها، فإن اللحظة التي تتعلم فيها ميزة معينة، تُفقد هذه الحرية، وتصبح الآلة مقيدة بتكوين محدد لتلك الميزة.

ولهذا الفهم تداعيات على كيفية تفكيرنا في تعميم التعلم. تشير الدراسة إلى أن قدرة الآلة على التعميم لبيانات جديدة مرتبطة بالطريقة المحددة التي كسرت بها تماثلاتها لتعلم المهمة. لم يدّعِ الباحثون أنهم حلوا جميع أسرار التعلم العميق، لكنهم قدموا آلية ملموسة لكيفية ظهور اتجاهات التعلم. لقد أظهروا أن العملية ليست حدثًا واحدًا ومفاجئًا، بل هي سلسلة من التحولات، كل منها يقابل اكتساب ميزة جديدة. وتُحكم هذه السلسلة بالتفاعل بين متطلبات المهمة والبنية الداخلية للآلة. وقد تم إثبات هذه النتائج تحليليًا في نماذج بسيطة وعدديًا في شبكات أعمق، مما يظهر أن المبدأ يسري عبر مستويات مختلفة من التعقيد.

ويسلط العمل الضوء أيضًا على دور الضوضاء في عملية التعلم. فقد أظهر الباحثون أن الضوضاء يمكن أن تعمل كحاجز، مما يمنع الآلة من تعلم ميزة ما حتى تصبح الإشارة قوية بما يكفي للتغلب عليها. وهذا يشبه كيف يحتاج الراديو إلى إشارة قوية لضبط التشويش، ولكن في هذه الحالة، "الإشارة" هي المعلومات المتعلقة بالمهمة، و"التشويش" هو التقلبات العشوائية في البيانات. وقد استخدم الباحثون هذه الرؤية لإنشاء خريطة للتعلم، توضح كيف تتغير قدرة الآلة على التعلم مع تغير مستوى الضوضاء وعقوبة التدريب. وتكشف هذه الخريطة عن مناطق لا تتعلم فيها الآلة شيئًا، ومناطق تتعلم فيها الميزات الأقوى فقط، ومناطق تتعلم فيها كل شيء. والحدود بين هذه المناطق حادة ويمكن التنبؤ بها، مما يشير إلى أن عملية التعلم أكثر نظامًا مما كان يُعتقد سابقًا.

في النهاية، تقدم الدراسة منظورًا جديدًا لهندسة التعلم. فهي تبتعد عن فكرة المشهد الساكن وتتجه نحو عملية ديناميكية حيث يتغير المشهد نفسه مع تعلم الآلة. وكسر التماثل هو الآلية التي تقود هذا التغيير، محولةً الاتجاهات المسطحة إلى اتجاهات حادة وكاشفة عن المسار نحو الحل. لقد أظهر الباحثون أن هذه العملية قابلة للقياس والتنبؤ، مما يوفر طريقة لتتبع تعلم الميزات الفردية. وبينما ركزت الدراسة على الشبكات الخطية والنماذج البسيطة، فمن المتوقع أن تنطبق المبادئ على الأنظمة الأكثر تعقيدًا وغير الخطية أيضًا. والخلاصة الرئيسية هي أن التعلم هو عملية تقييد، حيث تشكل المهمة نفسها البنية الداخلية للآلة، وتزيل الحريات وتخلق الاتجاهات المحددة اللازمة لحل المشكلة. وتجلب هذه الرؤية لنا فهمًا لكيفية تعلم الآلات، ليس فقط كصندوق أسود، بل كنظام محكوم بمبادئ واضحة وقابلة للملاحظة.