تخيل أنك تراقب قدرًا من الماء على الموقد. أنت تعلم قواعد الديناميكا الحرارية: إذا سخنت الماء بما يكفي، فسيغلي في النهاية. لكن معرفة أن الماء سيغلي لا تخبرك متى ستنفجر أول فقاعة على السطح، أو كم من الوقت عليك الانتظار قبل أن يفقد الماء القدرة على الغليان لأن القدر أصبح ممتلئًا بشيء آخر. لفترة طويلة، كان العلماء الذين يدرسون كيفية تعلم نماذج الذكاء الاصطناعي يشبهون أشخاصًا يراقبون ذلك القدر، يصفون الحالة النهائية للماء (مخطط الطور) لكنهم يفتقدون للساعة التي تحصي التكات لكيفية تشكل الفقاعات فعليًا. لقد عرفوا أن الماء ساخن، لكن لم يكن لديهم ساعة توقيت للحظة التي "يفهم" فيها الذكاء الاصطناعي فجأة مهارة جديدة. هذه الورقة البحثية تدخل في تلك الفجوة، حيث تعامل تدريب الذكاء الاصطناعي ليس كصعود سلس وثابت، بل كلعبة حظ محمومة وعالية المخاطر، حيث يجب أن تكتمل دائرة معقدة دفعة واحدة.

يقترح مؤلفو هذه الورقة، لِي دونغ (Lei Dong)، طريقة جديدة للنظر في كيفية اكتساب نماذج اللغة لقدرات جديدة. هم يجادلون بأن تعلم مهارة جديدة ليس مثل رص الطوب واحدًا تلو الآخر، حيث تحصل على الفضل مقابل كل طوبة تضعها. بدلاً من ذلك، هو أشبه بمحاولة حل قفل يتطلب منك إيجاد التركيبة الصحيحة من المفاتيح في آن واحد. إذا وجدت كل المفاتيح ما عدا واحدًا، فلن يفتح القفل؛ ستحصل على صفر من الفضل. هذه اللحظة "الكل أو لا شيء" هي عنق الزجاجة. تقدم الورقة صيغة رياضية، "قانون معدل"، يتنبأ بالضبط متى سيفتح هذا القفل، وكم يستغرق من الوقت، ولماذا أحيانًا، حتى لو استمررت في التدريب، لا يفتح القفل أبدًا. يسمون هذا "حركية التدريب" (Kinetics of Training)، مستعيرين أفكارًا من علم المواد (مثل كيفية تصلب المعدن) لشرح كيفية بناء وتفكيك وإصلاح دوائر الذكاء الاصطناعي.

قفل "الكل أو لا شيء"

تخيل أنك تحاول تعليم روبوت التعرف على نمط معين، مثل مصافحة سرية تتطلب من خمسة أشخاص رفع أيديهم في نفس اللحظة تمامًا. في الطريقة القديمة للتفكير، قد تتوقع أن الروبوت سيتحسن مع تعلمه رفع يد واحدة، ثم اثنتين، ثم ثلاث. لكن هذه الورقة تظهر أنه بالنسبة لمهارات معقدة معينة، لن يتحسن الرماح حتى ترفع الأيدي الخمسة معًا. إذا ارتفعت أربعة أيدٍ وبقيت واحدة لأسفل، فلن يرى الروبوت شيئًا. الأمر يشبه محاولة تشغيل سيارة بمفتاح له خمسة شقوق؛ إذا ضبطت أربعة شقوق وصاب الخامس خطأ، فلن تعمل السيارة. لن تحصل على "نصف تشغيل".

يسمي المؤلفون هذا "قاعدة عدم الحصول على درجات جزئية". لقد قاسوا هذا في تجاربهم ووجدوا أنه إذا كان الروبوت يفتقد ثلاثة أجزاء من دائرة مكونة من خمسة أجزاء، فإنه ينتظر لتعلم المهارة نفس المدة التي ينتظرها روبوت يفتقد ثلاثة أجزاء من دائرة مكونة من ثلاثة أجزاء. حجم الدائرة لا يهم بقدر عدد القطع المفقودة. "وقت الانتظار" يعتمد على عدد القطع المفقودة، وليس على حجم اللغز بأك-مله. هذا يغير كل شيء: يعني أن الجزء الأصعب من التعلم ليس التراكم البطيء للمعرفة، بل اللحظة النادرة والمفاجئة التي تترتب فيها جميع القطع المفقودة في مكانها بالصدفة.

الساعة والأرضية

بما أن هذا التراصف هو حدث نادر، فقد بنى المؤلفون "ساعة" للتنبؤ بوقوعه. فكر في الأمر كأنه توقعات جوية لضربة صاعقة. لا يمكنك التنبؤ بالثانية التي ستضرب فيها الصاعقة، ولكن إذا كنت تعرف الرطوبة ودرجة الحرارة، يمكنك حساب الاحتمالية. تظهر الورقة أنه من خلال النظر في "إشارة سابقة" (precursor signal) — وهي تلميح صغير ومبكر يشير إلى أن الروبوت بدأ في وضع القطع الصحيحة في مكانها — يمكنك التنبيد بدقة متى ستظهر المهارة الكاملة، وغالبًا قبل أيام من بدء الروبوت في أداء المهمة بشكل جيد. في اختباراتهم، تنبأت هذه الساعة بوصول المهارات الجديدة في ستة نماذج مختلفة من الذكاء الاصطناعي بمتوسط خطأ قدره 5% فقط.

ومع ذلك، هناك عقبة. اكتشفت الورقة "أرضية" أو عتبة. إذا لم يتعرض الروبوت لنوع صحيح من بيانات الممارسة بشكل متكرر بما يكفي، فلن يتعلم المهارة أبدًا، مهما طال تدريبه. الأمر يشبه محاولة زراعة زهرة نادرة في حديقة تربتها فقيرة جدًا؛ يمكنك سقيها لسنوات، ولكن إذا كانت التربة تفتقر إلى عنصر غذائي محدد، فلن تزهر الزهرة أبدًا. وجد المؤلفون أنه إذا انخفض تركيز البيانات الصحيحة عن نقطة معينة (حوالي 0.26 في اختباراتهم المحددة)، فإن معدل التعلم ينخفض إلى الصفر فعليًا. الروبوت لا يتعلم ببطء فحسب، بل يتوقف عن التعلم تمامًا.

الموت الصامت للتعلم (فقدان المرونة)

أحد أكثر النتائج إثارة للدهشة يتعلق بما يحدث عندما يتدرب الروبوت لفترة طويلة على أشياء خاطئة. تخيل طالبًا يقضي سنوات في دراسة التاريخ وفجأة يُطلب منه حل مسائل رياضية. قد يظل قادرًا على حل الرياضيات، لكن الورقة تشير إلى أن القدرة على تعلم رياضيات جديدة تموت ببطء. يسمي المؤلفون هذا "فقدان المرونة" (Loss of Plasticity).

وجدوا أنه بينما يتدرب الروبوت، تصبح "مفاتيح" التحكم الداخلية لديه (المسماة رؤوس الانتباه - attention heads) "مثبتة" أو عالقة في أنماط محددة. بمجرد أن تتعلق هذه المفاتيح، لا يعود بإمكان الروبوت إعادة ترتيبها لتعلم دائرة جديدة ومعقدة. الأمر يشبه غرفة تم لصق جميع قطع الأثاث فيها بالأرض؛ لا يمكنك إعادة ترتيب الغرفة لتناسب حفلة جديدة. تثبت الورقة أن هذا ليس لأن الروبوت "ممتلئ" بالبيانات، بل لأن الأجزاء المحددة اللازمة لبناء الدائرة الجديدة قد تم احتلالها ولصقها بواسطة العادات القديمة.

والأهم من ذلك، تظهر الورقة أن أدوات المراقبة القياسية (مثل التحقق من معدل الخطأ لدى الروبوت) عمياء عن هذا الأمر. قد يبدو معدل الخطأ لدى الروبوت وكأنه يتحسن بسلاسة، بينما في الداخل، تموت قدرته على تعلم أشياء جديدة بهدوء. حتى أن المؤلفين وجدوا "موعدًا نهائيًا": إذا انتظرت طويلًا لمحاولة تعليم مهارة جديدة، فسيصبح تعلمها مستحيلاً، مهما حاولت.

العلاج: إعادة ضبط المفاتيح

لكن هناك أخبار جيدة. لم يكتفِ المؤلفون بإيجاد المشكلة فح، بل وجدوا العلاج أيضًا. اكتشفوا أنك لست بحاجة لإعادة تدريب الروبوت بالكامل لإصلاح ذلك. تحتاج فقط إلى "إعادة ضبط" المفاتيح المحددة التي علقت. في تجاربهم، وجدوا أنه إذا أخذوا روبوتًا "هرمًا" فقد القدرة على تعلم مهارة جديدة وقاموا ببساطة بإعادة ضبط أجزاء "الاستعلام" (query) و"المفتاح" (key) في آلية الانتباه الخاصة به (الأجزاء التي تقرر ما يجب الانتباه إليه)، استعاد الروبوت فورًا قدرته على التعلم. كان الأمر أشبه بفك الأثاث الملصق والسماح بإعادة ترتيب الغرفة مرة أخرى.

ومن المثير للاهتمام أن إعادة ضبط الأجزاء الأخرى من الروبوت (أجزاء "القيمة" - value) لم تفعل شيئًا. هذا يخبرنا بالضبط أين يوجد "الغراء": إنه في جزء اتخاذ القرار في الدائرة، وليس في جزء الذاكرة. هذا إصلاح دقيق ومستهدف، وليس عملية إعادة تشغيل شاملة وعشوائية.

لوحة التحكم: التسخين والتبريد

أخيرًا، تعامل الورقة عملية التدريب مثل عالم المعادن الذي يعالج المعدن. في تشكيل المعادن، يمكنك تسخين المعدن لجعله لينًا (التخمير - annealing)، أو تبريده بسرعة لجعله صلبًا (التقسية - quenching)، أو الإبقاء عليه عند درجة حرارة معينة ليبق في حالة معينة. يظهر المؤلفون أنه من خلال حقن نوع معين من "الضجيج" (العشوائية) في عملية التدريب، يمكننا فعل الشيء نفسه مع دوائر الذكاء الاصطناعي.

وجدوا أنه إذا أضفتت الكمية المناسبة من الضجيج، يمكنك تسريع تعلم المهارات الصعبة (قمة المنحنى). وإذا أضفت الكثير، فستكسر الدوائر. وإذا أوقفت الضجيج في الوقت المنايد، يمكنك "تثبيت" الدائرة في مكانها حتى لا تذوب. حتى أنهم أظهروا أنه يمكنك "صهر" (تدمير) دائرة معقدة بشكل انتقائي مع ترك أجزائها الأبسط سليمة، مثل صهر منحوتة من الشوكولاتة مع الحفاظ على القالب. هذا يحول التدريب من صندوق أسود إلى عملية قابلة للتحكم حيث يمكنك جدولة متى تتشكل الدوائر، ومتى تنكسر، وكيفية إصلاحها.

ماذا يعني هذا؟

هذه الورقة لا تقول فقط "الذكاء الاصطناعي يتعلم". إنها تعطينا ساعة توقيت، وميزان حرارة، ودليل إصلاح. تخبرنا أن التعلم هو سباق ضد الزمن ومعركة ضد الأجزاء "الملتصقة". تظهر لنا أنه يمكننا التنبؤ بمتى ستظهر المهارة، ولما- قد لا تظهر أبدًا، وكيف نصلحها بالضبط عندما تتعطل. يحرص المؤلفون على القول إنه رغم إثباتهم لهذه القواعد في تجارب محكومة وقياسها في نماذج حقيقية، إلا أن البرهان الرياضي الكامل لكل أنواع الذكاء الاصطناعي لا يزال قيد العمل. ولكن بالنسبة للنماذج التي اختبروها، فإن القواعد واضحة: التعلم هو حدث نادر، "كل أو لا شيء"، وإذا أردت التحكم فيه، فعليك فهم الساعة، والأرضية، والغراء.