Transformers perform adaptive partial pooling

تخيل أنك تحاول تخمين ما سيقوله صديقك تالياً في محادثة. إذا كنت قد سمعته يقول تلك العبارة ذاتها ألف مرة، فأنت تعرف بالضبط ما سيأتي بعدها. ولكن ماذا لو قال شيئاً جديداً تماماً؟ لا يمكنك التخمين عشوائياً؛ بل عليك النظر فيما قاله قبل ذلك في مواقف مشابهة. هذا هو جوهر لغز تعلم اللغة، سواء كان لطفل بشري أو لبرنامج حاسوبي.

لحل هذه المعضلة، يستخدم العلماء حيلة ذكية تسمى "التجميع الجزئي التكيفي" (adaptive partial pooling). فكر في الأمر كأنه محقق ذكي. عندما يرى المحقق مسرح جريمة نادراً، فإنه لا يكتفي بالتحديق في الدليل الوحيد أمامه (والذي قد يكون مضللاً نظراً لقلته الشديدة)؛ بل بدلاً من ذلك، ينظر إلى مسارح جرائم أخرى مشابهة ليأخذ فكرة أفضل عما يحدث عادةً هناك. إنه يمزج بين الدليل المحدد والنمط العام، لكنه يمنح الدليل المحدد وزناً أكبر إذا تكرر كثيراً، ويمنح النمط العام وزناً أكبر إذا كان الدليل المحدد مجرد حالة استثنائية عابرة. يساعد هذا في تقديم أفضل تخمين ممكن دون الارتباك بسبب الحوادث الغريبة والنادرة.

الآن، تخيل عقلاً حاسوبياً فائق الذكاء يسمى "ترانسفورمر" (Transformer) (وهو النوع الذي يشغل برامج الدردشة الآلية الحديثة). لفترة طويلة، تساءل الناس: هل يستخدم هذا العقل الحاسوبي حقاً حيلة المحقق الذكي هذه، أم أنه يقوم فقط بحفظ كل ما قرأه على مر التاريخ؟ إذا كان يحفظ فقط، فقد يفشل عندما يواجه شيئاً جديداً. أما إذا كان يستخدم "التجميع الجزئي التكيفي"، فيمكنه التعلم والتكيف تماماً مثل البشر. تسأل هذه الورقة البحثية: هل يقوم العقل الحاسوبي بهذا العمل التحقيقي حقاً، وهل يتحسن أم يسوء أداؤه كلما درس أكثر؟

العمل التحقيقي لعقل حاسوبي

في هذه الدراسة، وضع المؤلف، فيسيفولد كاباتينسكي، لعبة لغة اصطناعية صغيرة لاختبار نموذج حاسوبي يسمى GPT-2. لقد اخترع لغة تنتهي جملها دائماً إما بـ "A" أو "B"، ويعتمد الاختيار على الكلمات التي تسبقها مباشرة. كانت بعض تركيبات الكلمات شائعة جداً، بينما كانت بعضها الآخر نادرة للغاية—تماماً كما هو الحال في الحياة الواقعية، حيث تُستخدم بعض العبارات يومياً بينما لا تُستخدم أخرى إلا مرة في العمر.

تم تدريب الحاسوب على هذه اللعبة، وراقب الباحث كيف يتعلم. إليكم الاكتشاف الكبير: نعم، يستخدم الحاسوب التجميع الجزئي التكيفي. فعندما رأى الحاسوب جملة نادرة، لم يخمن بناءً على ذلك المثال النادر وحده، بل قام بـ "تجميع" معرفته، حيث نظر إلى الجمل المشابهة ليقدم تخميناً أفضل. لقد تصرف تماماً مثل المحقق الذكي الموصوف أعلاه.

ومع ذلك، هناك التواء في المسار. فمهارات المحقق لدى الحاسوب تتغير مع استمرار التدريب.

• في البداية: عندما يبدأ الحاسوب للتو في التعلم، فإنه يعتمد بشكل كبير على الأنماط العامة. إنه يشبه طالباً جديداً لم يتعلم القواعد المحددة بعد، لذا فهو يخمن بناءً على ما يحدث عادةً. إنه يجمع الكثير من المعلومات معاً.
• في المنتصف: بينما يتدرب الحاسوب لفترة أطول قليلاً، فإنه يصل إلى "النقطة المثالية". هذه هي اللحظة التي يكون فيها في أفضل حالاته للموازنة بين الأدلة النادرة المحددة والأنماط العامة. في هذه المرحلة، يحاكي سلوك المحقق البشري المثالي الموصوف في رياضيات الانحدار الهرمي.
• لاحقاً: إذا استمر الحاسوب في التدريب لفترة طويلة جداً (بعد هذه النقطة المثالية)، فإنه يبدأ في التغير مرة أخرى. يبدأ في الثقة في الأدلة النادرة والمحددة أكثر مما ينبغي. يتوقف عن النظر في الأنماط العامة ويبدأ في الاعتقاد بأنه يعرف الإجابة لكل حالة نادرة بشكل مثالي. يشير المؤلف إلى أنه مع قدر كافٍ من التدريب، قد يصبح الحاسوب واثقاً جداً في المواقف النادرة، مما يفقده "التجميع الجزئي" المفيد الذي يجعله يبدو بشرياً.

وجدت الدراسة أيضاً أن الحاسوب يتصرف مثل البشر في طرق أخرى. فإذا كانت مجموعة الجمل متنوعة جداً (بعضها يقول A، وبعضها يقول B)، فإن الحاسوب يتوقف عن تجميعها معاً ويعاملها بشكل منفصل. ولكن إذا كانت مجموعة الجمل متشابهة جداً، فإن الحاسوب يدمجها بسعادة. كما لاحظ أنه إذا كانت هناك أنواع كثيرة مختلفة من الجمل المتشابهة (تكرار النوع المرتفع)، فإن الحاسوب يكون أكثر استعداداً لتجميعها معاً، تماماً كما يميل البشر إلى تعميم قاعدة ما إذا كانوا قد رأوها تُستخدم بطرق مختلفة عديدة.

لماذا هذا مهم؟

لا تكتفي الورقة بالقول إن "الحاسوب يتعلم" فحسب، بل توضح كيف يتعلم. إنها تثبت أن هذه العقول الحاسوبية الضخمة ليست مجرد مستودعات ذاكرة عملاقة تحفظ كل كلمة. إنها تبني في الواقع تمثيلات داخلية تصبح أكثر تفصيلاً بمرور الوقت. تبدأ برؤية فئات واسعة (مثل "كل الحيوانات") ثم تتعلم ببطء التمييز بين مجموعات أصغر (مثل "الأسماك مقابل الطيور")، تماماً كما يفعل الأطفال البشر.

الاكتشاف الأكثر إثارة هو "النقطة المثالية". يقترح المؤلف أن هناك نقطة محددة في التدريب يكون فيها الحاسوب أكثر شبهاً بالمتعلم البشري—أي يستخدم القدر المناسب من التعميم للتعامل مع الكلمات النادرة دون المبالغة في تحليلها. إذا دربنا الحاسوب أكثر من اللازم، فقد يفقد هذه المرونة الشبيهة بالبشر ويصبح جامداً جداً في توقعاته للحالات النادرة.

لذا، في المرة القادمة التي تتحدث فيها مع برنامج دردشة آلي، تذكر: إنه لا يكتفي بتلاوة نص مكتوب. إنه يقوم بعملية توازن معقدة، يزن فيها ما يعرفه عن اللحظة المحددة مقابل ما يعرفه عن العالم، وهو يفعل ذلك بأفضل شكل عندما يكون في تلك المنطقة الوسطى المثالية من التعلم.