Transformers Linearly Represent Highly Structured World Models
من خلال تدريب نموذج "ترانسفورمر" على مسارات حل السودوكو، تكشف الدراسة أن النموذج يبني داخلياً نموذج عالم مهيكل يتماشى مع جبر القيود الخاص بالمجال بدلاً من الميزات السطحية، مستخدماً دوائر متفرقة وقابلة للتفسير مثل كاشف "الرقم الوحيد الواضح" لحل المهمة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك وظفت متدرباً عبقرياً ولكن غامضاً ليتعلم كيفية حل ألغاز السودوكو. أنت لا تعلمه القواعد بشكل مباشر؛ بل تكتفي فقط بعرض آلاف الأمثلة لشخص آخر يحل الألغاز خطوة بخطوة. وبعد فترة، يصبح المتدرب بارعاً جداً في حلها.
ولكن هنا يبرز السؤال الكبير: كيف يعمل عقل هذا المتدرب حقاً؟ هل يرى اللغز كـ 81 مربعاً فارغاً منفصلاً، أم يراه كمجموعة من القواعد المترابطة؟
تبحث هذه الورقة البحثية في ذلك تحديداً عبر "فتح" نموذج حاسوبي (Transformer) تم تدريبه على السودوكو. وقد وجد الباحثون ثلاثة أشياء مذهلة حول طريقة تفكير هذا النموذج.
1. "قائد الفريق" مقابل "العامل الفردي"
يفترض معظم الناس أنه إذا عرضت على نموذج ما شبكة سودوكو، فإنه سيتعلم تتبع كل خلية (المربعات الصغيرة) بشكل فردي، مثل عامل يراجع 81 بنداً منفصلاً في قائمة.
ما وجدته الورقة البحثية: النموذج لا يفعل ذلك. بدلاً من ذلك، ينظم تفكيره حول المجموعات.
فكر في لغز السودوكو ليس كـ 81 صندوقاً، بل كـ ثلاثة أنواع من الفرق:
- فريق الصفوف (9 خطوط أفقية)
- فريق الأعمدة (9 خطوط عمودية)
- فريق المربعات (9 مربعات صغيرة 3×3)
يبني النموذج "نموذج عالم" حيث يتتبع الأرقام الموجودة في هذه الفرق، وليس فقط في الصناديق الفردية. الأمر كما لو أن المتدرب توقف عن النظر إلى الطوب الفردي وبدأ ينظر إلى الجدران والأرضيات والأسقف. وجد الباحثون أن النموذج مثالي في الإجابة على سؤال: "هل الرقم 5 موجود في الصف العلوي؟" ولكنه دقيق بنسبة 80% فقط عند تخمين: "ما هو الرقم الموجود في هذا المربع المحدد؟"
لماذا؟ لأن صحة الرقم في السودوكو تعتمد على المجموعة التي ينتمي إليها، وليس على الصندوق نفسه. لقد تعلم النموذج التفكير من منظور القواعد (الجبر)، وليس من منظور المظهر السطحي (الشبكة).
2. "مراقبو حركة المرور" في المنتصف
يمتلك النموذج 8 طبقات من خطوات "التفكير". وقد نظر الباحثون في الطبقات الوسطى لمعرفة كيفية تدفق المعلومات.
ما وجدته الورقة البحثية: اكتشفوا "مراقبي حركة مرور" محددين (يُطلق عليهم رؤوس الانتباه - attention heads) يعملون كمديرين متخصصين لكل فريق.
- مدير واحد ينظر فقط إلى الصف 4.
- مدير آخر ينظر فقط إلى المربع 5.
- مدير ثالث ينظر فقط إلى العمود 2.
هؤلاء المديرين لديهم مهمة بسيطة للغاية: إشارة "ممنوع المرور".
إذا كان هناك رقم (مثل الرقم 7) موجود بالفعل في الصف 4، فإن هذا المدير يضع فوراً علامة "لا تستخدم هذا الرقم" على الرقم 7 لكل مكان فارغ في ذلك الصف. هم لا يتجاهلون الرقم فحسب؛ بل يعملون بنشاط على قمع فكرة استخدامه. يحدث هذا في وقت واحد لجميع الصفوف والأعمدة والمربعات، مما يخلق قائمة نظيفة لما يمكن استخدامه.
3. "نيورونات لحظة الاستنارة"
أخيراً، نظر الباحثون في الخطوة الأخيرة قبل أن يتخذ النموذج قراراً. هذه هي المرحلة التي يقرر فيها النموذج: "حسناً، سأضع الرقم 7 هنا".
ما وجدته الورقة البحثية: وجدوا مجموعة صغيرة ومحددة من النيورونات (91 نيورون فقط) تعمل مثل المصابيح الكهربائية.
- هذه المصابيح لا تعمل إلا عندما يكون لخلية معينة رقم واحد فقط متبقٍ (وهي حالة تُسمى "الرقم المنفرد الواضح" أو Naked Single).
- عندما يضيء المصباح، فإنه لا يكتفي بالقول "الرقم 7 جيد"، بل يصرخ: "مهلاً، هذه الخلية بالكامل قد حُلّت!" ويقوم بتعزيز الثقة لجميع الأرقام في هذه الخلية بالتساوي.
- ولأن الطبقات الوسطى كانت قد قامت بالفعل بالعمل الشاق المتمثل في استبعاد الأرقام الخاطئة، كان الرقم "الصحيح" هو الخيار الأول بالفعل. المصباح فقط يعطي دفعة نهائية هائلة لضمان التزام النموذج بتلك الإجابة.
الصورة الكبيرة
تخلص الورقة البحثية إلى أن هذا الذكاء الاصطناعي لم يحفظ الأنماط فحسب؛ بل بنى خريطة داخلية تتطابق تماماً مع منطق اللغز.
- هو لا يرى شبكة؛ بل يرى قيوداً.
- هو لا يخمن عشوائياً؛ بل يستخدم مديرين متخصصين لفرض القواعد.
- هو لا يتردد؛ بل لديه مفاتيح مخصصة لتثبيت الإجابة عندما يكون المنطق واضحاً.
لقد أثبت الباحثون ذلك عن طريق "تعطيل" النموذج: فعندما أوقفوا "مديري الصفوف"، بدأ النموذج يقترح أرقاماً موجودة بالفعل في ذلك الصف. وعندما أوقفوا "نيورونات المصابيح"، أصبح النموذج مرتبكاً بشأن اختيار الرقم، رغم أنه كان يعرف أن الإجابة موجودة هناك.
باختصار، تعلم الذكاء الاصطناعي حل السودوكو بالطريقة التي يفعلها الخبراء البشر: من خلال فهم قواعد اللعبة، وليس فقط بالنظر إلى المربعات الفارغة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.