On the Expressive Power of Transformers

مخطط الدماغ: لماذا بعض الألغاز أصعب من غيرها

تخيل أنك تحاول تعليم روبوت كيفية القراءة. قد تعتقد أن الروبوت يحتاج فقط إلى النظر إلى الحروف واحدة تلو الأخرى، مثل شخص يمسح صفحة بعينيه. لكن الروبوتات الحديثة فائقة الذكاء، والتي تُسمى نماذج اللغات الكبيرة (LLMs)، لا تعمل بهذه الطريقة. فبدلاً من القراءة من اليسار إلى اليمين، تستخدم حيلة خاصة تسمى "المحوّل" (Transformer). فكر في "المحوّل" كأنه فريق ضخم من المحققين يعملون في غرفة واحدة. عندما يرون جملة، يمكن لكل محقق أن يصرخ فوراً إلى كل محقق آخر ليقول: "مهلاً، أنا أنظر إلى هذه الكلمة، وهي ترتبط بتلك الكلمة هناك!". هذا يسمح لهم بفهم السياق والعلاقات في لمح البصر، بدلاً من مجرد حفظ قائمة من القواعد.

ولكن هنا يكمن السؤال الكبير الذي يؤرق العلماء: ما مدى ذكاء هؤلاء المحققين حقاً؟ هل يمكنهم حل أي لغز، أم أن هناك بعض الألغاز التي ستظل تحيرهم دائماً؟ لإيجاد الإجابة، لا يقوم الباحثون بمجرد إجراء اختبارات؛ بل ينظرون إلى "دماغ" الروبوت من خلال عدسة الرياضيات الخاصة بعلوم الحاسوب. إنهم يقارنون "المحوّل" بعائلة من الآلات الرياضية تسمى "الدوائر" (circuits). تخيل هذه الدوائر كأنها مصانع ذات خطوط تجميع. بعض المصانع بسيطة جداً، بخطوط قصيرة وعدد قหน่อย من العمال (تُسمى AC0). أما غيرها فلديها خطوط أطول وأدوات أكثر قوة يمكنها العد والمقارنة بين أرقام ضخمة (وهي TC0). ومن خلال تحديد أي مصنع يشبه "المحوّل" أكثر، يمكن للعلماء التنبؤ بدقة بأنواع المشكلات التي يمكنه حلها وأين يصطدم بالحائط. هذا الأمر مهم لأنه إذا عرفنا حدود هذه النماذج، يمكننا التوقف عن توقع قيامها بالسحر والبدء في بنائها لتفعل ما هي جيدة فيه بالفعل.

الاكتشاف الكبير للورقة البحثية: مفتاح طاقة "المحوّل"

في ورقتهم البحثية بعنوان "حول القدرة التعبيرية للمحولات" (On the Expressive Power of Transformers)، يعمل الباحثان فوكيون جي كولايتيس وريك سينجوبتا كمهندسين معماريين يفحصون مبنى جديداً عالي التقنية. إنهما لا ينظران فقط إلى مدى جمال المبنى؛ بل يقيسان قدرته على تحمل الأحمال لمعرفة ما يمكنه حمله بالضبط. استنتاجهما الرئيسي هو أن قوة "المحوّل" ليست ثابتة؛ بل تتغير بشكل كبير بناءً على بعض "المقابض" أو الإعدادات، وتحديداً مقدار الدقة (عدد الخانات العشرية التي يمكنه استخدامها في الرياضيات) وما إذا كان مسموحاً له بـ "التفكير بصوت عالٍ" (تقنية تسمى "سلسلة الأفكار" أو Chain-of-Thought).

أولاً، لننظر إلى "المحوّل" بدون أي وقت إضافي للتفكير. يوضح المؤلفان أنه إذا أعطيت "المحوّل" إعداد "انتباه صلب" بسيطاً (حيث يختار كلمة واحدة فقط للتركيز عليها) أو إذا حددت رياضياته بدقة منخفضة جداً (مثل استخدام عدد قليل جداً من البتات من المعلومات)، فإنه يكون ضعيفاً بشكل مفاجئ. في الواقع، في ظل هذه الظروف، يكون "المحوّل" مكافئاً رياضياً لأبسط أنواع مصانع الدوائر، وهو AC0. وهذا يعني أنه يمكنه التعامل مع المنطق الأساسي، مثل التحقق مما إذا كانت الجملة تحتوي على عدد زوجي من الكلمات، لكنه يعاني في المهام التي تتطلب العد أو مقارنة الأرقام الكبيرة. إنه يشبه محققاً يمكنه رصد قبعة حمراء، لكنه لا يستطيع عد كم قبعة حمراء موجودة في الغرفة.

ومع ذلك، تصبح القصة أكثر إثارة للاهتمام عندما ترفع مستوى الدقة. إذا سُمح لـ "المحوّل" باستخدام رياضيات أكثر دقة (تحديداً، عدد من البتات ينمو مع طول النص، مثل $\Theta(\log n)$)، فإنه ينتقل إلى مستوى أعلى. يصبح بقوة مصنع الدوائر TC0. هذه قفزة كبيرة! الآن، يمكن لـ "المحوّل" التعامل مع أسئلة "الأغلبية" ومهام العد الأكثر تعقيداً. إنه يشبه إعطاء المحقق آلة حاسبة؛ فجأة، يمكنه حل الألغاز التي كانت مستحيلة من قبل. ولكن حتى مع هذه الترقية، تشير الورقة إلى أنه لا يزال هناك سقف. فبدون مساعدة إضافية، من المرجح أن تظل هذه النماذج عالقة في نطاق TC0 ولا يمكنها بسهولة حل المشكلات التي تتطلب تفكيراً منطقياً عميقاً وخطوة بخطوة كما هو موجود في فئات الحاسوب الأكثر تعقيداً مثل PTIME (الزمن متعدد الحدود).

أما نقطة التحول الحقيقية، وفقاً للورقة، فهي "سلسلة الأفكار" (Chain-of-Thought - CoT). تخيل أن "المحوّل" لم يعد مجرد محقق ينظر إلى مسرح الجريمة؛ بل أصبح الآن مسموحاً له بكتابة مذكرات لأفكاره قبل إعطاء الإجابة النهائية. يمكنه توليد "رموز" وسيطة (ملاحظات صغيرة) يغذي بها نفسه لمساعدته في حل المشكلة. يظهر المؤلفان أن هذا التغيير البسيط يكسر الحدود السابقة.

• إذا سُمح لـ "المحوّل" بكتابة مذكرات قصيرة (متناسبة مع طول النص، أو $O(n)$)، فيمكنه حل المشكلات التي تستغرق زمناً تربيعياً (مثل $n^2$).
• إذا استطاع كتابة مذكرات طويلة جداً (متناسبة مع كثير حدود لطول النص، أو $poly(n)$)، فإنه يصبح قوياً بما يكفي لمحاكاة أي خوارزمية حاسوبية قياسية، ليصل إلى فئة PTIME.
• وإذا امتلك مساحة تفكير ودقة غير محدودة، فيمكنه محاكاة آلة تورينج (Turing Machine)، وهي التعريف النظري لحاسوب عالمي قادر على حل أي مشكلة قابلة للحوسبة.

الورقة واضحة جداً بشأن ما يعنيه هذا: "المحوّل" ليس بطبيعته "كلي القدرة" أو "عديم الفائدة". قدرته على حل المشكلات الصعبة تعتمد كلياً على مقدار "ورقة المسودة" (سلسلة الأفكار) ومقدار "الدقة الرياضية" التي تمنحه إياها. بدون هذه الموارد، يظل محدوداً بالمنطق البسيط والسطحي. ومع وجودها، يمكنه تسلق سلم التعقيد وصولاً إلى محاكاة حاسوب كامل.

كما يشير المؤلفان إلى بعض القيود المحددة. فهما يجادلان بأن نماذج "الانتباه الصلب" (حيث يختار الروبوت كلمة واحدة فقط) هي أضعف بوضوح من نماذج "الانتباه الناعم" (حيث يزن كلمات عديدة)، ولا يمكنها حتى الوصول إلى القوة الكاملة لأبسط فئة من الدوائر في بعض الحالات. علاوة على ذلك، يؤكدان أنه بينما يمكن لـ "المحوّل" نظرياً محاكاة "آلة تورينج" مع توفر "سلسلة أفكار" كافية، فإن هذا يظل حداً نظرياً. في العالم الحقيقي، لا نملك ذاكرة لانهائية أو وقتاً لانهائياً لتوليد أفكار وسيطة لانهائية، لذا فإن النماذج في العالم الحقيقي سيكون لها دائماً سقف عملي أقل من الحد الأقصى النظري.

باختصار، قام كولايتيس وسينجوبتا برسم "شبكة الطاقة" لـ "المحولات". لقد أظهروا لنا أن هذه النماذج ليست صناديق سوداء سحرية؛ بل هي آلات مقيدة بالموارد. إذا كنت تريد منها حل لغز صعب، فلا يمكنك مجرد أن تطلب منها "بذل جهد أكبر"؛ بل يجب أن تعطيها الأدوات الصحيحة: المزيد من الدقة، والمزيد من الطبقات، والأهم من ذلك، القدرة على التفكير خطوة بخطوة. وتخلص الورقة إلى أن فهم هذه الحدود أمر بالغ الأهمية. فهو يساعدنا على التوقف عن توقع القيام بالمستحيل من هذه النماذج، والبدء في تصميمها لتكون أفضل النسخ الممكنة مما هي عليه: أدوات قوية للغاية، ولكنها في النهاية، أدوات مدركة للحدود في التعرف على الأنماط.