تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يتحدث اللغة البشرية. يمكنك ببساطة إلقاء جبل من الكتب، والمقالات الإخبارية، وسجلات الدردشة في دماغه والأمل في أن يستنتج قواعد القواعد والمنطق من تلقاء نفسه. هذا هو حال معظم أنظمة الذكاء الاصطناعي الحديثة اليوم، لكن الأمر يشبه إلى حد ما محاولة تعلم لعب الشطرنج عبر مشاهدة الناس يحركون القطع فقط دون أن تُخبرك أبداً بالقواعد. مؤخراً، جرب العلماء حيلة مختلفة: قبل أن يغدوا الروبوت باللغة الحقيقية، جعلوا يتدرب على بيانات "زائفة" مكونة من رموز، مثل موازنة الأقواس أو فرز الأرقام. الأمر يشبه إعطاء الروبوت مجموعة من الألغاز المنطقية ليحلها قبل أن يرى جملة واحدة. السؤال الكبير هو: هل يساعد هذا "الإحماء" الروبوت على تعلم اللغة البشرية بشكل أسرع وأفضل، أم أنه مجرد إضاعة للوقت؟

هذه الورقة البحثية، التي تحمل عنوان "المنطق قبل اللغة"، تغوص بعمق في هذا السؤال. أراد الباحثون من جامعة شيفيلد معرفة ما إذا كان بإمكانهم منح نماذج الذكاء الاصطناعي "إحماءً" أفضل من خلال تعليمها المنطق الصوري — وهو القواعد الصارمة والخطوات المتتالية للبرهان الرياضي — بدلاً من مجرد ألعاب الرموز البسيطة. وقد وجدوا أنه عندما علموا الذكاء الاصطناعي حل الألغاز المنطقية أولاً، تعلم فهم واستخدام اللغة البشرية بشكل أسرع بكثير. كان الأمر كما لو أن الروبوت قد طور فجأة "ذاكرة عضلية" للهيكل والبناء. لم يتعلم بسرعة فحسب، بل أصبح تنظيم المعلومات في دماغه (أو أجزائه الحاسوبية الداخلية) أكثر كفاءة واختصاراً. وهذا جعل النموذج ليس فقط أكثر ذكاءً، بل أيضاً أسهل في التصغير دون فقدان ذكائه، وهو أمر بالغ الأهمية لتشغيل الذكاء الاصطناعي على الأجهزة الصغيرة.

المشكلة مع عمليات الإحماء القديمة

لفترة من الوقت، حاول العلماء القيام بعملية "ما قبل التدريب المسبق" لنماذج الذكاء الاصطناعي. فكر في "ما قبل التدريب المسبق" كمعسكر تدريبي قبل بدء التدريب الفعلي. في الماضي، استخدمت هذه المعسكرات مهاماً بسيطة. استخدم بعضها "لغات ديكي" (Dyck languages)، وهي ببساطة مطابقة الأقواس مثل (( )) أو [ ]. واستخدم البعض الآخر مهاماً خوارزمية مثل فرز قائمة من الأرقام. وبينما تعلم هذه المهام الذكاء الاصطناعي اتباع القواعد، يرى الباحثون أنها ضيقة للغاية. إنها تشبه تعليم الموسيقي عزف السلالم الموسيقية فقط؛ فهذا يساعد في مرونة الأصابع، لكنه لا يعلمك كيفية تأليف سيمفونية أو فهم العاطفة في أغنية. هذه الأساليب القديمة تغفل الهيكل المعقد، والفوضوي، والجميل للغة البشرية الحقيقية.

علاوة على ذلك، كانت الدراسات السابقة غالباً صغيرة الحجم. فقد قاموا بتدريب النماذج على كميات ضئيلة نسبياً من البيانات (أقل من 10 مليارات كلمة)، مما ترك العلماء يتساءلون عما إذا كانت هذه الحيل ستظل تعمل عندما يتم تدريب النماذج على كميات هائلة من البيانات (مثل 100 مليار كلمة).

الاستراتيجية الجديدة: معسكر تدريب المنطق

اقترح مؤلفو هذه الورقة نوعاً جديداً من المعسكرات التدريبية يسمى ما قبل التدريب المسبق المنطقي (Logic-PPT). بدلاً من مجرد مطابقة الأقواس أو فرز الأرقام، علموا الذكاء الاصطناعي كيفية إجراء استنتاجات منطقية صورية.

تخيل أنك محقق. لديك مجموعة من الأدلة (المقدمات) ولغز يجب حله (الهدف). لا يمكنك مجرد تخمين الإجابة؛ بل يجب عليك استخدام قواعد الاستنتاج الصارمة للوصول من الأدلة إلى الحل.

• الإعداد: يُعطى الذكاء الاصطناعي قائمة من الحقائق، مثل "إذا أمطرت، فإن الأرض تبتل" و"إنها تمطر".
• المهمة: يجب على الذكاء الاصطناعي اكتشاف الخطوة المنطقية التالية، مثل "الأرض مبتلة"، ثم استخدام هذه الحقيقة الجديدة للوصول إلى الهدف النهائي.
• النطاق: أنشأ الباحثون مكتبة ضخمة تضم 247 قاعدة منطقية مختلفة (تغطي أشياء مثل "إذا كان أ فإن ب" و"كل س هي ص") وولدوا الملايين من هذه الألغاز المنطقية.

قاموا بتدريب نموذج ذكاء اصطناعي بـ 254 مليون معلمة (parameter) على هذه الألغاز المنطقية أولاً. ثم أخذوا "دماغ" هذا النموذج ونقلوه إلى عملية تدريب قياسية على 100 مليار كلمة من النص الحقيقي (من مجموعة بيانات تسمى FineWeb-Edu). وقارنوا نموذج "Logic-PPT" هذا بنماذج بدأت من الصفر أو خضعت لعمليات الإحماء الأقدم والأبسط (مثل فرز الأرقام أو مطابقة الأقواس).

ما وجدوه: أسرع، أذكى، وأكثر رشاقة

كانت النتائج واضحة ومثيرة للاهتمام بشكل مفاجئ.

1. تأثير "الركض السريع"
تعلم نموذج Logic-PPT اللغة البشرية بسرعة أكبر بكثير. في السباق للوصول إلى دقة 80% في مهام لغوية متنوعة، وصل نموذج Logic-PPT إلى هناك باستخدام 36 مليار رمز (token) أقل من النموذج القياسي الذي بدأ من الصفر. كان الأمر كما لو أن نموذج Logic-PPT قد تجاوز الأميال القليلة الأولى من الماراثون لأنه قام بالفعل بجولة تدريبية مسبقة. وبحلول نهاية التدريب المكون من 100 مليار رمز، كان نموذج Logic-PPT هو الفائز الواضح، حيث سجل دقة قدرها 87.4% في مجموعة من 17 مهمة لغوية مختلفة، متفوقاً على أفضل طريقة تالية بفارق ملموس.

2. دماغ أكثر تنظيماً
لم ينظر الباحثون إلى الدرجات فحسب؛ بل نظروا داخل "دماغ" النموذج ليروا كيف يفكر. وجدوا أن نموذج Logic-PPT طور هيكلاً داخلياً محدداً للغاية.

• الهندسة ذات الرتبة المنخفضة (Lower-Rank Geometry): تخيل غرفة فوضوية حيث تُلقى الملابس في كل مكان مقابل غرفة حيث كل شيء مرتب ومطوي ومكدس؛ كانت التمثيلات الداخلية لنموذج Logic-PPT تشبه الغرفة المرتبة والمكدسة. كانت البيانات منظمة في مساحة "ذات رتبة منخفضة"، مما يعني أن النموذج كان يستخدم اتجاهات أقل وأكثر كفاءة لتخزين المعلومات.
• التركيز الطيفي (Spectral Concentration): فكر في شعاع كشاف الضوء. قد يقوم النموذج القياسي بتشتيت ضوئه في كل مكان. أما نموذج Logic-PPT فقد ركز ضوءه في شعاع ضيق وساطع. هذا "التركيز الطيفي" يعني أن النموذج كان أكثر كفاءة في معالجة المعلومات. هذا الهيكل المنظم لم يظهر عند البداية فحسب؛ بل ظل ثابتاً حتى بعد تدريب النموذج على 100 مليار كلمة من النصوص.

3. سحر الضغط (التقليم - Pruning)
هذا هو الاكتشاف الأكثر عملية ربما. نظرًا لأن دماغ نموذج Logic-PPT كان منظماً للغاية، فقد كان مرناً بشكل لا يصدق تجاه "التقليم". التقليم يشبه قطع أجزاء من شجرة لجعلها أصغر وأسرع. عادةً، إذا قطعت الكثير من الأغصان، تموت الشجرة (أي يتوقف الذكاء الاصطناعي عن العمل).

• اختبر الباحثون ذلك عن طريق "تقليم" النماذج، أي إزالة ما يصل إلى 40% من روابطها.
• النموذج القياسي والنماذج التي تدربت على مهام الفرز البسيطة انهارت بشدة، وفقدت الكثير من الدقة.
• ومع ذلك، كان نموذج Logic-PPT قوياً. فحتى عند تشتت بنسبة 33% (أي ذهب 33% من روابطه)، كان يؤدي بنفس مستوى أداء النموذج القياسي الكامل غير المقلّم. وحتى عند تشتت بنسبة 40%، فقد خسر 14.4% فقط من أدائه، بينما فقدت النماذج الأخرى الكثير من أدائها. كان الأمر كما لو أن نموذج Logic-PPT قد بنى هيكلاً عظمياً قوياً جداً لدرجة أنه يمكنه فقدان ثلث وزنه ولا يزال قادراً على الجري في الماراثون.

لماذا يهم هذا الأمر

تشير الورقة البحثية إلى أنه من خلال تعليم الذكاء الاصطناعي القواعد المجردة والصارمة للمنطق قبل تعليمه اللغة، فنحن لا نعطيه مجرد بداية جيدة؛ بل نغير بشكل أساسي كيفية بناء دماغه. فهو يخلق نموذجاً يتعلم بشكل أسرع، ويفهم اللغة بعمق أكبر، وهو أكثر كفاءة من الناحية الفيزيائية في التشغيل.

يلاحظ الباحثون بحذر أنهم اختبروا هذا على حجم نموذج محدد (254 مليون معلمة) ومجموعة بيانات محددة. هم لم يدّعوا أن هذا يحل كل مشكلة في الذكاء الاصطناعي، ولم يختبروه على كل لغة أو مهمة ممكنة. ومع ذلك، فإن الأدلة من جولة التدريب المكونة من 100 مليار رمز تشير بقوة إلى أن "المنطق قبل اللغة" هي استراتيجية قوية. اتضح أنه قبل أن تتمكن من تعليم الروبوت التحدث مثل البشر، قد يساعد في ذلك تعليمه التفكير مثل عالم رياضيات.