Weber's Law in Transformer Magnitude Representations: Efficient Coding, Representational Geometry, and Psychophysical Laws in Language Models
تُظهر هذه الدراسة أنه في حين تطور نماذج اللغة القائمة على المحولات باستمرار تمثيلات مقدارية ذات ضغط لوغاريتمي مدفوعة بإحصائيات بيانات التدريب، فإن هذا البناء الهندسي منفصل عن الكفاءة السلوكية، حيث غالبًا ما تفشل النماذج ذات هذا الهيكل الهندسي في أداء مهام التمييز بين المقادير الشبيهة بالبشر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك أمين مكتبة آلياً عملاقاً وذكياً للغاية يُدعى "ترانسفورمر" (Transformer). هذا الأمين قد قرأ كل ما هو موجود تقريباً على الإنترنت. تسأله سؤالاً بسيطاً: "هل 100 أكبر من 50؟" أو "هل ساعتان أطول من 90 دقيقة؟"
لفترة طويلة، جادل العلماء حول كيفية تفكير هذا الروبوت في الأرقام. هل يراها مثل المسطرة (1، 2، 3، 4... بمسافات متساوٍ)؟ أم يراها مثل مفتاح التحكم في مستوى الصوت في جهاز الستيريو، حيث يكون الفرق بين 1 و2 ضخماً، بينما الفرق بين 100 و101 ضئيلاً جداً؟
هذه الورقة البحثية تشبه قصة بوليسية حلت أخيراً لغز هذا الغموض. استخدم الباحثون أداة خاصة من علم النفس البشري (تُسمى الفيزياء النفسية - Psychophysics) لاستراق النظر داخل عقل الروبوت. وهذا ما وجدوه، مشروحاً ببسا de:
1. "المسطرة الداخلية" للروبوت مضغوطة (لوغاريتمية)
الاكتشاف: يستخدم الروبوت بالفعل مسطرة مضغوطة. إنه يعامل الأرقام وفق مقياس لوغاريتمي.
التشبيه: تخيل خريطة للعالم. في الخريطة العادية، تبدو المسافة بين نيويورك وبوسطن هي نفسها المسافة بين لندن وباريس. لكن في "الخريطة الذهنية" للروبوت، المسافة بين 1 و2 ضخمة، بينما المسافة بين 1,000 و1,002 مجهرية.
لماذا؟ وجد الباحثون أن الروبوت تعلم ذلك بسبب الكتب التي قرأها. في الحياة الواقعية، تظهر الأرقام الصغيرة (مثل "1" أو "2") بشكل أكثر بكثير من الأرقام الضخمة (مثل "1,000,000"). ولكي يكون فعالاً، قام الروبوت بضغط الأرقام الكبيرة النادرة في مساحة ضئيلة وأعطى مساحة واسعة للأرقام الصغيرة الشائعة. الأمر يشبه حزم حقيبة سفر: تضع الأشياء الثقيلة والنادرة في زاوية صغيرة، وتترك المساحة الرئيسية للأشياء الشائعة والخفيفة.
2. امتلاك الخريطة لا يعني القدرة على الملاحة
الاكتشاف: مجرد امتلاك الروبوت لهذه "المسطرة المضغوطة" في دماغه لا يعني أنه يستطيع استخدامها للإجابة على الأسئلة بشكل صحيح.
التشبيه: تخيل أن لديك خريطة GPS مثالية ومفصلة لمدينة ما في رأسك، ولكن إذا عُميت عينيك وسألك شخص ما عن اتجاه الشمال، فقد تخطئ في الإشارة إليه.
- نسخة "Llama" من الروبوت: كانت تمتلك الخريطة واستطاعت استخدامها. فعندما سُئلت عن مقارنة الأرقام، تصرفت تماماً مثل البشر، حيث احتاجت إلى فرق بنسبة 20% تقريباً للتمييز بينهما.
- نسخة "Mistral" من الروبوت: كانت تمتلك نفس الخريطة تماماً في دماغها، ولكن عندما سُئلت عن مقارنة الأرقام، كانت تجيب بشكل عشوائي. كان لديها الهيكل الداخلي، لكنها لم تستطع "قراءة" الخريطة لاتخاذ قرار.
- اختبار الزمان والمكان: عندما سأل الباحثون عن الوقت ("هل 3 ساعات أطول من 150 دقيقة؟") أو المسافة، امتلكت الروبات الخريطة، لكنها فشلت في الاختبار تماماً؛ لم تستطع المقارنة.
3. لغز "طبقات الدماغ": العمال الأوائل مقابل المزينين
الاكتشاف: حاول الباحثون "اختراق" دماغ الروبوت عبر تعديل طبقات محددة (مثل تدوير قرص تحكم) لمعرفة أي جزء يقوم بالعمل الفعلي.
التشبيه: تخيل مصنعاً يتكون من 32 طابقاً.
- الطوابق 1–10 (الطبقات المبكرة): هؤلاء هم العمال. عندما قام الباحثون بتعديل هذه الطوابق، تغيرت إجابات الروبوت فوراً. هنا يحدث "التفكير" الفعلي في الأرقام.
- الطوابق 20–30 (الطبقات المتأخرة): هؤلاء هم المزينون. كانت هذه الطوابق تمتلك أكثر الخرائط جمالاً وإتقاناً وتنظيماً (المسطرة المضغوطة). ولكن عندما قام الباحثون بتعديل هذه الطوابق، لم تتغير إجابات الروبوت على الإطلاق. كانت الخريطة موجودة، لكنها لم تكن تُستخدم لحل المشكلة؛ كانت مجرد شيء جميل يجلس هناك.
4. الفرق بين "التدريب" و"التدريس"
الاكتشاف: تعلم الروبوت "المسطرة المضغوطة" بمجرد قراءة الكتب (التدريب المسبق - Pre-training). لكنه تعلم فقط كيفية استخدام تلك المسطرة للإجابة على الأسئلة لأن معلماً بشرياً أعطاه تعليمات محددة (ضبط التعليمات - Instruction Tuning).
التشبيه:
- التدريب المسبق يشبه طفلاً يقرأ كل كتاب في المكتبة؛ فهو يستوعب أنماط العالم بشكل طبيعي.
- ضبط التعليمات يشبه معلماً يقول له: "حسناً، بما أنك تعرف الأرقام الآن، فإليك كيفية لعب لعبة 'أيهما أكبر؟'".
- وجدت الدراسة أن الروبوت بدون المعلم (النموذج الأساسي - Base model) كان يمتلك الخريطة المثالية لكنه لم يستطع لعب اللعبة. أما الروبوت الذي لديه المعلم، فكان بإمكانه لعب اللعبة، ولكن فقط إذا علمه المعلم القواعد الصحيحة.
الخلاصة الكبرى
تحل هذه الورقة جدلاً كبيراً في مجال الذكاء الاصطناعي. فهي تثبت أن نماذج الذكاء الاصطناعي تطور بشكل طبيعي طريقة "تشبه البشر" في رؤية الأرقام (لوغاريتمية) بمجرد قراءة النصوص العادية، دون الحاجة إلى دماغ بيولوجي.
ومع ذلك، فإن امتلاك هيكل دماغ يشبه البشر لا يعني أن الذكاء الاصطناعي سيتصرف كالبشر.
- الهيكل (الخريطة) يأتي من البيانات التي يقرأها.
- السلوك (لعب اللعبة) يأتي من كيفية تعليمه استخدام تلك البيانات.
الأمر يشبه إعطاء شخص ما عينين مثاليتين (الهندسة/الرؤية) ولكن دون تعليمه كيفية قيادة السيارة (السلوك). يمكنه رؤية الطريق، لكنه قد يصطدم في النهاية إذا لم يكن يعرف قواعد الطريق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.