Categorical Perception in Large Language Model Hidden States: Structural Warping at Digit-Count Boundaries
تُظهر هذه الورقة أن النماذج اللغوية الكبيرة تُبدي نوعاً من التشويه الهندسي الشبيه بالإدراك الفئوي في حالاتها الخفية عند حدود عدد الأرقام (مثل 10 و100)، وهي ظاهرة مدفوعة بانقطاعات هيكلية في عملية التجزئة (tokenization) وليس بالمعرفة الدلالية، مما يتجلى إما في شكل تصنيف صريح أو تشويه هندسي بحت اعتماداً على بنية النموذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تنظر إلى طريق طويل وناعم. بينما تقود سيارتك عليه، تكون المسافة بين علامات الأميال متساوية تماماً. هكذا يرى الكمبيوتر الأرقام عادةً: خطاً مستمراً وناعماً حيث الرقم 9 أصغر بقليل من 10، و10 أصغر بقليل من 11.
لكن هذه الورقة البحثية اكتشفت شيئاً غريباً يحدث في "عقل" الذكاء الاصطنا-عي الحديث (النماذج اللغوية الكبيرة). فعندما تنظر هذه النماذج إلى الأرقام، فإن خريطتها الداخلية للعالم تتشوه فجأة عند نقاط محددة، تماماً مثل ورقة مطاطية يتم شدها.
إليك قصة هذا الاكتشاف، مقسمة إلى مفاهيم بسيطة.
1. تأثير "الورقة المطاطية" (الإدراك الفئوي)
في علم النفس البشري، هناك فكرة شهيرة تسمى الإدراك الفئوي. وهي تعني أن عقولنا تتعامل مع الأشياء بشكل مختلف عندما تعبر "حدوداً" ما.
- التشبيه: تخيل عجلة الألوان. الأحمر والبرتقالي متجاوران تماماً. لكن إذا وقفت بالضبط على الخط الفاصل بينهما، سيقول عقلك فجأة: "مهلاً، هذان لونان مختلفان تماماً!" رغم أن التغير الفيزيائي ضئيل جداً. يمكنك التمييز بين "الأحمر" و"البرتقالي" بشكل أفضل بكثير مما يمكنك التمييز بين درجتين مختلفتين من اللون الأحمر.
وجد الباحثون أن الذكاء الاصطنا-عي يفعل الشيء نفسه تماماً مع الأرقام، ولكن لسبب محدد للغاية: الطريقة التي تُكتب بها الأرقام.
2. "البوابة" في الكود
الذكاء الاصطنا-عي لا يرى فقط قيمة الرقم؛ بل يرى الحروف (الرموز/Tokens) التي يتكون منها الرقم.
- الرقم 9: يُكتب كـ "9". هذا رمز واحد.
- الرقم 10: يُكتب كـ "10". هذا رمزان.
بالنسبة للذكاء الاصطنا-عي، القفزة من 9 إلى 10 ليست مجرد خطوة صغيرة للأعلى في القيمة. إنها تشبه المشي عبر بوابة حيث يتغير ملمس الأرضية فجأة. "البوابة" هي اللحظة التي يتحول فيها الرقم من خانة واحدة إلى رقم من خانتين.
وجدت الدراسة أنه داخل عقل الذكاء الاصطنا-عي، المسافة بين 9 و10 تتمدد فجأة. وكأن الذكاء الاصطنا-عي يعتقد أن 9 و10 متباعدان كثيراً عن 8 و9، رغم أنهما رياضياً على نفس المسافة. يحدث هذا مرة أخرى عند 99 و100 (من رقمين إلى ثلاثة أرقام).
3. نوعان من "أدمغة الذكاء الاصطنا-عي"
اختبر الباحثون ستة نماذج مختلفة من الذكاء الاصطنا-عي ووجدوا نوعين متميزين من ردود الفعل تجاه هذه "البوابة":
- الذكاء الاصطنا-عي "الكلاسيكي" (Gemma, Qwen): تعمل هذه النماذج مثل البشر. فهي لا تملك الخريطة الممددة (الهندسة) فحسب، بل يمكنها أيضاً إخبارك بالفرق. إذا سألتهم: "هل هذا رقم من خانة واحدة أم خانتين؟"، سيقولون "خانة واحدة" أو "خانتين" بثقة عالية. إنهم يعرفون القاعدة.
- الذكاء الاصطنا-عي "البنيوي" (Llama, Mistral, Phi): تمتلك هذه النماذج الخريطة الممددة، لكنها لا تستطيع إخبارك بالقاعدة. إذا سألتهم نفس السؤال، فقد يخمنون عشوائياً أو يصابون بالارتباك.
- التشبيه: تخيل شخصاً لديه نظام GPS داخلي مثالي يظهر وجود أخدود ضخم بين 9 و10. لكن إذا سألته: "هل يوجد أخدود هنا؟"، سيهز كتفيه ويقول: "لا أعرف". إنه يشعر بالفرق في "عظامه" (الرياضيات بداخلهم)، لكنه لا يستطيع التحدث عنه.
هذا اكتشاف ضخم: يمكنك امتلاك الشكل الهندسي لفئة ما دون أن تدرك فعلياً وجود تلك الفئة.
nghiệm 4. اختبار "الساخن مقابل البارد"
لإثبات أن الأمر لم يكن متعلقاً بالأرقام فحسب، اختبر الباحثون الذكاء الاصطنا-عي باستخدام درجة الحرارة.
- لدينا كلمات لـ "ساخن" و"بارد". هناك حد فاصل (حوالي 22 درجة مئوية / 72 فهرنهايت) حيث تتحول الأشياء من باردة إلى ساخنة.
- النتيجة: لم يقم الذكاء الاصطنا-عي بمد خريطته عند هذا الحد. لماذا؟ لأن الكلمتين "21" و"23" تبدوان متشابهتين للذكاء الاصطنا-عي من حيث التقطيع (Tokenizer). لا توجد "بوابة" في الكود.
- الدرس المستفاد: الذكاء الاصطنا-عي لا يمد خريطته لأنه تعلم أن الرقم 10 مميز. بل يمدها لأن تنسيق المدخلات قد تغير (من رقم واحد إلى رقمين). "شكل" البيانات هو ما يجبر الدماغ على التشوه.
5. "الطبقات المبكرة مقابل المتأخرة" (العمل الخفي)
تمتلك نماذج الذكاء الاصطنا-عي العديد من طبقات المعالجة، مثل الطوابق في ناطحة سحاب.
- الطوابق العليا: هذا هو المكان الذي تبدو فيه خريطة الذكاء الاصطنا-عي الداخلية أكثر "تمدداً" ووضوحاً. إنها الأكثر قابلية للقراءة.
- القبو (الأساس): هذا هو المكان الذي يحدث فيه العمل الفعلي.
- المفاجأة: حاول الباحثون "وخز" دماغ الذكاء الاصطنا-عي في طوابق مختلفة. عندما وخزوا الطوابق العليا (حيث بدت الخريطة في أفضل حال)، لم يحدث شيء. لكن عندما وخزوا القبو (الطبقات المبكرة)، تغير سلوك الذكاء الاصطنا-عي فوراً.
- التشبيه: الأمر يشبه النظر إلى لوحة مكتملة. تبدو اللوحة مثالية على القماش (الطبقة العليا). لكن الفنان لم يرسم اللمسات النهائية هناك؛ بل قام بالجهد الشاق على لوحة الرسم في القبو. الجزء "المرئي" من دماغ الذكاء الاصطنا-عي ليس هو المكان الذي يحدث فيه التفكير الفعلي.
ملخص: ماذا يعني هذا؟
- التنسيق هو الملك: تنشئ نماذج الذكاء الاصطنا-عي "فئات" (مثل خانة واحدة مقابل خانتين) لمجرد أن طريقة كتابتنا للأرقام تتغير في التنسيق. هم لا يحتاجون لـ "تعلم" الرياضيات للقيام بذلك؛ بل هيكل النص هو ما يجبر أدمغتهم على التشوه.
- الشعور مقابل المعرفة: يمكن للذكاء الاصطنا-عي أن يمتلك فهماً بنيوياً عميقاً للحدود (الشعور بالمد) دون أن يكون قادراً على شرحها (معرفة القاعدة).
- انظر بعمق: مجرد كون جزء من دماغ الذكاء الاصطنا-عي يبدو "ذكياً" أو "واضحاً" لا يعني أنه هو من يقوم بالعمل. السحر الحقيقي غالباً ما يحدث في الطبقات المبكرة والفوضوية.
باختصار، تظهر هذه الورقة البحثية أن طريقة كتابتنا للأشياء تغير كيفية تفكير الآلات بها، مما يخلق "جدراناً" غير مرئية في عقولها تفصل بين الأرقام، حتى لو لم تكن الآلة تدرك أنها تفعل ذلك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.