🤖 machine learning

Beyond Language: Format-Agnostic Reasoning Subspaces in Large Language Models

تقدم هذه الورقة معيار "TriForm" وتقدم أدلة متقاربة على وجود فضاء استدلالي مستقل عن التنسيق (FARS) داخل النماذج اللغوية الكبيرة، مما يثبت أن تمثيلاً داخلياً مدمجاً مكوناً من 10 أبعاد يستوعب مفاهيم الاستدلال المجرد عبر أشكال سطحية متنوعة (النثر، والبرمجة، والرياضيات) مع الكشف عن عدم تماثل جوهري حيث تكون التنسيقات التقريرية أكثر توافقاً مع بعضها البعض مقارنة بالتنسيقات الإجرائية البرمجية.

المؤلفون الأصليون: Aojie Yuan, Zhiyuan Su

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Aojie Yuan, Zhiyuan Su

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة عملاقة وذكية للغاية (نموذج لغوي كبير) يمكنها القراءة والكتابة بلغات عديدة مختلفة. ولكن في هذه الحالة، لا تعني كلمة "لغات" فقط الإنجليزية أو الإسبانية أو الفرنسية، بل تعني أيضاً لغة البرمجة "بايثون"، والمعادلات الرياضية، والقوائم المنظمة.

السؤال الكبير الذي طرحه الباحثون هو: عندما يفكر هذا النموذج في فكرة منطقية (مثل "إذا كان أ فإن ب")، هل يستخدم نفس "التوصيلات العصبية" الداخلية سواء كان يقرأ تلك الفكرة في قصة، أو مسألة رياضية، أو برنامج حاسوبي؟ أم أنه يضطر إلى إعادة توصيل دماغه بالكامل في كل مرة يتغير فيها التنسيق؟

إليك ما وجدوه، مشروحاً ببساطة:

1. "الجوهر الخفي" للاستنتاج

اكتشف الباحثون أنه في أعماق هذه النماذج الذكية، يوجد "نواة" صغيرة وخاصة حيث يسكن المنطق الفعلي، وهي منفصلة تماماً عن التنسيق.

التشبيه: تخيل أنك تستمع إلى نفس الأغنية وهي تُعزف على البيانو، ثم على الغيتار، ثم على جهاز السنتيزر (Synthesizer). بالنسبة لأذنيك، ستبدو الأصوات مختلفة تماماً (أشكال سطحية مختلفة). لكن الباحثين وجدوا أنه داخل الذكاء الاصطناعي، توجد غرفة صغيرة محددة تُخزن فيها "لحن" الأغنية بطريقة لا تهتم بالآلة الموسيقية المستخدمة.
النتيجة: لقد وجدوا هذه "الغرفة" في الطبقات الوسطى من الذكاء الاصطناعي، وتسمى "الفضاء الفرعي للاستنتاج المستقل عن التنسيق" (FARS). إنها صغيرة جداً، حيث تشغل حوالي 10 أبعاد فقط من أصل الآلاف التي يستخدمها الذكاء الاصطناعي. ومع ذلك، فإن هذه الشريحة الصغيرة تحمل المنطق الصافي، مجرداً من كونه مكتوباً كبرمجة أو نثريات.

2. تجربة "التبديل السحري"

لإثبات أن هذه النواة حقيقية وتقوم بالفعل بالمهمة، أجرى الباحثون تجربة "زراعة دماغ".

التشبيه: تخيل أن لديك شخصين، أحدهما يتحدث الإنجليزية والآخر يتحدث الفرنسية. قمت بأخذ "دماغ المنطق" من المتحدث بالإنجليزية وحاولت توصيله في رأس المتحدث بالفرنسية.
النتيجة: عندما قاموا باستبدال تلك الأبعاد العشرة الخاصة فقط من "دماغ المنطق" من جملة إنجليزية إلى معادلة رياضية، استمر الذكاء الاصطناعي في العمل بشكل مثالي تقريباً (بنسبة 90-96% من الوقت).
المقارنة: إذا قاموا باستبدال الدماغ بالكامل (جميع الأبعاد)، ارتبك الذكاء الاصطناعي وفشل. وإذا استبدلوا أجزاء عشوائية، فشلوا أيضاً. أثبت هذا أن تلك الأبعاد العشرة المحددة هي "الخلطة السرية" التي تنقل الاستنتاج عبر التنسيقات المختلفة.

3. جدار "التقريري مقابل الإجرائي"

إليك التحول الأكثر إثارة للدهشة. الذكاء الاصطناعي بارع في ترجمة المنطق بين القصص (الإنجليزية) والرياضيات، لكنه يعاني في ترجمة المنطق بين القصص وأكواد الحاسوب.

التشبيه: فكر في التنسيقات "التقريرية" (القصص والرياضيات) كأنها مخططات هندسية؛ فهي تصف ما يجب أن يكون عليه المبنى. أما التنسيقات "الإجرائية" (الأكواد) فهي بمثابة كتيبات تعليمات للروبوت؛ فهي تصف كيف يتم بناء الشيء خطوة بخطوة.
النتيجة: يعمل "دماغ المنطق" لدى الذكاء الاصطناعي بشكل رائع عند تبديل المخططات بمخططات أخرى (قصة $\leftrightarrow$ رياضيات). ولكن عندما يحاول تبديل مخطط هندسي بدليل تعليمات روبوت (قصة $\leftrightarrow$ كود)، ينقطع الاتصال. يتعامل الذكاء الاصطناعي معهما كنوعين مختلفين تماماً من التفكير.
الخلاصة: الحاجز ليس "اللغة مقابل الرياضيات"؛ بل الحاجز هو "وصف النتيجة" مقابل "إعطاء تعليمات خطوة بخطوة".

4. الأمر نفسه للجميع

اختبر الباحثون خمسة نماذج مختلفة من الذكاء الاصطناعي من شركات مختلفة (مثل GPT وLlama وMistral). وعلى الرغم من أن هذه النماذج بُنيت بشكل مختلف وتدربت على بيانات مختلفة، إلا أنها طورت جميعاً نفس "غرفة المنطق" المكونة من 10 أبعاد في منتصف أدمغتها.

التشبيه: يشبه الأمر كيف أن البشر، بغض النظر عن بلدانهم، يمتلكون جميعاً قلباً في نفس المكان يضخ الدم بنفس الطريقة. نماذج الذكاء الاصطناعي، رغم اختلاف "فصائلها"، طورت جميعها نفس البنية الداخلية للتعامل مع المنطق الصرف.

ملخص

تظهر الورقة البحثية أن نماذج الذكاء الاصطناعي تمتلك بالفعل "مركز منطق" عالمي يتجاهل ما إذا كنت تكتب بالإنجليزية أو الرياضيات أو الكود. ومع ذلك، فإن هذا المركز يعمل بشكل جيد فقط بين التنسيقات التي تصف الأشياء بنفس الطريقة (التقريرية). ولكنه يصطدم بحائط مسدود عندما يحاول المزج بين الأوصاف والتعليمات الخطوة بخطوة (الإجرائية).

هذا الاكتشاف يمنحنا وسيلة لرؤية بالضبط أين يفكر الذكاء الاصطناعي في "الفكرة" وأين يفكر فقط في "الكلمات" أو "القواعد اللغوية".

ملخص تقني: ما وراء اللغة: الفضاءات الفرعية للاستدلال المستقلة عن التنسيق في النماذج اللغوية الكبيرة

بيان المشكلة

تعالج النماذج اللغوية الكبيرة (LLMs) استنتاجات منطقية متطابقة يتم التعبير عنها بأشكال سطحية متباينة للغاية—بدءاً من النثر الإنجليزي والنصوص الصينية وصولاً إلى لغة بايثون (Python) والترميز الرياضي. وبينما أثبتت الأبحاث السابقة أن النماذج اللغوية متعددة اللغات تطور تمثيلات داخلية مشتركة عبر اللغات الطبيعية، إلا أنه لا يزال من غير المعروف ما إذا كان هذا الثبات يمتد ليشمل الأنظمة الرمزية المختلفة جوهرياً. السؤال المركزي هو ما إذا كانت النماذج اللغوية تمتلك ركيزة داخلية مشتركة للاستدلال تتجاوز عمليات الترميز الرمزية المحددة (اللغوية، والشكلية، والهيكلية)، وما إذا كان هذا الهيكل مشاركاً سببياً في الحوسبة وعالمياً عبر البنى المعمارية المختلفة.

المنهجية

يقدم المؤلفون مقياس TriForm (TriForm Benchmark)، وهو مجموعة بيانات محكومة تتكون من 324 محفزاً مستمدة من 18 مفهوماً استدلالياً (تشمل مجالات الحساب، والمنطق، والعلاقات، والسببية، والمكان). يتم التعبير عن كل مفهوم في ستة أشكال سطحية منظمة وفق ثلاثة أبعاد:

لغوي: نثر باللغات الإنجليزية والصينية والفرنسية.
رمزي: كود بايثون (Python) والترميز الرياضي.
هيكلي: بيانات منظمة خطوة بخوة.

تُقيم الدراسة خمسة نماذج لغوية كبيرة من نوع "المفكك فقط" (decoder-only) تتراوح معلماتها بين 1.6 مليار و8 مليارات معلمة، تنتمي لثلاث عائلات معمارية (GPT، وQwen، وLlama/Mistral)، باستخدام إطار التحليل التالي:

تحليل التشابه التمثيلي (RSA) المصحح بالتبديل: لتحديد بنية المستوى المفاهيمي، يستخدم المؤلفون تحليل التشابه التمثيلي (RSA) مع اختبارات التبديل لتصحيح عدم استقلال المسافات الزوجية، مما يميز الإشارات المفاهيمية عن إشارات الشكل السطحي.
الاستقصاء عبر الأشكال (Cross-Form Probing): يتم تدريب مصنفات منتظمة (Ridge-regularized) على التنشيطات من شكل سطحي واحد للتنبؤ بهوية المفهوم في شكل آخر، وذلك لاختبار القابلية للفك الخطي عبر التنسيقات.
إنتروبيا عصبونات التنسيق (Format-Neuron Entropy): استلهاماً من منهجية LAPE، يقيس المؤلفون خصوصية العصبونات عبر قياس إنتروبيا توزيعات التنشيط عبر الأشكال، لتحديد العصبونات التي تتنشط بشكل موحد (مستقلة عن التنسيق) مقابل تلك الخاصة بتنسيقات معينة.
استخراج الفضاء الفرعي (FARS): يتم استخراج فضاء فرعي للاستدلال مستقل عن التنسيق (FARS) باستخدام تحليل المكونات الرئيسية (PCA) لمركز الثقل المفاهيمي. ومن خلال حساب متوسط التنشيطات عبر جميع الأشكال والحالات لكل مفهوم، يعزل المؤلفون المكونات الرئيسية الـ $k$ العليا التي تلتقط تباين المفهوم مع كبح تباين الشكل.
التدخل السببي: تستخدم الدراسة رقع التنشيط (activation patching) واستئصال الفضاء الفرعي (subspace ablation).
- رقعة عبر الأشكال (Cross-form patching): استبدال الحالات المخفية من شكل مصدر (مثل الإنجليزية) في شكل هدف (مثل الرياضيات) لقياس مدى الحفاظ على المخرجات.
- رقعة الفضاء الفرعي (Subspace patching): استبدال مكونات FARS المسقطة فقط (10 أبعاد) أثناء النقل عبر الأشكال.
- استئصال الفضاء الفرعي (Subspace ablation): إزالة اتجاهات FARS لقياس مدى الاضطراب في مخرجات النموذج.

النتائج الرئيسية

1. وجود فضاء فرعي للاستدلال مستقل عن التنسيق (FARS)

الأدلة الارتباطية: يكشف RSA أن الإشارات على مستوى المفهوم تصل لذروتها في الطبقات الوسطى لجميع النماذج، وتزداد قوة مع زيادة الحجم. وبينما يظل الشكل السطحي هو المبدأ المنظم المهيمن (Form RSA $\rho \approx 0.43\text{--}0.53$ )، فإن الإشارات المفاهيمية تظل ذات دلالة ( $\rho \approx 0.10\text{--}0.20$ ) وتنمو بشكل أسرع مع حجم النموذج.
القابلية للفك (Decodability): تتجاوز دقة الاستقصاء عبر الأشكال نسبة الصدفة (5.6%) بشكل كبير، لتصل إلى 60.3% في نموذج Mistral-7B.
تمركز العصبونات: تتركز العصبونات المستقلة عن التنسيق في الطبقات الوسطى (20–23% من العصبونات)، مما يعكس توزيع العصبونات المستقلة عن اللغة التي وجدتها الدراسات السابقة عبر اللغات.

2. الصلة السببية وكفاءة الفضاء الفرعي

النقل عالي الدقة: استبدال أعلى 10 أبعاد من فضاء FARS الفرعي أثناء الرقعة عبر الأشكال يحافظ على 90–96% من مخرجات الـ 10 توكنات الأولى للنموذج.
المقارنة مع الضوابط: يتفوق هذا الأداء بمراحل على الاستبدال الكامل للتنشيط (44–56%) وعلى استبدال PCA الذي يعظم التباين (60–74%).
الاستئصال: يؤدي إزالة فضاء FARS الفرعي إلى اضطراب مستهدف (انخفاض في تباعد KL لـ FARS مقابل ارتفاعه لاتجاهات محددة بالتنسيق)، مما يؤكد أن هذه الأبعاد المحددة كافية سببياً للاستدلال عبر الأشكال.
الأبعاد: البنية ذات الصلة بالاستدلال هي حقاً منخفضة الأبعاد، حيث تستقر عند $k=8\text{--}10$ مكونات ضمن مساحة تتراوح بين 1600 و4096 بُعداً.

3. التباين بين التقريري والإجرائي (Declarative-Procedural Asymmetry)

تعد هذه النتيجة حاسمة، حيث تظهر التباين في التوافق بناءً على طبيعة النظام الرمزي وليس فقط اللغة:

التوافق التقريري: الرقعة بين النثر الإنجليزي والترميز الرياضي تحافظ على 65–73% من المخرجات.
التباين الإجرائي: الرقعة بين النثر الإنجليئي وكود بايثون (Python) تحافظ فقط على 16–22% من المخرجات.
الاستنتاج: المحور الحرج للتباين ليس "لغوي مقابل شكلي"، بل هو التقريري مقابل الإجرائي. التمثيلات متوافقة للغاية بين التنسيقات التقريرية (النثر، الرياضيات، البيانات المنظمة) ولكنها أقل توافقاً بشكل ملحوظ عند الجسر مع التنسيقات الإجرائية (الكود).

4. العالمية والتقارب

التعميم: يتعمم FARS المستخرج من مجموعة فرعية من المفاهيم على المفاهيم المحجوبة مع تدهور تدريجي بسيط.
التقارب عبر البنى المعمارية: تتقارب عائلات النماذج المختلفة على نفس هندسة الفضاء الفرعي. يتجاوز تحليل الارتباط الكنسي (CCA) بين النماذج 0.79 لجميع الأزواج، ويتجاوز RSA لمركز الثقل 0.77، مما يوفر دليلاً داخل النوع الواحد على فرضية التمثيل الأفلاطوني.

الأهمية والادعاءات

يدعي البحث أنه يقدم أول دليل منهجي على أن النماذج اللغوية الكبيرة تطور فضاءً فرعياً ملموساً ومنخفض الأبعاد ومستقلاً عن التنسيق للاستدلال، وهو كافٍ سببياً للنقل عبر الرموز.

المساهمة النظرية: تدعم النتائج فرضية التمثيل الأفلاطوني ضمن نوع واحد، مما يشير إلى أن تمثيلات الاستدلال المجرد تتقارب عبر مختلف عمليات الترميز الرمزية.
الرؤية الآلية: تعمل معرفة التباين بين التقريري والإجرائي على صقل فهم الثبات في التنسيق، حيث تحدد حداً جوهرياً بين الاستدلال التقريري (النثر، الرياضيات) والتنفيذ الإجرائي (الكود) الذي لم يتم توصيفه سابقاً.
الفائدة العملية: يوفر FARS أداة ملموسة وقابلة للاستخراج (أساس مكون من 10 أبعاد) لهندسة التمثيل. ويشير إلى أن تدخلات السلامة أو نواقل التوجيه المكتشفة في تنسيق تقريري واحد (مثل الإنجليزية) قد تنتقل إلى تنسيقات أخرى (مثل الرياضيات) عبر هذا الفضاء الفرعي، ولكنها قد تفشل عند الجسر مع التنسيقات الإجرائية (الكود)، مما يسلط الض الضوء على فجوة سلامة محتملة حيث يمكن للاستدلال الضار في الكود أن يتجاوز مرشحات النثر.

يشير المؤلفون إلى القيود، بما في ذلك تقييم النماذج الأساسية فقط، والطبيعة الخاضعة للإشراف لاستخراج FARS، واستخدام محفزات تم إنشاؤها برمجياً، مع الإقرار بأن أبعاد وهندسة FARS في النماذج الأكبر أو تلك المدربة على التعليمات تظل أسئلة مفتوحة.