🤖 machine learning

Relational Rank Geometry in Transformers: Detecting and Steering Hidden-State Relation Frames

تُثبت هذه الورقة أن البنى العلاقاتية عالية الرتبة في الحالات الخفية لنماذج "ترانسفورمر" (Transformer) يمكن اكتشافها عبر إنتروبيا إشارة "بلوكر" (Plücker sign entropy) وتوجيهها بفعالية من خلال تدخلات مستهدفة على هندسة إطار العلاقة، مما يؤدي إلى استعادة المخرجات السلوكية الصحيحة عبر نماذج "لاما" (Llama) بمختلف مقاييسها.

المؤلفون الأصليون: Mazen Kobrosly

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mazen Kobrosly

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل نموذج لغة ضخم (مثل تلك التي تشغل برامج الدردشة الآلية) كمدينة صاخبة وكبيرة. داخل هذه المدينة، تتدفق المعلومات عبر شوارع تسمى "الحالات الخفية" (hidden states). لقد ركز معظم الباحثين في دراسة هذه المدينة على مراقبة المباني الفردية (النيورونات)، أو إشارات المرور المنفردة (رؤوس الانتباه)، أو طرق محددة (الاتجاهات). وكانوا يتساءلون: "ماذا يفعل هذا المبنى تحديداً؟"

أما هذا البحث فيطرح سؤالاً مختلفاً: "كيف تبدو العلاقة بين عدة مبانٍ ككل؟"

يقترح المؤلف، مازن كوبروسلي (Mazen Kobrosly)، أنه عندما يفهم النموذج علاقة معقدة (مثل "أ بالنسبة إلى ب كما ج بالنسبة إلى د")، فإنه لا يكتفي بإضاءة بقع عشوائية قليلة فحسب. بدلاً من ذلك، تشكل الرموز (الكلمات) المعنية شكلاً هندسياً محدداً ومتماسكاً في المساحة الداخلية للنموذج. ويطلق البحث على هذا الشكل اسم "إطار العلاقة" (Relation Frame).

إليك تفصيل لنتائج البحث باستخدام تشبيهات بسيطة:

1. "ميزان السباك" (اكتشاف الشكل)

للعثور على هذه الأشكال، ابتكر المؤلف أداة تسمى "إنتروبيا إشارة بلوكر" (Plücker Sign Entropy).

التشبيه: تخيل أن لديك ثلاث عصي تطفو في فضاء ثلاثي الأبعاد. يمكنك ترتيبها لتشكل هرماً. إذا قمت بتبديل ترتيب العصي، فقد ينقلب الهرم رأساً على عقب أو ينقلب للداخل. هذا "الانقلاب" هو تغيير في الاتجاه (مثل الفرق بين اليد اليمنى واليسرى).
الاختبار: ينظر المؤلف إلى مجموعات من الكلمات التي يُفترض أن تكون مرتبطة ببعضها (مثل ثلاث كلمات تشكل لغزاً منطقياً معيناً) ومجموعات من الكلمات العشوائية غير المترابطة.
النتيجة: عندما يعالج النموذج الكلمات المرتبطة الصحيحة، فإنها تترتب في اتجاه هندسي متسق وقابل للتنبؤ للغاية (مثل هرم مبني بدقة). وعندما تكون الكلمات مبعثرة، فإنها تبدو مثل كومة فوضوية من العص sticks التي لا تملك شكلاً متسقاً.
الخلاصة: وُجد هذا "التوقيع الهندسي" في نماذج "لاما" (Llama) بأحجام مختلفة (8 مليار، 70 مليار، و405 مليار معلمة). وكلما كبر حجم النموذج، كان هذا الشكل أكثر وضوحاً واتساقاً.

2. "الشبكة السحرية" (التجربة)

لإثبات أن هذا الشكل هو ما يسبب تفكير النموذج بشكل صحيح، ابتكر المؤلف لعبة تسمى "اختبار شبكة الحواف" (Edge-Grid Assay).

التشبيه: تخيل جدول بيانات يتكون من 8 صفوف و8 أعمدة.
- الحالة السليمة (Clean State): تشكل علامات "نعم" خطاً قطرياً مثالياً (الصف 1 يتصل بالعمود 1، الصف 2 بالعمود 2، وهكذا). يتعرف النموذج على هذا بشكل صحيح كـ "نمط قطري".
- الحالة الفاسدة (Corrupt State): يتم بعثرة علامات "نعم" بحيث تشير صفوف متعددة إلى نفس العمود. يتعرف النموذج بشكل صحيح على هذا كـ "نمط مكرر".
التدخل: أخذ المؤلف "الحالة الفاسدة" (حيث كان النموذج مرتبكاً) وحاول "توجيهها". لم يكتفوا بمجرد دفع النموذج، بل حاولوا إعادة تشكيل "السحابة" الداخلية للبيانات التي تمثل تلك الكلمات فيزيائياً.

3. "المنحوتة الطينية" (توجيه النموذج)

حاول المؤلف إصلاح النموذج "الفاسد" عن طريق تحريك بياناته الداخلية بطرق مختلفة. فكر في البيانات ككتلة من الطين.

المحاولة (أ): تحريك المركز فقط (المركز فقط): حاولوا فقط دفع كتلة الطين بأكملها في اتجاه الإجابة "السليمة".
- النتيجة: فشل. ظل النموذج مرتبكاً. تحريك مركز الكتلة لم يصلح المنطق.
المحاولة (ب): إضافة الضجيج: أضافوا تشويشاً عشوائياً إلى البيانات.
- النتيجة: فشل. ظل النموذج مرتبكاً.
المحاولة (ج): إعادة تشكيل الكتلة (الشكل فقط): أبقوا الكتلة في نفس مكانها ولكن أعادوا تشكيلها لتطابق هندسة الإجابة "السليمة". قاموا بلي وتدوير الطين حتى أصبح يشبه تماماً المنحوتة "السليمة".
- النتيجة: نجاح! بدأ النموذج فجأة في إعطاء الإجابة الصحيحة.

الرؤية الجوهرية: لم يكن أين توجد البيانات (الموقع) هو المهم؛ بل كان كيفية ترتيب البيانات بالنسبة لبعضها البعض (الشكل). يحتاج النموذج إلى "الهيكل" الهندسي المحدد للعلاقة ليعمل بشكل صحيح.

4. "نقل المخطط" (النجاح عبر المطالبات المختلفة)

اختبر المؤلف ما إذا كان هذا "الشكل السليم" هو علاج عالمي.

أخذوا "الشكل السليم" من لغز محدد وطبقوه على لغز آخر له نفس البنية ولكن بكلمات مختلفة.
النتيجة: نجح الأمر! حل النموذج اللغز الجديد.
الملاحظة: هذا لم ينجح إلا إذا جاء "الشكل السليم" من مثال تم حله بشكل صحيح. إذا حاولوا نقل "شكل سليم" من مثال "فاسد"، فقد فشلت العملية. وهذا يثبت أن النموذج لا يحفظ كلمات محددة فحسب؛ بل يتعلم صيغة هندسية قابلة للنقل لـ "الصحة".

ملخص الادعاءات

يقدم البحث ثلاثة ادعاءات محددة، لا أكثر:

الاكتشاف: يمكننا اكتشاف أن النماذج تمثل العلاقات كأشكال هندسية محددة (أطر علاقة) باستخدام أداة رياضية تسمى "إنتروبيا إشارة بلوكر".
التدخل: يمكننا إصلاح أخطاء الاستنتاج في النموذج ليس بتغيير الكلمات، بل عبر إعادة تشكيل "السحابة" الهندسية الداخلية للعلاقة جراحياً لتطابق مثالاً صحيحاً.
الخصوصية: هذا يعمل لأن السبب هو شكل البيانات، وليس مجرد موقعها أو حجمها. يعتمد النموذج على هذا الترتيب الهندسي المحدد للوصول إلى الإجابة الصحيحة.

ما لا يدعيه البحث:

لا يدعي أنه وجد "روح" الذكاء الاصطناعي.
لا يدعي أن هذا يعمل مع كل أنواع الأسئلة (تم اختباره على شبكات منطقية محددة).
لا يدعي أنه رسم خريطة كاملة للدائرة (circuit) التي يبني بها النموذج هذه الأشكال (لقد نظر فقط إلى شكل البيانات، وليس إلى "الآلات" التي تبنيها).

باختصار، يظهر البحث أنه داخل "الصندوق الأسود" للذكاء الاصطناعي الضخم، تمتلك العلاقات شكلاً ثلاثي الأبعاد متميزاً وقابلاً للقياس، وإذا استطعت إصلاح هذا الشكل، يمكنك إصلاح إجابة الذكاء الاصطناعي.

ملخص تقني: هندسة الرتب العلاقاتية في المحولات (Transformers)

بيان المشكلة

يركز التفسير الآلي الحالي بشكل كبير على الكائنات المحلية أو منخفضة الرتبة، مثل العصبونات الفردية، أو رؤوس الانتباه، أو الميزات المتفرقة، أو الاتجاهات الخطية في تيار المتبقي (residual stream). وبينما تعد هذه الأدوات فعالة للميزات الموضعية، إلا أنها تترك فجوة جوهرية: فهي لا تصف بشكل كافٍ هندسة العلاقات بين عدة رموز (tokens) ككائن موحد. تشير الأدبيات الحديثة إلى أن المفاهيم قد تشكل متشعبات منحنية (curved manifolds)، وأن الربط العلاقاتي يظل صعوبة منهجية للنماذج الرائدة. تفترض هذه الورقة أنه عندما يمثل النموذج علاقة بين عدة رموز، فإن العلاقة نفسها تشكل كائناً هندسياً متميزاً — وهو إطار العلاقة (relation frame) — المعرّف بتكوين الحالة المخفية لـتوبلات (tuples) الرموز المشاركة. وتتمثل المشكلة الجوهرية في تحديد ما إذا كانت هذه الأطر تمتلك بنية اتجاه مرتبطة بالرتبة يمكن استهدافها لتوجيه سلوك النموذج.

المنهجية

1. التشخيص: إنتروبيا إشارة بلوكر (Plücker Sign Entropy)

لاكتشاف هندسة العلاقات، تقدم الورقة إنتروبيا إشارة بلوكر، وهو إحصاء تشخيصي مشتق من إحداثيات بلوكر (determinant minors).

الإسقاط: يتم إسقاط الحالات المخفية في فضاء فرعي ثابت ومنخفض الأبعاد (البعد $p=64$ ) باستخدام مصفوفة إسقاط غاوسية.
قياس الاتجاه: بالنسبة لـتوبل من $k$ من الرموز، تحسب الطريقة إشارة المحدد للمينور الصفّي المختار في تضمين رمز الـ left-singular العلوي لـ $k$ رمز. تسجل هذه الإشارة الاتجاه (اليدوية/handedness) للـتوبل مع استبعاد المقياس (scale).
حساب الإنتروبيا: يتم حساب إنتروبيا هذه الإشارات عبر مجموعات من توبلات العلاقات الحقيقية، والتوبلات المختلطة (نفس الرموز، لكن الربط مكسور)، وعينات التحكم العشوائية. تشير إنتروبيا الإشارة المنخفضة إلى توقيع اتجاه أكثر اتساقاً.
فرضية الرتبة: تفترض الورقة أن العلاقة ذات $r$ من الوسائط ستظهر أقوى اتساق في الاتجاه (أدنى إنتروبيا) عند رتبة بلوكر $k=r$ . يقيس التشخيص "هامش القطر" (diagonal margin)، من خلال مقارنة فجوة الإنتروبيا عند الرتبة المتوقعة $k=r$ مقابل الرتب الأخرى المقبولة.

2. التدخل: اختبار مسح الشبكة الحافية (Edge-Grid Clean/Corrupt Assay)

لاختبار مدى إمكانية التأثير على هذه الأطر، تستخدم الورقة اختبار مسح الشبكة الحافية باستخدام شبكات $8 \times 8$ من رموز الصفوف/الأعمدة مع علامات YES/NO.

الإعداد: تتشارك المطالبات (prompts) في نفس هيكل الصف/العمود والمفردات، لكنها تختلف في خريطة علاقة YES/NO (النظيفة: خريطة هوية متماسكة؛ الفاسدة: خريطة هدف مكرر). يخلق هذا بيئة محكومة حيث تتغير حالة العلاقة بينما يظل الهيكل السطحي ثابتاً.
مسارات التوجيه: تقوم الدراسة برقع (patching) الحالات المخفية في مواضع رموز علامات YES/NO محددة (الطبقة 5) لنقل "سحابة" علامات العلاقة الفاسدة نحو السحابة النظيفة. تم اختبار عدة عائلات من التدخلات:
- القائم على الشكل: استبدال الترتيب النسبي للعلامات (الشكل المركزي) مع تثبيت المركز.
- القائم على المركز: ترجمة متجه المتوسط فقط.
- القائم على الفضاء الجزئي: تحريك فضاء غراسميان (Grassmann subspace) الذي تشغله السحابة.
- الضوابط: ضجيج متساوي المعيار، دورات عشوائية، ورقع في مواقع خاطئة.
القراءة (Readout): يتم قياس الاسترداد في طبقة القراءة (الطبقة 35 لـ 70B/405B) عبر معيارين:
1. الاسترداد السلوكي: التحول في لوغاريتمات الإجابة (logits) نحو الإجابة النظيفة.
2. استرداد الهندسة المتبقية: التحوة في متجه نصل العلاقة المتبقي (المبني من الضرب الخارجي لرموز الصف والعمود) نحو الهندسة النظيفة.
3. الاسترداد المقترن: مقياس يضمن تحرك السلوك والهندسة معاً على طول المسار.

المساهمات الرئيسية

اختبار تشخيصي مرتب بالرتبة: تثبت الورقة أن توبلات العلاقات ذات الـ $r$ من الوسائط تظهر اتساقاً أقوى في إشارة الاتجاه عند رتبة بلوكر المتوقعة $k=r$ عبر نماذج عائلة Llama (بأحجام 8B، 70B، و405B). تكون هذه الإشارة أكثر تجانساً في نموذج 405B وتستمر عبر عمليات تدقيق متعددة القوالب، مما يميزها عن الآثار السطحية.
اختبار الشبكة الحافية ذو الكفاءة المحددة: تصميم تجريبي مبتكر يعزل هندسة علامات العلاقة عن هيكل المطالبة المحيط، مما يسمح بتدخل دقيق على حالة العلاقة دون تغيير بنية المهمة.
الأدلة التدخلية لأطر العلاقة: تظهر الدراسة أنه في النماذج ذات الكفاءة (70B و405B)، فإن توجيه شكل سحابة علامات العلاقة (تحديداً الهندسة المرتبة للحالة النظيفة) يستعيد كلاً من سلوك الإجابة النظيفة وهندسة العلاقة المتبقية. والأهم من ذلك، أن ترجمة المركز فقط والضجيج متساوي المعيار يفشلان في تحقيق هذا الاسترداد، مما يشير إلى أن الشكل المهيكل، وليس مجرد المتوسط أو مقدار الاضطراب، هو الكائن الفعال سببياً.

النتائج

الكشف: عبر جميع أحجام النماذج، تظهر توبلات العلاقات الحقيقية هوامش قطرية موجبة عند الرتبة المتوقعة ( $k=r$ للوسائط فقط، $k=r+1$ للشرط بالإضافة للوسائط). يظهر نموذج 405B هوامش موجة متسقة عبر جميع البنائات والاختبارات المختبرة ( $r=3$ إلى $6$)، بينما تظهر نماذج 8B و70B تنوعات مهيكلة ولكنها مرتبطة ببناء محدد.
التوجيه: في نماذج 70B و40B، يحقق مسار إطار العلاقة السلس (الخط المستقيم للعلامات، الشكل فقط، شكل غراسميان) استرداداً شبه كامل للنهاية لكل من السلوك والهندسة المتبقية.
- الشكل مقابل المركز: تنجح تدخلات "الشكل فقط" في استعادة السلوك بنفس فعالية تدخلات "المركز والشكل معاً"، في حين أن ترجمة "المركز فقط" تعطي استرداداً ضئيلاً جداً ( $\approx 0.002$ ).
- ضوابوت الموقع/الترتيب: يؤدي تغيير ترتيب الأشكال النظيفة أو عكسها إلى إلغاء الاسترداد، مما يؤكد أن الهندسة المرتبة ضرورية. نجح نقل "الشكل النظيف" عبر المطالبات المختلفة، بينما فشل نقل الشكل الفاسد أو تطبيق فروقات نظيفة في مواقع خاطئة.
- قراءة بلوكر: تنجح التدخلات أيضاً في استعادة قراءة بلوكر لعلامات الحافة (بنية إشارة المحدد) نحو الحالة النظيفة، مما يربط بين الجانب التشخيصي وجانب التدخل في الدراسة.
القيود: تم تحديد نموذج 8B كحد للكفاءة؛ فهو يفتقر إلى الكفاءة السلوكية الأساسية لترسيخ ادعاء التوجيه، رغم ملاحظة بعض الحركة الهندسية. نتائج النقل عبر المطالبات محددة بخريطة الهوية المستخدمة في بنك المطالبات ولا تثبت بعد الانتقال عبر محتويات علاقات عشوائية.

الأهمية والادعاءات

تدعي الورقة تأسيس جسر على مستوى الحالة من استقصاء العلاقة إلى التدخل في إطار العلاقة. وتجادل بأن هندسة الرتبة العلاقاتية قابلة للكشف عبر إحصاءات إشارة المحدد، وقابلة للاستهداف عبر تدخلات الحالة المخفية التي تستعيد السلوك المعتمد على العلاقة.

تكمن الأهمية في نقل وحدة التحليل من الميزات المنعزلة أو الاتجاهات الخطية إلى تكوينات مرتبة ومحدودة من حالات الرموز المخفية. تشير النتائج إلى أنه بالنسبة للعلاقات ذات الرتب العليا، يستخدم النموذج كائناً هندسياً (إطار العلاقة) يكون شكله المهيكل هو المحرك الرئيسي للسلوك الصحيح. يوفر هذا مقابلاً ملموساً على مستوى العلاقة للتفسير الآلي، وهو متميز عن، ولكنه مكمل لـ، الكائنات على مستوى الدوائر (circuits) أو الميزات. تصرح الورقة صراحة بأنها لا تدعي تحديد الدائرة الكاملة الصاعدة/الهابطة، بل حددت كائناً حالياً قابلاً للقياس والتوجيه يتوسط السلوك العلاقاتي.