The Anxiety of Influence: Bloom Filters in Transformer Attention Heads

إليك ملخص تقني مفصل لورقة البحث "قلق التأثير: مرشحات بلوم في رؤوس انتباه المحولات (Transformers)" للباحث بيتر بالوغ.

١. بيان المشكلة

تتناول الورقة سؤالاً حوسبياً جوهرياً في النماذج اللغوية القائمة على المحولات (Transformer): كيف يحدد النموذج ما إذا كان الرمز (token) قد ظهر مسبقاً في السياق؟

• السياق: في نمذجة اللغة، يعد معرفة ما إذا كان الرمز تكراراً أم لا أمراً حاسماً لحل الإحالة المرجعية (coreference resolution)، وتعديل مستوى المفاجأة (surprisal)، والتعلم داخل السياق (in-context learning).
• الفجوة: بينما حددت الأعمال السابقة "رؤوس الاستقراء" (induction heads - إكمال الأنماط) و"رؤوس الرموز السابقة" (previous-token heads - السياق المحلي)، فإن الآلية المحددة لـ اختبار عضوية المجموعة (الإجابة على سؤال: "هل ظهر الرمز $x$ في المجموعة $S$؟") لم يتم توصيفها بدقة حتى الآن.
• الفرضية: يفترض المؤلفون أن رؤوس انتباه معينة تعمل كـ مرشحات بلوم (Bloom filters) — وهي هياكل بيانات احتمالية تختبر عضوية المجموعة دون وجود سلبيات كاذبة (false negatives) ولكن مع وجود إيجابيات كاذبة (false positives) عرضية، وهي محسنة من حيث كفاءة المساحة.

٢. المنهجية

تستخدم الدراسة نهج التحليل السلوكي باستخدام TransformerLens لفحص أنماط الانتباه في أربعة نماذج توليدية (autoregressive): GPT-2 Small, Medium, Large, و Pythia-160M.

التصميم التجريبي

• المحفزات: صمم المؤلفون ٣٠٠ ثلاثية جملية تحتوي على:
  ١. تكرارات دقيقة: تظهر كلمة محتوى مرتين.
  ٢. لا توجد تكرارات: جميع كلمات المحتوى فريدة.
  ٣. أشباه دلالية (Near-Misses): يتم استبدال الكلمة المكررة بمرادف لها من (WordNet) (درجة تشابه > ٠.٧).
• المقاييس:
  • الانتقائية (Selectivity): نسبة الانتباه للرموز المكررة مقابل الانتباه المرجعي.
  • معدل الخطأ (Miss Rate): كسر الرموز المكررة التي تتلقى انتباهاً يقترب من الصفر.
    ٣. نسبة الإيجابيات الكاذبة (FP Ratio): الانتباه للمترادفات مقارنة بالتكرارات الدقيقة.
  • تحليل السعة (Capacity Analysis): تغيير عدد الرموز الفريدة ($n$) في السياق مع التحكم في إجمالي طول التسلسل لاختبار ما إذا كانت معدلات الإيجابيات الكاذبة تتبع منحنى مرشح بلوم النظري: $p \approx (1 - e^{-kn/m})^k$.
• ضبط المتغيرات المربكة (Confound Controls): تمثلت خطوة منهجية حاسمة في تثبيت طول التسلسل مع تغيير عدد الرموز الفريدة. كان هذا ضرورياً للتمييز بين اختبار العضوية الحقيقي وبين الآثار الناتجة عن تأثير طول التسلسل على التشفير الموضعي (positional encodings) أو تطبيع "softmax".
• الاستئصال (Ablation): استُخدم استئصال المتوسط (استبدال مخرج الرأس بمتوسط تنشيطه) لقياس التأثير السببي لهذه الرؤوس على "الارتباك" (perplexity) لكل من الرموز المكررة والجديدة.

٣. المساهمات الرئيسية

١. تحديد فئة وظيفية جديدة: تحدد الورقة فئة متميزة من رؤوس الانتباه المخصصة لاختبار العضوية، وهي منفصلة تصنيفياً عن رؤوس الاستقراء ورؤوس الرموز السابقة.
٢. التحقق النظري: أظهر أحد الرؤوس (L1H11 في GPT-2 Small) أنه يطابق منحنى سعة مرشح بلوم النظري تماماً ($R^2 = 1.0$)، بسعة ملائمة قدرها $\approx ٥$ بت.
٣. اكتشاف مرشحات عالية السعة: أظهر رأسان آخران (L0H1, L0H5) معدلات إيجابيات كاذبة تقترب من الصفر حتى عند الأحمال العالية ($n=180$)، مما يتجاوز بكثير السعة النظرية لمرشح بلوم التقليدي بـ $d_{head}=64$.
٤. التجزئة الحساسة للمسافة (Distance-Sensitive Hashing): تكشف الدراسة أن هذه الرؤوس تعمل كـ مرشحات بلوم حساسة للموقع (Locality-Sensitive Bloom Filters). حيث تتناقص معدلات الإيجابية الكاذبة بشكل رتيب مع المسافة الجيبية تماماً (cosine distance) في فضاء التضمين (embedding space)، بدلاً من كونها عشوائية.
٥. إعادة التصنيف الدقيق: من خلال ضوابط المتغيرات المربكة، أعاد المؤلفون تصنيف مرشح أولي (L3H0) كـ "رأس انتباه بادئة" (prefix-attention head) عام، مما عزز صحة الرؤوس الثلاثة المتبقية كمختبرات عضوية حقيقية.

٤. النتائج الرئيسية

أ. التحديد والتصنيف

• الرؤوس الحقيقية: تم تأكيد ثلاثة رؤوس في GPT-2 Small (L0H1, L0H5, L1H11) كمرشحات بلوم. وهي تتركز في الطبقات المبكرة (٠–١).
• الانتقائية: تظهر هذه الرؤوس انتقائية قصوى (من ٥١ إلى ١٤٦ ضعفاً عن الخط المرجعي) مع معدلات خطأ تقترب من الصفر.
• الاستقلالية: هي حصرية ومتباينة مع رؤوس الاستقراء ورؤوس الرموز السابقة.
• إعادة التصنيف: تمت إزالة L3H0 من فئة مرشح بلوم لأن منحنى سعته الظاهري كان نتاجاً لطول التسلسل؛ فهو ينتبه لجميع محتويات البادئة بغض النظر عن التكرار.

ب. السعة وطيف الأداء

تشكل الرؤوس الثلاثة الحقيقية نظاماً متعدد الدقة:

• L1H11 (مرشح بلوم كلاسيكي): سعة منخفضة ($m \approx ٥$ بت). ترتفع فيه معدلة الإيجابيات الكاذبة (FP) بشكل حاد وتتشبع عند $n \approx ٢٠$ رمزاً فريداً، مطابقةً الصيغة النظرية تماماً.
• L0H1 & L0H5 (مرشحات عالية الدقة): تحافظ على معدلات إيجابية كاذبة تتراوح بين ٠-٤٪ حتى عند $n=١٨٠$ رمزاً فريداً. يشير هذا إلى آليات تتجاوز مجرد تجزئة مصفوفة البتات (bit-array hashing)، وربما تستغل فضاء التضمين عالي الأبعاد.

ج. دقة التجزئة (الحساسية للموقع)

• تظهر الرؤوس سلوكاً حساساً للمسافة. فكلما انخفض التشابه الجيبي (cosine similarity) بين الرمز المستعلم عنه والرمز المستهدف، انخفض الانتباه (ومعدل الإيجابية الكاذبة) بشكل رتيب.
• تباين عرض النطاق الترددي (Bandwidth):
  • L0H5 (فائق الدقة): يعمل فقط للرموز المتطابقة تقريباً (تنخفض الإيجابية الكاذبة إلى ٠٪ عند تشابه جيبي ٠.٥).
  • L1H11 (واسع النطاق): يعمل للرموز القريبة دلالياً (يحتفظ بمعدل إيجابية كاذبة ١٧٪ عند تشابه ٠.٥).
• يسمح هذا للنموذج باكتشاف كل من التكرارات الدقيقة والمفاهيم المتشابهة دلالياً بمستويات مختلفة من الدقة.

د. التعميم والاستئصال

• التعميم: تعمم هذه الرؤوس على أي نوع من الرموز المكررة (أسماء، أفعال، صفات)، وليس فقط الأسماء. وهي تظهر تعميماً أعلى بنسبة ٤٣٪ من "رؤوس الرموز المكررة فقط" التي حددتها دراسات دوائر (IOI) السابقة.
• الاستئصال: يؤدي إزالة هذه الرؤوس إلى زيادة "الارتباك" (perplexity) لكل من الرموز المكررة والجديدة. يشير هذا إلى أنه على الرغم من تخصصها في اختبار العضوية، إلا أنها ليست وحدات وظيفية مستقلة تماماً؛ إذ تساهم مخرجاتها في عمليات السياق الأوسع (فرضية التراكب/superposition).

هـ. الاتساق عبر النماذج

• تظهر رؤوس مرشح بلوم في جميع النماذج المختبرة (GPT-2 Small/Medium/Large, Pythia-160M).
• تتركز باستمرار في الطبقات المبكرة.
• تخصص النماذج الأكبر (GPT-2 Large) عدداً أكبر بكثير من الرؤوس (٢٧ رأساً) لهذه الوظيفة مقارنة بالنماذج الأصغر.

٥. الأهمية والآثار المترتبة

• العمليات الحوسبية الأولية: تشير النتائج إلى أن اختبار عضوية المجموعة التقريبي هو عملية حوسبية أولية تعلمها النموذج عبر "النزول الاشتقاقي" (gradient descent) للتنبؤ بالرمز التالي، وظهرت دون أهداف صريحة لهياكل البيانات.
• التجزئة الحساسة للموقع (LSH): إن اكتشاف أن هذه الرؤوس تنفذ التجزئة الحساسة للموقع (Locality-Sensitive Hashing) يربط ميكانيكا المحولات بمفاهيم علوم الحاسوب النظرية التي صيغت بعد عقود من مرشح بلوم الأصلي. يتعلم النموذج الإجابة على: "هل $x$ قريب من عنصر في $S$؟" بدلاً من مجرد "هل $x$ في $S$؟".
• كشف الهلوسة: بما أن هذه الرؤوس تحسب إشارات العضوية أثناء الاستنتاج، فإن مراقبة إيجابياتها الكاذبة يمكن أن يوفر تشخيصاً فورياً ومنخفض التكلفة للهلوسة (كشف متى "يتذكر" النموذج رمزاً ليس موجوداً بالفعل).
• التصميم المعماري: تقترح الورقة أن المعماريات المستقبلية يمكن أن تضمن صراحةً وحدات اختبار العضوية (مثل طبقات تعتمد على التجزئة) في المراحل المبكرة، مما يحرر سعة الانتباه لمهام أخرى، تماماً كما تفعل التشفيرات الموضعية (positional encodings).
• الدقة العلمية: تعمل الورقة كحالة دراسية منهجية، حيث توضح كيف أن ضوابط المتغيرات المربكة (تثبيت طول التسلسل) ضرورية للتمييز بين السلوك الخوارزمي الحقيقي والآثار الإحصائية في التفسير الآلي (mechanistic interpretability).

الخاتمة

تثبت الورقة أن رؤوس انتباه المحولات تتطور تلقائياً لتصبح مرشحات بلوم لحل مشكلة اختبار العضوية. تشكل هذه الرؤوس نظاماً متعدد الدقة يتراوح من المرشحات الاحتمالية الكلاسيكية منخفضة السعة إلى الكواشف عالية الدقة والحساسة للموقع. يظهر هذا السلوك بشكل طبيعي من تدريب نمذجة اللغة، مما يسلط الض الضوء على أن النموذج يتعلم ضمناً خوارزميات هياكل البيانات المعقدة لإدارة السياق. كما أن إعادة تصنيف "الخطأ الإيجابي" (L3H0) تؤكد على ضرورة وجود ضوابط تجريبية صارمة في أبحاث التفسير الآلي.