Predictive Memory Localization: Forecasting Selective Intervention Paths from Internal Signals

ملخص تقني: التوطين التنبئي للذاكرة (PML)

بيان المشكلة
تسمح عملية توجيه التنشيط (Activation steering) للباحثين بالتحكم في سلوك النماذج اللغوية عبر حقن تمثيلات داخلية موضعية في طبقات محددة. ومع ذلك، تشير الأدبيات إلى وجود فجوة حرجة: فبينما يحدد التوطين (Localization) أين تكمتر المعلومات، فإنه لا يضمن أن اتجاهاً معيناً يسمح بوجود "نظام تشغيل انتقائي" (selective operating regime). فقد ينجح اتجاه ما في تغيير سلوك مستهدف عند قوة تدخل معينة، بينما يتسبب في الوقت ذاته في أضرار للجيران الدلاليين (semantic neighbors) أو القدرات غير المرتبطة عند قوة أخرى، أو قد يفشل في إنتاج تأثير نظيف عند أي قوة. تعتمد الطرق الحالية غالباً على أدلة توطين ثابتة أو تدخلات ذات قوة ثابتة، مما يجعلها عاجزة عن التنبؤ بما إذا كان هناك معامل انتقائي قابل للاستخدام لسجل أو اتجاه أو طبقة معينة. تكمن المشكلة الجوهرية في التمييز بين الاتجاهات التي توفر قدرة على التأثير (leverage) وتلك التي تسبب أضراراً جانبية عبر مسار تدخل مقاس.

المنهجية
يقدم المؤلفون التوطين التنبئي للذاكرة (PML)، وهو إطار عمل يعامل مسار التدخل المقاس عبر الشبكة ككائن تنبئي لتوطين الذاكرة.

1. مسارات التدخل عبر الشبكة المقاسة:
   يعرف PML مساراً مشروطاً بالسجل عبر شبكة محددة مسبقاً من شدات التدخل ($\alpha$). لكل سجل $i$، واتجاه $v$، وطبقة $\ell$، يقوم النظام بقياس:

• حركة الهدف ($\Delta T$): التغيرات في هامش الإجابة للسلوكيات المرغوبة.
• الأضرار الجانبية: التغيرات في هوامش الجيران الدلاليين ($\Delta N$) والقدرات العامة ($\Delta C$).
• المعايرة العشوائية: يتم إنشاء عتبات منفصلة للنسبة المئوية 95 ($\tau_T, \tau_N, \tau_C$) باستخدام اتجاهات غاوسية عشوائية لتحديد ما يشكل تأثيراً مستهدفاً هاماً أو ضرراً.
• النتائج: يسجل النظام أربعة أحداث ثنائية عند معاملات أقوى محجوبة: "أي هدف" (Target-any)، "ضرر الجار" (Neighbor Damage)، "ضرر القدرة" (Capability Damage)، و"أي نظيف" (Clean-any) (تأثير مستهدف بدون ضرر).

2. الإشارات التنبؤية:
   يتنبأ PML بهذه النتائج باستخدام تسلسل هرمي من الأدلة:

• الأساس والبيانات الوصفية ($B+M$): خصائص السجل وتكوين النموذج.
• التوطين الثابت ($L$): ميزات مشتقة من الفصل بين الفئات، والإسقاط، والبروز (saliency) دون تدخل.
• الهندسة الخاضعة للإشراف ($G$): ميزات من آلات الميزات المتكررة (RFM) وحاصل الضرب الخارجي لمتوسط التدرج (AGOP)، بما في ذلك التركيز الطيفي والمحاذاة.
• استجابة الجرعة المنخفضة ($R$): قياس سببي "منفصل عن القوة" يتم أخذه عند قوة تدخل ضعيفة ($|\alpha| = 0.1$). يعمل هذا كتشخيص ديناميكي رخيص.

3. سياسة القرار:
   يستخدم مختار (selector) مدرك للمخاطر هذه التنبؤات لاختيار معامل معين أو الامتناع عن ذلك. تكافئ دالة المنفعة (utility function) حركة الهدف وتفرض عقوبات على انخفاض الهوامش الجانبية. تهدف السياسة إلى تعظيم المنفعة مع تجنب عمليات المسح الكثيفة لشبكة المعاملات.

المساهمات الرئيسية

• تعريف المسار المعاير عشوائياً: يحدد البحث مساراً مقاساً عبر الشبكة يسجل بشكل مشترك قدرة التأثير المستهدفة، وضرر الجار الدلالي، وضرر القدرة، والمعاملات النظيفة لكل مجموعة (سجل-اتجاه-طبقة).
• الفصل بين الإشارات الثابتة والسببية: توضح الدراسة أن ميزات التوطين الثابت والهندسة الخاضعة للإشراف هي مقدمات تنبؤية ضعيفة. في المقابل، توفر استجابة الجرعة المنخفضة المنفصلة عن القوة ($R$) عند $|\alpha|=0.1$ الإشارة المهيمنة للتنبؤ بالنتائج عند القوى الأقوى والمنفصلة.
• التنبؤ القابل للتنفيذ: يربط PML التنبؤ بالعمل عبر سياسة محجوبة تراعي الأضرار الجانبية. تختار هذه السياسة معاملًا أو تمتنع، مما يوفر إثباتاً لمفهوم تقليل التكلفة الحسابية لتقييمات التدخل الكثيفة.

النتائج التجريبية
تقيم الدراسة 3,000 سجل مجمد عبر تسعة مجموعات بيانات وأربعة عشر مجالاً، مما أنتج 30,000 مسار متميز. تم تأكيد النتائج عبر ثلاثة نماذج أساسية متطابقة في معيار بقاء البواقي (residual-norm-matched): (Qwen3-1.7B, Qwen3.5-2B, Ministral-3-3B).

• أداء الاتجاه: تفوقت الاتجاهات المتعلمة (تحديداً RFM/AGOP عند الطبقة 7) بشكل كبير على الضوابط العشوائية. في الدراسة الأساسية، حقق RFM/AGOP نسبة 13.1% في "أي هدف" و 12.3% في "أي نظيف"، متجاوزاً خطوط الأساس العشوائية بمقدار 3.6 و 3.4 نقطة مئوية، على التوالي.
• التسلسل الهرمي التنبئي: تضيف ميزات التوطين الثابت قيمة تنبؤية ضئيلة تتجاوز البيانات الوصفية الأساسية. وتعد استجابة الجرعة المنخفضة ($R$) عند $|\alpha|=0.1$ أقوى متنبئ للنتائج عند $|\alpha| \in \{0.25, 0.5\}$.
• متانة النموذج: يتكرر التسلسل الهرمي التنبئي (الجرعة المنخفضة > الثابت) عبر جميع النماذج الثلاثة، مع تسجيل درجات macro AUROC تتراوح بين 0.801 إلى 0.828.
• منفعة القرار: يحسن المختار المدفوع بالتنبؤ المنفعة ويقلل بشكل كبير من ضرر الجار الدلالي مقارنة بسياسة القوة الثابتة. لقد قلل الحاجة إلى التقييم من مسح كثيف (26 معاملًا) إلى حوالي 2.55 تقييماً (اختباران ضعيفان بالإضافة إلى الإجراء النهائي).

الأهمية والادعاءات
يدعي البحث أن PML يحول توطين الذاكرة من ادعاء ثابت إلى تنبؤ قابل للتفنيد لنتائج الهامش الانتقائية. ويتمثل الاكتشاف المركزي في أن الاستجابة السببية الصغيرة هي متنبئ أكثر فائدة للسلوك الانتقائي اللاحق من الهندسة الثابتة للتوطين وحدها.

يؤكد المؤلفون أن التوطين لا يعني تلقائياً القدرة على التحكم؛ فقد يكون الاتجاه موطناً بشكل جيد ومع ذلك يفتقر إلى نظام تشغيل انتقائي. ومن خلال دمج التوطين مع قياس سببي رخيص، يحدد PML الاتجاهات التي تسمح بمعاملات قابلة للاستخدام وتلك التي تتطلب الامتناع. لا يدعي العمل حل مشكلة تعديل النماذج العامة أو ضمان السلامة عبر جميع الآثار الجانبية اللاحلة، بل يوفر إطاراً صارماً وواعياً بالمخاطر لاختيار شدة التدخل بناءً على طوبولوجيا المسار المقاس.