💬 NLP

Learning the Signature of Memorization in Autoregressive Language Models

تقدم هذه الورقة البحثية هجوم استنتاج العضوية المتعلم القابل للنقل (LT-MIA)، وهو أول هجوم استنتاج عضوية متعلم قابل للنقل يستفيد من "توقيع الحفظ" الثابت الناتج عن الضبط الدقيق لتحقيق تعميم فائق في وضع الصفر (zero-shot) عبر عائلات معمارية متنوعة (بما في ذلك Mamba وRWKV) ونطاقات بيانات (اللغة الطبيعية والبرمجية) دون الاعتماد على الاستدلالات المصممة يدويًا أو النماذج الظلية.

المؤلفون الأصليون: David Ilić, Kostadin Cvejoski, David Stanojević, Evgeny Grigorenko

نُشر 2026-04-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: David Ilić, Kostadin Cvejoski, David Stanojević, Evgeny Grigorenko

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة من الكتب (الإنترنت). قام شخص ما بأخذ مجموعة محددة من الكتب من تلك المكتبة، وقرأها، ثم كتب نسخة جديدة ومحسنة من كتاب بناءً عليها. هذا الكتاب الجديد هو "نموذج لغوي مضبوط دقيقاً" (Fine-tuned language model).

السؤال الكبير هو: هل يمكننا معرفة ما إذا كانت جملة معينة موجودة في مجموعة الكتب الأصلية التي استخدمها للقراءة؟

لفترة طويلة، حاول خبراء الأمن الإجابة على هذا السؤال عبر إنشاء قواعد "مصممة يدوياً". كان الأمر يشبه محاولة العثور على شخص معين في حشد من الناس من خلال القول: "ابحثوا عن شخص يرتدي قبعة حمراء ويحمل مظلة زرقاء". أحياناً نجح الأمر، لكنه كان يعتمد كلياً على تخمين المصمم. فإذا ارتدى الشخص قبعة خضراء، تفشل القاعدة.

تقدم هذه الورقة البحثية طريقة أذكى للقيام بذلك، باستخدام طريقة تسمى LT-MIA (الاستدلال بالانتماء عبر النقل المتعلم). وإليك كيف تعمل، مشروحة عبر تشبيهات بسيطة:

1. خدعة "الفئة اللانهائية"

عادةً، لتعليم الكمبيوتر تمييز نمط ما، تحتاج إلى "فئة ظل" (Shadow class). سيتعين عليك تدريب 100 نموذج مختلف، وإخبار الكمبيوتر أي منها حفظ بيانات محددة، ثم تعليمه كيفية تمييز الفرق. ولكن مع نماذج الذكاء الاصطناعي الضخمة، فإن تدريب 100 نموذج منها أمر مكلف وبطيء للغاية.

رؤية الورقة البحثية:
أدرك المؤلفون أنهم ليسوا بحاجة لبناء نماذج ظل. لقد أدركوا أنك في كل مرة تأخذ فيها نموذجاً وتعلمه أشياء جديدة (الضبط الدقيق)، فإنك تنشئ تلقائياً "مجموعة بيانات مصنفة" مثالية.

التشبيه: تخيل أنك محقق. بدلاً من استئجار 100 جاسوس لمراقبة مشتبه به، أدركت أنك في كل مرة يشتري فيها المشتبه به قهوة، يتم ختم الإيصال تلقائياً بعبارة "المشتبه به كان هنا". لديك إمداد لانهائي من الإيصالات (البيانات المصنفة) بمجرد مراقبة شراء المشتبه به للقهوة. لا تحتاج لاستئجار جواسيس؛ أنت فقط بحاجة لقراءة الإيصالات.

2. "البصمة العالمية"

قام الباحثون بتدريب "المحقق الذكي" الخاص بهم حصرياً على نماذج Transformers (وهي البنية الأكثر شيوعاً لأنواع الذكاء الاصطناعي، مثل تلك التي تقف وراء ChatGPT).

ثم اختبروه على أنواع مختلفة تماماً من بنيات الذكاء الاصطناعي:

Mamba: يستخدم "فضاءات الحالة" (مثل مخزن الذاكرة).
RWKV: يستخدم "الانتباه الخطي" (مثل المسح الخطي السريع).
RecurrentGemma: يستخدم "التكرار المبوّب" (مثل الحلقة التكرارية).

المفاجأة:
المحقق الذي تدرب فقط على نماذج Transformers نجح ببراعة في التعامل مع هذه الأنواع المختلفة تماماً من الذكاء الاصطناعي.

التشبيه: تخيل أنك تعلم كلباً التعرف على "كلب جولدن ريتريفر". تتوقع أن يفشل إذا أريته "قطة سيامية". لكن في هذه الحالة، تعلم الذك_الاصطناعي رائحة التدريب، وليس شكل الكلب.
اتضح أن أي ذكاء اصطناعي يتعلم من البيانات، فإنه يترك "رائحة" (بصمة إحصائية) على توقعاته. سواء كان الذكاء الاصطناعي يفكر كنموذج Transformer، أو نموذج مساحة حالة، أو حلقة تكرارية، فإن فعل الحفظ يترك نفس البصمة.

3. التعلم مقابل التصميم

كانت الطرق السابقة تشبه طباخاً يحاول تخمين مزيج التوابل المثالي عبر تذوق طبق مرة واحدة والتخمين: "ربما يحتاج لمزيد من الملح؟".
أما هذه الطريقة الجديدة فهي تشبه طباخاً يتذوق 30 طبقاً مختلفاً من 30 مطبخاً مختلفاً. يتعلم الذكاء الاصطناعي: "آه، كلما صُنع طبق باستخدام هذا المكون المحدد، يتغير ملف النكهة بهذه الطريقة المحددة". إنه يتوقف عن التخمين ويبدأ في تعلم ما يهم حقاً.

4. لماذا يهم هذا (الدليل القاطع)

تثبت الورقة أن الحفظ هو أثر جانبي أساسي لكيفية تعلم هذه الأنواع من الذكاء الاصطناعي، وليس خطأً برمجياً (Bug) يمكن إصلاحه بتغيير بنية الذكاء الاصطناعي.

التشبيه: إذا كتبت قصة بناءً على مذكرات سرية، فإن القصة ستتضمن حتماً آثاراً من تلك المذكرات، بغض النظر عما إذا كنت تكتبها بقلم، أو آلة كاتبة، أو مسجل صوت. تغيير الأداة (البنية) لا يخفي السر؛ فـ "التسريب" يكمن في فعل الكتابة نفسه.

النتائج

الدقة: الطريقة الجديدة أفضل بكثير من جميع طرق "التخمين" السابقة.
السرعة: تعمل فوراً على نماذج لم ترها من قبل (Zero-Shot).
النطاق: إنها تعمل حتى على الأكواد البرمجية، رغم أنها تدربت فقط على النصوص اللغوية الطبيعية.

الخلاصة

هذه الورقة تغير قواعد اللعبة. إنها تنقل "الاستدلال بالانتماء" (التحقق مما إذا كانت البيانات قد استُخدمت) من لعبة "تخمين القواعد" إلى لعبة "التعلم العميق". وهي تخبرنا أنه طالما يتم تدريب نماذج الذكاء الاصطناعي باستخدام الطرق القياسية، فإنها ستترك دائماً "توقيعاً" قابلاً للكشف للبيانات التي حفظتها، بغض النظر عن مدى تطور أو اختلاف بنية عقلها الداخلي.

باختصار: لا يمكنك إخفاء بيانات التدريب الخاصة بك بمجرد تغيير بنية الذكاء الاصطناعي. "الذاكرة" تترك بصمة يمكن لمكتشف ذكي ومدرب دائماً العثور عليها.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تعلم توقيع الذاكرة في نماذج اللغة ذات التوليد الذاتي (Autoregressive)" من إعداد إيليتش وآخرون.

1. بيان المشكلة

تهدف هجمات استنتاج العضوية (Membership Inference Attacks - MIAs) إلى تحديد ما إذا كان نص معين جزءًا من بيانات تدريب النموذج أم لا. وهذا أمر بالغ الأهمية لتدقيق الخصوصية، وإنفاذ حقوق الطبع والنشر، وحوكمة البيانات.

القيود الحالية: تعتمد طرق MIA الحالية لنماذج اللغة الكبيرة (LLMs) على الاستدلالات المصممة يدويًا (مثل عتبة الخسارة، وMin-K%، وتطبيع Zlib، ومعايرة المرجع). هذه الطرق مقيدة بحدس المصمم وغالبًا ما تفشل في التعميم عبر بنيات النماذج المختلفة أو نطاقات البيانات المختلفة.
عنق زجاجة "النموذج الظل" (Shadow Model): لم تنجح هجمات MIA "المتعلمة" التقليدية (التي تدرب مصنفات على "نماذج ظل") في التوسع لتشمل نماذج اللغة الكبيرة لأن تدريب آلاف نماذج الظل ذات العضوية المعروفة هو أمر مكلف حاسوبيًا للغاية.
الفجوة: لا يوجد هجوم MIA متعلم وقابل للتوسع يمكنه التعميم عبر بنيات نماذج مختلفة جذريًا (مثل Transformers مقابل نماذج الحالة الفضائية - State-Space Models).

2. الرؤية الجوهرية والمنهجية

قدم المؤلفون هجوم استنتاج العضوية القابل للنقل والمتعلم (Learned Transfer MIA - LT-MIA)، وهو أول هجوم قابل للنقل ومتعلم للنماذج اللغوية التي خضعت للضبط الدقيق (Fine-tuning).

الرؤية الجوهرية: بيانات مصنفة غير محدودة

تفترض الورقة أن الضبط الدقيق يوفر بيانات تدريب مصنفة غير محدودة بحكم التصميم.

عندما يتم ضبط نموذج بدقة على مجموعة نصوص (Corpus)، فإن حالة العضوية لكل رمز (Token) في تلك المجموعة معروفة (فهي "عضو").
وعلى العكس من ذلك، فإن الرموز من مجموعة نصوص محتجزة (Held-out corpus) هي "غير أعضاء".
هذا يلغي الحاجة إلى نماذج الظل. يمكن للمهاجم توليد بيانات تدريب لانهائية عن طريق ضبط النماذج الموجودة بدقة على مجموعات بيانات متنوعة واستخراج الميزات.

مسار عمل LT-MIA

نموذج التهديد: يمتلك المهاجم وصولًا "صندوق أسود" (Black-box) إلى نموذج مستهدف مضبوط بدقة ( $f_\theta$ ) ونموذج مرجعي مسبق التدريب ( $f_{\theta_0}$ ) من نفس البنية.
استخراج الميزات: بالنسبة لتسلسل نصي معين، يقوم النظام باستخراج متجهات ميزات مكونة من 154 بُعدًا عند كل موضع للرمز. تلتقط هذه الميزات التباين بين النموذج المستهدف والمرجعي، بما في ذلك:
- خسائر الرمز (Per-token losses) وفروقها.
- قيم الـ Logits ورتب (Ranks) الرموز الأصلية.
- أعلى 20 وأدنى 20 قيمة Logit من كلا النموذجين.
- الرتب المتقاطعة بين النماذج (كيف تم ترتيب الرمز في النموذج المستهدف مقابل المرجعي).
تصنيف التسلسل: بدلًا من تجميع هذه الميزات في قيمة عددية واحدة (Mean pooling)، يعامل LT-MIA تسلسل الميزات كمدخلات لـ مشفر Transformer خفيف الوزن (طبقتان، أقل من 500 ألف معلمة).
- يتعلم النموذج وزن مواضع الرموز بشكل تكيفي بناءً على مساهمتها في إشارة العضوية.
- المخرج النهائي هو تصنيف ثنائي (عضو مقابل غير عضو).

استراتيجية التدريب: التنوع فوق الحجم

لضير ضمان تعلم النموذج لـ التوقيع الثابت للذاكرة بدلاً من السمات المرتبطة ببنية معينة (مثل سمات الـ Tokenizer)، درب المؤلفون النموذج على 30 مزيجًا متنوعًا من النماذج ومجموعات البيانات (10 نماذج $\times$ 3 مجموعات بيانات) مع 600 عينة لكل منها.

النتيجة: أدى التدريب على 30 مزيجًا متنوعًا (إجمالي 18 ألف عينة) إلى تفوق كبير على التدريب على مزيج واحد بنفس الحجم الإجمالي (18 ألف عينة)، مما يثبت أن التنوع يعمل على تصفية الضجيج الخاص بالنموذج ويعزل إشارة الذاكرة العالمية.

3. المساهمات الرئيسية

إزالة عنق زجاجة نموذج الظل: أثبتت الورقة أن الضبط الدقيق يوفر مصدرًا طبيعيًا وغير محدود للبيانات المصنفة لتدريب هجمات MIA، مما يتيح استخدام نهج التعلم العميق لنماذج اللغة الكبيرة.
توقيع ثابت البنية (Architecture-Invariant Signature): اكتشف البحث أن الذاكرة تنتج توقيعًا يمكن اكتشافه في توزيع المخرجات، وهو مستقل عن الآلية الحسابية (Attention، أو State-Space، أو Linear Recurrence).
النقل الصفري (Zero-Shot Transfer): قدموا LT-MIA، الذي تم تدريبه حصريًا على Transformers، والذي انتقل بنجاح بأداء صفري (Zero-shot) إلى بنيات غير الـ Transformer (مثل Mamba، وRWKV، وRecurrentGemma) بأداء يتجاوز أدائه على نماذج Transformer المحتجزة.
ميزة نمذجة التسلسل: أظهروا أن نمذجة تسلسل ميزات الرمز (عبر Transformer) تتفوق بشكل كبير على طرق التجميع (مثل mean pooling)، مما ساهم في زيادة قدرها 5.0 نقاط مئوية في AUC.

4. النتائج التجريبية

أُجري التقييم على نماذج ومجموعات بيانات محتجزة، بما في ذلك ثلاث عائلات غير Transformer: Mamba (حالة فضائية)، RWKV (انتباه خطي)، و RecurrentGemma (تكرار بوابات).

الأداء على غير الـ Transformers (Zero-Shot):
- Mamba-2.8B: 0.963 AUC
- RWKV-4-3B: 0.972 AUC
- RecurrentGemma-2B: 0.936 AUC
- ملاحظة: هذه الدرجات أعلى من متوسط أداء نماذج Transformer المحتجزة (0.908 AUC).
المقارنة مع النماذج المرجعية (Baselines):
- تفوق LT-MIA على أقوى نموذج مرجعي (EZ-MIA) بمقدار 2.1 نقطة AUC في نماذج Transformer، وبفارق أكبر بكثير في النماذج غير الـ Transformer.
- عند نقاط التشغيل الصارمة (0.1% معدل إيجابي كاذب)، حقق LT-MIA معدل إيجابي حقيقي أعلى بـ 2.8 ضعف من EZ-MIA في نماذج Transformer.
نقل النطاق (Domain Transfer): انتقلت الطريقة إلى البرمجة (Code) (مجموعة بيانات Swallow-Code) بـ 0lu 0.865 AUC، رغم أنها تدربت فقط على النصوص الطبيعية.
أهمية الميزات: أكد التحليل أن ميزات المقارنة (التي تربط مخرجات الهدف بالمرجع) هي الإشارة المهيمنة عبر جميع البنيات، مما يثبت أن الإشارة هي علاقة (تغير من حالة ما قبل التدريب) ولي أرقام مطلقة.

5. الأهمية والآثار المترتبة

الهشاشة الجوهرية: تشير النتائج إلى أن خطر الخصوصية الناتج عن الذاكرة هو أمر متأصل في تدريب الـ Cross-Entropy. الابتكارات المعمارية (الانتقال من Transformers إلى Mamba أو RWKV) لا تنجي النماذج من هجمات استنتاج العضوية لأنها جميعًا تعتمد على نفس هدف التحسين (Optimization Objective).
الآثار على الدفاع: لا يمكن للمدافعين الاعتماد على تغيير بنية النموذج لإخفاء الذاكرة. يجب أن تستهدف الدفاعات الفعالة هدف التدريب نفسه (مثل الخصوصية التفاضلية - Differential Privacy، رغم أنها تقلل الفائدة) أو تعديل مشهد التحسين.
التحول إلى عصر التعلم العميق: تمثل هذه الورقة تحولًا جذريًا من "تصميم الاستدلالات" إلى "تعلم ما يهم". من خلال استغلال تنوع التدريب، يمكن للمجال الآن تطبيق مبادئ التعميم القياسية للتعلم العميق على هجمات الخصوصية.
الطبيعة مزدوجة الاستخدام: بينما تساعد هذه الطريقة أصحاب حقوق الطبع والنشر والمنظمين في تدقيق استخدام البيانات، فإنها تشكل أيضًا خطرًا لاستنتاج بيانات التدريب الحساسة. يؤكد المؤلفون أن الثغرة موجودة بغض النظر عن طريقة الهجوم؛ وتوصيفها هو الخطوة الأولى نحو التخفيف من حدتها.

الخاتمة

يثبت LT-MIA أن الذاكرة تترك توقيعًا عالميًا وثابت البنية في نماذج اللغة. ومن خلال إعادة صياغة استنتاج العضوية كمسألة تصنيف تسلسلي فوق إحصائيات التوزيع لكل رمز، واستغلال البيانات المصنفة غير المحدودة التي يوفرها الضبط الدقيق، حقق المؤلفون نتائج هي الأفضل في فئتها، والتي تعمم عبر عائلات نماذج متنوعة، مما يتحدى بشكل أساسي فكرة أن التنوع المعماري يوفر الحماية للخصوصية.