🤖 machine learning

Auditing Reasoning-Trace Memorization Claims after Unlearning with Head-Conditioned Canaries

تُثبت هذه الورقة أن "نمط التجاوز" في تقييمات محو التعلم، حيث تحتفظ مسارات الاستنتاج بالمحتوى المنسي بينما تظهر الإجابات وكأنها مُحيت، ليس مؤشراً موثوقاً على الحفظ الخفي على مستوى الأوزان لأن الظاهرة يمكن تكرارها أو عكسها عبر عمليات تبديل بسيطة للقوالب عند وقت فك التشفير، مما يستلزم إجراء مثل هذه التبديلات كفحص للتحقق من السلامة في عمليات التدقيق المستقبلية.

المؤلفون الأصليون: Yanhang Li, Zhichao Fan, Zexin Zhuang

نُشر 2026-05-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yanhang Li, Zhichao Fan, Zexin Zhuang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً ذكياً جداً، قد حفظ قائمة سرية مكونة من 60 مؤلفاً وهمياً وسيرهم الذاتية. تريد اختبار ما إذا كان بإمكانك بنجاح "محو" (جعله ينسى) هذه الحقائق المحددة من ذاكرته.

في الماضي، كان بإمكانك ببساطة سؤال الطالب سؤالاً والتحقق مما إذا كان قد أعطى الإجابة الصحيحة. إذا أخطأ، كنت تفترض أنه قد نسي. ولكن الآن، لدى نماذج الذكاء الاصطناعي هذه عادة جديدة: قبل أن تعطي إجابة، تقوم بكتابة "عملية التفكير" الخاصة بها في صندوق خاص (مثل دفتر الملاحظات الجانبي).

المشكلة: وهم "التجاوز" (The Bypass Illusion)

لاحظ الباحثون نمطاً غريباً. بعد محاولة جعل الذكاء الاصطناعي ينسى:

الإجابة: يتوقف الذكاء الاصطناعي عن إعطاء الإجابة الصحيحة. (يبدو وكأنه نسي!)
التفكير: ولكن داخل "صندوق التفكير"، يستمر الذكاء الاصطناعي في كتابة السيرة الذاتية السرية التي كان من المفترض أن ينساها.

كان الاستنتاج القياسي هو: "آه! الذكاء الاصطناعي لم ينسَ حقاً. إنه يخفي السر في عملية التفكير الخاصة به، رغم أنه لن يقوله بصوت عالٍ." وهذا ما يسمى بـ "نمط التجاوز" (Bypass Pattern).

التحقيق: هل صندوق التفكير هو خزنة سرية أم مجرد نص مكتوب؟

قرر مؤلفو هذه الورقة البحثية تدقيق هذا الاستنتاج. تساءلوا: هل يتذكر الذكاء الاصطناعي السر حقاً في دماغه (الأوزان)، أم أنه يتبع مجرد نص مكتوب؟

فكر في "صندوق التفكير" كأنه ورقة عمل "املأ الفراغ" التي تدرب الذكاء الاصطناعي على استخدامها. ورقة العمل تبدأ دائماً بنفس الجملة: "إليك حقيقة عن [اسم المؤلف]:" متبوعة بالسيرة الذاتية.

عندما حاول الباحثون جعل الذكاء الاصطناعي ينسى، أخبروه فقط بالتوقف عن كتابة الإجابة. لكنهم لم يخبروه أبداً بالتوقف عن كتابة قالب ورقة العمل. لذا استمر الذكاء الاصطناعي في كتابة ورقة العمل (أثر التفكير) لأن ذلك الجزء من التعليمات لم يتغير أبداً، حتى لو توقف عن كتابة الإجابة النهائية.

التجربة: عملية "الاستبدال المسبق" (The Prefill Swap)

لإثبات وجهة نظرهم، قام الباحثون بحيلة ذكية. أخذوا الذكاء الاصطناعي الذي "نسي" الإجابات (ولكنه لا يزال يكتب أثر التفكير) وقاموا بما يلي:

الاختبار: طلبوا من الذكاء الاصطوا إكمال جملة.
الاستبدال: بدلاً من ترك الذكاء الاصطناعي يكتب أثر التفكير الخاص به، قاموا باستبدال أثر التفكير بجملة أخرى قصيرة لا علاقة لها بالمؤلف السري.
- مثال: بدلاً من ترك الذكاء الاصطناعي يكتب "إليك حقيقة عن زيفير..."، أجبروه على البدء بـ "أنا أفكر في الطقس..."

النتيجة:

عندما تركوا الذكاء الاصطناعي يكتب "نصه المكتوب" الخاص، ظل يسرب المعلومات السرية.
عندما استبدلوا "أثر التفكير" بشيء آخر، توقف الذكاء الاصطناعي فجأة عن تسريب المعلومات السرية تماماً. انخفضت قدرته على الإجابة إلى نفس المستوى المنخفض للإجابة الأصلية.

ما يعنيه هذا: المعلومات السرية لم تكن "مخبأة" في دماغ الذكاء الاصطناعي في انتظار العثور عليها. "التسريب" كان مجرد اتباع الذكاء الاصطناعي لنص تدريبي قديم. إذا غيرت النص، يختفي التسريب.

خلل "المحلل" (The Parser Glitch)

وجدت الورقة البحثية أيضاً أن قياس "التجاوز" هذا هش للغاية.

في أحد أنواع نماذج الذكاء الاصطناعي، كانت درجة "التجاوز" موجبة (مما يشير إلى وجود ذاكرة خفية).
في نموذج مختلف قليلاً، أعطى الاختبار نفسه تماماً نتيجة سالبة (مما يشير إلى العكس)، ليس لأن الذكاء الاصطناعي تذكر أقل، بل لأن الذكاء الاصطنا_ لم يعد يستخدم علامات "صندوق التفكير" بشكل صحيح. ارتبك البرنامج الحاسوبي الذي يفحص الإجابات وظن أن صندوق التفكير فارغ بينما لم يكن كذلك.

الخلاصة

تجادل الورقة البحثية بأن الطريقة الحالية لقياس "محو التعلم" (unlearning) في نماذج الذكاء الاصطناعي التي تستخدم التفكير هي طريقة معطلة.

الرؤية القديمة: "إذا كان أثر التفكير يحتوي على السر، فإن الذكاء الاصطناعي لم ينسَ."
الرؤية الجديدة: "أثر التفكير قد يكون مجرد صدى للقالب. فجوة 'التجاوز' الموجبة لا تثبت أن الذكاء الاصطناعي يتذكر؛ قد يعني ذلك فقط أن الذكاء الاصطناعي يتبع نصاً تم تدريبه عليه ولم يُطلب منه حذفه."

التوصية:
قبل أن نصاب بالذعر ونقول إن الذكاء الاصطناعي يتذكر الأشياء سراً، يجب علينا إجراء فحص بسيط وغير مكلف: استبدل أثر التفكير. إذا اختفى "التسريب" عند تغيير نص التفكير، فلم يكن ذاكرة سرية؛ بل كان مجرد نص مبرمج. إذا استمر، فحينها فقط تعلم أن الذكاء الاصطناعي يحتفظ بالمعلومات بالفعل.

باختاً: لا تثق في "أثر التفكير" لمجرد أنه يبدو وكأنه يتذكر. قد يكون مجرد تلاوة لقصيدة طُلب منه كتابتها، حتى لو نسي معنى الكلمات.

تتعامل عملية التحليل (parser) مع التوليد بأكمله على أنه الإجابة، وتعتبر الأثر (trace) فارغاً. يوضح هذا أن المقياس هش تجاه انزياح التنسيق (format drift) واتفاقيات المحلل.

الاتساق تحت التوجيه المعلمي (Teacher-Forced Consistency):
على الرغم من الانخفاض في استدعاء السلسلة الفرعية الجشعة (على سبيل المثال، $1.00 \to 0.60$ )، إلا أن معدل مطابقة القمة الأول (top-1 match rate) تحت التوجيه المعلمي يظل مرتفعاً ( $\ge 0.90$ ) عبر جميع ظروف التعبئة المسبقة (prefill). يشير هذا إلى أن الأوزان لا تزال تتنبأ بقوة بتسلسل الكناري (canary sequence) عندما يكون البادئة (prefix) ثابتاً، مما يوحي بأن الانخفاض الجشع هو نتاج عملية فك الترميز (decoding artifact) وليس فقداناً للمعرفة على مستوى الأوزان.

4. المساهمات

اختبار جهد الصلاحية البنائية: توضح الورقة أن فجوة تجاوز المحلل (parser-split bypass gap) الإيجابية هي غير محددة (non-identifying). فهي لا تستطيع التمييز بين الذاكرة المتبقية على مستوى الأوزان وبين صدى القالب (template echo) أو حساسية البادئة أثناء فك الترميز.
مسابير الأوزان الثابتة: يقترح المؤلفون تبديل القالب عند فك الترميز (تدخل التعبئة المسبقة) والتقييم تحت التوجيه المعلمي كفحص سلامة رخيص وضروري إلى جانب عمليات تدقيق النسيان القياسية.
إعادة تفسير تسرب الأثر (Trace Leakage): تشير النتائج إلى أنه في الإعدادات القياسية حيث يتم تدريب الأثر على إعادة ذكر الهدف، يعمل الأثر كـ "صدى للقالب". غالباً ما تعكس الفجوة حساسية النموذج لبادئة المطالبة (prompt prefix) بدلاً من كونها قناة ذاكرة خفية.

5. الأهمية والادعاءات

تدعي الورقة بتواضع أنها ورقة قياس تتعلق بصلاحية التدقيق، وليست مقترحاً لطريقة نسيان جديدة أو حداً نهائياً لمخاطر الخصوصية.

الادعاء الجوهري: إن التفسير القياسي لنمط التجاوز (بأن تسرب المحتوى $\tau$ يثبت أن الأوزان لا تزال تتذكر) هو تفسير معيب. فوجود $\Delta$ إيجابية لا يحدد الذاكرة الخفية، ولا ينفي وجودها.
التوصية: يجب أن تتضمن عمليات التدقيق لنماذج الاستدلال ذراعاً مزدوجاً عند فك الترميز (استبدال الأثر بتعبئة مسبقة محايدة) والتقييم تحت التوجيه المعلمي. إذا تغيرت دقة الإجابة بشكل كبير مع التعبئة المسبقة، فمن المرجح أن تكون الفجوة الأصلية مجرد نتاج للمقياس (metric artifact)، وليس دليلاً على الاحتفاظ بمستوى الأوزان.
القيود: تستخدم الدراسة مجموعة نسيان اصطناعية صغيرة النطاق (60 مؤلفاً خيالياً) وطرق نسيان قديمة (NPO). يصرح المؤلفون صراحةً بأنهم لا يدعون وضع حد لمخاطر الخصوصية العملية أو استخراج الملكية الفكرية، بل يهدفون إلى تصحيح تفسير المقاييس المستخدمة لقياسها.

باختالصار، تجادل الورقة بأن ظاهرة "التجاوز" هي في الغالب فشل في الصلاحية البنائية لسلسلة عملية التدقيق نفسها، مدفوعاً بالتفاعل بين القوالب الثابتة، والخسائر المقنعة (masked losses)، وفك الترميز الجشع، بدلاً من كونها إشارة قوية لفشل النسيان.