💬 NLP

Divergence Decoding: Inference-Time Unlearning via Auxiliary Models

تقدم هذه الورقة البحثية "فك التشفير بالتباعد" (Divergence Decoding)، وهو أسلوب لـ "إلغاء التعلم" (unlearning) أثناء مرحلة الاستدلال، يستفيد من نماذج مساعدة صغيرة لتوجيه احتمالات (logits) النماذج اللغوية الكبيرة بعيداً عن البيانات الحساسة، مما يخفف بفعالية من مخاطر الخصوصية وحقوق الطبع والنشر مع أدنى قدر من الفقد في الفائدة، مع تقديم حل قابل للتعميم يمكن تطبيقه في مجالي النصوص والصور على حد سواء.

المؤلفون الأصليون: Humzah Merchant, Bradford Levy

نُشر 2026-06-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Humzah Merchant, Bradford Levy

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث "Divergence Decoding" بلغة بسيطة واستخدام تشبيهات من الحياة اليومية.

المشكلة: الدماغ "الذي لا ينسى"

تخ lập أن لديك أمين مكتبة فائق الذكاء (نموذج لغوي كبير) قرأ كل كتاب في العالم. أحياناً، يحفظ هذا الأمين تفاصيل محددة وحساسة عن غير قصد—مثل مذكرات خاصة أو قصة محمية بحقوق الطبع والنشر—وهي أشياء لا ينبغي له مشاركتها.

عادةً، إذا أردت من أمين المكتبة أن "ينسى" هذا السر المحدد، فلديك خياران سيئان:

البدء من جديد: حرق المكتبة بالكامل وإعادة بنائها من الصفر دون ذلك الكتاب الواحد. وهذا يتطلب ملايين الدولارات وسنوات من العمل.
جراحة الدماغ: محاولة إزالة الذاكرة جراحياً من دماغ أمين المكتبة. هذا أمر محفوف بالمخاطر؛ فغالباً ما تتسبب في إتلاف قدرته على القيام بأشياء أخرى، مثل كتابة الشعر أو حل المسائل الرياضية (وهذا ما يسمى بـ "النسيان الكارثي").

الحل: نظام "كلب الإرشاد"

يقترح مؤلفو هذه الورقة خدعة ذكية جديدة تسمى Divergence Decoding (DD). بدلاً من محاولة تغيير دماغ أمين المكتبة، يبقون أمين المكتبة كما هو تماماً ويضيفون "كلبين إرشاديين" صغيرين ومتخصصين لمساعدته في توجيه المحادثات.

إليك كيف يعمل النظام:

أمين المكتبة (النموذج الكبير): هذا هو الذكاء الاصطناعي الرئيسي الذي نستخدمه. هو يعرف كل شيء، بما في ذلك الأسرار التي نريد منه نسيانها.
الكلب الإرشادي (أ) (نموذج "النسيان"): هذا ذكاء اصطناعي صغير ورخيص، تم تدريبه فقط على المعلومات السرية التي نريد إزالتها. هو مهووس بتلك البيانات المحددة.
الكلب الإرشادي (ب) (نموذج "التذكر"): هذا ذكاء اصطناعي صغير آخر، تم تدريبه فقط على المعلومات العامة والآمنة. هو يعرف كل شيء باستثناء السر.

كيف يعمل: "عجلة القيادة"

عندما تسأل أمين المكتبة سؤالاً، لا يترك النظام أمين المكتبة يجيب بمفرده. بل يسأل الكلبين الإرشاديين عما يعتقدان أنه يجب أن يكون الرد.

المنطق: ينظر النظام إلى الفرق بين ما يريد الكلب (أ) (المهووس بالسر) قوله، وما يريد الكلب (ب) (الآمن) قوله.
التوجيه: إذا كان الكلب (أ) يصرخ قائلاً: "قل السر!"، بينما يقول الكلب (ب): "لا، لا تقل ذلك!"، يستخدم النظام هذا الفرق ليدفع أمين المكتبة بعيداً عن السر ونحو النسخة الآمنة.

تخيل الأمر كقيادة سيارة. أمين المكتبة هو السيارة. والكلبان الإرشاديان هما شخصان في المقعد المجاور. أحدهما يشير إلى منحدر (السر)، والآخر يشير إلى الطريق (الإجابة الآمنة). السائق (النظام) ببساطة يقود السيارة في اتجاه الطريق، متجاهلاً المنحدر، دون الحاجة أبداً لإعادة بناء محرك السيارة.

لماذا هذا أفضل؟

لا جراحة للدماغ: يبقى دماغ أمين المكتبة الرئيسي دون مساس. وهذا يعني أنه لن يفقد قدرته على أداء المهام الأخرى.
رخيص وسريع: تدريب الكلبين الإرشاديين الصغيرين يشبه تدريب جرو صغير—فهو سريع ورخيص مقارنة بإعادة بناء مكتبة كاملة.
يعمل على الأسئلة الصعبة: كانت الأساليب السابقة جيدة في منع الذكاء الاصطناعي من تكرار جملة حرفياً، لكنها فشلت عندما حاول الذكاء الاصطناعي الإجابة على أسئلة معقدة حول السر. يستخدم هذا الأسلوب "منطق" الكلاب الإرشادية لمنع الذكاء الاصطناعي حتى من التفكير في السر بطرق معقدة.

"الإصلاح الدائم" (التقطير - Distillation)

تشير الورقة إلى أن تشغيل ثلاثة نماذج في وقت واحد (أمين المكتبة + الكلبين) يتطلب القليل من قوة الحوسبة الإضافية. إذا كنت تريد إصلاحاً دائماً حيث تشغل نموذجاً واحداً فقط لاحقاً، يمكنك استخدام عملية التقطير (Distillation).

تخيل أن أمين المكتبة، بتوجيه من الكلاب، يكتب "ورقة غش" مثالية حول كيفية الإجابة على الأسئلة دون الأسرار. ثم تعلم أمين مكتبة جديداً واحداً كيف يحفظ ورقة الغش هذه. الآن أصبح لديك نموذج واحد نظيف قد "تعلم" كيف ينسى، دون الحاجة إلى الكلاب بعد الآن.

هل ينجح الأمر؟

اختبر المؤلفون هذا على معيارين رئيسيين (TOFU و MUSE)، وهما بمثابة اختبارات معيارية لـ "النسيان".

النتائج: تفوق أسلوبهم على جميع الأساليب السابقة التي كانت تعتبر "الأفضل حالياً" (state-of-the-art). لقد كانوا أفضل في إزالة الأسرار مع الحفاظ على ذكاء النموذج.
ما وراء النصوص: جربوا هذا أيضاً على توليد الصور (صنع الصور). قاموا بتدريب الذكاء الاصطناعي على "نسيان" كيفية رسم أنواع معينة من الكلاب. نجح الأسلوب هناك أيضاً، حيث منع الذكاء الاصطناعي بنجاح من رسم تلك الكلبة دون إفساد قدرته على رسم أشياء أخرى.

الملخص

بدلاً من محاولة مسح ذاكرة من دماغ ضخم ومعقد (وهو أمر صعب وخطير)، تقترح هذه الورقة إبقاء الدماغ كما هو واستخدام مساعدين صغيرين وذكيين لتوجيه المحادثة بلطف بعيداً عن المواضيع المحظورة. إنه نهج "التعلم فوق النسيان" الذي يعد أرخص، وأكثر أماناً، وأكثر فعالية من الأساليب السابقة.

ملخص تقني: فك تشفير التباعد (Divergence Decoding)

بيان المشكلة

غالبًا ما تقوم النماذج اللغوية الكبيرة (LLMs) بحفظ بيانات التدريب الحساسة، مما يخلق مخاطر كبيرة تتعية الخصوصية وحقوق الطبع والنشر. إن معالجة هذه المخاطر عن طريق إزالة معرفة محددة من أوزان النماذج الحالية أمر صعب للغاية؛ فالأساليب التقليدية، مثل إعادة تدريب النماذج من الصفر على مجموعات بيانات منقحة، غير مجدية حاسوبيًا عند المقاييس الضخمة (تتطلب ملايين ساعات عمل وحدات معالجة الرسومات GPU). كما أن طرق "إلغاء التعلم" (Unlearning) الحالية، التي تعدل أوزان النموذج عبر تقنيات مثل صعود التدرج (Gradient Ascent) أو تحسين التفضيل السلبي (Negative Preference Optimization)، تعاني غالبًا من فقدان كارثي في الفائدة، وتكون هشة، وتظل مكلفة. علاوة على ذلك، فإن هذه الطرق غالبًا ما تؤدي إلى تدهور الأداء العام للنموذج على البيانات التي تم الإبقاء عليها.

المنهجية: فك تشفير التباعد (DD)

يقترح المؤلفون فك تشفير التباعد (Divergence Decoding - DD)، وهو آلية لإلغاء التعلم أثناء الاستنتاج تعمل على توجيه "اللوجيت" (logits) للنموذج المستهدف بعيدًا عن بيانات محددة دون تعديل أوزان النموذج مباشرة. تستلهم هذه الطريقة فكرتها من إطار عمل "حاصل ضرب الخبراء" (Product of Experts) وأخذ العينات بالتبديل (Importance Sampling).

الآلية الجوهرية

يستخدم نظام DD نموذجين مساعدين صغيرين، $p$ و $q$ ، يتم تدريبهما عبر مسارات التدريب الدقيق القياسية ليعملا كوكلاء للفارق بين النموذج المستهدف ( $P$ ، المدرب على مجموعات البيانات المستبقاة والمحذوفة معًا) ونموذج إعادة التدريب المثالي ( $Q$ ، المدرب فقط على المجموعة المستبقاة).

النموذج المساعد $p$ : يتم تدريبه على مجموعة "النسيان" (أو مزيج من النسيان والاستبقاء، اعتمادًا على إعداد المعيار المرجعي).
النموذج المساعد $q$ : يتم تدريبه على مجموعة "الاستبقاء".

تقوم الطريقة بتقريب عملية أخذ العينات من نموذج إعادة التدريب المثالي $Q$ عن طريق تعديل "اللوجيت" للنموذج المستهدف $P$ بناءً على الفرق بين النموذجين المساعدين. ويتم اقتراح تعديلين محددين:

فك تشفير التباعد الخطي (Linear Divergence Decoding): مزيج خطي من "اللوجيت" حيث يقوم الفرق بين النماذج المساعدة بتوجيه الهدف:
$\hat{\ell}^{LC}_Q(x_{<t}) = \ell_P(x_{<t}) + \alpha \cdot [\ell_q(x_{<t}) - \ell_p(x_{<t})]$
هنا، $\alpha$ هو معامل فائق (hyperparameter). يعمل النسبة $q/p$ كـ "خبير مجال" (Domain Expert) يقوم برفع وزن الرموز (tokens) المحتمل وجودها في مجموعة الاستبقاء، وخفض وزن تلك المحتمل وجودها في مجموعة النسيان.
فك تشفير التباعد القائم على الرتبة (Rank-Based Divergence Decoding): تعديل قائم على الرتبة يعمل على كبح أعلى $k$ من "اللوجيت" الأكثر تباعدًا:
$\hat{\ell}^R_Q(x_{<t}) = \ell_P(x_{<t}) - \mathbb{1}_{\text{rank}(\ell_p - \ell_q) \leq k} \cdot \infty$
(عمليًا، لتجنب درجات الخصوصية المتدهورة، يتم استبدال أعلى $k$ من "اللوجيت" بأكبر قيمة $k$ من التوزيع الأصلي غير المعدل).

تقطير النموذج (Model Distillation)

لمعالجة تكاليف زمن الاستجابة والحوسبة الناتجة عن تشغيل ثلاثة نماذج (الهدف + 2 مساعدين) في وقت واحد أثناء الاستنتاج، يقترح المؤلفون تقطير سلوك نظام DD المعزز إلى نموذج واحد. يعمل نظام "الخطّي DD" المجمد كمعلم، ويتم تدريب "النموذج المستهدف" كطالب باستخدام هدف تباعد KL (KL-divergence) على مجموعة النسيان. هذا يحول المتحكم الذي يعمل في وقت الاستنتاج إلى شبكة معلمية (parametric network) يمكن تقديمها دون الحاجة لنماذج مساعدة.

المساهمات الرئيسية

يقدم البحث المساهمات التالية في أدبيات إلغاء تعلم الآلة:

توجيه اللوجيت المبتكر: آلية تتفوق على الأساليب الحالية (SOTA) عبر معايير إلغاء التعلم القياسية (TOFU و MUSE).
الربط بين النماذج: ربط بين إلغاء التعلم أثناء الاستنتاج وإلغاء التعلم القائم على الأوزان عبر التقطير، مما يسمح بمرونة النشر.
الفعالية عبر المجالات: استكشافات أولية تثبت قابلية تطبيق الطريقة خارج توليد النصوص، وتحديدًا في توليد الصور القائمة على المحولات (transformers).
التحليلات الشاملة: تحليل شامل يغطي خيارات المعاملات الفائقة، تأثيرات الحوسبة/زمن الاستجابة، التعميم عبر أجهزة الترميز (tokenizer) والعائلات المختلفة، والمتانة ضد الهجمات العدائية.

النتائج التجريبية

قيم المؤلفون DD باستخدام إطار عمل "Open Unlearning" على معيار TOFU (الاستعلامات المعقدة الموجهة بالتعليمات) ومعيار MUSE (الأسئلة والأجوبة ذات القليل من الأمثلة والمدربة مسبقًا).

الأداء: يتفوق DD بشكل حاسم على النماذج المرجعية (SOTA) (بما في ذلك Gradient Ascent، و NPO، و RMU، و UNDIAL) في معيار TOFU. وفي معيار MUSE، يحسن الأداء بشكل طفيف فوق النماذج المرجعية القوية في مهام حفظ المعرفة والأسئلة والأجوبة، وإن كان أقل فعالية في "الحفظ الحرفي" (Verbatim Memorization) حيث تتفوق طرق التصفية البسيطة.
الحفاظ على الفائدة: على عكس العديد من طرق إلغاء التعلم التي تسبب نسيانًا كارثيًا، يحافظ DD على المعرفة العامة وفائدة النموذج.
التقطير: يستعيد النموذج المقطر معظم مكاسب الأداء لنظام "الخطي DD" أثناء الاستنتاج، متفوقًا على طرق إلغاء التعلم القائمة على التدرج السابقة.
القابلية للتوسع والاستدامة: يتوسع النظام بشكل جيد مع زيادة أحجام مجموعة النسيان ويتعامل مع طلبات إلغاء التعلم المتتالية دون تدهور كبير في الأداء.
المتانة العدائية: تحت معيار Leak@K، الذي يختبر ما إذا كان يمكن استرداد المعلومات المنسية عبر مطالبات عدائية متكررة، يطابق "Distill DD" أداء إعادة التدريب الكامل، مما يشير إلى أن إلغاء التعلم متين وليس مجرد تصحيح سطحي.
توليد الصور: تظهر النتائج الأولية على توليد الصور القائم على ImageNet أن DD يمكنه تقليل توليد دلالات بصرية محددة (مثل فئات الكلاب في مجموعة النسيان) مع الحفاظ على الجودة الإدراكية، رغم أن قيم $\alpha$ المطلوبة في الإعدادات الخطية أعلى مقارنة بالنصوص.

الأهمية والادعاءات

يجادل البحث بأن المسار نحو ذكاء اصطائي أكثر أمانًا وامتثالًا لا يكمن في "إضعاف" النموذج الأساسي من خلال تعديل الأوزان المباشر، بل في توجيهه. يدعي المؤلفون أنه بالنسبة للعديد من حالات الاستخدام العملية (مثل طلبات "الحق في النسيان"، والامتثال لحقوق الطبع والنشر، والاختبار الخلفي المالي لمنع انحياز النظر للأمام)، فإن تعديل أوزان النموذج غير ضروري وقد يكون ضارًا بالفائدة.

بدلاً من ذلك، يوفر DD نهج "التعلم فوق النسيان" حيث تقوم نماذج مساعدة صغيرة وغير مكلفة بتوجيه عملية التوليد لنموذج كبير. يوفر هذا حلًا عمليًا لعمليات النشر عالية المخاطر حيث يكون مطلوبًا إلغاء تعلم متكر ومتواتر، مما يعيد تعريف أداء SOTA من خلال الموازنة بين إلغاء التعلم الفعال والحفاظ على قدرات النموذج. تُقدم الطريقة على أنها قابلة للتطبيق عمومًا على أي نموذج احتمالي، مما يوسع فائدتها من النصوص إلى مجالات مثل توليد الصور.