🤖 machine learning

Form and Function: Machine Unlearning as a Problem of Misaligned States

تعيد هذه الورقة صياغة عملية "إلغاء التعلم" (unlearning) لخوارزمية L-BFGS عبر الإنترنت باعتبارها مشكلة محاذاة حالة مضادة للواقع، حيث تثبت أن إلغاء التعلم الفعال يتطلب تصحيح كل من معاملات النموذج وحالة الذاكرة الداخلية للمُحسِّن لتتطابق مع مسار مضاد للواقع قابل للتحقيق، بدلاً من مجرد تعديل المعاملات.

المؤلفون الأصليون: Kennon Stewart

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kennon Stewart

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الفكرة الكبرى: الأمر لا يتعلق فقط بمحو الملحوظة، بل بنسيان الدرس

تخनीّل أنك تُعلّم طالباً (نموذج الذكاء الاصطناعي) باستخدام دفتر ملاحظات محدد للغاية. هذا الدفتر لا يحتوي فقط على إجابات الطالب الحالية (المعلمات/parameters)، بل يحتوي أيضاً على مجموعة خاصة من "قواعد التخمين" أو "اختصارات الذاكرة" التي طورها الطالب لحل المشكلات بشكل أسرع (حالة المُحسِّن/optimizer state أو ذاكرة الانحناء/curvature memory).

عادةً، عندما نريد من الذكاء الاصطناعي أن "ينسى" جزءاً من البيانات السيئة (مثل صورة خاصة أو خطأ ما)، فإننا نحاول فقط تعديل إجابات الطالب لتبدو وكأنها لم ترَ تلك الصورة قط. نحن نفترض أنه إذا كانت الإجابات صحيحة، فإن الطالب "نقي".

هذه الورقة البحثية تجادل بأن هذا الطرح خاطئ.

يقول المؤلفون إنه بالنسبة لمتعلمي الذكاء الاصطناعي المتقدمين (تحديداً أولئك الذين يستخدمون طريقة تسمى online L-BFGS)، فإن "قواعد التخمين" في دفتر الملاحظات لا تقل أهمية عن الإجابات نفسها. فإذا قمت بإصلاح الإجابات ولكن تركت "قواعد التخمين" القائمة على البيانات السيئة، فسيظل الطالب متأثراً سراً بما كان يُفترض به أن ينساه. إنه غير متوافق (misaligned).

المشكلة الجوهرية: "الشبح" في الآلة

تقدم الورقة مفهوماً يسمى توافق الحالة (State Alignment). فكر في الأمر كالتالي:

العالم الحقيقي: يتعلم الطالب من تدفق الأحداث.
العالم الافتراضي (ماذا لو؟): تخيل كوناً موازياً لم توجد فيه البيانات السيئة أبداً. في هذا الكون، يمتلك الطالب مجموعة مختلفة من الإجابات وكذلك مجموعة مختلفة من "ق قواعد التخمين".
الهدف: عندما نحذف بيانات في العالم الحقيقي، فنحن لا نريد فقط أن تتطابق الإجابات مع كون "ماذا لو"، بل نريد أن يتطابق دفتر الملاحظات بأكمله (الإجابات + القواعد) تماماً مع ما كان سيملكه الطالب لو أنه لم يرَ تلك البيانات السيئة في المقام الأول.

تزعم الورقة أن الأساليب الحالية تصلح فقط الإجابات (المعلمات)، وتتجاهل القواعد (الذاكرة). وهذا يخلق طالباً "فرانكنشتاينياً": لديه الإجابات الصحيحة لعالم غير موجود، لكنه يستخدم الاختصارات الخاطئة للوصول إليها.

نوعا الذاكرة

اكتشف المؤلفون أن ذاكرة الذكاء الاصطناعي تعمل في طبقتين:

الذاكرة المباشرة (القائمة الصريحة): هي قائمة الأمثلة المحددة التي يحتفظ بها الذكاء الاصطناعي حالياً في ذاكرته قصيرة المدى. إذا حذفت صورة، فستسقط في النهاية من هذه القائمة.
الذاكرة غير المباشرة (أثر التموج): حتى بعد سقوط الصورة من القائمة، فإن الطريقة التي تعلم بها الطالب من تلك الصورة قد تكون غيرت كيفية تفسيره للصور المستقبلية. "تموج" البيانات السيئة يستمر في التأثير على قرارات الطالب المستقبلية، حتى لو اختفت الصورة الأصلية.

التشبيه: تخيل أنك تقود سيارة.

الذاكرة المباشرة هي مسار نظام تحديد المواقع (GPS) المعروض حالياً على الشاشة. إذا حذفت وجهة ما، فستختفي من الشاشة.
الذاكرة غير المباشرة هي "ذاكرة العضلات" التي اكتسبتها أثناء قيادة ذلك المسار. حتى لو حذفت الوجهة، فقد تظل يداك تمسكان بعجلة القيادة بطريقة تتوقع الانعطاف يساراً عند التقاطع التالي، لأنك كنت تقود ذلك المسار بالأمس.

تظهر الورقة أن مجرد حذف وجهة الـ GPS (البيانات) ليس كافياً؛ بل يجب عليك أيضاً إعادة ضبط ذاكرة عضلاتك (حالة المُحسِّن).

التجارب: ماذا يحدث عندما تحاول "النسيان"؟

اختبر الباحثون عدة طرق لإصلاح الذكاء الاصطناعي بعد حذف البيانات:

إصلاح "المعلمات فقط": قاموا بتغيير الإجابات ولكن تركوا القواعد كما هي.
- النتيجة: بدا الطالب جيداً في البداية، لكن مع استمراره في التعلم، بدأ يرتكب أخطاء غريبة لأن إجاباته وقواعده لم تكن متوافقة. لقد كانوا "غير متوافقين".
إصلاح "الذاكرة فقط": قاموا بمسح القواعد ولكن تركوا الإجابات كما هي.
- النتيجة: امتلك الطلاب قواعد نظيفة، لكنهم ظلوا عالقين بإجابات خاطئة بالنسبة للموقف الجديد.
إصلاح "إعادة التشغيل" (الفائز): أخذوا الطالب إلى الوراء، ومسحوا البيانات السيئة من السجل، وجعلوه يعيد تعلم الخطوات الأخيرة من الصفر.
- النتيجة: كانت هذه هي الطريقة الوحيدة لجعل الطالب يتطابق تماماً مع كون "ماذا لو". كانت الإجابات والقواعد متزامنة بشكل مثالي.

الخلاصة الرئيسية

تخلص الورقة إلى أن النسيان الآلي (Machine Unlearning) ليس مجرد مسألة رياضية لتغيير الأرقام؛ بل هو مسألة هندسية لمواءمة الحالات.

إذا كنت تريد حقاً حذف بيانات من ذكاء اصطناعي يستخدم تقنيات ذاكرة متقدمة، فلا يمكنك مجرد تعديل المخرجات النهائية. يجب عليك ضمان إعادة ضبط "ذاكرة العضلات" الداخلية و"الاختصارات" أيضاً لتتطابق مع جدول زمني لم توجد فيه تلك البيانات من الأساس. إذا لم تفعل ذلك، فسيكون الذكاء الاصطناعي "ناسيًا" بالاسم فقط، لكنه لا يزال يحمل شبح البيانات المحذوفة في سلوكه المستقبلي.

باختصار: لا يمكنك مجرد مسح الملحوظة؛ بل يجب عليك مسح الدرس.

ملخص تقني: الشكل والوظيفة: نسيان الآلة كمسألة حالات غير متوافقة

تعريف المشكلة

تتناول الورقة فجوة حرجة في تقييم نسيان الآلة (Machine Unlearning): التركيز على أداء النموذج (الوظيفة) غالبًا ما يهمل الهندسة الداخلية وحالة النموذج (الشكل). يظهر هذا بوضوح في المحسنات ذات الحالة (Stateful Optimizers) مثل "L-BFGS" عبر الإنترنت (online L-BFGS)، والتي تحتفظ ليس فقط بمتجهات المعلمات ( $w_t$ )، بل أيضًا بذاكرة محدودة من أزواج الانحناء ( $Z_t$ ) المستخدمة لتقريب مقلوب مصفوفة هسيان (Hessian).

يجادل المؤلفون بأن طرق النسيان الحالية، التي غالبًا ما تعامل النسيان كمسألة تصحيح معلمات، هي طرق غير كافية. ففي المحسنات ذات الحالة، تؤثر البيانات المحذوفة على مسار أزواج الانحناء المستقبلية واتجاهات التحديث حتى بعد دوران أزواج الانحناء الصريحة التي تحتوي على تلك البيانات خارج نافذة الذاكرة. وبناءً على ذلك، فإن النموذج الذي يكون قد "نسي" البيانات في معلماته قد يظل يمتلك حالة مقترنة (المعلمات + الذاكرة) غير متسقة هندسيًا مع الحالة المضادة للواقع (Counterfactual State) التي كانت ستنشأ لو لم تتم معالجة تلك البيانات. وتتم إعادة صياغة المشكلة الجوهرية كمسألة توافق الحالة المضادة للواقع (Counterfactual State-Alignment): الهدف هو مواءمة حالة المحسن الفعلية مع الحالة الناتجة عن تدفق أحداث تم تعديله بالحذف.

المنهجية

الإطار النظري

تصيغ الورقة عملية النسيان لخوارزمية (o-L-BFGS) ضمن إطار تعلم متسلسل.

تدفقات الأحداث: يميز المؤلفون بين تدفق الأحداث الفعلي ( $H_t$ ) والتدفق المضاد للواقع المعدل بالحذف ( $H_t^{-D}$ )، والذي يستبعد عينات محددة.
تعريف الحالة: تُعرف حالة المتعلم بـ $\theta_t = (w_t, Z_t)$ ، حيث تحتوي $Z_t$ على أزواج الانحناء $\{(v_i, r_i)\}$ .
خطأ توافق الحالة: تم تقديم مقياس جديد $\Delta_t$ لقياس المسافة بين الحالة المنسية والحالة المثالية المضادة للواقع (Oracle State).
الحدود العودية (Recursive Bounds): تحت فرضيات التحدب القوي، والنعومة، والمنحدرات المحدودة، والتحديثات الانكماشية، يشتق المؤلفون حدًا عوديًا لانحراف الحالة. ويظهر أن الخطأ يتكون من مكونين:
1. الذاكرة المباشرة: أزواج الانحناء الصريحة التي تحتوي على بيانات محذوفة، والتي تتلاشى بعد $\tau$ من التحديثات (حجم نافذة الذاكرة).
2. الذاكرة غير المباشرة: التأثير المتبقي المستمر من خلال مسار المعلمات، والذي يولد أزواج انحناء واتجاهات تحديث جديدة. يتلاشى هذا التأثير هندسيًا ولكنه يستمر لما بعد نافذة الذاكرة المباشرة.

شهادات النسيان (Certificates for Unlearning)

تقترح الورقة طريقة لـ النسيان المعتمد على الحالة (State-Certified Unlearning). بخلاف الأعمال السابقة التي تعاير الضجيج بناءً على حساسية المعلمات فقط، تقوم هذه الطريقة بمعايرة حقن الضجيج بناءً على إجمالي حد انحراف الحالة ( $\alpha_t$ ). يأخذ هذا الحد في الاعتبار كل من الاضطراب الأولي والذاكرة غير المباشرة المتبقية، مما يضمن أن الحالة المنسية العشوائية لا يمكن تمييزها عن الحالة المثالية المضادة للواقع ضمن ضمان احتمالي محدد.

المعيار التجريبي

يقدم المؤلفون معيارًا يعتمد على الحالة يقيم تدخلات النسيان عبر أربعة مقاييس خطأ متميزة:

خطأ المعلمات: الانحراف في متجه الأوزان.
خطأ عامل الذاكرة: الانحراف في ذاكرة الانحناء/تقريب مقلوب هسيان.
خطأ الحالة المشترك: الانحراف المشترك لـ $(w_t, Z_t)$ .
خطأ اتجاه التحديث: التباعد في اتجاهات تحديث المنحدر المستقبلية.

التدخلات المختبرة تشمل:

إعادة التشغيل المثالية (Oracle Replay): إعادة التدريب على التدفق المضاد للواقع الدقيق (الحقيقة الأرضية).
إعادة تشغيل النافذة (Window Replay): إعادة تشغيل نافذة حديثة من الأحداث لإعادة بناء الحالة.
تصحيح المعلمات فقط: تعديل $w_t$ مع ترك $Z_t$ دون تغيير.
تصحيح الذاكرة فقط: إعادة ضبط أو إسقاط أزواج الانحناء الملوثة مع ترك $w_t$ دون تغيير.
إسقاط الأزواج الملوثة: إزالة أزواج انحناء محددة.
الإسقاط وإعادة الملء (Drop-and-Refill): التخلص من كل من المعلمات والذاكرة، ثم الاستمرار.

النتائج الرئيسية

1. محاذاة المعلمات تقلل من تقدير الاستمرارية

تُظهر التجارب على أسطح خسارة تربيعية و(Ridge-Logistic) أن تصحيح متجه المعلمات ( $w_t$ ) فقط يفشل في تحقيق نسيان حقيقي. فبينما قد تقلل تدخلات المعلمات فقط من خطأ المعلمات، إلا أنها تترك ذاكرة الانحناء ( $Z_t$ ) ملوثة. وهذا يخلق "حالة هجينة" حيث تفترض المعلمات أن البيانات قد حُذفت، لكن الذاكرة لا تزال تشفر اتجاهات التحديث بناءً على المسار الأصلي. يؤدي عدم التوافق هذا إلى أكبر خطأ في المسار المستقبلي بين الطرق غير المثالية (Non-oracle)، وغالبًا ما يتجاوز الخطأ الناتج عن عدم إجراء أي تصحيح على الإطلاق.

2. الذاكرة غير المباشرة وأفق الحذف

تؤكد الدراسة أن البيانات المحذوفة تستمر عبر الذاكرة غير المباشرة. فحتى بعد دوران أزقة الانحناء الملوثة خارج نافذة L-BFGS (تطهير الذاكرة المباشرة)، يولد مسار المعلمات المتغير أزواج انحناء جديدة تحمل "شبح" البيانات المحذوفة.

مقايضة حجم الذاكرة: نوافذ الذاكرة الأكبر ( $\tau$ ) تحتفظ بالتلوث المباشر لفترة أطول ولكنها تبطئ أيضًا معدل توافق الحالة. النوافذ الأصغر تقصر أفق الحذف ولكنها قد تضر بكفاءة التحسين.
ديناميكيات التلاشي: لا يتلاشى انحراف الحالة فور إخلاء الذاكرة؛ بل يتلاشى هندسيًا بمرور الوقت، اعتمادًا على انكمازية المحسن.

3. عدم كفاية التدخلات المحلية

تفشل التعديلات المحلية (تعديل المعلمات فقط أو الذاكرة فقط) في إعادة بناء الحالة المضادة للواقع.

إعادة ضبط الذاكرة فقط: بينما تزيل التلوث المباشر، إلا أنها تفشل في إعادة بناء مسار المعلمات الذي كان سيولد طبيعيًا الذاكرة المضادة للواقع، مما يؤدي إلى أخطاء كبيرة في اتجاه التحديث.
الإسقاط وإعادة الملء: قد يكون الإسقاط العنيف للبيانات ضارًا، حيث يبعد المحسن عن المسار المضاد للواقع أكثر مما لو لم يتم فعل شيء، لأنه يدمر المعلومات المفيدة المشتركة بين التاريخ الفعلي والمضاد للواقع.

4. نجاح إعادة التشغيل الاستراتيجية

إعادة تشغيل النافذة (Window Replay) هي الطريقة الوحيدة غير المثالية التي أظهرت قدرة على الاقتراب من الاسترداد الدقيق. فمن خلال إعادة بناء حالة (المعلمات-الذاكرة) المشتركة من نافذة بيانات متسقة مع طلب الحذف، فإنها توائم كلاً من الشكل والوظيفة. وتكون فعاليتها في أعلى مستوياتها عندما تقع البيانات المحذوفة ضمن نافذة إعادة التشغيل. ومع انتقال البيانات من الذاكرة المباشرة إلى الذاكرة غير المباشرة، تقل كفاءة إعادة التشغيل، لكنها تظل متفوقة على التصحيحات الجزئية.

الأهمية والادعاءات

تزعم الورقة أن نسيان الآلة للمحسنات ذات الحالة هو في الأساس مسألة إعادة بناء حالة، وليس مجرد مسألة تصحيح معلمات.

تحول وجودي (Ontological Shift): يجادل المؤلفون بأن النسيان يجب أن يُقيم بناءً على ما إذا كان النظام يمكنه اتخاذ "الشكل والوظيفة" للمثال المضاد للواقع. فالنموذج الذي يؤدي وظيفة جيدة ولكنه يمتلك حالة داخلية غير متوافقة ليس منسيًا حقًا.
معيار تقييم جديد: تقدم الورقة مقاييس تعتمد على الحالة تكشف عن عدم كفاية طرق التقييم الحالية التي تركز على المعلمات، والتي غالبًا ما تغفل المعلومات المتبقية المخزنة في الذاكرة الهندسية للمحسن.
المساهمة النظرية: توفر الورقة أول حدود عودية لانحراف الحالة المضادة للواقع لـ (online L-BFGS)، مع تمييز آثار الذاكرة المباشرة وغير المباشرة، وتقدم إطارًا للنسيان المعتمد على الحالة الذي يأخذ في الاعتبار حالة المحسن الكاملة.
الآثار العملية: تشير النتائج إلى أن النسيان الموثوق في البيئات عبر الإنترنت والمقيدة بالذاكرة يتطلب إما إعادة بناء كاملة للحالة (عبر إعادة التشغيل) أو فهمًا أكثر تطورًا لكيفية انتشار تأثير الحذف في ذاكرة الانحناء، بدلاً من مجرد اضطراب المعلمات.

يحافظ المؤلفون على التواضع فيما يتعلق بنطاق عملهم، مشيرين إلى أن حدودهم النظرية تعتمد على فرضيات التحدب وأن تجاربهم تستخدم تدفقات اصطناعية، مما يترك تطبيقها على النماذج غير المحدبة واسعة النطاق والمستخدمة فعليًا كعمل مستقبلي.