💬 NLP

Wisdom is Knowing What not to Say: Hallucination-Free LLMs Unlearning via Attention Shifting

تقدم هذه الورقة إطار عمل "تحويل الانتباه" (AS)، وهو نهج مبتكر لإلغاء التعلم الآلي يوازن بين الحفاظ على المنفعة ومنع الهلوسة من خلال توظيف كبت الحفاظ على السياق وتشكيل الاستجابة المقاومة للهلوسة لإزالة المعرفة الحساسة انتقائياً من النماذج اللغوية الكبيرة دون المساس بأدائها العام.

المؤلفون الأصليون: Chenchen Tan, Youyang Qu, Xinghao Li, Hui Zhang, Shujie Cui, Cunjian Chen, Longxiang Gao

نُشر 2026-04-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Chenchen Tan, Youyang Qu, Xinghao Li, Hui Zhang, Shujie Cui, Cunjian Chen, Longxiang Gao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة عبقرياً وموسوعياً يُدعى LLM (نموذج لغوي كبير). لقد قرأ هذا الأمين كل كتاب تقريباً في العالم، ويمكنه الإجابة على أي سؤال فوراً. ومع ذلك، هناك مشكلة: لقد حفظ أمين المكتبة بعض المعلومات السرية والخاصة عن أشخاص محددين (مثل عنوان منزلهم أو تفاصيل عائلية) وهو غير مسموح له بمشاركتها.

أنت بحاجة إلى جعل أمين المكتبة ينسى هذه المعلومات الخاصة فوراً (ربما لأن الشخص طلب أن يتم "نسيانه" بموجب القانون)، ولكنك تحتاج أيضاً إلى جعله يحتفظ بقدرته على كتابة القصص، وحل المسائل الرياضية، والتحدث عن التاريخ.

المعضلة: "القوة الغاشمة" مقابل "الخداع"

الطرق الحالية لجعل أمين المكتبة ينسى تشبه نهجين خرقاء:

القوة الغاشمة (النسيان العدواني): تخيل أنك تأخذ مطرقة ثقيلة وتضرب ذاكرة أمين المكتبة. تصرخ فيه: "انسَ ذلك الاسم!" بصوت عالٍ جداً لدرجة أن دماغ أمين المكتبة يتشوش. الآن، لن يتذكر الاسم السرّي، ولكنه أيضاً لن يتذكر كيف يتحدث بشكل صحيح، أو يحل الرياضيات، أو يروي قصة. سيصبح مرتبكاً وغير مفيد.
الخداع (النسيان التحفظي): تخيل أنك تقول لأمين المكتبة: "إذا سُئلت عن ذلك السر، فقط اخترع إجابة مزيفة". سيقول أمين المكتبة: "أوه، أنا لا أعرف"، أو "لقد كان ذلك الشخص خبازاً في الواقع، وليس طبيباً". المشكلة هي أن أمين المكتبة الآن يهلوس. إنه يكذب بثقة. وفي المستشفى أو المحكمة، الكذبة الواثقة تكون خطيرة.

الحل: "تحويل الانتباه" (أمين المكتبة الذكي)

تقدم الورقة البحثية طريقة جديدة تسمى تحويل الانتباه (Attention Shifting - AS). بدلاً من تحطيم الذاكرة أو إخبار أمين المكتبة بالكذب، تعلم هذه الطريقة أمين المكتبة كيف يتوقف عن الانتباه للكلمات المحددة التي تثير السر.

إليك كيف يعمل ذلك، باستخدام تشبيه بسيط:

تشبيه "بقعة الضوء"

تخيل أن دماغ أمين المكتبة عبارة عن غرفة مظلمة، وانتباهه هو بقعة ضوء (Spotlight).

عندما يُسأل سؤالاً، تسلط بقعة الضوء على الكلمات الأكثر أهمية (الرموز/tokens) لتكوين إجابة.
إذا كان السؤال: "ما هي وظيفة والد تشوكو؟"، فإن بقعة الضوء عادة ما تسطع بقوة على "تشوكو"، و**"والد"، و"مصفف شعر"** (الحقيقة السرية).

الطريقة القديمة: حاول مسح كلمة "مصفف شعر" من المكتبة. هذا يدمر الكتاب بأكمله.
طريقة تحويل الانتباه: أنت لا تمسح الكتاب. بدلاً من ذلك، تقوم بتحريك بقعة الضوء بلطف.

عندما يرى أمين المكتبة السؤال، تدربه على تعتيم الضوء على الكلمة السرية ("مصفف شعر").
بدلاً من ذلك، تسلط الضوء على الكلمات المحايدة مثل "هو"، "أداة"، أو "الـ".
ولأن بقعة الضوء ليست على السر، لا يستطيع أمين المكتبة "رؤية" الإجابة لتوليدها. ببساطة سيقول: "لا أعرف"، أو يعطي إجابة غامضة.

كيف يعمل ذلك في الممارسة العملية

قام الباحثون ببناء "مهايئ" (Adapter) صغير وخفيف الوزن (مثل نظارات ذكية) يرتديها أمين المكتبة. تقوم هذه النظارات بشيئين في آن واحد:

نظارات النسيان (الكبح): عندما يقرأ أمين المكتبة البيانات السرية التي يجب عليه نسيانها، تخبر النظارات بقعة الضوء: "لا تنظر إلى الحقائق المحددة! انظر إلى كلمات القواعد المملة بدلاً من ذلك". هذا يكسر الارتباط بالسر دون كسر قدرة أمين المكتبة على التحدث.
نظارات التذكر (الاحتفاظ): عندما يقرأ أمين المكتبة معلومات أخرى مهمة (مثل التاريخ أو العلوم)، تقول له النظارات: "هيا، استمر في تسليط الضوء على هذه الكلمات المهمة!". هذا يضمن بقاء أمين المكتبة ذكياً ومفيداً لكل شيء آخر.

لماذا يعد هذا أمراً هاماً

اختبر الباحثون هذه الطريقة على تحديين رئيسيين:

ToFU: اختبار حيث كان على أمين المكتبة نسيان أسماء مؤلفين وهميين.
TDEC: اختبار حيث كان على أمين المكتبة نسيان بيانات مخبأة في كتب تدريب ضخمة.

النتائج:

لا مزيد من الأكاذيب: على عكس الطرق الأخرى التي تجعل أمين المكتبة يخمن الإجابة الخاطئة بثقة (الهلوسة)، تجعل هذه الطريقة أمين المكتبة يعترف بأنه لا يعرف.
لا يزال ذكياً: لم يفقد أمين المكتبة قدرته على الكتابة أو الاستنتاج. لقد ظل أكثر دقة بنسبة 15% في الأسئلة العامة مقارنة بالطرق الأخرى.
الخصوصية محمية: تم إزالة المعلومات السرية بفعالية من "توقعات أمين المكتبة الواثقة". حتى لو خدعت أمين المكتبة بأسئلة مصاغة بطريقة غريبة، فإنه لا يزال غير قادر على كشف السر.

الخلاصة

فكر في تحويل الانتباه كتعليم طفل تجاهل لعبة معينة غير مسموح له باللعب بها، بدلاً من رمي اللعبة أو إجبار الطفل على التظاهر بأنها لعبة أخرى.

الطفل (الذكاء الاصطالي) يتعلم كيف ينظر بعيداً عن اللعبة المحظورة (البيانات السرية) ويركز على الألعاب الأخرى (المعرفة العامة). يصبح أكثر أماناً، وأكثر موثوقية، ولا يزال ممتعاً للعب معه، وكل ذلك دون الحاجة إلى إعادة بناء دماغه بالكامل.

باخت-القول: الأمر لا يتعلق بـ مسح الذاكرة؛ بل يتعلق بـ إعادة توجيه التركيز.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "الحكمة تكمن في معرفة ما لا يجب قوله: نماذج اللغات الكبيرة الخالية من الهلوسة عبر إزاحة الانتباه".

1. بيان المشكلة

تشكل نماذج اللغات الكبيرة (LLMs) مخاطر كبيرة على الخصوصية بسبب ميلها لحفظ واستعادة البيانات الحساسة من بيانات التدريب. وبينما برزت "إزالة التعلم الآلي" (Machine Unlearning) كحل لإزالة بيانات محددة (مثل الحق في النسيان بموجب اللائحة العامة لحماية البيانات GDPR)، تواجه الأساليب الحالية معضلة مقايضة حرجة:

إزالة التعلم الهجومية (مثل صعود التدرج - Gradient Ascent): تمحو المعرفة المستهدفة بفعالية ولكنها غالبًا ما تسبب نسيانًا كارثيًا (catastrophic forgetting)، مما يؤدي إلى تدهور أداء النموذج في المعارف المجاورة والعامة.
إزالة التعلم المحافظة (مثل التلاعب باللوجيت - Logits Manipulation): تحافظ على الفائدة العامة ولكنها غالبًا ما تؤدي إلى الهلوسة (hallucinations). قد يرفض النموذج الإجابة على الاستعلام المستهدف، لكنه بدلاً من ذلك يولد محتوى غير صحيح واقعيًا ولكنه منطقي دلاليًا (على سبيل المثال، الإجابة بأن "والد تشوكو هو راقص" بدلاً من "لا أعرف" عندما تكون الحقيقة هي "حلاق").

تجادل الورقة بأن الأساليب الحالية تفشل في تحقيق التوازن حيث ينسى النموذج حقائق محددة دون الهلوسة أو فقدان القدرات العامة.

2. المنهجية: إزاحة الانتباه (Attention-Shifting - AS)

يقترح المؤلفون "إزاحة الانتباه" (AS)، وهو إطار عمل جديد لإزالة التعلم يعمل على مستوى آلية الانتباه بدلاً من التلاعب باللوجيت أو استبدال المخرجات. الفلسفة الجوري هي إزاحة تركيز النموذج بعيدًا عن الرموز (tokens) الحاملة للحقائق في مجموعة إزالة التعلم، مع تعزيز التركيز على الرموز الأساسية دلاليًا في المجموعة المستبقاة.

المكونات الرئيسية:

تقدير أهمية الرموز:
- تحدد الطريقة "الرموز الحاملة للحقائق" (مثل الأسماء العلم، أو الحقائق المحددة) باستخدام مقياس أهمية يعتمد على تغيرات الإنتروبيا التنبؤية عند حجب الرمز.
- الرموز عالية الأهمية في مجموعة إزالة التعلم ( $D_t$ ) مستهدفة للتثبيط.
- الرموز عالية الأهمية في المجموعة المستبقاة ( $D'_r$ ) مستهدفة للتعزيز.
هدف الخسارة المزدوج (Dual-Loss Objective):
يعمل إطار العمل على تحسين دالة خسارة مركبة ( $L_{AS}$ ) باستخدام محولات (adapters) خفيفة الوزن يتم إدراجها في وحدات الانتباه في المحول (transformer):
- خسارة تثبيط الانتباه ( $L_{ASP}$ ): تُطبق على $D_t$ . وهي تقلل من تباعد كولباك - ليبلر (KL divergence) بين انتباه النموذج الحالي وانتباه مستهدف مثبط. هذا يجبر النموذج على تقليل وزن الانتباه إلى رموز حقائق محددة، مما يمنع فعليًا تدفق المعرفة المحفوظة أثناء التوليد.
- خسارة تعزيز الانتباه ( $L_{AKL}$ ): تُطبق على $D'_r$ . وهي تقلل من تباعد كولباك بين انتباه النموذج وانتباه مستهدف معزز يخصص أوزانًا أعلى للرموز الأساسية دلاليًا. هذا يعمل على استقرار سلوك النموذج تجاه المعرفة غير المستهدفة، مما يمنع تدهور الفائدة.
- الصيغة: $L_{AS} = \alpha L_{ASP} + (1 - \alpha) L_{AKL}$ ، حيث يوازن $\alpha$ بين قوة إزالة التعلم والاستبقاء.
التنفيذ:
- دمج المحولات (Adapter Integration): بدلاً من إعادة تدريب النموذج بالكامل، يستخدم AS محولات خفيفة الوزن (~12 مليون معلمة) يتم إدراجها بعد إسقاطات الاستعلام ( $Q$ ) والمفتاح ( $K$ ) (أو القيمة $V$ ) لتعديل أوزان الانتباه.
- الآلية: يتعلم النموذج "النسيان" عن طريق الحذف/الإغفال (إزاحة الانتباه إلى رموز محايدة مثل الكلمات الوظيفية) بدلاً من الاستبدال (توليد حقائق خاطئة). هذا التغيير الهيكلي يمنع النموذج من الوصول إلى المحتوى المراد إزالته، مما يقلل من الهلوسة.

3. المساهمات الرئيسية

إطار عمل مبتكر: تقديم "إزاحة الانتباه"، وهي أول طريقة تفصل صراحةً بين فعالية إزالة التعلم وتوليد الهلوسة من خلال التلاعب بتوزيعات الانتباه الداخلية بدلاً من لوجيت المخرجات.
تحسين الهدف المزدوج: دالة خسارة موحدة تعمل في آن واحد على تثبيط المعرفة المستهدفة وتعزيز المعرفة العامة، مما يخلق "حدًا ناعمًا" يحصر عملية إزالة التعلم.
المتانة تجاه التشابك: تظل الطريقة فعالة حتى في ظل تراكب التمثيلات (representation superposition) (حيث تشفر الخلايا العصبية مفاهيم متعددة)، محققة إزالة تعلم سلوكية دون الحاجة إلى فك تشابك صريح.
تخفيف الهلوسة: من خلال الحظر الهيكلي للوصول إلى الحقائق المراد إزالتها، يُجبر النموذج على إنتاج ردود رفض (مثل "لا أحد يعرف") بدلاً من إكمال جمل واثقة ولكن خاطئة.

4. النتائج التجريبية

قيم المؤلفون طريقة AS على معيارين: ToFU (سؤال وجواب حول مؤلف خيالي) و TDEC (تحدي استخراج بيانات التدريب)، باستخدام نماذج مثل LLaMA-2 و GPT-Neo.

فعالية إزالة التعلم:
- حققت AS معدل تسريب معرفة يقترب من الصفر.
- في معيار ToFU، حققت AS معدل استبعاد من الفئة العليا (TR) قدره 0.97، متفوقة بشكل كبير على الأساليب المحافظة مثل IHL (0.62) و ULD (0.47)، ومساوية للأساليب الهجومية مثل GA.
- حققت 0% معدل إعادة إنتاج و 0% معدل هلوسة، بينما أنتجت الأساليب الأخرى غالبًا إجابات معاد صياغتها أو غير صحيحة واقعيًا.
الحفاظ على الفائدة (Utility Preservation):
- أظهرت AS قدرة فائقة على الحفاظ على المعرفة المجاورة والعامة.
- في معيار ToFU، حسنت AS دقة المعرفة المجاورة (NEK) بنسبة ~6% والمعرفة العامة (GEK) بنسبة ~3% مقارنة بالنموذج الأصلي، متفوقة على جميع النماذج المرجعية.
- في معيار TDEC، حافظت AS على دقة عالية عبر أحجام نماذج مختلفة (من 125 مليون إلى 2.7 مليار معلمة) مع تلبية عتبات إزالة التعلم الصارمة، بينما عانت النماذج المرجعية من تدهور كبير في الفائدة.
المتانة:
- ظلت AS فعالة ضد متغيرات المطالبات العدائية (المطالبات المعاد صياغتها، أو المشوهة، أو المليئة بالضجيج)، حيث حافظت على معدل استبعاد للفئة العليا 50 أكبر من 92%.
- أكدت دراسات الاستئصال (Ablation studies) أن الهدف المزدوج (وتحديدًا مكون الاستبقاء $L_{AKL}$ ) أمر بالغ الأهمية لمنع النسيان الكارثي.

5. الأهمية والعمل المستقبلي

الأثر العملي: تقدم AS حلاً قابلاً للتوسع ويحافظ على الخصوصية لنشر نماذج اللغات الكبيرة في المجالات عالية المخاطر (الرعاية الصحية، القانون) حيث تكون خصوصية البيانات والموثوقية الواقعية أمورًا غير قابلة للتفاوض. إنها تحل "فخ الهلوسة" الذي تقع فيه تقنيات إزالة التعلم الحالية.
القيود: تركز الطريقة على إزالة التعلم السلوكي (منع النموذج من قول الحقيقة) بدلاً من المحو التمثيلي (إزالة الحقيقة من الأوزان تمامًا). قد تظل هناك آثار كامنة يمكن استخراجها عبر عمليات فحص (probing) متطورة.
الاتجاهات المستقبلية: يخطط المؤلفون لاستكشاف طرق هجينة تجمع بين إزاحة الانتباه وتعديل مستوى التمثيل، وتوسيع النهج ليشمل البيئات متعددة اللغات، وتطوير استراتيجيات لإزالة التعلم المستدام عبر طلبات متعددة.

في الختام، تمثل إزاحة الانتباه تحولًا نوعيًا في إزالة التعلم الآلي، حيث تنتقل من المحو العنيف أو حجب المخرجات السطحي إلى إعادة تخصيص دقيقة قائمة على الانتباه، تضمن قدرة النماذج على "معرفة ما لا يجب قوله" دون فقدان قدرتها على التحدث بصدق حول المواضيع الأخرى.