Understanding New-Knowledge-Induced Factual Hallucinations in LLMs: Analysis and Interpretation
تتقصى هذه الورقة كيف يؤدي الضبط الدقيق للنماذج اللغوية الكبيرة على معارف جديدة إلى إحداث هلوسات واقعية من خلال إثبات أن درجة عدم الألفة ضمن أنواع معرفية محددة تقود هذه الأخطاء عبر إضعاف الانتباه للكيانات الرئيسية، وهي آلية يمكن التخفيف من حدتها عن طريق إعادة إدخال المعرفة المعروفة لاستعادة أنماط الانتباه.
تخيل نموذج لغة كبير (LLM) مثل طالب عبقري ومطلع، قضى سنوات في دراسة مكتبة ضخمة من الكتب (مرحلة ما قبل التدريب). هذا الطالب يعرف الكثير عن التاريخ، والعلوم، والثقافة الشعبية. ولكن، مثل أي طالب، تم توظيفه للقيام بوظيفة صيفية: الضبط الدقيق الخاضع للإشراف (SFT). هنا يتعلم الطالب مهامًا أو حقائق جديدة محددة لمساعدته على الإجابة على الأسئلة بشكل أفضل.
تبحث هذه الورقة البحثية فيما يحدث عندما نحاول تعليم هذا الطالب حقائق جديدة تمامًا لم يسبق له رؤيتها من قبل. اكتشف الباحثون أنه بينما يتعلم الطالب الحقائق الجديدة، فإنه يبدأ في نسيان أو إفساد الحقائق القديمة التي كان يعرفها بالفعل. وهذا ما يسمى بـ "الهلوسة الواقعية" (Factual Hallucination) — حيث يدعي النموذج معرفة أشياء من اختراعه بكل ثقة.
إليك تفصيل لنتائجهم باستخدام تشبيهات بسيطة:
1. تجربة "السيرة الذاتية"
لدراسة هذا الأمر، أنشأ الباحثون عالمًا وهميًا يسمى Biography-Reasoning (الاستنتاج من السيرة الذاتية).
الاختبار: علموا الذكاء الاصطناعي بعض هؤلاء الأشخاص الوهميين (المعرفة المعروفة) وأبقوا آخرين سريين (المعرفة الجديدة/غير المعروفة).
الهدف: معرفة ما يحدث عندما يتعلم الذكاء الاصطناعي عن الأشخاص "غير المعروفين". هل يصبح أفضل في الإجابة على الأسئلة حولهم؟ نعم. ولكن هل يفسد قدرته على الإجابة على الأسئلة حول الأشخاص "المعروفين"؟ نعم.
2. تأثير "العدوى"
كانت المفاجأة الكبرى هي كيفية انتشار "المرض".
النتيجة: إذا علمت الذكاء الاصطناعي فئة جديدة كاملة من الأشخاص الوهميين (على سبيل المثال: "كل الأطباء الوهميين هم جدد")، فإن الذكاء الاصطناعي لن يرتبك بشأن الأطباء فحسب. بل سيبدأ في الارتباك بشأن كل شيء، حتى الأشخاص الوهميين الذين كان يعرفهم بدقة.
التشبيه: تخيل طباخًا يتعلم وصفة جديدة غريبة جدًا للحساء. فجأة، يبدأ في إفساد كعكة الشوكولاتة الشهيرة والمثالية التي يصنعها. الوصفة الجديدة "لوثت" ذاكرته عن الوصفة القديمة.
قاعدة "الكل أو لا شيء": وجد الباحثون أنه إذا كانت الفئة جديدة بنسبة 100% (حتى لو كانت كمية ضئيلة من البيانات)، فإن الذكاء الاصطناعي يصاب بارتباك شديد. ولكن إذا كانت نفس الفئة قديمة بنسبة 90% وجديدة بنسبة 10%، فإن الذكاء الاصطناعي يظل مستقرًا. إن عدم معرفة المجموعة بأكملها هو ما يثير حالة الهلع، وليس مج-رد كمية البيانات الجديدة.
3. مشكلة "مدى الانتباه" (لماذا يحدث هذا؟)
لماذا يحدث هذا؟ نظر الباحثون داخل "عقل" الذكاء الاصطناعي (آلية الانتباه الخاصة به).
الآلية: عندما يجيب الذكاء الاصطناعي على سؤال، يجب عليه التركيز على الأسماء الرئيسية (مثل "داريوس شياو").
الانهيار: عندما يتعلم الذكاء الاصطناعي حقائق جديدة وغير مألوفة، يتشتت عقله. يتوقف عن التركيز على الأسماء المحددة ويبدأ في الاعتماد المفرط على السياق المحيط (الانطباع العام للجملة).
التشبيه: تخيل أنك تحاول العثور على صديق محدد في غرفة مزدحمة.
الوضع الطبيعي: تنظر مباشرة إلى وجه صديقك (الكيان الرئيسي).
وضع الهلوسة: بسبب وجود وجوه جديدة ومربكة في الغرفة، تتوقف عن النظر إلى وجه صديقك. بدلاً من ذلك، تخمن: "أوه، يبدو أن هذا الشخص قد يكون صديقي لأنه يرتدي قميصًا أزرق مثلما يرتدي صديقي عادةً". أنت تخمن خطأ لأنك توقفت عن النظر إلى الشخص الفعلي.
4. الفخ "اللفظي"
وجدت الورقة أيضًا أن هذه الأخطاء تنتقل إلى مهام أخرى إذا كانت الكلمات متشابهة، حتى لو كان المعنى مختلفًا.
النتيجة: إذا تعلم الذكاء الاصطناعي حقيقة جديدة عن "طب الأسنان"، فقد يبدأ في الهلوسة بشأن "الطب" في سؤال مختلف تمامًا، ببساطة لأن الكلمات في الجملة بدت مشابهة لبيانات التدريب.
التشبيه: يشبه الأمر طالبًا يحفظ كلمة "Bank" (بمعنى ضفة نهر) ثم يرتبك عندما يُسأل عن "Bank" (بمعنى مصرف أو بنك)، لأن الكلمة هي نفسها، رغم أن المعنى مختلف تمامًا. يظل الذكاء الاصطناعي عالقًا في الكلمات السطحية بدلاً من المعنى العميق.
5. العلاج: "KnownPatch"
لم يكتفِ الباحثون بإيجاد المشكلة فحسب، بل وجدوا حلاً بسيطًا يسمى KnownPatch.
الحل: بعد تدريب الذكاء الاصطناعي على كل الحقائق الجديدة والمربكة، يقوم الباحثون بحقن كمية صغيرة من الحقائق القديمة والمألوفة مرة أخرى في نهاية عملية التدريب.
النتيجة: يعمل هذا بمثابة "زر إعادة ضبط". إنه يذكر الذكاء الاصطناعي بالتركيز على الأسماء المحددة مرة أخرى.
التشبيه: يشبه الأمر معلمًا يدرك أن طالبه بدأ يرتبك بسبب مسائل رياضية جديدة. بدلًا من إعطاء المزيد من المسائل الجديدة، يعطي الطالب خمس مسائل سهلة ومألوفة في نهاية الحصة. هذا يهدئ الطالب، ويعيد إليه ثقته، ويساعده على تذكر كيفية التركيز بشكل صحيح.
الملخص
المشكلة: تعليم الذكاء الاصطناعي حقائق جديدة تمامًا يمكن أن يجعله ينسى الحقائق القديمة ويبدأ في الكذب (الهلوسة).
السبب: تعلم أشياء جديدة يجعل الذكاء الاصطناعي يتوقف عن التركيز على الـ "مَن" والـ "ماذا" المحدد في السؤال، مما يجعله يخمن بناءً على السياق.
الحل: في نهاية التدريب، قم بتغذية الذكاء الاصطنا-ب بجرعة صغيرة من الحقائق المألوفة. هذا "يرقع" (Patches) الدماغ، مما يستعيد قدرته على التركيز على التفاصيل الصحيحة ويوقف الهلوسة.
هذا البحث بالغ الأهمية لأنه يوضح أننا لسنا بحاجة إلى تصفية كل البيانات الجديدة للحفاظ على صدق الذكاء الاصطناعي. نحن فقط بحاجة إلى التأكد من عدم تركه يضيع تمامًا في الأشياء الجديدة دون تذكيره بما يعرفه بالفعل.
إليك ملخص تقني مفصل للورقة البحثية بعنوان: "فهم الهلوسة الحقائقية الناتجة عن المعرفة الجديدة في النماذج اللغوية الكبيرة (LLMs): التحليل والتفسير."
1. بيان المشكلة
تكتسب النماذج اللغوية الكبيرة (LLMs) المعرفة الحقائقية أثناء مرحلة ما قبل التدريب، ولكنها غالبًا ما تتطلب ضبطًا دقيقًا تحت إشراف (SFT) لتعلم معرفة جديدة ومحددة للمهام اللاحقة. ومع ذلك، تشير الأبحاث السابقة إلى أن إدخال معرفة جديدة أثناء الضبط الدقيق يمكن أن يؤدي إلى هلوسة حقائقية، مما يتسبب في توليد الموديل لمخرجات غير صحيحة حتى فيما يتعلق بالمعلومات التي كان يعرفها مسبقًا.
بينما ظاهرة وجود هذه المشكلة مثبتة، تحدد الورقة فجوات حرجة في الفهم:
التدرج (Granularity): كيف تظهر الهلوسات عبر أنواع مختلفة من المعرفة (مثل سنة الميلاد مقابل التخصص) وأنواع المهام (مثل الأسئلة المباشرة مقابل الاستنتاج المعقد)؟
الآلية (Mechanism): ما هي الآليات العصبية الكامنة (مثل تحولات الانتباه) التي تقود هذه الهلوسات؟
الانتشار (Propagation): كيف تنتشر الهلوسات من المعرفة الجديدة إلى مهام غير ذات صلة أو سياقات متشابهة لفظيًا؟
التخفيف (Mitigation): هل يمكن لتدخلات تدريبية محددة استعادة استقرار النموذج دون التخلي عن المعرفة الجديدة؟
2. المنهجية
أ. بناء مجموعة البيانات: السيرة الذاتية والاستنتاج (Biography-Reasoning)
للتغلب على صعوبة التحكم في المعرفة "المعروفة" مقابل "المجهولة" في مجموعات البيانات الواقعية، أنشأ المؤلفون مجموعة بيانات اصطناعية محكومة تسمى Biography-Reasoning.
الهيكل: تركز مجموعة البيانات على شخصيات اصطناعية لها أربعة سمات (أنواع المعرفة): سنة الميلاد، سنة الوفاة، التخصص، والجامعة.
المهام: تتضمن فئتين رئيسيتين من المهام:
الأسئلة والأجوبة المعرفية (Knowledge QA): أسئلة مباشرة حول السمات (مثل "ما هو تخصص X؟").
الاستنتاج المعرفي (Knowledge Reasoning): ثلاثة أنواع معقدة من الاستنتاج تتطلب سلسلة من الأفكال (CoT):
الاستنتاج المقارن (Comparative Reasoning): مقارنة السمات بين كيانين.
الاستنتاج المستحدث (Novel Reasoning): تطبيق تعريفات جديدة (مثل العمليات الحسابية على البيانات المستخرجة).
التحكم: تسمح مجموعة البيانات بالتحكم الدقيق في نسبة المعرفة المعروفة (التي رأت خلال مرحلة ما قبل التدريب/التعلم المستمر) مقابل المعرفة المجهولة (المقدمة حديثًا) ضمن أنواع ومهام محددة.
ب. الإعداد التجريبي
النماذج: استخدمت التجارب الأساسية نموذج Qwen2.5-1.5B، مع التحقق من الصحة باستخدام Llama3.2-1B، وQwen3-8B، وQwen2.5-32B.
بروتوكول التدريب:
التعلم المستمر المسبق (CPT): يتم تعريض النماذج لمجموعة فرعية من البيانات "المعروفة" لتحديد خط الأساس.
الضبط الدقيق تحت الإشراف (SFT): يتم ضبط النماذج على مجموعات بيانات مختلطة حيث يتم استبدال أنواع معرفة محددة ببيانات "مجهولة".
التقييم: يتم قيال الأداء على مجموعات اختبار (Same-Type، Different-Type، وOut-of-Distribution Wiki) باستخدام المطابقة التامة (Exact Match).
ج. تحليل القابلية للتفسير
حلل المؤلفون آليات الانتباه لفهم سبب حدوث الهلوسة. وقاسوا تحديدًا درجات الانتباه على الكيانات الرئيسية (أسماء الأشخاص) في السؤال المدخل أثناء توليد الإجابة.
د. التدخل المقترح: KnownPatch
بناءً على نتائجهم، يقترح المؤلفون KnownPatch، وهي استراتيجية تدريب يتم فيها حقن كمية صغيرة من المعرفة المعروفة خلال المراحل المتأخرة من التدريب (بعد أن يتعلم النموذج المعرفة الجديدة) لاستعادة أنماط الانتباه.
3. النتائج الرئيسية
أ. تجلي الهلوسات
الشدة: تعلم المعرفة الجديدة يؤدي بشكل كبير إلى تدهور الأداء في المهام التي تتضمن نوع المعرفة المحدد ذاه (Same-Type QA).
الانتشار: الهلوسات ليست معزولة؛ فهي تنتشر إلى:
أنواع معرفة مختلفة: ينخفض الأداء في السمات غير المرتبطة (على سبيل المثال، تعلم "تخصصات" جديدة يضر بأسئلة "سنة الميلاد").
المهام خارج التوزيع (OOD): يتدهور الأداء في مجموعات بيانات Wiki الواقعية، مما يشير إلى فقدان عام للترسيخ الحقائقي.
تأثير "الكل مجهول" (All-Unknown Effect): النتيجة الأكثر أهمية هي أن الألفة داخل نوع المعرفة أكثر أهمية من النسبة الإجمالية للبيانات الجديدة. إذا كان نوع معرفة معين (مثل "التخصص") يتكون بالكامل من بيانات جديدة، فإن حتى كمية صغيرة من هذه البيانات ستؤدي إلى هلوسات شديدة. وعلى العكس من ذلك، إذا كان النوع مزيجًا من المعروف والمجهول، فإن خطر الهلوسة يكون أقل.
ب. الآلية: تحول الانتباه (Attention Shift)
تلاشي الانتباه: تعلم المعرفة الجديدة يجعل النموذج يضعف انتباهه للكيانات الرئيسية (مثل اسم الشخص) في السؤال المدخل.
الاعتماد المفرط على السياق: مع انخفاض الانتباه للكيان، يعتمد النموذج بشكل مفرط على رموز السياق المحيطة، مما يؤدي إلى توليد حقائق تبدو معقولة ولكنها مختلقة.
الارتباط: هناك ارتباط سلبي قوي بين انخفاض درجات انتباه الكيان وزيادة معدلات الهلوسة.
ج. الانتشار عبر التشابه اللفظي
توضح الورقة أن الهلوسات تنتشر عبر المهام بشكل أساسي من خلال التشابه اللفظي (تداخل الرموز/Tokens)، وليس التشابه الدلالي.
المهام التي تشترك سياقات مدخلاتها في العديد من الرموز مع بيانات التدريب "المجهولة" تكون أكثر عرضة للهلوسة، حتى لو كان المعنى الدلالي للمهمة مختلفًا.
د. فعالية KnownPatch
الاستعادة: حقن كمية صغيرة من المعرفة المعروفة (5%–20%) في نهاية التدريب يعمل بفعالية على استعادة الانتباه للكيانات الرئيسية.
استعادة الأداء: هذا التدخل يخفف بشكل كبير من الهلوسة، مما يعيد الأداء في مجموعات الاختبار (داخل النطاق وخارج التوزيع) إلى مستويات قريبة من خط الأساس.
التعميم: تعمل الطريقة حتى لو لم تغطِ المعرفة المعروفة المحقونة أنواع المعرفة المجهولة المحددة، مما يشير إلى أنها تعمل كمنظم لآلية الانتباه في النموذج بدلاً من كونها مجرد إعادة تشغيل للمعرفة.
4. المساهمات الرئيسية
التحليل الدقيق: أول دراسة تفكك آثار الهلوسة حسب نوع المعرفة وتعقيد المهمة، وتكشف أن الأنواع "المجهولة كليًا" هي المحفز الرئيسي للهلوسات الشديدة.
تفسير الآلية: تحدد تحول الانتباه بعيدًا عن الكيانات الرئيسية كسبب جذري للهلوسات الناتجة عن المعرفة الجديدة.
محرك الانتشار: تثبت أن التشابه اللفظي هو الناقل الأساسي لانتشار الهلوسة عبر المهام، مما يتحدى الافتراض بأن الارتباط الدلالي هو المحرك الرئيسي.
الحل العملي (KnownPatch): تقترح تدخلًا تدريبيًا بسيطًا ومنخفض التكلفة (حقن متأخر للبيانات المعروفة) يعمل بفعالية على استقرار النماذج التي تتعلم معرفة جديدة دون الحاجة إلى تغييرات معمارية معقدة أو تصفية للبيانات.
5. الأهمية
يوفر هذا العمل إطارًا نظريًا وعمليًا حاسمًا لفهم "النسيان الكارثي" أو "عدم الاستقرار الحقائقي" الذي يحدث عندما تتعلم النماذج اللغوية الكبيرة حقائق جديدة.
للباحثين: ينقل التركيز من حجم البيانات إلى تكوين البيانات وديناميكيات الانتباه، مما يوفر عدسة جديدة لتحليل أوضاع فشل النماذج.
للممارسين: تشير الورقة إلى أنه عند الضبط الدقيق للنماذج على مجالات جديدة، يجب على الممارسين ضمان بقاء بعض الأمثلة المعروفة للمجال المستهدف في مجموعة التدريب (أو إعادة إدخالها لاحقًا) لمنع النموذج من فقدان ترسيخه. توفر طريقة KnownPatch استراتيجية خفيفة الوزن وفعالة لنشر نماذج تكون معرفية وموثوقة حقائقيًا في آن واحد.