CoRect: Context-Aware Logit Contrast for Hidden State Rectification to Resolve Knowledge Conflicts
يعالج CoRect صراعات المعرفة في التوليد المعزز بالاسترجاع (RAG) من خلال تحديد وتصحيح الطبقات التي تقمع فيها الأولويات البارامترية السياق المسترجع عبر طريقة لتصحيح الحالة الخفية تعتمد على تباين اللوجيت (logit-contrast) وتخلو من استخدام الملصقات (label-free).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك طالب تؤدي امتحاناً في التاريخ. أمامك كتاب مدرسي مفتوح (هذا هو "الدليل المسترجع")، ولكن لديك أيضاً ذاكرة قوية جداً لما تعلمته في حصة أخرى منذ سنوات (هذا هو "المعرفة البارامترية").
فجأة، يقول الكتاب المدرسي إن الحرب انتهت في عام 1980، لكن عقلك يصرخ: "لا! لقد كانت في 1979!". على الرغم من أنك ترى الإجابة الصحيحة أمام عينيك مباشرة، إلا أن عقلك "يمحو" الحقيقة ويستبدلها بذاكرتك القديمة. وفي النهاية، تكتب 1979 في الامتحان. هذا هو بالضبط ما يحدث للنماذج اللغوية الكبيرة (مثل ChatGPT) في عملية تسمى RAG (التوليد المعزز بالاسترجاع). فهي تحصل على المعلومة الصحيحة، لكن "تحيزها الداخلي" ينتصر في الجدال.
لقد ابتكر الباحثون أداة تسمى CoRect لإصلاح هذه المشكلة. وإليك كيف تعمل باستخدام ثلاث تشبيهات بسيطة:
1. "المخرب الداخلي" (المشكلة)
اكتشف الباحثون أن الخطأ لا يحدث في اللحظة الأخيرة عندما "يتحدث" النموذج. بل يحدث في أعماق "دماغ" النموذج (الطبقات الخفية).
تخيل النموذج مثل خط تجميع في مصنع. في المراحل الأولى، يقوم العمال باختيار القطع الصحيحة (الحقائق الصحيحة) بشكل سليم. ولكن مع تحرك المنتج نحو النهاية، يقوم عامل "مخرب" في منتصف الخط (طبقة محددة في الشبكة العصبية) باستبدال القطعة الصحيحة بأخرى خاطئة لأنه اعتاد القيام بذلك بالطريقة القديمة. وهذا ما يسمونه Parametric Suppression (الكبح البارامتري).
2. "المحقق الذكي" (المرحلة الأولى: اختيار الرمز/Token)
قبل إصلاح المشكلة، يحتاج النموذج إلى معرفة ما يجب أن تكون عليه الإجابة الصحيحة، دون أن يتم إخباره بذلك.
تخيل محققاً يدخل مسرح الجريمة. بدلاً من مجرد التخمين، ينظر المحقق إلى شيئين:
- الأدلة: ماذا تقترح الأدلة (السياق)؟
- الشهود: هل "انتباه" النموذج نفسه يتجه فعلياً نحو الأدلة؟
يستخدم CoRect مرحلة "المحقق" للعثور على الرمز المستهدف (Target Token). فهو يقارن بين أفكار النموذج مع وجود الأدلة وأفكاره بدون الأدلة. إذا حصلت كلمة معينة (مثل "1980") على دفعة هائلة عند وجود الأدلة، فإن المحقق يحددها باعتبارها "الهدف الحقيقي".
3. "مقبض التحكم في الصوت" (المرحلة الثانية: تصحيح الحالة الخفية)
الآن بعد أن وجد المحقق الحقيقة، كيف نوقف "المخرب" في المصنع؟
حاولت معظم الطرق القديمة "الصراخ" بالإجابة الصحيحة في نهاية خط التجميع. هذا يشبه مديراً يصرخ على المنتج النهائي لتغيير لونه—إنه أمر فوضوي وغالباً ما يفسد جودة المنتج.
يفعل CoRect شيئاً أكثر أناقة بكثير. فهو يعود إلى عامل "المخرب" المحدد في منتصف الخط، ويقوم ببساطة بخفض مستوى صوته.
إذا كان المخرب يحاول دفع "1979" إلى المجرى، فإن CoRect يطبق "قوة مضادة" رياضية لإلغاء تلك الإشارة الخاطئة تحديداً. هو لا يجبر النموذج على قول "1980"؛ بل يقوم ببساطة بإزالة التداخل الذي كان يمنع وصول "1980". إنه يشبه سماعات إلغاء الضجيج لدماغ النموذج—فهو يصمت "الضجيج الداخلي" حتى يمكن سماع "الإشارة الصادقة" بوضوح.
النتيجة
من خلال "تنظيف" الأفكار الداخلية بدلاً من مجرد فرض الكلمات النهائية، يظل النموذج ذكياً وفصيحاً. هو لا يبدأ في التحدث كآلة، بل يتوقف فقط عن الكذب على نفسه. يصبح طالباً يستمع حقاً للكتاب المدرسي بدلاً من الاعتماد فقط على ذاكرة معيبة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.