Epistemic Bias Injection: Biasing LLMs via Selective Context Retrieval

إليك ملخص تقني مفصل لورقة البحث بعنوان "حقن التحيز المعرفي: تحيز النماذج اللغوية الكبيرة عبر الاسترجاع الانتقائي للسياق" (Epistemic Bias Injection: Biasing LLMs via Selective Context Retrieval).

1. تعريف المشكلة

تتناول الورقة ثغرة أمنية دقيقة ولكنها حرجة في أنظمة التوليد المعزز بالاسترجاع (RAG). بينما ركزت الأبحاث السابقة حول تسميم أنظمة RAG على حقن محتوى كاذب واقعيًا أو سامًا (والذي يمكن اكتشافه عبر التحقق من الحقائق أو التحليل اللغوي)، تقدم هذه الورقة مفهوم "حقن التحيز المعرفي" (Epistemic Bias Injection - EBI).

• التهديد: يقوم المهاجمون بحقن نصوص صحيحة واقعيًا ولكنها منحازة معرفيًا في قاعدة معرفة نظام RAG. هذه النصوص متماسكة لغويًا وصادقة، لكنها تبرز بشكل منهجي جانبًا واحدًا من قضية متعددة وجهات النظر.
• الآلية: نظرًا لأن المحتوى المحقون صحيح واقعيًا، فإنه يتملص من عمليات التحقق من الحقائق القياسية واكتشاف الشذوذ اللغوي. ومع ذلك، عندما يقوم المسترجع (Retriever) باختيار هذه النصوص (بسبب ارتفاع درجات صلتها بالاستعلام)، فإنها تعمل على "إقصاء" وجهات النظر البديلة. ونتيجة لذلك، يولد النموذج اللغوي الكبير إجابات تعكس موقفًا أيديولوجيًا محددًا اختاره المهاجم، مما يقوض موضوعية النظام.
• التحدي: تفشل الدفاعات الحالية (مثل الاسترجاع القائم على التنوع، أو التحقق من الحقائق) لأن النصوص المعادية مصممة لتكون ذات صلة عالية (درجات تشابه مرتفعة) وتفتقر إلى "بصمات" واضحة مثل العبارات الكاذبة أو حقن الأوامر (Prompt Injections).

2. المنهجية

أ. قياس التحيز المعرفي: درجة الاستقطاب (PS)

المساهمة النظرية الجوهرية هي مقياس هندسي يسمى درجة الاستقطاب (Polarization Score - PS) لقياس التحيز في تضمينات النصوص (Text Embeddings) دون الحاجة إلى تصنيف بشري.

1. النصوص المرجعية (Anchor Passages): يتم جمع مجموعة صغيرة من النصوص المرجعية التي تحمل وجهات نظر متنوعة حول موضوع معين.
2. محور الاستقطاب: يتم إجراء تحليل المكونات الرئيسية (PCA) على تضمينات هذه النصوص المرجعية. ويتم تحديد المكون الرئيسي الأول كـ محور الاستقطاب، والذي يمثل اتجاه التباين الأقصى (أي أقوى نقاط الاختلاف) في فضاء التضمين.
3. الاحتساب: يتم إسقاط أي نص على هذا المحور لتوليد قيمة عددية لـ درجة الاستقطاب (PS).
   • $PS(d) = u_{polar}^T E(d)$
   • يُقاس التحيز المعرفي كإزاحة في قيمة PS ($\Delta PS$) بالنسبة لنص مرجعي محايد.
4. التحقق: أظهر المؤلفون ارتباط "سبيرمان" قوي (0.896) بين قيم PS وتصنيفات وجهات النظر المقدمة من قِبل نموذج لغوي (LLM judge)، مما يؤكد أن PS يلتقط الموقف المعرفي بفعالية.

ب. سير عمل هجوم EBI

الهجوم مؤتمت بالكامل ولا يتطلب أي تدخل بشري:

1. التخليق (Synthesis): يقوم نموذج لغوي بتوليد نصوص مرشحة لاستعلام مستهدف.
2. الاختيار: يحسب المهاجم درجة الاستقطاب (PS) لهذه المرشحات ويختار النص الأكثر تطرفًا (تحيزًا) ($d_{bias}$).
3. التوليد: يقوم المهاجم بتوجيه النموذج اللغيدي لتوليد $n$ من المتغيرات المعادية التي تحاكي وجهة نظر $d_{bias}$ مع الحفاظ على دقة واقعية عالية وتماسك دلالي.
4. الحقن: يتم حقن هذه النصوص المعادية في قاعدة بيانات RAG.
5. خصائص الهجوم الناجح:
   • صلة عالية: تشابه جيب التمام (Cosine Similarity) مرتفع مع الاستعلام لضمان عملية الاسترجاع.
   • تحيز معرفي: قيم PS متطرفة (مرتفعة جدًا أو منخفضة جدًا باستمرار).
   • التخفي: محتوى صحيح واقعيًا وطبيعي لغويًا للإفلات من الكشف.

ج. الدفاع: BiasDef

يقترح المؤلفون BiasDef، وهو آلية دفاع خفيفة الوزن، جاهزة للعمل (Plug-and-play)، تعمل في مرحلة ما بعد الاسترجاع وقبل التوليد.

• المنطق الجوهري: يستغل التوزيع الإحصائي للنصوص في فضاء (PS-SS) (درجة الاستقطاب مقابل درجة الصلة).
• الخوارزمية:
  1. الكاشف الأساسي: يبحث عن عتبة صلة ($t_{ss}$) تزيد من تباعد كولباك - ليبلر (KL divergence) بين توزيعات PS للمجموعة الفرعية ذات الصلة العالية والمجموعة الفرعية ذات الصلة المنخفضة. هذا يحدد حدًا يفصل فيه المحتوى المعادي (PS متطرف) عن المحتوى الحميد.
  2. تخفيف الإيجابيات الكاذبة: يعمل على إزالة النصوص الحميدة من مجموعة الصلة العالية التي تمتلك قيم PS قريبة من التوزيع الحميد (باستخدام تغيرات تباعد KL).
  3. تخفيف السلبيات الكاذبة: يستخدم مسافة ماهالانوبيس (Mahalanobis distance) لتحديد القيم الشاذة المعادية في فضاء التضمين التي فاتتها عتبة الصلة، واستعادتها لغرض التصفية.
• الميزة: لا يتطلب إعادة تدريب النموذج اللغوي ويعمل مع أي نظام RAG موجود.

3. المساهمات الرئيسية

1. صياغة EBI: تعريف فئة جديدة من هجمات RAG حيث يُستخدم المحتوى الصحيح واقعيًا للتلاعب بـ "تأطير" الإجابات بدلاً من الحقائق نفسها.
2. المقياس الهندسي (PS): تقديم مقياس مستمر وقابل للتفسير لقياس التحيز المعرفي مباشرة من تضمينات النصوص باستخدام PCA.
3. هجوم مؤتمت: إثبات سير عمل مؤتمت بالكامل لتوليد وحقن نصوص معادية ذات صلة عالية وتحيز عالٍ.
4. دفاع BiasDef: تطوير دفاع مبني على المبادئ يقوم بتصفية المحتوى المعادي بناءً على توزيع وجهات النظر، مما يقلل التحيز بشكل كبير دون المساس بجودة الاسترجاع.
5. معيار شامل: إنشاء معيار اختبار عبر نماذج لغوية متعددة (Llama-3, DeepSeek-R1, GPT-4.1) ومجموعات بيانات (WIKI-BALANCE, HotpotQA, Reddit-Dialogues) لتقييم الضعف وفعالية الدفاع.

4. النتائج التجريبية

ضعف الأنظمة الحالية

• فشل الاسترجاع: فشلت المسترجعات القياسية (بدون دفاع) والأساليب القائمة على التنوع (MMR, SMART, BRRA) في حظر EBI.
  • بدون دفاع: استرجعت ما يصل إلى 98% من النصوص المعادية عند حقن 10 نصوص.
  • أساليب التنوع: رغم أنها قللت من استدعاء النصوص المعادية، إلا أنها أدت إلى تدهور كبير في Recall@5 (استرجاع نصوص حميدة أقل صلة) ومع ذلك سمحت بمرور حوالي 20% من المحتوى المعادي.
• قابلية النماذج اللغوية للاختراق: أظهرت جميع النماذج المختبرة (بما في ذلك النماذج الضخمة مثل GPT-4.1) إزاحات كبيرة في PS في إجاباتها عند التعرض لسياقات منحازة. ارتبط التحيز في الإجابة مباشرة بالتحيز في السياق المسترجع.
• عدم فعالية التحقق من الحقائق: فشلت واجهات برمجة تطبيقات التحقق من الحقائق الآلية (مثل WikiCheck) في التمييز بين النصوص المعادية والحميدة لأن المحتوى المعادي كان صحيحًا واقعيًا.

فعالية BiasDef

• الاستدعاء المعادي (A-Recall): خفض BiasDef نسبة A-Recall@5 إلى ما يقرب من الصفر في أكثر من 70% من الاستعلامات، مما أدى إلى تصفية النصوص المعادية تمامًا في معظم الحالات.
• الحفاظ على المحتوى الحميد: على عكس أساليب التنوع، حافظ BiasDef على Recall@5 مرتفع (انخفاض بنسبة 12% فقط مقارنة بالخط المرجعي غير المهاجم، بينما انخفضت الدفاعات الأخرى بشكل أكبر بكثير).
• تقليل التحيز: خفض BiasDef إزاحة PS في الإجابات المولدة بمقدار 6.2 إلى 8.8 ضعفًا مقارنة بالخط المرجعي غير المحمي.
• الكفاءة: لا يضيف الدفاع عبئًا يذكر (حوالي 465 مللي ثانية) ولا يتطلب ضبطًا دقيقًا للنماذج.

5. الأهمية والآثار المترتبة

• ناقل تهديد جديد: تكشف الورقة أن المحتوى "الصادق" يمكن استخده استخدامه كسلاح للتلاعب بالاستدلال في الذكاء الاصطناعي، وهو تهديد تعجز فلاتر السلامة الحالية (التحقق من الحقائق، كشف السمية) عن رصده.
• النهج الهندسي للسلامة: توضح الورقة أنه يمكن نمذجة التحيز المعرفي واكتشافه رياضيًا في فضاء التضمين، مما يقدم نموذجًا جديدًا لتطهير المحتوى يتجاوز التحليل الدلالي.
• دفاع عملي: يوفر BiasDef حلاً قابلاً للنشر لأنظمة RAG للحفاظ على الموضوعية دون التكلفة الحسابية العالية لإعادة تدريب النماذج أو فقدان المعلومات المرتبط بالتصفية القوية للتنوع.
• الاتجاهات المستقبلية: يقترح المؤلفون توسيع المقياس ليشمل محاور متعددة الأبعاد (تتجاوز مجرد التأييد/المعارضة الثنائي) ودمج BiasDef مع الدفاعات الأخرى القائمة على النماذج لإنشاء إطار أمني شامل.

في الختام، تثبت الورقة أن أنظمة RAG معرضة بشدة لحقن التحيز الخفي الذي يحافظ على الحقائق، وتوفر طريقة قوية قائمة على الأسس الهندسية لاكتشاف هذا التهديد والتخفيف من حدته.