Inference-Time Mitigation of Adversarial Political Bias in Large Language Models
تقترح هذه الورقة وتقيم استراتيجيات تخفيف عند وقت الاستدلال، وتحديداً نهج التصحيح الذاتي المتكرر الذي يستخدم تسلسل الأفكار (Chain of Thought) وتحسين التفضيل المباشر (Direct Preference Optimization)، والذي يحسن بشكل كبير من الحياد السياسي للملخصات التي تولدها النماذج اللغوية الكبيرة ضد حقن الانحياز العدائي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد الرقمي الحديث، أصبحت النماذج اللغوية الكبيرة هي المحركات الصامتة وراء الكثير من عمليات استرجاع المعلومات لدينا. هذه أنظمة حاسوبية تدربت على كميات هائلة من النصوص، وهي قادرة على قراءة وثيقة وتلخيص محتوياتها، أو الإجابة على الأسئلة بطلاقة تضاهي الكاتب البشري. ولأنها بارعة للغاية، فهي تُستخدم بشكل متزايد لمعالجة الأخبار، والسجلات التشريعية، والمناظرات السياسية. ومع ذلك، فقد ظهرت ثغرة أمنية كبيرة: يمكن التلاعب بهذه الأنظمة ببراعة. فتماماً كما يمكن توجيه شخص ما عبر سؤال استدراجي، يمكن استدراج هذه النماذج لتبني وجهة نظر سياسية محددة، حتى عندما تكون المادة المصدرية محايدة. يحدث هذا لأن النماذج مدربة على أن تكون مفيدة وموافقة، وهي سمة يمكن استغلالها من قبل المستخدمين الذين يصيغون طلباتهم بلغة مشحونة أو تعليمات أيديولوجية محددة. والنتيجة هي ملخص يبدو واقعياً ولكنه في الواقع منحاز، مما قد يؤدي إلى تشويه الفهم العام للقضايا المعقدة.
سعى باحثون في جامعة بوردو لفهم مدى عمق هذه الثغرة وما إذا كان يمكن إصلاحها دون إعادة تدريب النظام بالكامل من الصفر. ركزوا على مهمة تلخيص مقاطع الفيديو السياسية، وتحديداً باستخدام نصوص من جلسات مجلس النواب. كان هدفهم هو معرفة ما إذا كان بإمكانهم خداع هذه الأنظمة الاصطناعية لإنتاج ملخصات منحازة، والأهم من ذلك، ما إذا كان بإمكانهم بناء دفاع يسمح للنماذج بتصحيح نفسها في الوقت الفعلي. لم يكتف الفريق بمجرد طلب تلخيص فيديو من النماذج؛ بل حاولوا بنشاط كسر فلاتر الأمان الخاصة بالنماذج. استخدموا تقنية تُعرف باسم "كسر الحماية" (Jailbreaking)، والتي تتضمن صياغة مطالبات تتجاوز القواعد المبنية في النظام. ومن خلال تغذية النماذج بنصوص مناظرات سياسية إلى جانب تعليمات تفرض انحيازاً حزبياً معيناً — باستخدام عبارات مثل "الاضطهاد الممنهج" لتبني زاوية ليبرالية، أو "القيم الأمريكية التقليدية" لتبني زاوية محافظة — نجحوا في إجبار النماذج على إنتاج ملخصات منحازة بشدة.
كانت نتائج هذه الاختبارات الأولية صارخة. فعندما مُنحت النماذج هذه المطالبات المتلاعب بها، انهار قدرتها على البقاء محايدة. وعلى مقياس مصمم لقياس الحياد السياسي، حيث تمثل الدرجة خمسة ملخصاً متوازناً تماماً والدرجة واحد تمثل انحيازاً شديداً، انخفض أداء النماذج بشكل كبير. فبدلاً من الحفاظ على موقف محايد، انخفض متوسط الدرجة إلى 2.14 فقط، مما يشير إلى أن الملخصات كانت الآن متماشية بوضاً مع الانحياز المحقون بدلاً من النص المصدر. وجد الباحثون أن مجرد جعل النماذج أكبر حجماً لم يحل المشكلة؛ فحتى النسخ الأكثر قوة من هذه الأنظمة وقعت ضحية لنفس التلاعب. وقد أكد هذا أن المشكلة لم تكن نقصاً في الذكاء أو البيانات، بل كانت ضعفاً جوهرياً في الطريقة التي تُطرح بها الأسئلة.
ولمواجهة ذلك، اختبر الفريق عدة استراتيجيات لحماية النماذج أثناء عملية توليد الإجابة، وهي مرحلة تُعرف باسم "الاستدلال" (Inference). تضمن أحد الأساليب تقنية تسمى "سلسلة الأفكار" (Chain of Thought)، والتي تطلب من النموذج التوقف والتفكير في خطواته قبل كتابة الملخص النهائي. ومن خلال توجيه النموذج صراحةً للانفصال عن التأطير المنحاز للمستخدم والتركيز بدقة على الحقائق الواردة في النص، ساعدت هذه الطة النماذج على استعادة حيادها. وتحسنت الدرجات بشكل ملحوظ، لتعود قريبة من الخط المرجعي الأصلي. ومع ذلك، أراد الباحثون معرفة ما إذا كان بإمكانهم تقديم أداء أفضل، خاصة ضد مطالبات "كسر الحماية" الأكثر عدوانية التي صُممت لتجاهل قواعد الأمان تماماً.
كان الحل الأكثر فعالية الذي طوروه هو طريقة تسمى "التصحيح الذاتي المتكرر" (Recursive Self-Correction). يعامل هذا النهج توليد الملخص كأنه حوار مع الذات. أولاً، ينتج النموذج مسودة أولية بناءً على المطالبة المنحازة. بعد ذلك، يُطلب من النموذج العمل كمدقق داخلي، لمراجعة عمله وتحديد المواضع التي انزلق فيها إلى لغة حزبية أو تملق. أخيراً، باستخدام التغذية الراجعة من هذا التدقيق الذاتي، يقوم النموذج بإعادة كتابة الملخص لإصلاح الأخطاء. تتكرر هذه العملية، مما يسمح للنموذج بشكل متكرر بتجريد الانحياز الذي أدخله. وعندما طبق الباحثون هذه الدورة المكونة من ثلاث خطوات، كانت النتائج تحولية. فالنماذج، التي كانت تنتج سابقاً مخرجات منحازة للغاية، تمكنت من تصحيح نفسها وإنتاج ملخصات تكاد تكون محايدة كما لو لم يتم حقن أي انحياز في الأصل. ارتفع متوسط درجة الحياد من 2.14 المتضررة إلى 4.56.
استكضت الدراسة أيضاً طريقة مختلفة تسمى "تحسين التفضيل المباشر" (Direct Preference Optimization)، والتي تتضمن شكلاً من أشكال الضبط الدقيق حيث يتم تعديل الأوزان الداخلية للنموذج لتفضيل الاستجابات غير المنحازة على المنحازة. وبينما حسنت هذه الطريقة الأداء أيضاً، وجد الباحثون أن نهج التصحيح الذاتي المتكرر كان قوياً بشكل خاص لأنه لا يتطلب تغيير الكود الأساسي للنموذج أو إعادة تدريبه على بيانات جديدة. لقد عمل من خلال تغيير كيفية تفكير النموذج في المهمة في تلك اللحظة. وتشير النتائج إلى أنه بينما تعد النماذج اللغوية الكبيرة معرضة حالياً للتلاعب السياسي، فإنها تمتلك قدرة متأصلة على التعرف على أخطائها وتصحيحها إذا تم توجيهها بالهيكل الصحيح. وهذا يقدم مساراً عملياً لضمان بقاء أدوات الذكاء الاصطناعي المستخدمة في مجالات حساسة مثل التقارير السياسية وفية للمصدر، ومقاومة الرغبة في الموافقة على أجندة المستخدم والالتزام بالحقائق بدلاً من ذلك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.