LoRA for Gender-Inclusive Rewriting and Activation Steering for Counter-Narrative Generation
تقدم هذه الورقة نظام IHLC الخاص بمهمة LT-EDI 2026 المشتركة، والذي يجمع بين الضبط الدقيق باستخدام تقنية LoRA لإعادة الكتابة الشاملة للنوع الاجتماعي، وتقنية توجيه التنشيط الموفرة للحوسبة باستخدام الاتجاهات الرئيسية المستمدة من تحليل المكونات الرئيسية (PCA) لتوليد السرديات المضادة، محققاً درجات عالية مع تحليل القيود الرئيسية مثل الانحراف الدلالي وتسرب التحيز.
تخيل أنك تتحدث إلى إنسان آلي ذكي جداً ومثقف جداً، قد قرأ كل كتاب تقريباً على الإنترنت. هذا الروبوت بارع في كتابة القصص والإجابة على الأسئلة، لكن لديه مشكلة: لقد تعلم من الكتب البشرية، وأحياناً تحتوي تلك الكتب على أفكار قديمة وغير عادلة عن الأولاد والبنات. إذا طلبت منه كتابة قصة عن "رجل إطفاء" (fireman)، فقد يصر بعناد على استخدام هذه الكلمة، رغم أن كلمة "إطفائي" (firefighter) هي الأفضل. وإذا طلبت منه الجدال ضد عبارة مسيئة مثل "الفتيات سيئات في الرياضيات"، فقد يوافق دون قصد على الفكرة المسيئة أو يبدو آلياً للغاية. هذا هو عالم الذكاء الاصطناعي (AI) ومعالجة اللغات الطبيعية (NLP)، حيث يحاول العلماء تعليم الحواسيب التحدث بشكل أكثر عدلاً وشمولية. التحدي الكبير يكمن في معرفة كيفية ضبط دماغ الروبوت لكي يختار كلمات طيبة ومحايدة بشكل طبيعي دون الحاجة إلى إعادة بناء دماغه بالكامل من الصفر.
في هذه الورقة البحثية، حاول فريق من الباحثين يُدعى IHLC حل هذه المشكلة من أجل مسابقة خاصة تسمى LT-EDI 2026. لقد ركزوا على مهمتين رئيسيتين: أولاً، مجرد إعادة كتابة الجمل المتحيزة لتصبح عادلة (مثل تغيير "رجل إطفاء" إلى "إطفائي")، وثانياً، إنشاء "سرد مضاد" (counter-narrative) — وهو رد مهذب ومقنع على عبارة مسيئة أو متحيزة. بالنسبة للمهمة الأولى، استخدموا طريقة قياسية تسمى LoRA، وهي تشبه إعطاء الروبوت ورقة غش صغيرة ومتخصصة لمساعدته على تعلم قواعد جديدة بسرعة. ولكن بالنسبة للمهمة الثانية، جربوا شيئاً تجريبياً وذكياً للغاية يسمى توجيه التنشيط (Activation Steering).
فكر في دماغ الروبوت كآلة ضخمة ومعقدة تحتوي على آلاف التروس التي تدور في الداخل. عادةً، لتغيير كيفية عمل الآلة، عليك تفكيكها واستبدال تروسها (وهذا ما يسمى "الضبط الدقيق" أو fine-tuning). لكن الباحثين تساءلوا: "ماذا لو استطعنا فقط إعطاء الآلة دفعة لطيفة أثناء تشغيلها؟". لقد وجدوا "اتجاه دفعة" محدداً من خلال مقارنة كيفية استجابة دماغ الروبوت لجملة مسيئة مقابل جملة طيبة. قاموا بحساب الفرق بين هاتين الاستجابتين وإنشاء "متجه توجيه" (steering vector) — تخيله كقوة مغناطيسية تدفع أفكار الروبوت نحو اللطف والشمولية. لقد حقنوا هذه القوة في دماغ الروبوت أثناء كتابته، دون تغيير أي من تروسه الأصلية.
كانت النتائج مزيجاً من النجاح والأخطاء التقنية المثيرة للاهتمام. بالنسبة لمهمة إعادة الكتابة البسيطة، حقق نظامهم أداءً جيداً جداً، حيث سجل 80.00% واحتل المركز الثالث من بين 9 فرق. أما بالنسبة للمهمة الأصعب المتمثلة في كتابة السرد المضاد، فقد سجلوا 78.12% واحتلوا المركز السادس من بين 7 فرق. كان النظام رائعاً في كونِهِ مهذباً وفهماً للسياق، لكنه أحياناً كان يتحمس أكثر من اللازم بسبب "الدفعة". عندما كانوا يدفعون التوجيه بقوة كبيرة، بدأ الروبوت بتكرار نفسه، أو دمج الكلمات معاً (مثل "exhibitimpulsiveness")، أو الانحراف عن المعنى الأصلي لتقديم محاضرة طويلة بدلاً من إجابة مباشرة.
وجد الباحثون أنه بينما تعد طريقة "الدفعة" هذه وسيلة قوية وفعالة لجعل الذكاء الاصطناعي أكثر شمولية، إلا أنها ليست مثالية. فهي أحياناً تترك خلفها بقايا صغيرة من التحيز الأصلي، أو تغير الجملة لدرجة تجعلها تفقد نكهتها الأصلية. ويقترحون أنه في المستقبل، قد يحتاجون إلى دمج هذه "الدفعة" مع أدوات أخرى للحفاظ على إجابات الروبوت عادلة وأمينة للموضوع الأصلي في آن واحد. إنها خطوة واعدة نحو جعل الذكاء الاصطناعي محاوراً أكثر لطفاً، لكنها تظهر أنه حتى مع الدفعة اللطيفة، لا يزال الروبوت بحاجة إلى توجيه دقيق لضبط الأمور تماماً.
ملخص تقني: IHLC في LT-EDI 2026
بيان المشكلة تتناول الورقة البحثية تحدي توليد لغة شاملة جندرياً وسرديات مضادة للعبارات المتحيزة، وهو هدف جوهري لمهمة LT-EDI 2026 المشتركة. تنقسم المهمة إلى مهمتين فرعيتين: (أ) إعادة كتابة الجمل التي تحتوي على جنس محدد أو تحيز إلى متغيرات محايدة جندرياً مع الحفاظ على المعنى، و(ب) توليد سرديات مضادة تعبيرية ومقنعة للعبارات المتحيزة بشكل صريح. يشير المؤلفون إلى أنه بينما يعد الضبط الدقيق القياسي فعالاً، إلا أن هناك حاجة إلى طرق فعالة من حيث الحوسبة لتعديل سلوك النموذج دون تحديثات مكلفة للأوزان، لا سيية في توليد السرديات المضادة حيث يكون التوازن بين اللباقة والتماسك والتصحيح الواقعي أمراً معقداً.
المنهجية تستخدم مشاركة IHLC استراتيجيات متميزة للمهمتين الفرعيتين، باستخدام نموذج Gemma-3-4B-it كقاعدة أساسية.
المهمة الفرعية أ (إعادة الكتابة الشاملة جندرياً): استخدم الفريق عملية الضبط الدقيق القياسية باستخدام التكيف منخفض الرتبة (LoRA). تضمن هذا النهج تدريب النموذج على مجموعات بيانات متوازية من أزواج الجمل المتحيزة والمحايدة لتعلم الربط المباشر بين المصطلحات المتحيزة والشاملة.
المهمة الفرعية ب (توليد السردية المضادة): المساهمة الجوهرية لهذه الورقة هي نهج توجيه التنشيط (activation-steering) الفعال حوسبياً المقترن بالتحفيز المقيد.
توجيه التنشيط: بالاستناد إلى بروتوكولات هندسة التمثيل (Zou et al., 2023; Turner et al., 2023)، استخلص المؤلفون اتجاه التوجيه عن طريق إجراء تحليل المكونات الرئيسية (PCA) على ناقلات الفرق لتمثيلات التنشيط الخفية بين الجمل المتحيزة ونظائرها المحايدة من الناحية الواقعية. تم حقن ناقل التوجيه هذا في طبقة وسيطة محددة (الطبقة 16) من النموذج أثناء الاستدلال عبر خطاف أمامي (forward hook). تم التحكم في قوة الحقن بواسطة معامل α.
هندسة التحفيز (Prompt Engineering): لضمان تلبية المخرجات لمعايير التقييم، استخدم النظام نموذجين للتحفيز: "تحفيز DEI" لمخرجات تفسيرية مرنة، و"تحفيز صارم" لمخرجات حتمية من سطر واحد لتجنب العقوبات من قبل الحكام الآليين.
فك الترميز (Decoding): استخدم النظام مزيجاً من فك الترميز الجشع (greedy decoding) وأخذ العينات منخفض الحرارة مع عقوبات التكرار للتخفيف من تدهور النص والتدوير، وهي أمور لوحظت عندما كانت معاملات التوجيه مرتفقة جداً.
النتائج الرئيسية تم تقييم النظام باستخدام إطار عمل هجين يتضمن استخدام نموذج لغوي كبير كحكم (LLM-as-a-judge) وإشراف بشري.
المهمة الفرعية أ: حقق النهج القائم على LoRA متوسط درجة قدره 80.00%، محتلاً المركز الثالث من بين 9 فرق مشاركة. كان الدرجة متسقة عبر إزالة الافتراض الجندري (GA)، والحياد الجندري (GN)، والجودة والصلة (QR).
المهمة الفرعية ب: حققت طريقة توجيه التنشيط متوسط درجة قدره 78.12%، محتلة المركز السادس من بين 7 مشاركين.
نقاط القوة: تفوق النظام في اللباقة والاحترام (PR: 84.89%) وتماسك السردية المضادة السياقية (CCNC: 84.79%).
نقاط الضعف: كانت درجة الجودة والصلة (QR) منخفضة بشكل ملحوظ (64.68%)، مما يشير إلى مشكلات في الحفاظ على الدلالة (semantic preservation).
تحليل أنماط الفشل من خلال التقييم اليدوي لـ 47 مخرجاً، حدد المؤلفون خمسة أنماط فشل رئيسية متأصلة في نهج توجيه التنشيط:
المقايضة بين الأمانة والتعديل (53%): غالباً ما يستبدل النموذج هياكل الجمل الأصلية بشكل جامد (على سبيل المثال، التحول إلى "الأشخاص من جميع الهويات الجندرية..." بدلاً من إجراء تعديلات طفيفة)، مما يغير المجال الدلالي (على سبيل المثال، تغيير "العلوم" إلى "مجالات STEM").
الحساسية النوعية للطبقة/التشابك (23%): فشل التوجيه عند طبقة واحدة في تحييد المفاهيم بشكل نظيف، حيث قام غالباً بتحويل السمات السلبية إلى مفاهيم مرتبطة ولكنها لا تزال متحيزة (على سبيل المثال، تحول "ساذج" إلى "البراءة والضعف").
تسرب التحيز المتبقي (11%): نظرًا لأن التوجيه اعتمد على تمثيلات الرموز النهائية، فإن التحيز المشفر في رموز السياق المبكرة ظل أحياناً، مما أدى إلى تحييد الموضوع مع الاحتفاظ بالفرضية الضارة.
عدم استقرار التوجيه المفرط (9%): تسببت معاملات التوجيه العالية في تخلي النموذج عن البنية النحوية للمدخلات تماماً، والتحول إلى تعليقات اجتماعية عامة بدلاً من سرديات مضادة محددة.
التكرار والتدهور (4%): أدت الاضطرابات القوية أحياناً إلى تعطيل حدود الرموز، مما تسبب في كلمات مدمجة أو نصوص دائرية.
الأهمية والادعاءات تضع الورقة عملها كعرض لكل من الوعود والقيود لتقنية توجيه التنشيط في التوليد الشامل جندرياً.
الوعود: ينجح النهج في توليد سرديات مضادة مهذبة وسياقية دون التكلفة الحوسبية للضبط الدقيق الكامل، محققاً نتائج تنافسية في مقاييس العدالة (PR و CCNC).
القيود: يدعي المؤلفون بتواضع أنه بينما يعد توجيه التنشيط بديلاً قابلاً للتطبيق لتحديثات الأوزان، فإنه يعاني حالياً من صعوبة في الحفاظ على الدلالة (QR) ويتطلب ضبطاً دقيقاً لتجنب عدم الاستقرار. ويشيرون إلى أن التوجيه بطبقة واحدة ينطوي على خطر تسرب التحيز المتبقي، وأن النهج مقتصر حالياً على اللغة الإنجليزية، مما يحد من القدرة على التعميم الثقافي.
الاتجاه المستقبلي: يقترح المؤلفون أن التحسينات المستقبلية تتطلب دمج قيود الحفاظ على الدلالة (مثل خسارة التباين - contrastive loss)، ومعايرة تدخل البشر في توجيه المسارات، والتوسع إلى المسارات متعددة اللغات.
تخلص الورقة إلى أنه بينما يوفر توجيه التنشيط آلية خفيفة الوزن لتخفيف التحيز، فإنه ليس بعد بديلاً كاملاً لطرق تحديث الأوزان مثل الضبط الدقيق للتعليمات (Instruction Finetuning)، خاصة عندما يتطلب الأمر دقة عالية في هيكل النص الأصلي.