💬 NLP

COFT: Counterfactual-Conformal Decoding for Fair Chain-of-Thought Reasoning in Large Language Models

تُعد COFT طريقةً للتدريب في وقت فك التشفير، تعمل على تقليل التحيزات المجتمعية في استدلال تسلسل الأفكر (chain-of-thought) للنماذج اللغوية الكبيرة من خلال الجمع بين دمج اللوجيتات الواقعي المضاد والمعايرة المطابقة، مما يحقق تقليلاً كبيراً في التحيز مع الحفاظ على فائدة المهمة دون الحاجة إلى إعادة تدريب النموذج.

المؤلفون الأصليون: Arya Fayyazi, Mehdi Kamal, Massoud Pedram

نُشر 2026-06-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Arya Fayyazi, Mehdi Kamal, Massoud Pedram

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة ذكي جداً ومطلع، (وهو النموذج اللغوي الكبير) يساعدك في كتابة القصص، أو الإجابة على الأسئلة، أو حل المشكلات. لقد قرأ هذا الأمين ملايين الكتب من الإنترنت، وبينما هو واسع المعرفة بشكل مذهل، فقد امتص أيضاً بعض الصور النمطية غير العادلة والمشوهة الموجودة في تلك الكتب (مثل الاعتقاد بأن وظائف معينة مخصصة للرجال فقط، أو وضع افتراضات حول الناس بناءً على أسمائهم).

عندما تطلب من أمين المكتبة أن "يفكر بصوت عالٍ" (سلسلة التفكير - Chain-of-Thought) قبل إعطاء الإجابة، فقد يهمس دون قصد بهذه الصور النمطية غير العادلة في عملية تفكيره، حتى لو بدت الإجابة النهائية جيدة.

نظام COFT (سلسلة التفكير العادل) هو نظام "شرطي مرور" جديد يقف بجانب أمين المكتبة أثناء تفكيره، فهو لا يعيد تدريب أمين المكتبة أو يغير دماغه، بل يراقب ما يوشك على قوله ويوجهه بلطف نحو خيارات أكثر عدلاً في الوقت الفعلي.

إليك كيف يعمل COFT، مقسماً إلى ثلاث خطوات بسيطة باستخدام تشبيه إبداعي:

التشبيه: مطبخ "التحقق المزدوج"

تخيل أن أمين المكتبة هو طاهٍ (شيف) يعد طبقاً معقداً (الإجابة). أحياناً، تتطلب الوصفة مكوناً يمثل موضوعاً حساساً (مثل جنسية أو جنس معين). إذا استخدم الطاهي ذلك المكون، فقد يكون طعم الطبق منحازاً.

يعمل COFT كـ طاهٍ توأم يعمل في مطبخ موازٍ.

الخطوة 1: اختبار "عصابة العينين" (القناع المضاد - Counterfactual Masking)

قبل أن يكتب الطاهي الرئيسي الكلمة التالية من الوصفة، يقوم COFT بإنشاء نسخة "مقنعة" من المطالبة (Prompt).

في العالم الحقيقي: تقول المطالبة: "الممرضة (التي هي امرأة) أنهت جولاتها..."
نسخة COFT المقنعة: تقوم باستبدال الكلمة الحساسة "امرأة" بكلمة محايدة مثل [MASK]. فتصبح: "الممرضة (التي هي [MASK]) أنهت جولاتها..."

الآن يقوم النظام بتشغيل عقل أمين المكتبة مرتين: مرة مع الكلمة الحقيقية، ومرة مع الكلمة المقنعة. هذا يشبه سؤال الطاهي: "إذا لم أكن أعرف الجنس، هل ستظل تختار المكون التالي نفسه؟"

الخطوة 2: "الخلاط" (دمج الاحتمالات - Logit Fusion)

يأخذ النظام قائمتي الكلمات المحتملة التالية (واحدة من المطالبة الحقيقية، والأخرى من المطالبة المقنعة) ويمزجهما معاً.

إذا كانت المطالبة الحقيقية تقترح بقوة كلمة منحازة (مثلاً: "ممرضة" + "هي")، بينما تقترح المطالبة المقنعة كلمة محايدة، فإن "الخلاط" يمزجهما.
هذا ينتج قائمة تسوية حيث يتم تقليل الخيارات غير العادلة والمنحازة، وتعزيز الخيارات المحايدة. الأمر يشبه خلط صلصة حارة قوية مع أخرى خفيفة للحصول على نكهة ليست متطرفة جداً.

الخطوة 3: "بوابة الأمان" (التصفية المطابقة - Conformal Filtering)

هذا هو الجزء الأكثر تميزاً. COFT لا يخمن فحسب؛ بل يستخدم "بوابة أمان" رياضية تسمى التنبؤ المطابق (Conformal Prediction).

تخيل حارس أمن عند باب المطبخ. لديه قاعدة محسوبة مسبقاً: "لا تسمح بمرور المكونات إلا إذا اتفق كل من الطاهي الحقيقي والطاهي المقنع على أنها آمنة".
إذا كانت كلمة ما شائعة فقط في النسخة المنحازة ولكنها غير شائعة في النسخة المحايدة، فإن الحارس يحجبها.
إذا كانت الكلمة شائعة في كلتا النسختين، فإنه يمنحها الضوء الأخضر.

هذا يعطي ضماناً إحصائياً: يمكن لـ COFT أن يعد: "نحن متأكدون بنسبة 95% من أن الكلمة التي سمحنا بمرورها عادلة، بغض النظر عن التفاصيل الحساسة في المطالبة".

لماذا يعد هذا أمراً هاماً؟

لا جراحة للدماغ: معظم طرق إصلاح الانحياز تتطلب "إعادة تدريب" النموذج، وهو ما يشبه إرسال أمين المكتبة للعودة إلى المدرسة لسنوات ليتعلم كيفية التخلي عن العادات السيئة. COFT لا يتطلب تدريباً. إنه يعمل على النموذج كما هو تماماً، الآن.
لا يحتاج لعقول إضافية: تتطلب بعض الطرق توظيف ذكاء اصطناعي ثانٍ (مصنف) للتحقق من الانحياز. COFT لا يحتاج إلى ذكاء اصطناعي ثانٍ؛ بل يستخدم "توأم" أمين المكتبة نفسه (النسخة المقنعة) للقيام بالتحقق.
يحافظ على الجودة: تُظهر الورقة البحثية أنه بينما يقلل COFT من الانحياز (بنسبة تترا-وحول 30-55%)، فإنه لا يفسد جودة الإجابات. لا يزال أمين المكتبة يحل المسائل الرياضية ويكتب القصص الجيدة بنفس الكفاءة كما كان من قبل.
قابل للتدقيق: لأن COFT يتخذ قراراً واضحاً خطوة بخطوة لكل كلمة، يمكنك النظر في السجلات ورؤية سبب اختيار كلمة أو رفضها بدقة. إنه ليس "صندوقاً أسود".

التكلفة

العيب الوحيد هو السرعة. نظرًا لأن COFT يجب أن يشغل النموذج مرتين (مرة للمطالبة الحقيقية، ومرة للمطالبة المقنعة) ثم يدمج النتائج، فإنه يستغرق وقتاً أطول قليلاً—ما يعادل إضافة خطوة واحدة إضافية إلى عملية الطهي (أبطأ بنحو 10%). ومع ذلك، تجادل الورقة البحثية بأن هذه التكلفة الصغيرة تستحق السلامة والعدالة التي يوفرها.

باختصار

COFT هو فلتر عدالة في الوقت الفعلي يجلس بينك وبين الذكاء الاصطناعي. إنه يطلب من الذكاء الاصطناعي أن يتخيل عالماً تكون فيه التفاصيل الحساسة (مثل العرق أو الجنس) مخفية، ويقارن هذا الخيال بالواقع، ولا يسمح للذكاء الاصطناعي إلا بنطق الكلمات التي تصح في كلا العالمين. إنه يضمن أن "عملية تفكير" الذكاء الاصطناعي تظل عادلة دون الحاجة لإعادة تدريب الذكاء الاصطناعي أو توظيف مساعدين إضافيين.

ملخص تقني: COFT (فك التشفير التبايني المتوافق لضمان عدالة سلسلة الأفكر)

1. بيان المشكلة

تستوعب النماذج اللغوية الكبيرة (LLMs) المدربة على مجموعات بيانات الويب، وغالبًا ما تضخم التحيزات المجتمعية، لا سيما أثناء توليد "سلسلة الأفكار" (Chain-of-Thought - CoT). وبينما قد تبدو المخرجات النهائية للنموذج محايدة، إلا أن خطوات الاستدلال الوسيطة يمكن أن تكشف عن ارتباطات ضارة عبر الرموز (tokens) بشكل متتابع. تواجه استراتيجيات التخفيف الحالية قيودًا كبيرة:

طرق وقت التدريب (مثل الضبط الدقيق، والتعلم المعزز من التغذية الراجعة البشرية RLHF، وتنسيق البيانات): مكلفة حاسوبيًا، وتتطلب الوصول إلى أوزان النموذج، وتخاطر بتقليل أداء النطاق العام أو ترميز تحيزات المقيّمين.
توجيه وقت الاستدلال (مثل استخدام مصنفات مساعدة أو مجموعات خبراء): يسبب تأخيرًا (latency)، ويعتمد على الثغرات في المصنفات الخارجية، ويفتقر إلى الضمانات الإحصائية الصارمة.
إزالة التحيز في فضاء التمثيل (مثل إسقاط الفضاء الفارغ - nullspace projection): غالبًا ما تطبق تصحيحات عالمية غير مرتبطة بالسياق، مما قد يقمع المعاني المعتمدة على السياق ويفشل في التقاط مظاهر التحيز غير الخطية.

الأهم من ذلك، تفتقر النهج الحالية إلى الضمانات الإحصائية لكل خطوة عند فك التشفير. فهي لا تحدد الرموز التي يمكن إصدارها بأمان مع إبقاء خطر التحيز تحت السيطرة، ولا تفرض التكافؤ التبايني المحلي (استقرار المخرجات تحت التغييرات الافتراضية للأجزاء الحساسة في المطالبة/البرومبت) عند كل خطوة فك تشفير.

2. المنهجية: COFT

COFT (سلسلة الفكر العادل) هو إطار عمل لفك التشفير يعمل فقط في وقت الاستدلال ولا يتطلب تدريبًا، مصمم لفرض العدالة التباينية للنماذج اللغوية السببية المجمدة. يعمل الإطار عبر ثلاث مراحل متميزة:

المرحلة الأولى: القناع التبايني (Counterfactual Masking)

يبني COFT نسخة "مقنعة" من المطالبة الأصلية $p$ ، ويرمز لها بـ $\hat{p}$ ، عن طريق استبدال الأجزاء الحساسة (مثل النوع الاجتماعي، العرق، أو المعرفات الدينية) برموز حارس محايدة (مثل [MASK]).

التنفيذ: عامل القناع هو عملية حتمية ومحافظة على الطول. إذا تم تقسيم رمز الجزء الحساس إلى $k$ من الرموز، فسيتم استبداله بـ $k$ من رموز الحارس. يضمن هذا بقاء الفروع الواقعية والمقنعة متوافقة تمامًا في الموضع المطلق، مما يسمح بمقارنات صالحة للرموز عند مستويات متطابقة من البوادئ التكرارية (autoregressive prefixes).
التنفيذ ثنائي الفرع: يتم تشغيل النموذج $f_\theta$ مرتين بالتوازي: مرة على المطالبة الواقعية $p$ ومرة على المطالبة المقنعة $\hat{p}$ ، مع اشتراط نفس البادئة المولدة $w_{<t}$ .

المرحلة الثانية: دمج اللوغيت التبايني (Counterfactual Logit Fusion)

لتخفيف التحيزات المدفوعة بالسمات، يقوم COFT بإجراء استيفاء محدب لتوزيعات اللوغيت (logit distributions) من الفرعين الواقعي ( $z^F_t$ ) والمقنع ( $z^{CF}_t$ ):
$\tilde{z}_t = (1 - \lambda) z^F_t + \lambda z^{CF}_t$
حيث أن $\lambda \in [0, 1]$ هو معامل دمج قابل للضبط.

الأثر: تعمل هذه العملية على إنشاء مزيج هندسي لتوزيعات الاحتمالات. نظريًا، تقوم باستيفاء خطي لنسب الأرجحية (log-odds) بين الرموز، مما يؤدي فعليًا إلى "تعمية" النموذج عن السمات الحساسة مع الحفاظ على المناطق ذات الاحتمالية العالية في التوزيع. يحدث هذا الدمج قبل عملية التصديق لضمان أن خطوة التصفية اللاحقة تعمل على توزيعات تتفق بالفعل على مناطق الكتلة العالية الخاصة بها.

المرحلة الثالثة: التصفية المتوافقة المنقسمة ثنائية الفرع (Dual-Branch Split-Conformal Filtering)

يطبق COFT إجراء التنبؤ المتوافق المنقسم (Split-Conformal Prediction - CP) لاعتماد مجموعة من الرموز المرشحة عند كل خطوة $t$ .

درجة عدم التطابق (Nonconformity Score): يتم تعريف درجة لكل رمز $v$ بناءً على الحد الأدنى للاحتمال الذي تحمله في كل من التوزيع الواقعي المدمج ( $\tilde{\pi}_t$ ) والتوزيع المقنع ( $\pi^{CF}_t$ ):
$s_t(v) = 1 - \min\{ \tilde{\pi}_t(v), \pi^{CF}_t(v) \}$
المعايرة (Calibration): خارج نطاق الاختبار، يتم حساب المئينية $(1-\alpha)$ للدرجات $q_t$ باستخدام مجموعة معايرة منفصلة.
التصديق (Certification): في وقت الاختبار، يتم قبول الرمز في المجموعة المرشحة $C_t$ فقط إذا كانت درجته أقل من العتبة ( $s_t(v) \le q_t$ )، وهو ما يعادل اشتراط امتلاك الرمز احتمالية كافية في كل من الرؤيتين الواقعية والمقنعة في آن واحد.
أخذ العينات (Sampling): يتم أخذ العينة النهائية من التوزيع المدمج $\tilde{\pi}_t$ المقيد بالمجموعة المعتمدة $C_t$ . إذا كانت $C_t$ فارغة (وهو حدث نادر)، يتم استخدام نظام احتياطي حتمي (مثل argmax).

3. المساهمات الرئيسية

فك تشفير عادل بدون تدريب: يوفر COFT آلية لفرض العدالة على النماذج اللغوية المجمدة دون الحاجة لإعادة التدريب، أو الوصول إلى التدرجات، أو استخدام مصنفات مساعدة.
ضمانات هامشية لكل خطوة: على عكس الطرق السابقة، يقدم COFT ضمانات صلاحية هامشية (تحت فرضية التبادلية) لاستقرار الرموز المنبعثة. فهو يضمن أن الرمز التالي الحقيقي مدرج في المجموعة المرشحة باحتمالية لا تقل عن $1-\alpha$ .
التكافؤ التبايني المحلي: يجسد المنهج العدالة التباينية على مستوى الرمز، مما يضمن أن عملية فك التشفير تظل مستقرة عندما يتم تغيير السمات الحساسة في المطالبة افتراضيًا.
بنية ثنائية الفرع: من خلال دمج اللوغيتات والمطالبة بدعم مشترك من كل من الرؤى الواقعية والمقنعة، يعمل COFT بفعالية على تخفيف التحيز مع الحفاظ على فائدة المهمة.

4. النتائج التجريبية

قام المؤلفون بتقييم COFT عبر ستة نماذج (بما في ذلك LLaMA-2، وMistral، وMixtral، وQwen2) وعدة معايضات للتحيز (StereoSet، وCrowS-Pairs، وBBQ، وBOLD، وUtrecht، وCOMPAS) جنبًا إلى جنب مع مهام الفائدة القياسية (GSM8K، وStrategyQA، وARC-easy، وPIQA).

تخفيف التحيز: قلل COFT مقاييس التحيز القياسية بنسبة 30-55% (بمتوسط 38%) مقارنة بفك التشفير التقليدي، وتفوق على خطوط الأساس القوية في وقت الاستدلال (مثل Self-Debiased Decoding، وDExperts، وDual-Threshold Conformal Decoding). على سبيل المثال، في مجموعة بيانات BBQ، وصل خفض التحيز إلى 34-41%.
الحفاظ على الفائدة: ظلت دقة المهام في معايضات الاستدلال والإجابة على الأسئلة دون تغيير ضمن هوامش الضجيج بين عمليات التشغيل (الاختلافات $\le 0.2$ نقطة). وكانت مقاييس جودة اللغة (Perplexity، وMAUVE) غير قابلة للتمييز عن فك التشفير التقليدي.
الكفاءة: التكاليف الحسابية الإضافية متواضعة، وهي تعادل تمريرًا أماميًا (forward pass) إضافيًا واحدًا لكل خطوة. انخفض معدل الإنتاجية (throughput) بنحو 10-25%، وزاد استخدام ذروة الذاكرة بشكل طفيف ( $\le 0.8$ جيجابايت).
الدراسات الاستقصائية (Ablations): أدى إزالة دمج اللوغيت إلى زيادة التحيز المتبقي، مما يؤكد أن الدمج هو الآلية الأساسية لتخفيف الأرجحية الناتجة عن السمات. وأدى إزالة مرشح التوافق ثنائي الفرع إلى فقدان ضمانات الاستقرار التبايني.

5. الأهمية والادعاءات

يضع البحث COFT كمسار واضح وقابل للتدقيق لتوليد سلسلة أفكار أكثر أمانًا. تكمن أهميته الأساسية في توفير حدود سلامة يمكن التحقق منها للنماذج المجمدة دون تكاليف الحوسبة الباهظة لإعادة التدريب.

سلامة قابلة للتدقيق: من خلال توفير ضمانات هامشية لكل خطوة، يسمح COFT للممارسين بنشر النماذج في المجالات الحساسة (مثل الرعاية الصحية، القانون، التوظيف) مع مقياس كمي للمخاطر.
المتانة: المنهج متين تجاه تغير التوزيعات (حيث يتدهور التغطية بشكل تدريجي بناءً على نسب الكثافة) ويحافظ على الأداء عبر بنيات نماذج متنوعة.
القيود: يشير المؤلفون بتواضع إلى أن التدخلات الخوارزمية ليست علاجًا لكل شيء. تعتمد الضمانات على التعريف المحدد للسمات الحساسة وعلى افتراض التبادلية بين بيانات المعايرة وبيانات الاختبار. علاوة على ذلك، فإن فك التشفير ثنائي الفرع يضيف تأخيرًا في الاستدلال، والذي يجب موازنته مقابل فوائد تقليل التحيز. المنهج هو الأنسب للسيناريوهات التي يجب أن تكون فيها مسارات الاستدلال نفسها قابلة للتدقيق.

باختًا، يثبت COFT أنه من الممكن تقليل التحيزات المجتمعية في مسارات استدلال النماذج اللغوية الكبيرة بشكل كبير مع الحفاظ على الفائدة، وذلك باستخدام إجراء خفيف الوزن ولا يتطلب تدريبًا، يستند إلى نظرية التنبؤ المتوافق.