📊 statistics

Preference Learning for AI Alignment: a Causal Perspective

تقترح هذه الورقة إطاراً سببياً لنمذجة المكافأة في مجال محاذاة الذكاء الاصطناعي لمعالجة تحديات مثل الخطأ في تحديد المسببات والارتباطات المربكة، مبرهنةً على كيفية قدرة النهج المستوحاة من السببية على تحسين متانة النموذج وتعميمه مقارنة بالأساليب الساذجة.

المؤلفون الأصليون: Katarzyna Kobalczyk, Mihaela van der Schaar

نُشر 2026-05-12

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Katarzyna Kobalczyk, Mihaela van der Schaar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "تعلم التفضيلات من أجل محاذاة الذكاء الاصطناعي: منظور سببي" باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

الصورة الكبيرة: تعليم الذكاء الاصطناعي كيف يكون "جيداً"

تخيل أنك تقوم بتدريب متدرب موهوب ولكن ساذج (الذكاء الاصطناعي) على كتابة القصص. لتعليمه، تعرض عليه نسختين من نهاية قصة وتسأله: "أي منهما أفضل؟". يتعلم المتدرب من إجاباتك. تسمى هذه العملية نمذجة المكافأة (Reward Modeling).

تجادل الورقة البحثية بأن الطريقة الحالية لتعليم هؤلاء المتدربين معيبة لأننا ننظر إلى الأشياء الخطأ. نحن نعتمد على الأنماط البسيطة (الإحصاء) بدلاً من فهم الأسباب الحقيقية (السببية) التي تجعل الناس يحبون قصصاً معينة.

المشكلة: فخ "الارتباط الزائف"

يقول المؤلفون إن نماذج الذكاء الاصطناعي الحالية تشبه طالباً يغش في الاختبار عبر حفظ تنسيق نموذج الإجابة بدلاً من تعلم المادة العلمية.

التشبيه: تخيل أنك تحكم في مسابقة طبخ. لاحظت أنه في كل مرة يستخدم فيها الطاهي مئزراً أحمر، يعطيه الحكام درجة عالية.
- الذكاء الاصطناعي الساذج: يعتقد: "آها! المآزر الحمراء تجعل الطعام ألذ!" ويبدأ في مطالبة جميع الطهاة بارتداء مآزر حمراء.
- الواقع: لم يكن للمئزر الأحمر أي علاقة بالمذاق. الطهاة الذين ارتدوا المآزر الحمراء تصادف أنهم كانوا الأكثر براعة في الطبخ في ذلك اليوم. كان المئزر مجرد مصادفة ("ارتباط زائف").
النتيجة: إذا أرسلت هذا الذكاء الاصطناعي إلى مطبخ جديد حيث يرتدي الطهاة مآزر زرقاء، فسيفشل فشلاً ذريعاً لأنه تعلم القاعدة الخاطئة. لم يتعلم ما الذي يجعل الطعام جيداً حقاً؛ بل تعلم فقط نمطاً وُجد بالصدفة في بيانات التدريب.

القضية الجوهرية: المتغير المربك (السياق الخفي)

تقدم الورقة مفهوم المتغير المربك (Confounding). يحدث هذا عندما يؤثر عامل خفي على كل من "العلاج" (ما يراه الذكاء الاصطناعي) و"النتيجة" (ما يحبه البشر).

التشبيه: تخيل معلماً يصحح المقالات.
- المجموعة (أ): الطلاب الخبراء في علم الأحياء يكتبون مقالات عن مواضيع طبية معقدة. يكتبون إجابات طويلة مليئة بالمصطلحات التقنية. المعلم (الذي هو أيضاً عالم أحياء) يحب هذه الإجابات.
- المجموعة (ب): الطلاب غير الخبراء يكتبون مقالات بسيطة عن البستنة. يجدها المعلم مملة.
- الخطأ: إذا نظر الذكاء الاصطناعي إلى البيانات فقط، فقد يستنتج: "الإجابات الطويلة المليئة بالمصطلحات هي دائماً الأفضل."
- الواقع: السبب في حب المعلم للمجموعة الأولى لم يكن الطول أو المصطلحات؛ بل كان لأن الموضوع يتوافق مع خبرة المعلم. "الموضوع" هو المتغير المربك الخفي. فشل الذكاء الاصطناعي في رؤية أنه إذا أعطى خبيراً في علم الأحياء موضوعاً عن البستنة، فقد يفضل في الواقع إجابة بسيطة.

تزعم الورقة أنه بما أن الذكاء الاصطناعي يتم تدريبه على بيانات جُمعت "بشكل عرضي" (المستخدمون يسألون عما يريدون)، فإن هذه العوامل الخفية تفسد عملية التعلم.

الحل: منظور "سببي"

يقترح المؤلفون النظر إلى المشكلة من خلال عدسة السببية (Causality). بدلاً من السؤال: "ما هي الأنماط التي نراها؟"، نسأل: "ماذا سيحدث إذا غيرنا شيئاً واحداً فقط؟"

التشبيه: بدلاً من مجرد مشاهدة مسابقة الطبخ، يقرر الحَكم إجراء تجربة منضبطة.
- "إذا أخذت هذا الطبق نفسه تماماً، ولكن وضعته في وعاء أزرق بدلاً من أحمر، هل ستتغير الدرجة؟"
- "إذا أخذت هذه القصة وجعلتها أقصر، مع الحفاظ على الحبكة كما هي، هل سيظل الناس يحبونها؟"

يسمى هذا النهج التدخل (Intervention). وهو يساعد الذكال الاصطناعي على فهم أن لون الوعاء (أو طول النص) ليس هو المكون السحري؛ بل المحتوى هو ما يهم.

"السر الخفي" الكامن

تشير الورقة إلى أنه لا يمكننا فقط النظر إلى النص كما هو مكتوب. نحن بحاجة إلى إيجاد العوامل الكامنة (Latent Factors) — المكونات غير المرئية التي تقود التفضيل البشري فعلياً.

التشبيه: فكر في النص كأنه "سموذي" (مشروب مخلوط).
- النص: هو المشروب النهائي.
- العوامل الكامنة: هي الفواكه، والسكر، والثلج الموجود داخل المشروب.
- يحتاج الذكاء الاصطناعي إلى تعلم تذوق الفواكه (الصدق، الفائدة، الإبداع) بدلاً من مجرد تذوق الكوب الذي يُقدم فيه (الكلمات المحددة المستخدمة).
- إذا تعلم الذكاء الاصطناعي أن "الصدق" هو مكون رئيسي، فيمكنه تطبيق هذه القاعدة على أي مشروب، حتى لو كان بنكهة جديدة لم يذقها من قبل. وهذا ما يسمى التعميم (Generalization).

التجربة: إثبات النقطة

اختبر الباحثون هذه الفكرة باستخدام مجموعة بيانات حيث أنشأوا مجموعتين من الحكام:

المجموعة 1: تهتم فقط بكون المحتوى مفيداً (Helpful).
المجموعة 2: تهتم فقط بكون المحتوى غير ضار (Harmless).

في العالم الحقيقي، غالباً ما يطلب هاتان المجموعتان أنواعاً مختلفة من القصص، مما يخلق مزيجاً مربكاً.

الطريقة القديمة (النموذج الأساسي): أصيب الذكاء الاصطناعي بالارتباك. اعتقد أن القصص "المفيدة" هي دائماً الأفضل، حتى عندما أراد الحَكم قصصاً "غير ضارة". لقد فشل عندما تغيرت القواعد.
الطريقة الجديدة (النموذج السببي/التنافسي): حاول الباحثون بناء نموذج يعمل على فصل الميزات "المفيدة" عن الميزات "غير الضارة". لقد تعلم النموذج تجاهل الضوضاء الخلفية المربكة.
النتيجة: كان النموذج الجديد أفضل بكثير في تخمين ما سيفضله الحَكم، حتى عندما طُلب منه تقييم نوع من القصص لم يره عادةً. لم يقع في فخ الأنماط الخفية.

الخلا-صة

تخلص الورقة إلى أنه لبناء ذكاء اصطناعي يتوافق حقاً مع القيم البشرية، نحتاج إلى التوقف عن مجرد جمع بيانات عشوائية والبدء في تصميم تجارب مستهدفة.

الممارسة الحالية: "إليك 1,000 سؤال وإجابة عشوائية. حدد أيهما يفضله الناس." (عرضة للغش في الاختبار).
الممارسة المقترحة: "دعونا نغير ميزة واحدة من ميزات الإجابة بشكل منهجي (مثل الطول أو النبرة) مع إبقاء كل شيء آخر كما هو، ونرى كيف يتغير التفضيل." (تعلم القواعد الحقيقية).

باستخدام هذا النهج "السببي"، يمكننا بناء ذكاء اصطناعي قوي، لا يرتبك بسبب المصادفات، ويمكنه التعامل مع مواقف جديدة لم يسبق له رؤيتها.

ملخص تقني: تعلم التفضيلات لضبط الذكاء الاصطناي: منظور سببي

بيان المشكلة

يعتمد محاذاة النماذج اللغوية الكبيرة (LLMs) مع القيم البشرية بشكل كبير على التعلم التعزيزي من التغذية الراجعة البشرية (RLHF)، وتحديداً مرحلة نمذجة المكافأة حيث تتعلم النماذج من بيانات التفضيل الزوجية. عادةً ما تعامل النهج الحالية هذه العملية كمسألة انحدار إحصائي، بافتراض أن النماذج البسيطة التي يتم ضبطها على مجموعات البيانات الرصدية يمكن أن تعمم بفعالية على أزواج (المطالبة-الاستجابة) غير المرئية.

ومع ذلك، يرى المؤلفون أن هذا التفاؤل في غير محله. فبيانات التفضيل الرصدية غالباً ما تُجمع بشكل انتهازي، حيث يقوم المستخدمون بتوليد المطالبات وتقييم الاستجابات في آن واحد. وهذا يخلق تفاعلاً معقداً بين توزيع أخذ العينات الخاص بالنموذج اللغوي الكبير، والسمات الكامنة للنص، وسياقات محددة للمستخدم (مثل الخبرة، والأهداف). وبناءً على ذلك، فإن نماذج المكافأة القياسية عرضة لتعلم الارتباطات الزائفة بدلاً من العوامل السببية الحقيقية، مما يؤدي إلى:

التحديد الخاطئ للسببية: التقاط النماذج لعوامل شكلية مثل الطول أو التنسيق بدلاً من الجودة.
تباين التفضيلات: الفشل في مراعاة الأهداف المتغيرة للمستخدمين، مما يؤدي إلى أداء دون المستوى لمجموعات فرعية معينة.
الارتباك (Confounding): تأثير عوامل خاصة بالمستخدم على كل من نوع المطالبة المولدة وتسمية التفضيل، مما ينتهك فرضية "عدم وجود مربكات" (unconfoundedness) المطلوبة للاستدلال السببي.

المنهجية: إطار عمل سببي

يعيد البحث صياغة تعلم التفضيلات باستخدام إطار النتائج المحتملة من الاستدلال السببي.

1. الإعداد الرسمي

المتغيرات: لتكن $X$ هي المطالبة، و $Y, Y'$ استجابتان مرشحتان، و $L \in \{0, 1\}$ تسمية التفضيل الثنائية.
المكافآت المحتملة: يقدم المؤلفون مكافآت محتملة $R(x, y)$ و $R'(x, y')$ ، تمثل المكافأة الافتراضية التي قد يمنحها فرد لأي زوج من (المطالبة-الاستجابة).
نموذج برادلي-تيري-لوتش (BTL): يتم نمذجة احتمال التفضيل كـ $P((X, Y) \succ (X, Y')) = \sigma(R(X, Y) - R'(X, Y'))$ .
التحدي الجوهري: النتيجة الوحلة المرئية هي النتيجة للتدخل المرصود $(X, Y, Y')$ ؛ بينما تظل النتائج المقابلة للواقع (counterfactual) للأزواج الأخرى غير مرئية.

2. فرضيات القابلية للتحديد (Identifiability)

لتقدير النتائج المحتملة من البيانات الرصدية، يحدد البحث ثلاثة افتراضات قياسية مكيفة لهذا السياق:

الاتساق (Consistency): التسمية المرصودة تتوافق مع النتيجة المحتملة للعلاج المعين.
عدم وجود مربكات (Unconfoundedness): لا توجد مربكات غير مرصودة (أي $L \perp (X, Y, Y')$ ). ويسلط البحث الضوء على أن هذا الأمر يُنتهك بشكل متكرر عندما يكتب المستخدمون مطالباتهم الخاصة بناءً على أهدافهم المحددة ( $C$ )، مما يخلق "مربكاً" يؤثر على كل من اختيار المطالبة وتسمية التفضيل.
الإيجابية (Positivity): لكل تركيبة علاج لديها احتمالية غير صفرية للحدوث.

3. نموذج العلاج الكامن

لمعالجة الأبعاد العالية للغة الطبيعية وانتهاك شرط الإيجابية في الفضاء المرصود، يقترح المؤلفون نموذج علاج كامن:

العوامل الكامنة ( $Z$ ): يتم رسم النصوص المرصودة إلى سمات كامنة $Z = \{Z_X, Z_T\}$ $Z = {Z_{X}, Z_{T}}$ .
- $Z_X$ : عوارض المطالبة (مثل الموضوع، ونوع المهمة).
- $Z_T$ : العلاجات الكامنة (مثل الإيجاز، والصحة الواقعية) والتي تتحدد بشكل مشترك من خلال المطالبة والاستجابة.
الكفاية الكامنة: تعتمد المكافأة فقط على هذه العوامل الكامنة، وليس على النص الخام.
الإيجابية الكامنة: الإيجابية مطلوبة في الفضاء الكامن بدلاً من فضاء النص المرصود. وهذا يسمح بالتعميم على النصوص غير المرئية إذا كانت تشترك في نفس البنية الكامنة للبيانات المرصودة.

4. استراتيجيات التخفيف

يقترح البحث تدخلات معمارية محددة للتعامل مع الارتباك وتحسين المتانة:

بنية متعددة الرؤوس (Multihead Architecture): تفصل بين تعلم التمثيلات الكامنة والتنبؤ بالمكافآت المشروطة بأهداف محددة (مثل الفائدة مقابل عدم الضرر).
التدريب الخصومي (Adversarial Training): يقدم هدفاً خصومياً لضمان أن التمثيل الكامن المتعلم $\hat{Z}$ ثابت تجاه نوع المطالبة (على سبيل المثال، مجموعة "مفيد" مقابل مجموعة "غير ضار")، مما يزيل الارتباطات الزائفة بين نوع المطالبة وأهداف المستخدم مع الاحتفاظ بالسمات السببية.

المساهمات الرئيسية

الصياغة السببية: يقدم البحث إطاراً سببياً لتعلم التفضيلات، مع تعريف المشكلة صراحةً من حيث التدخلات والنتائج المحتملة.
تحديد الارتباك (Confounding): يحدد ويعالج صراحةً الارتباك الناتج عن أهداف المستخدم المحددة (على سبيل المثال، مستوى خبرة المستخدم الذي يؤثر على كل من تعقيد المطالبة التي يكتبها وتفضيله للإجابات التفصيلية)، وهو عامل تم التغاضي عنه سابقاً في أدبيات المحاذاة.
إطار العلاج الكامن: يقترح نموذجاً حيث تُحدد المكافآت بواسطة سمات كامنة بدلاً من النص الخام، مما يتيح التعميم تحت تحولات التوزيع عبر فرضية الكفاية الكامنة.
التحقق التجريبي:
- تجربة UltraFeedback: توضح أن نماذج BTL القياسية تعاني من انخفاض كبير في الأداء على البيانات خارج التوزيع (OOD) عندما تكون العوامل الكامنة (الصدق واتباع التعليمات) مرتبطة بشدة في بيانات التدريب (مما ينتهك الإيجابية الكامنة).
- دراسة حالة HH-RLHF: باستخدام مجموعة بيانات معززة بتسميات مقابلة للواقع، يظهر المؤلفون أنه عندما يكون الارتباط بين أنواع المطالبات وأهداف المستخدم كاملاً ( $\rho=1.0$ )، تفشل النماذج الساذجة في التعميم على الأمثلة غير المتسقة. يتفوق النموذج الخصومي متعدد الرؤوس المقترح بشكل كبير على النماذج الأساسية والنماذج متعددة الرؤوس فقط في هذه الأنظمة ذات الارتباك العالي.

النتائج

تأثير الإيجابية الكامنة: في تجربة UltraFeedback، مع زيادة الارتباط ( $\rho_{tr}$ ) بين العوامل الكامنة، تنخفض دقة النماذج القياسية على البيانات خارج التوزيع (OOD) (حيث يتم كسر هذا الارتباط) بشكل كبير (على سبيل المثال، من ~64.5% عند $\rho=0$ إلى ~57.8% عند $\rho=0.9$ ).
تأثير الارتباك: في دراسة HH-RLHF، عندما كان المحاذاة بين نوع المطالبة وهدف المستخدم تاماً ( $\rho=1.0$ )، فشلت جميع النماذج في التعميم على العينات غير المتسقة (الدقة < 55%).
أداء النموذج: حقق النموذج الخصومي باستمرار أعلى دقة على العينات غير المتسقة (OOD) عبر مستويات الارتباك المختلفة، مما يثبت أن فصل التمثيلات الكامنة عن أهداف المستخدم المحددة يحسن المتانة.

الأهمية والادعاءات

يزعم البحث أن نمذجة المكافأة المتينة تتطلب الانتقال من الارتباطات الإحصائية إلى المنظور السببي. ويرى المؤلفون أن:

جمع البيانات أمر بالغ الأهمية: إن الممارسة الحالية لجمع البيانات الانتهازي تفرض ارتباكاً متأصلاً يحد من موثوقية نماذج المكافأة.
التدخلات ضرورية: لمعالجة قيود البيانات الرصدية، يجب أن تتحول الممارسات المستقبلية نحو التدخلات المستهدفة (مثل الاستعلام النشط، وجمع المبررات، وتوليد النصوص المتحكم به) لضمان التداخل الكامن وتحديد العوامل السببية الحقيقية.
التعميم: من خلال اعتماد تعلم التمثيل السببي ومعالجة الارتباك، يمكن للنماذج تحقيق تعميم أفضل للمطالبات غير المرئية ولدى مجموعات مستخدمين متنوعة، وهو أمر ضروري لمحاذاة الذكاء الاصطناي آمنة وفعالة.

يظل المؤلفون متواضعين، مشيرين إلى أن افتراضاتهم كافية ولكنها ليست ضرورية تماماً للقابلية للتحديد، وأن السيناريوهات الواقعية غالباً ما تتضمن مربكات غير مرصودة يصعب قياسها مباشرة. وهم يضعون هذا العمل كخطوة تأسيسية نحو تعلم تفضيل أكثر صرامة ووعياً بالسببية.