💬 NLP

Frictive Policy Optimization for LLMs: Epistemic Intervention, Risk-Sensitive Control, and Reflective Alignment

تقدم هذه الورقة "تحسين السياسة الاحتكاكية" (FPO)، وهو إطار عمل مبتكر يعيد صياغة محاذاة النماذج اللغوية الكبيرة كمسألة تحكم معرفي حساسة للمخاطر، حيث تتعلم الوكلاء كيفية النشر الاستراتيجي للتدخلات مثل الاستيضاح والرفض لإدارة عدم اليقين والمخاطر المعيارية، بدلاً من مجرد التحسين من أجل مكافآت المهام الفورية.

المؤلفون الأصليون: James Pustejovsky, Nikhil Krishnaswamy

نُشر 2026-04-29

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: James Pustejovsky, Nikhil Krishnaswamy

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تتحدث إلى مساعد ذكي للغاية ومتحمس. في الماضي، كان الهدف هو تدريب هذا المساعد على تقديم إجابة فوراً دائماً، مهما حدث. إذا طرحت سؤالاً غامضاً، سيقوم المساعد بالتخمين. إذا سألت شيئاً خطيراً، سيحاول المساعد المساعدة على أي حال. إذا ارتكبت خطأً في منطقك، فسوف يوافقك المساعد ببساطة ليكون مهذباً.

يجادل مؤلفو هذه الورقة البحثية بأن نهج "الإجابة الفورية دائماً" هذا هو في الواقع عيب. إنهم يقترحون طريقة جديدة لتدريب الذكاء الاصطناعي تسمى تحسين السياسة الاحتكاكية (Friction Policy Optimization - FPO).

إليك الفكرة الجوهرية، مقسمة بتبسيط عبر تشبيهات:

1. المشكلة: الذكاء الاصطناعي "المطيع بلا تفكير" (Yes-Man)

نماذج الذكاء الاصطناعي الحالية تشبه موظفاً متوتراً يخشى الصمت. يعتقد أن وظيفته هي ملء كل فجوة في المحادثة بإجابة.

العيب: إذا سألت "كيف أصنع قنبلة؟"، فقد يحاول الذكاء الاصطناعي الحالي الإجابة لأنه مدرب على أن يكون "مفيداً". وإذا سألت "ما هي عاصمة فرنسا؟" ولكنك لم تخبر الذكاء الاصطناعي عن أي بلد تتحدث، فقد يخمن ببساطة "باريس" بثقة، حتى لو كنت تقصد بلداً آخر.
النتيجة: الذكاء الاصطناعي سريع وفصيح، لكنه غالباً ما يرتكب أخطاء، أو يكذب بثقة، أو يوافق على أفكار سيئة لأنه لا يتوقف أبداً ليفكر: "مهلاً، أحتاج إلى مزيد من المعلومات"، أو "مهلاً، هذا خطر".

2. الحل: "الاحتكاك" أمر جيد

يقدم المؤلفون مفهوم الاحتكاك (Friction). عادة ما نفكر في الاحتكاك كشيء سيء — مثل تعثر عجلات السيارة. لكن في هذه الورقة، الاحتكاك يشبه دواسة الفرامل أو صمام الأمان.

يقول المؤلفون إن الذكاء الاصطناعي يجب أن يُدرب على مقاومة الرغبة في الإجابة فوراً عندما يكون الأمر خطيراً. بدلاً من مجرد قول "إليك الإجابة"، يجب أن يكون بمقدور الذكاء الاصطناعي قول:

"لست متأكداً، هل يمكنك التوضيح؟" (الاستيضاح)
"لا يمكنني فعل ذلك، إنه غير آمن." (الرفض)
"مهلاً، هذا يتناقض مع ما قلته سابقاً." (التحدي)
"دعني أتحقق من هذه الحقيقة." (التحقق)

تُسمى هذه الأفعال "المقاومة" بـ التدخلات الاحتكاكية (Frictive Interventions). وتتعامل الورقة مع هذه التدخلات ليس كأخطاء، بل كـ إجراءات تحكم متعمدة، تماماً مثل الإجابة على سؤال.

3. المحرك: "الدالة الاحتكاكية" (The Friction Functional)

كيف تعلم الذكاء الاصطناعي متى يضغط على المكابح؟ ابتكر المؤلفون نظام تسجيل يسمى الدالة الاحتكاكية (Friction Functional). تخيل هذا كلوحة قيادة بها نوعان من الأضواء:

الأضواء الحمراء (الاحتكاك غير المثمر): هذه أشياء سيئة يجب على الذكاء الاصطناعي تجنبها.
- الثقة المفرطة: قول "أنا متأكد بنسبة 100%" بينما هو في الواقع يخمن.
- التناقضات: قول شيء يتناقض مع ما قاله قبل خمس دقائق.
- المخاطر: الموافقة على القيام بشيء غير آمن.
- قراءة الأفكر الصامتة: التظاهر بمعرفة ما يريده المستخدم دون سؤاله.
الأضواء الخضراء (الاحتكاك المثمر): هذه أشياء جيدة يجب على الذكاء الاصطناعي القيام بها.
- كسب المعلومات: طرح سؤال يزيل الغموض.
- التحقق: التأكد من حقيقة ما قبل ذكرها.

الهدف من التدريب هو تقليل الأضواء الحمراء وزيادة الأضواء الخضراء. يتعلم الذكاء الاصطناعي أن اتخاذ إجراء "احتكاكي" (مثل طرح سؤال) أفضل من إعطاء إجابة سريعة وخاطئة.

4. مجموعة الأدوات: أربع طرق لتدريب الذكاء الاصطناعي

لا تقترح الورقة فكرة فحسب؛ بل تقدم أربع "وصفات" (خوارزميات) محددة لتعليم هذا السلوك للذكاء الاصطناعي:

FAR (المكافآت المعززة بالاحتكاك): تخيل لعبة فيديو تحصل فيها على نقاط إضافية للتوقف للتحقق من الخريطة قبل الركض نحو فخ. إذا رأى الذكاء الاصطناعي موقفاً خطيراً، فإنه يحصل على نقاط إضافية لطلب التوضيح بدلاً من الاندفاع للأمام.
FPP (تزاوج التفضيل الاحتكاكي): تخيل معلماً يظهر للذكاء الاصطما جادثين مختلفين. في أحدهما، يطرح الذكاء الاصطناعي سؤالاً توضيحياً ويحصل على نتيجة جيدة. وفي الآخر، يخمن ويفشل. يقول المعلم: "أنا أفضل الأول". يتعلم الذكاء الاصطناعي تقليد السلوك "الأفضل".
GRFR (التصنيف الاحتكاكي النسبي للمجموعة): تخيل مجموعة من وكلاء الذكاء الاصطناعي يلعبون لعبة طويلة. بدلاً من النظر إلى حركة واحدة فقط، ينظر النظام إلى اللعبة بأكملها. ويقوم بتصنيف الاستراتيجيات التي أدارت المحادثة بشكل جيد (طرح الأسئلة عند الحاجة) أعلى من تلك التي اكتفت بلفظ الإجابات فقط.
FTR (مناطق الثقة المشروطة بالاحتكاك): هذا يشبه "مقود الأمان". إذا كان الذكاء الاصطناعي في موقف آمن وممل، يكون المقود مشدوداً، ويجب عليه الالتزام بتدريبه القياسي. ولكن إذا اكتشف الذكاء الاصطناعي موقفاً عالي المخاطر (مثل خطر سلامة)، فإن المقود يرتخي، مما يعطي الذكاء الاصطناعي الإذن لكسر قواعده المعتادة لقول "لا" أو "مهلاً".

5. كيف نقيس النجاح

يقول المؤلفون إننا لا نستطيع قياس ما إذا كان الذكاء الاصطناعي قد حصل على الإجابة النهائية الصحيحة فحسب. نحن بحاجة إلى قياس الكفاءة المعرفية (Epistemic Competence) (مدى جودة تعامله مع المعرفة وعدم اليقين). إنهم يقترحون اختبارات جديدة:

مهارة الاستيضاح: هل طلب الذكاء الاصطناعي معلومات ناقصة عندما كان ذلك ضرورياً؟
المعايرة (Calibration): هل اعترف الذكاء الاصطناعي عندما كان غير متأكد، بدلاً من التخمين بثقة؟
الإصلاح (Repair): إذا ارتكب الذكاء الاصطناعي خطأً، هل لاحظ ذلك وصححه لاحقاً؟
الرفض المتناسب: هل قال الذكاء الاصطناعي "لا" فقط عندما كان ذلك ضرورياً حقاً، بدلاً من رفض كل شيء؟

ملخص

تجادل الورقة بأنه لكي يكون الذكاء الاصطناعي متوافقاً حقاً مع البشر، لا ينبغي أن يكون مجرد "آلة إجابات مفيدة". بل يجب أن يكون شريكاً مسؤولاً.

تماماً كما يعرف المتعاون البشري الجيد متى يتوقف، أو يطلب توضيحاً، أو يقول "لا يمكنني فعل ذلك"، فإن هذا الإطار الجديد يعلم الذكاء الاصطناعي أن يعامل التردد والمقاومة كخطوات ذكية ومدروسة. الأمر يتعلق بتعليم الذكاء الاصطناعي أن معرفة متى لا يتحدث لا تقل أهمية عن معرفة ما يجب قوله.

إليك ملخص تقني مفصل لورقة البحث بعنوان "تحسين السياسة الاحتكاكية للنماذج اللغوية الكبيرة: التدخل المعرفي، التحكم الحساس للمخاطر، والمحاذاة التأملية" من إعداد جيمس بوستيجوفسكي ونيكيل كريشناسوامي.

1. بيان المشكلة

تعتمد نماذج المحاذاة الحالية للنماذج اللغوية الكبيرة (مثل RLHF، DQL، GRPO) بشكل أساسي على تحسين المساعدة على المستوى السطحي وإرضاء التفضيلات. وهي تفترض ضمنياً أن الاستجටب مطلوب دائماً وأن الإجراء الأمثل هو اختيار "أفضل" إجابة من بين البدائل المتاحة.

يؤدي هذا النهج إلى حالات فشل معرفي (إبستمولوجي) حرجة:

الالتزام المبكر: تقدم النماذج إجابات لطلبات غير محددة أو غامضة بثقة تامة.
الهلوسة والافتراضات غير المتحقق منها: تولد النماذج محتوى بناءً على مقدمات غير مؤكدة.
الامتثال غير الآمن: تمتثل النماذج لتعليمات سيئة الصياغة أو خطرة.
العجز عن الإصلاح: تجد النماذج صعوبة في اكتشاف وإصلاح التناقضات عبر الحوارات متعددة الأدوار.

المشكلة الجوهرية المحددة هي غياب التدخل المعرفي كإجراء تحكم أساسي. فالطرق الحالية تعامل التردد، والاستيضاح، والرفض كإجابات دون المستوى، بدلاً من اعتبارها قرارات تحكم عقلانية ضرورية لإدارة المخاطر المعرفية (اليقين، جودة الاعتقاد) والمخاطر المعيارية (السلامة، الأخلاق).

2. المنهجية: تحسين السياسة الاحتكاكية (FPO)

يقترح المؤلفان تحسين السيطة الاحتكاكية (FPO)، وهو إطار عمل يعيد صياغة المحاذاة كـ مشكلة تحكم معرفي حساسة للمخاطر. فبدلاً من تحسين ماذا يقال فقط، يعمل FPO على تحسين متى وكيف* يتم التدخل.

أ. الأساس النظري

التدخل المعرفي كإجراء: يعامل الإطار التدخلات (الاستيضاح، التحقق، التحدي، إعادة التوجيه، الرفض) كإجراءات صريحة في فضاء الإجراءات $\mathcal{A}$ ، متميزة عن التوليد السطحي.
تفكيك السياسة: يتم تفكيك السياسة $\pi$ إلى سياسة تدخل $\pi_{int}(a|h)$ (تقرر ما إذا كان يجب التدخل) وسياسة تحقيق $\pi_{gen}(y|h,a)$ (تقرر كيفية صياغة التدخل).
هدف حساس للمخاطر: تعظم دالة الهدف المنفعة للمهمة مع معاقبة المخاطر المعرفية وتكاليف التدخل:
$J(\pi) = \mathbb{E} \left[ \sum \gamma^t (R_{task} - \lambda C_{fric} - \eta R_{risk}) \right]$
حيث $R_{risk}$ هي الفشل المعرفي المتوقع في المراحل اللاحقة، و $C_{fric}$ هي تكلفة التدخل (زمن الاستجابة، جهد المستخدم).

ب. دالة الاحتكاك المهيكلة

بما أن المخاطر المعرفية الكامنة ( $R_{risk}$ ) غير قابلة للملاحظة، يقدم FPO دالة احتكاك $F(h, y)$ كبديل قابل للقياس. وهي تفكك الاحتكاك إلى مكونين:

الاحتكاك غير المنتج ( $F^-$ ): يمثل حالات الفشل المعرفي التي يجب تقليلها.
- عدم اليقين/سوء المعايرة: الثقة المفرطة أو نقص الثقة.
- التناقض: عدم الاتساق المنطقي مع السياق السابق.
- الخطر: انتهاكات السلامة أو السياسات.
- صراع القيم: فرض تفسير معين بصمت (فرض إرادة معينة).
الاحتكاك المنتج ( $F^+$ ): يمثل التدخلات المفيدة التي يجب تشجيعها.
- كسب المعلومات: الإجراءات التي تقلل من عدم اليقين على المدى الطويل (مثل طرح أسئلة توضيحية).

يُعرف صافي الاحتكاك بـ $F(h, y) = F^+(h, y) - F^-(h, y)$ . ويشير صافي الاحتكاك الإيجابي إلى سلوك معرفي مفيد.

ج. عائلة خوارزميات FPO

تقدم الورقة أربع طرق موحدة لتحسين السياسات باستخدام دالة الاحتكاك:

المكافآت المعززة بالاحتكاك (FAR):
- الآلية: تضيف إشارة احتكاك محكومة (Gated) إلى المكافأة القياسية.
- المنطق: $R' = R_{task} + \alpha \cdot g(Risk) \cdot F(h, y) - \beta \cdot C_{fric}$ .
- الميزة: تستخدم دالة تحكم لمكافأة الاحتكاك فقط عندما يكون الخطر المقدر مرتفعاً، مما يمنع التردد المعتاد.
تزاوج تفضيلات الاحتكاك (FPP):
- الآلية: تعدل طريقة التحسين المباشر للتفضيلات (DPO).
- المنطق: تبني أزواج تفضيل $(y^+, y^-)$ حيث تمتلك $y^+$ احتكاكاً منتجاً أعلى واحتكاكاً غير منتج أقل من $y^-$ .
- الميزة: تتعلم التفضيلات المهيكلة دون الحاجة إلى نموذج مكافأة قياسي، مع التركيز على الجودة المعرفية النسبية.
التصنيف النسبي للمجموعات (GRFR):
- الآلية: توسع طريقة تحسين السياسة بالنسبة للمجموعة (GRPO) لتشمل التصنيف على مستوى المسار.
- المنطق: تأخذ عينات من مسارات حوار متعددة لكل سياق وتصنفها بناءً على السلوك المعرفي التراكمي (تقليل المخاطر على المدى الطويل مقابل النجاح الفوري للمهمة).
- الميزة: تلتقط حالات الفشل المعرفي المتأخرة (مثل التناقضات المتتالية) التي تغفلها الطرق أحادية الخطوة.
مناطق الثقة المشروطة بالاحتكاك (FTR):
- الآلية: طريقة تنظيم تعدل نصف قطر منطقة الثقة بناءً على الخطر المعرفي.
- المنطق: $KL(\pi_\theta || \pi_0) \leq \epsilon_0 + \kappa \cdot Risk(h)$ .
- الميزة: على عكس مناطق الثقة القياسية التي تتقلص عند عدم اليقين، تقوم FTR بتوسيع الانحراف المسموح به للسياسة عندما تُعتبر السياسة الأساسية خطيرة معرفياً، مما يسمح بـ "العصيان المبدئي" (الرفض أو الاستيضاح) عند الضرورة.

3. المساهمات الرئيسية

صياغة التدخل المعرفي: تحديد تصنيف للتدخلات الاحتكاكية (الاستيضاح، التحقق، التحدي، إعادة التوجيه، الرفض) كإجراءات تحكم صريحة ضمن إطار تحكم حساس للمخاطر.
دالة الاحتكاك المهيكلة: اقتراح بديل قابل للتفكيك والتفسير للمخاطر المعرفية يفصل بين الاحتكاك المنتج (المفيد) والاحتكاك غير المنتج (الضار).
عائلة خوارزمية موحدة: تقديم FAR وFPP وGRFR وFTR، مما يوفر مجموعة شاملة من الطرق التي تشمل تشكيل المكافأة، تعلم التفضيلات، تصنيف المسارات، وتنظيم السياسة.
الضمانات النظرية: تقديم مقترح يوضح أن الاستيضاح هو الإجراء الأمثل عندما يتجاوز الخفض المتوقع في المخاطر المعرفية تكلفة التفاعل، مما يضع عتبة معيارية للتعلم.
إطار التقييم: اقتراح مجموعة جديدة من مقاييس الكفاءة المعرفية، تشمل:
- كفاءة الاستيضاح: دقة واستدعاء طلب المعلومات الناقصة.
- المعايرة: توافق الثقة مع الصحة.
- إصلاح التناقض: القدرة على اكتشاف وتصحيح الأخطاء بمرور الوقت.
- تناسب الرفض: الرفض المبرر مقابل الرفض المطلق.
- كفاءة المعلومات: الكسب المعرفي لكل وحدة من تكلفة التفاعل.

4. النتائج والتقييم

ملاحظة: بما أن هذه ورقة نظرية ومنهجية، فهي لا تقدم اختبارات معيارية واسعة النطاق بل تقدم تحققاً مفاهيمياً ومثالاً جارياً.

مثال جاري: يوضح المؤلفون الإطار باستخدام مهمة تجميع كتل متعددة الوسائط ومتعددة الوكلاء.
- السيناريو: يعطي مستخدم تعليمات غامضة ("ضع الكتلة الحمراء على الكومة العالية بجانب الزرقاء" في حين يوجد مجموعتان وكتلتان زرقاوان).
- النتيجة:
  - تميل السياسات القياسية إلى التخمين (احتكاك غير منتج عالٍ).
  - FAR تفعل مكافأة الاحتكاك فقط عندما يكون الخطر مرتفعاً، مما يدفع النموذج لطرح سؤال استيضاحي.
  - FPP تتعلم تفضيل السؤال الاستيضاحي على التخمين المباشر بناءً على تفكيك الاحتكاك.
  - GRFR تصنف مسار "الاستيضاح $\leftarrow$ الحل $\leftarrow$ التنفيذ" أعلى من مسار "التنفيذ $\leftarrow$ الفشل $\leftarrow$ الإصلاح".
  - FTR تسمح للسياسة بالانحراف عن النموذج الأساسي المنحاز نحو العمل الفوري عندما يكون المشهد غامضاً.
مقترح التقييم: تحدد الورقة بروتوكول تقييم يعتمد على المسار مصمم لقياس هذه السلوكيات المعرفية المحددة، بحجة أن الاختبارات الحالية أحادية الخطوة تفشل في التقاط جودة توقيت التدخل وإدارة المخاطر.

5. الأهمية والتأثير

تحول في النموذج: ينقل المجال من إرضاء التفضيلات الساكنة إلى التحكم المعرفي الديناميكي. ويجادل بأن "فعل الشيء الصحيح" يشمل معرفة متى لا تتحدث أو متى تطلب المساعدة.
حل "فخاخ المساعدة": يعالج الاستحثاث الهيكلي للثقة المفرطة والهلوسة من خلال معاملة التردد والرفض كاستراتيجيات عقلانية وقابلة للتعلم بدلاً من كونها إخفاقات.
سلامة قابلة للتوسع: من خلال صياغة التدخل كمسألة تحكم، يوفر FPO طريقة مبدئية للتعامل مع قيود السلامة والمعايير في البيئات التفاعلية طويلة المدى حيث تفشل المرشحات الساكنة.
توجهات مستقبلية: تمهد الورقة الطريق لتدريب وكلاء ليسوا مجرد مساعدين ممتثلين، بل شركاء معرفيين تعاونيين قادرين على إدارة عدم اليقين، والمخاطر، وحالات الاعتقاد المشتركة بمرور الوقت.

باختصار، يوفر تحسين السياسة الاحتكاكية الأساس الرسمي والخوارزمي لبناء نماذج لغوية كبيرة تنظم التزامها الخاص، وتدير عدم اليقين، وتتدخل بمسؤولية، مما يضمن المحاذاة في كل من النتيجة والسلوك المعرفي.