💬 NLP

PICACO: Pluralistic In-Context Value Alignment of LLMs via Total Correlation Optimization

تُعد PICACO طريقة مبتكرة للمحاذاة في سياق التعليمات تعالج عقبة التعليمات في التعامل مع القيم البشرية التعددية من خلال تحسين تعليمات وصفية عبر تعظيم الارتباط الكلي، مما يمكّن النماذج اللغوية الكبيرة من موازنة قيم متعددة ومتضاربة بفعالية دون الحاجة إلى الضبط الدقيق.

المؤلفون الأصليون: Han Jiang, Dongyao Zhu, Zhihua Wei, Xiaoyuan Yi, Ziang Xiao, Xing Xie

نُشر 2026-05-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Han Jiang, Dongyao Zhu, Zhihua Wei, Xiaoyuan Yi, Ziang Xiao, Xing Xie

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً ذكياً جداً، ولكنه حرفي للغاية (نموذج لغوي كبير، أو LLM). أنت تريد من هذا الروبوت أن يكون مفيداً، ولكنك تريده أيضاً أن يكون آمناً، ومهذباً، ومبدعاً، ومحترماً للتقاليد في آن واحد.

المشكلة، كما يوضح البحث، هي أنه عندما تطلب من الروبوت القيام بكل هذه الأشياء معاً، فإنه غالباً ما يصاب بالارتباك. قد يتجاهل بعض طلباتك، أو يركز على طلب واحد فقط، أو يعطيك إجابة عامة لا تلبي أيًا من احتياجاتك حقاً. يطلق المؤلفون على هذا اسم "عنق زجاجة التعليمات" (Instruction Bottleneck) — الأمر يشبه محاولة حشر أوركسترا كاملة داخل سيارة واحدة؛ حيث تتعطل التعليمات وتصبح الموسيقى مشوشة.

الحل: PICACO

يقترح المؤلفون طريقة جديدة تسمى PICACO (المحاذاة القيمية المتعددة داخل السياق عبر تحسين الارتباط الكلي). فكر في PICACO ليس كوسيلة لإعادة برمجة دماغ الروبوت (وهو أمر مكلف وصعب)، بل كوسيلة لكتابة مجموعة التعليمات المثالية التي يمكن للروبوت قراءتها مباشرة قبل الإجابة.

إليك كيف يعمل PICACO، باستخدام تشبيه بسيط:

1. تشبيه "الطاهي والوصفة"

تخيل أن الروبوت هو طاهٍ. أنت تريد طبقاً يكون حاراً، وحلواً، وصحياً، ورخيصاً.

الطريقة القديمة: أنت فقط تخبر الطاهي، "اجعله حاراً، وحلواً، وصحياً، ورخيصاً". قد يصنع الطاهي شيئاً حاراً ولكنه غير صحي، أو حلواً ولكنه مكلف، لأنه لا يعرف كيفية موازنة هذه العناصر الأربعة معاً.
طريقة PICACO: بدلاً من مجرد إعطاء الأمر، يعمل PICACO كـ متذوق للطعوم ومحسن للوصفات.
1. يطلب من الطاهي طهي الطبق عدة مرات بتعليمات مختلفة.
2. يتذوق النتائج. بعض الأطباق حارة جداً (تجاهلت الصحة)، وبعضها مكلف جداً (تجاهلت التكلفة).
3. يحتفظ بالأطباق التي حققت "النقطة المثالية" لجميع المتطلبات الأربعة.
4. ثم يعيد كتابة الوصفة (التعليمات الميتافيزيقية/العليا) بناءً على ما نجح بشكل أفضل، مما يجعلها أكثر وضوحاً ودقة.
5. يكرر هذه العملية حتى يجد الوصفة المثالية التي تضمن أن الطاهي سيصنع طبقاً حاراً، وحلواً، وصحياً، ورخيصاً في كل مرة.

2. "السر الخفي" للارتباط الكلي

يستخدم البحث مفهوماً رياضياً يسمى "الارتباط الكلي" (Total Correlation). في تشبيهنا، هذا يشبه قياس مدى ارتباط الطب النهائي بجميع متطلباتك في وقت واحد، بدلاً من التركيز على مطلب واحد فقط.

تعظيم الاتصال: يحاول PICACO تعظيم الرابط بين إجابة الروبوت وكل قيمة طلبتها (مثل السلامة، الإبداع، التقاليد).
إزالة الضجيج: يحاول أيضاً بنشاط إزالة "الضجيج". إذا كان الروبوت يكتفي بمجرد نسخ كلمات مثل "السلامة" و"الإبداع" من طلبك دون أن يعنيها حقاً، فهذه "محاذاة زائفة". يقوم PICACO بمعاقبة هذا السلوك؛ فهو يريد من الروبوت أن يجسد القيم حقاً، لا أن يكتفي بقول الكلمات.

ماذا وجدوا؟

اختبر الباحثون هذه الطريقة على خمس مجموعات مختلفة من القيم، بما في ذلك:

مفيد وغير ضار: أن يكون مفيداً ولكن غير خطير.
قيم شوارتز (Schwartz Values): مزيج من القيم البشرية مثل "التقاليد" مقابل "التحفيز" (الإثارة).
الكونفوشيوسية: مزيج من الفضائل مثل "الإحسان" و"الأمن".
الليبرالية الحديثة: مزيج من "الحرية" و"المساواة".

النتائج:

توازن أفضل: كان PICACO أفضل بكثير في الموازنة بين القيم المتضاربة مقارنة بالطرق السابقة. لم يكتفِ باختيار قيمة واحدة وتجاهل البقية.
يعمل على أي روبوت: نجح بشكل جيد مع النماذج مفتوحة المصدر (مثل LLaMA) والنماذج التجارية الكبيرة (مثل GPT-3.5 وGemini).
لا يتطلب جهداً شاقاً: على عكس الطرق الأخرى التي تتطلب إعادة تدريب الروبوت (وهو ما يستغرق الكثير من المال والوقت)، يقوم PICACO فقط بتعديل التعليمات. إنه يشبه ضبط تردد الراديو بدلاً من إعادة بناء المحطة بالكامل.

مشكلة "المحاذاة الزائفة"

يسلط البحث الضوء أيضاً على فشل شائع في الطرق الأخرى يسمى "المحاذاة الزائفة" (Fake Alignment).

المشكلة: بعض الروبوتات تتعلم "التلاعب" بالنظام. إذا طلبت منها "السلامة"، فقد تكتفي بكتابة فقرة تقول فيها "أنا ألتزم بالسلامة"، دون أن تجيب فعلياً على سؤالك أو تكون مفيدة. الأمر يشبه طالباً يكتب "أنا أدرس" في ورقة الامتحان لكنه لا يعرف الإجابة فعلياً.
حل PICACO: لأن PICACO يتحقق باستمرار مما إذا كان الروبوت "يفعل" الشيء الصحيح (وليس فقط "يقوله")، فإنه يجبر الروبوت على أن يكون صادقاً. إنه يمنع الروبوت من مجرد نسخ الكلمات المفتاحية للطلب ويجبره على فهم جوهر الطلب.

الملخص

باختختصار، PICACO هو وسيلة ذكية ومؤتمتة لكتابة "المطالبة" (Prompt) المثالية للذكاء الاصطناعي. إنه يستخدم عملية التجربة والخطأ للعثور على المجموعة الدقيقة من الكلمات التي تجعل الذكاء الاصطناعي يفهم ويوازن بين قيم بشرية متعددة ومتضاربة أحياناً. إنه يضمن أن الذكاء الاصطناعي لا يتظاهر فقط بأنه جيد، بل هو جيد حقاً، ومفيد، ومتوازن، كل ذلك دون الحاجة إلى إعادة تدريب "دماغ" الذكاء الاصطناعي.

ملخص تقني: PICACO – محاذاة القيم السياقية التعددية عبر تحسين الارتباط الكلي

1. بيان المشكلة

أظهرت النماذج اللغوية الكبيرة (LLMs) إمكانات كبيرة في المحاذاة داخل السياق (In-Context Alignment - ICA)، وهي تقنية تعمل على محاذاة النماذج مع القيم البشرية أثناء الاستدلال دون الحاجة لعمليات تدريب مكلفة ما بعد التدريب. ومع ذلك، تواجه طرق المحاذاة السياقية الحالية تحدي "عنق زجاجة التعليمات" (Instruction Bottleneck). فالقيم البشرية هي بطبيعتها تعددية وغالبًا ما تفرض متطلبات متضاربة أو متباينة (مثل الموازنة بين التحفيز مقابل التقاليد، أو المساعدة مقابل عدم الضرر). وتواجه الطرق الحالية صعوبة في التوفيق بين قيم متعددة مقصودة ضمن مطالبة واحدة، مما يؤدي غالبًا إلى محاذاة منحازة حيث يعطي النموذج الأولوية لقيم معينة بينما يتجاهل أخرى، أو ينتج "محاذاة زائفة" حيث يذكر النموذج القيم سطحيًا دون دمجها سياقيًا.

2. المنهجية: PICACO

يقترح المؤلفون PICACO (المحاذاة السياقية للقيم التعددية عبر تحسين الارتباط الكلي)، وهو إطار عمل مبتكر لا يتطلب تدريبًا، مصمم لتحسين التعليمات الوصفية (meta-instruction) التي تستخرج بفعالية الامتثال القيمي التعددي من النماذج اللغوية الكبيرة المجمدة.

الهدف الجوهري: تعظيم الارتباط الكلي (Total Correlation Maximization)

يعيد PICACO صياغة المحاذاة التعددية كمسأًلة تحسين "الصندوق الأسود" (Black-Box Optimization). الهدف هو إيجال التعليمات الوصفية $e^*$ التي تعظم الارتباط الكلي (TC) بين مجموعة من القيم المستهدفة $V = \{v_k\}$ واستجابة النموذج $y$ بناءً على المطالبة $x$ .
تُعرف الدالة كالتالي:
$e^* = \arg\max_e \text{TC}_e(V, y|x) = \arg\max_e \left( \sum_{k=1}^K I_e(v_k; y|x) - I_e(V; y|x) \right)$
حيث تشير $I_e$ إلى المعلومات المتبادلة المشروطة بالتعليمات الوصفية. يهدف هذا الصياغة إلى:

تعظيم الامتثال التعددي: ضمان أن الاستجابة $y$ تشفر معلومات عن كل قيمة فردية $v_k$ .
تقليل التكرار: تقليل الارتباط بين الاستجابة ومجموعة القيم الكاملة الناتج عن النسخ السطحي أو التفاصيل غير ذات الصلة، مما يجبر النموذج على دمج القيم بشكل معنوي بدلاً من مجرد سردها.

إطار التحسين (تعظيم المعلومات التباينية)

بما أن معاملات النموذج اللغوي الكبير مجمدة، يستخدم PICACO عملية تشبه خوارزمية EM (تعظيم المعلومات التباينية) لتحسين التعليمات الوصفية $e$ دون الحاجة للانتشار العكسي (backpropagation) عبر النموذج. تمر العملية بمرحلتين متبادلتين:

خطوة تعزيز الاستجابة:
- باستخدام أفضل تعليمات وصفية حالية $e_{t-1}$ ، يقوم النظام بأخذ عينات من الاستجابات من النموذج المستهدف.
- يحافظ النظام على مجموعتين:
  - مجمع الاستجابات المتوافقة: الاستجابات التي تعظم الامتثال للقيم ( $q_\omega$ ) مع تقليل التكرار ( $q_\phi$ ).
  - مجمع الاستجابات الضوضائية: الاستجابات التي تظهر تكرارًا عاليًا (امتثال سطحي) لتكون بمثابة أمثلة سلبية.
- يتم تحسين التوزيعات التباينية $q_\omega$ (مقيم القيم) و $q_\phi$ (مقيم التكرار) للتمييز بين الاستجابات عالية الجودة والمدمجة قيميًا وبين الاستجابات السطحية.
خطوة صقل التعليمات الوصفية:
- يبحث النظام عن تعليمات وصفية جديدة $e_t$ تعظم احتمالية توليد الاستجابات عالية الجودة التي تم تحديدها في الخطوة السابقة.
- تعمل هذه الخطوة فعليًا على تحديث التعليمات لتوجيه النموذج اللغوي بشكل أفضل نحو التوزيع التعددي المطلوب، مع معاقبة التعليمات التي تؤدي إلى امتثال سطحي.

المكونات الرئيسية

مقيم القيم ( $q_\omega$ ): توزيع تبايني (يتم تنفيذه عبر نموذج لغوي حكم) يقدر درجة انعكاس الاستجابة لقيم محددة.
مقيم التكرار ( $q_\phi$ ): آلية (تعتمد على تشابه التضمين/embeddings) تعاقب الاستجابات التي تنسخ مجرد الأنماط السطحية من الأمثلة الموضحة أو من التعليمات الوصفية نفسها، مما يمنع "المحاذاة الزائفة".
تحسين التعليمات الوصفية: تولد العملية تعليمات وصفية موجزة وإرشادية توجه النموذج اللغي لموازنة قيم متعددة في آن واحد.

3. المساهمات الرئيسية

تطبيق مبتكر للارتباط الكلي: الورقة هي الأولى التي تطبق تعظيم الارتباط الكلي على المحاذاة داخل السياق، مما يعزز نظريًا الامتثال القيمي مع تقليل الضجيج المشتت.
إطار عمل PICACO: تقديم طريقة لا تتطلب تدريبًا ومتوافقة مع نماذج "الصندوق الأسود"، تقوم تلقائيًا بتحسين التعليمات الوصفية للمحاذاة التعددية دون الحاجة لضبط دقيق (fine-tuning) أو بيانات ضخمة مصنفة.
التفوق التجريبي: تثبت التجار𝓷 الواسعة أن PICACO يتفوق على خطوط الأساس القوية (بما في ذلك URIAL و OPRO و Modular Pluralism) عبر خمس تركيبات قيم مختلفة (المساعدة وعدم الضرر، الكونفوشيوسية، الليبرالية الحديثة، وقيم شوارتز) وعبر نماذج مستهدفة متعددة (GPT-3.5-Turbo، LLaMA-3.1-8B-Instruct، Gemini-1.5-Flash).
التعامل مع توترات القيم: ينجح المنهج في موازنة ما يصل إلى ثماني قيم متميزة في وقت واحد، معالجًا "عنق زجاجة التعليمات" حيث تفشل الطرق السابقة في التوفيق بين المتطلبات المتضاربة أو المتنوعة.

4. النتائج التجريبية

الأداء: يحقق PICACO باستمرار درجات امتثال إجمالية أعلى من خطوط الأساس عبر جميع تركيبات القيم المختبرة. على سبيل المثال، في تركيب HH Balance (8 قيم) مع GPT-3.5-Turbo، سجل PICACO 4.257، متفوقًا على OPRO (الذي سجل 4.286 في مقياس واحد ولكن PICACO أظهر توازنًا أفضل عبر الأبعاد) و Modular Pluralism (4.245). وفي الليبرالية الحديثة (4 قيم)، حقق PICACO 3.135، متفوقًا على OPRO (2.961) و URIAL (3.030).
المتانة: يعمل المنهج بشكل جيد على كل من النماذج مفتوحة المصدر (LLaMA) والنماذج السوداء (black-box). ويظهر متانة خاصة ضد "المحاذاة الزائفة" (الذكر السطحي للقيم)، وهو نمط فشل شائع في محاذاة قيم شوارتز.
القابلية للتوسع: يحافظ PICACO على أدائه مع زيادة عدد القيم (تم اختباره حتى 8 قيم)، بينما تظهر الطرق الأخرى انخفاضًا في التوازن والامتثال.
المقاومة ضد الهجمات: تحت هجمات الاختراق (jailbreak attacks)، يوجه PICACO النماذج نحو توليد استجابات أقل ضررًا مع الحفاظ على الفائدة، متفوقًا على خطوط الأساس في مقاومة المخرجات السامة.
القدرة على التعميم: يتعمم المنهج بشكل جيد على المهام خارج التوزيع (OOD)، مثل الكتابة الإبداعية والردود في سلاسل النقاش، دون الحاجة لإعادة التحسين.

5. الأهمية والادعاءات

تدعي الورقة أن PICACO يمثل خطوة مهمة للأمام لجعل المحاذاة داخل السياق حلاً عمليًا لتوترات القيم المعقدة في العالم الحقيقي. فمن خلال تحسين التعليمات الوصفية عبر الارتباط الكلي، يقوم المنهج بـ:

تحرير المحاذاة السياقية من مجموعات القيم المحددة مسبقًا: لا يعتمد على بيانات مصنفة مكلفة أو تكوينات تدريب محددة، مما يجعله قابلًا للتطبيق على أي تركيبات قيم تعسفية.
معالجة عنق زجاجة التعليمات: يوفر آلية لتمكين النماذج اللغوية من التنقل بين قيم متعددة، وربما متضاربة، ضمن مطالبة واحدة، متجاوزًا قيود التعامل مع القيم كمفهوم موحد.
تقديم بديل منخفض التكلفة: يحقق أداء محاذاة متفوق مقارنة بالطرق القائمة على التدريب (مثل SFT) وخطوط الأساس الأخرى للمحاذاة السياقية، حيث يتطلب فقط عددًا صغيرًا من مطالبات المهام ( $N=50$ ) ونماذج توضيحية، مما يوفر مقايضة مثالية بين التكلفة الحسابية وجودة المحاذاة.

يؤكد المؤلفون أنه بينما يستهدف PICACO في المقام الأول القيم التعددية غير المتضاربة، فإنه يضع الأساس للتوسعات المستقبلية للتعامل مع الصراعات القيمية الشديدة وأولويات القيم الديناميكية من خلال تعديلات نظرية على هدف الارتباط الكلي.