💬 NLP

When Gradients Collide: Failure Modes of Multi-Objective Prompt Optimization for LLM Judges

تحدد هذه الورقة نمطي فشل أساسيين — تخفيف التدرج أثناء وقت التحسين وتداخل التعليمات أثناء وقت الاستدلال — يعيقان تحسين المطالبات متعددة الأهداف لنماذج الحكم اللغوية الكبيرة، مما يثبت أن طرق التدرج النصي الحالية غالبًا ما تفشل في التحسن عن المطالبات الأولية عند التعامل مع معايير متعددة في آن واحد.

المؤلفون الأصليون: Parth Darshan, Abhishek Divekar

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Parth Darshan, Abhishek Divekar

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك محرراً ذكياً جداً، ولكنه مرتبك قليلاً (المحرر "القاضي" أو الـ AI). هدفك هو تعليم هذا المحرر كيفية تقييم مقالات الطلاب. ولكن هنا تكمن العقبة: أنت لا تريد منه فقط التحقق من القواعد النحوية؛ بل تريده أيضاً أن يتحقق من الإبداع، والمنطق، والوضوح في آن واحد.

هذه الورقة هي بمثابة تقرير درجات لما يحدث عندما تحاول تعليم هذا المحرر القيام بأربع وظائف مختلفة في وقت واحد باستخدام طريقة محددة تسمى "التدرجات النصية" (Textual Gradients).

الإعداد: طريقة "التدرج النصي"

عادةً، إذا أردت إصلاح خطأ ما، فإنك تحصل على رقم (مثل "انخفضت درجتك بمقدار 5 نقاط") ثم تقوم بالتعديل. لكن هذه الورقة تستخدم نهجاً مختلفاً. بدلاً من الأرقام، يقدم الذكاء الاصطناعي ملاحظات مكتوبة.

العملية: يكتب الذكاء الاصطناعي نقداً ("هذه الجملة مربكة")، ثم يحول هذا النقد إلى تعليمات محددة ("اجعل قاعدة الوضوح أكثر صرامة")، ثم يعيد كتابة تعليمات المعلم.
المشكلة: في الرياضيات، يمكنك بسهولة دمج اتجاهات مختلفة (مثل "اذهب شمالاً" و"اذهب شرقاً") لتجد مساراً. ولكن في اللغة، لا يمكنك دمج "إصلاح القواعد" و"تحسين القصة" بسهولة دون أن تصبح الأمور فوضوية.

التجربة: "الاجتماع الجماعي" مقابل "التدريب الخاص"

اختبر الباحثون خمس طرق مختلفة لتنظيم عملية التدريس هذه. تساءلوا: هل يجب على الذكاء الاصطناعي التعامل مع معايير التقييم الأربعة (القواعد، الإبداع، المنطق، والوضوح) في اجتماع جماعي كبير واحد، أم يجب عليه التعامل معها في جلسات خاصة منفصلة؟

لقد جربوا كل التوليفات الممكنة:

المنفصل: يتحدث الذكاء الاصطناعي مع نفسه حول القواعد، ثم يتوقف، ثم يتحدث عن الإبداع، وهكذا.
المدمج: يحاول الذكاء الاصطناعي معرفة كيفية إصلاح القواعد، والإبداع، والمنطق، والوضوح في محادثة واحدة شاملة.

النتائج: نمطان رئيسيان للفشل

1. مشكلة "النصيحة المخففة" (تخفيف التدرج أثناء التحسين)

التشبيه: تخيل طباخاً يحاول كتابة وصفة لطبق يحتاج أن يكون حاراً، وحلواً، وحامضاً، ومالحاً في آن واحد. إذا حاول تقديم تعليمات واحدة مثل "اجعل الطعم أفضل"، سينتهي به الأمر بوصفة باهتة ومملة لا تعالج أي نكهة محددة حقاً.

ما وجدته الورقة:
عندما حاول الذكاء الاصطناعي معالجة جميع معايير التقييم الأربعة في وقت واحد، أصبحت نصائحه عامة للغاية.

انخفاض التحديد: عندما عمل الذكاء الاصطناعي على مهمة واحدة في كل مرة، كانت نصائحه دقيقة جداً بنسبة 9 من 10. ولكن عندما حاول القيام بالمهام الأربع معاً، انخفضت دقة نصائحه إلى 3.7 من 10.
النتيجة: كانت النصيحة مخففة لدرجة أنها أصبحت عديمة الفائدة. كان الأمر يشبه قولك للمحرر: "حاول بجهد أكبر فقط"، بدلاً من "أصلح الجمل الطويلة غير المكتملة". لقد تعثر النظام ولم يتمكن من تحسين التعليمات الأولية.

2. مشكلة "الغرفة المزدحمة" (تداخل التعليمات أثناء الاستنتاج)

التشبيه: تخيل أن لديك أربعة مدربين. المدرب (أ) يكتب دليلاً من 10 صفحات حول كيفية لعب الدفاع. المدرب (ب) يكتب ملاحظة من صفحتين حول الهجوم. المدرب (ج) يكتب ملاحظة من صفحة واحدة حول تسجيل الأهداف. والمدرب (د) يكتب ملاحظة من 3 صفحات حول التمرير.
إذا قمت بلصق الملاحظات الأربع معاً في ورقة تعليمات واحدة ضخمة وسلمتها للاعب، فسوف يرتبك اللاعب. سيقضي 90% من وقته في قراءة دليل الدفاع المكون من 10 صفحات ويتجاهل الملاحظات الثلاث الأخرى.

ما وجدته الورقة:
حتى عندما أخذ الباحثون أفضل التعليمات الممكنة لكل مهمة على حدة (التعليمات "المختارة بعناية") ودمجوها في أمر (Prompt) واحد، كان الأداء أسوأ من الأمر الأصلي البسيط.

لماذا؟ نمت تعليمات المهام المختلفة إلى أطوال متفاوتة. فقد تم اختطاف انتباه الذكاء الاصطناعي بواسطة التعليمات الأطول والأكثر تفصيلاً، مما جعله يتجاهل التعليمات الأخرى القصيرة والمهمة.
النتيجة: دمج التعليمات الجيدة والمنفصلة خلق تعليمات سيئة ومربكة.

الخلاصة

تخلص الورقة إلى أن محاولة تحسين "قاضي الذكاء الاصطناعي" لمهام متعددة في وقت واحد باستخدام طريقة "التدرج النصي" هذه معطلة حالياً.

إذا دمجت المهام: تصبح النصيحة غامضة جداً لدرجة لا يمكن الاستفادة منها (تخفيف التدرج).
إذا دمجت التعليمات النهائية: يصاب الذكاء الاصطناعي بالارتباك بسبب طول النص ويتجاهل أجزاءً من التعليمات (تداخل التعليمات).

يشير الباحثون إلى أنه حتى نتمكن من إصلاح كيفية تعامل الذكاء الاصطناعي مع هذه "الاجتماعات الجماعية" أو كيفية قراءته لـ "ورقة التعليمات" النهائية، فلن نتمكن من استخدام هذه الطريقة بشكل موثوق لإنشاء قضاة ذكاء اصطناعي متعددين المهام. قد نحتاج إلى معاملة كل مهمة على حدة أو ابتكار طريقة جديدة لموازنة "أحجام" التعليمات المختلفة.

ملخص تقني: عندما تتصادم التدرجات

بيان المشكلة

يتطلب تخصيص نماذج الحكم (Judges) القائمة على النماذج اللغوية الكبيرة (LLMs) لمجالات محددة تحسين المطالبات (Prompts) لتلبية معايير تقييم متعددة في آن واحد (مثل السلاسة، والارتباط، والتماسك، والاتساق). وبينما تنجح طرق التدرج النصي (مثل TEXTGRAD و OPRO) في أتمتة تحسين المطالبات لأهداف مفردة، إلا أنها تواجه عائقًا هيكليًا في الإعدادات متعددة الأهداف. فخلافًا للتعلم متعدد المهام الرقمي، الذي تعتمد فيه أدوات حل النزاعات مثل PCGrad أو MGDA على خصائص الفضاء المتجهي (المقادير، وحاصل الضرب الداخلي، والفضاءات الجزئية الخطية)، فإن التدرجات النصية هي سلاسل من اللغة الطبيعية. وبناءً على ذلك، لا يمكن تطبيق آليات حل النزاع في المهام المتعددة الحالية بشكل مباشر. علاوة على على ذلك، لم تدرس الأعمال السابقة بشكل منهجي كيفية تفاعل التغذية الراجعة لكل مهمة ضمن مسار تدرج نصي واحد لنماذج الحكم، مما يترك جدوى تحسين المطالبات متعددة المعايير غير معروفة.

المنهجية

يجري المؤلفون دراسة تجريبية شاملة على مجموعة بيانات SUMMEVAL، وهي معيار تقييم ميتا لملخصات النصوص تتضمن أربعة معايير متميزة (السلاسة، والارتباط، والتماسك، والاتساق). تستخدم الدراسة خط أنابيب تحسين يتكون من 4 مراحل:

نموذج المهمة (Task Model): يتنبأ بالدرجات لمجموعة من الأمثلة.
نموذج الخسارة (Loss LLM): ينقد التنبؤات مقابل الحقيقة الأرضية (Ground Truth) لتوليد خسارة بلغة طبيعية.
نموذج التدرج (Gradient LLM): يجمع الخسائر في اقتراحات مهيكلة للتعليمات والتعديلات (التدرجات النصية).
نموذج المحسن (Optimizer LLM): يعيد كتابة تعليمات كل مهمة في المطالبة بناءً على التدرج.

المتغير التجريبي الأساسي هو وضع التفكيك (Decomposition Mode)، والذي يتم تمثيله برمز مكون من 3 أحرف (مثل SSS، CCC) يشير إلى ما إذا كانت مراحل الخسارة، والتدرج، والمحسن تعمل بشكل منفصل (S) لكل مهمة أو بشكل مدمج (C) عبر جميع المهام معًا. الأوضاع الخمسة المختبرة هي:

المهام المفردة (SINGLE-TASK): عمليات تحسين مستقلة لكل مهمة.
SSS: جميع المراحل منفصلة لكل مهمة.
SSC: مرحلتا الخسارة والتدرج منفصلتان؛ والمحسن يدمج جميع التدرجات.
SCC: مرحلة الخسارة منفصلة؛ والتدرج والمحسن يدمجان جميع المهام.
CCC: جميع المراحل تعمل بشكل مشترك على جميع المهام.

تُقيم الدراسة هذه الأوضاع تحت استراتيجيتي تحقق: التحقق باستخدام MAE (قبول التحديثات فقط إذا لم يزد متوسط الخطأ المطلق في مجموعة بيانات محجوزة) و بدون تحقق (قبول جميع التحديثات). ويُقاس الأداء عبر معامل ارتباط سبيرمان المتوسط ( $\bar{\rho}$ ) عبر 12 خطوة تحسين عبر 3 جولات.

لتشخيص الفشل، قدم المؤلفون مقياسين على مستوى العملية:

خصوصية التدرج (Gradient Specificity): درجة (1–10) تقيس مدى استهداف التدرج لمهمة واحدة مقابل كونه عامًا.
الالتزام بالتغذية الراجعة (Feedback Adherence): درجة تقيس مدى اتباع نموذج المحسن لاقتراحات نموذج التدرج.

النتائج الرئيسية

تكشف الدراسة أن تحسين المطالبات متعدد المعايير غالبًا ما يصل إلى حالة ركود أو يؤدي إلى تدهور الأداء مقارنة بالمطالبة العامة الأولية:

فشل التحسين: في 6 من أصل 10 تكوينات (أوضاع التفكيك $\times$ إعدادات التحقق)، لم تنجح عملية التحسين أبدًا في تحسين المطالبة الأولية. الوضع الوحيد متعدد المهام الذي أظهر تحسنًا طفيفًا كان CCC مع التحقق باستخدام MAE (+0.012 $\rho$ )، وهو تحسن لم يكن ذا دلالة إحصائية. فقط وضع SINGLE-TASK الأساسي مع التحقق باستخدام MAE حقق تحسنًا ملموسًا (+0.031 $\rho$ ).
تمييع التدرج (Gradient Dilution): عندما يعالج نموذج التدرج معايير متعددة بشكل مشترك (أوضاع SCC، CCC)، تنخفض خصوصية التدرج بنسبة 59% (من متوسط 9.0 في أوضاع المهمة الواحدة إلى 3.7 في أوضاع جميع المهام). ورغم هذا الانخفاض، يظل الالتزام بالتغذية الراجعة مرتفعًا (7.8–8.8)، مما يشير إلى أن المحسن يدمج بأمانة اقتراحات عامة ومنخفضة الخصوصية، مما يؤدي إلى تحديثات دون المستوى للمطالبة.
تداخل التعليمات (Instruction Interference): حتى عند استخدام "التعليمات المثالية" (أفضل التعليمات لكل مهمة والتي تم اختيارها بشكل مستقل)، فإن دمجها في مطالبة واحدة متعددة المهام يؤدي إلى تدهور الأداء بمقدار −0.053 في معامل سبيرمان مقارنة بالخط المرجعي العام الأولي. يشير هذا إلى أن التداخل أثناء الاستنتاج، الناتج على الأرجين عن عدم التماثل في طول التعليمات (حيث تهيمن المعايير التفصيلية الطويلة على الانتباه على المعايير الموجزة)، يمنع تجميع التعليمات المثالية فرديًا.
مؤشر الحجم الفائق (HVI): بينما ركد متوسط معامل ارتباط سبيرمان، زاد مؤشر HVI في وضع CCC، مما يشير إلى أن المحسن اكتشف مطالبات متخصصة متنوعة وسعت جبهة باريتو (Pareto front)، حتى لو لم تسيطر مطالبة واحدة على جميع المهام في وقت واحد.

المساهمات الرئيسية

يقدم البحث ثلاث مساهمات رئيسية:

دراسة تجريبية: تقييم منهجي لتحسين المطالبات بالتدرج النصي متعدد المعايير عبر خمسة أوضاع تفكيك، مما يثبت أن الطرق الحالية تفشل إلى حد كبير في التحسن عن المطالبات العامة في الإعدادات متعددة الأهداف.
تشخيصات على مستوى العملية: تقديم مقاييس خصوصية التدرج والالتزام بالتغذية الراجعة، والتي تحدد موضع الاختناق في جودة إشارة التدرج بدلاً من امتثال المحسن.
تحديد أوضاع الفشل: عزل نموذجين للفشل:
- تمييع التدرج أثناء وقت التحسين: فقدان الإشارة الخاصة بالمهمة عند معالجة عدة معايير بشكل مشترك بواسطة نموذج التدرج.
- تداخل التعليمات أثناء وقت الاستنتاج: تدهور الأداء عند دمج التعليمات المثالية لكل مهمة في مطالبة واحدة، بشكل مستقل عن عملية التحسين.

الأهمية والادعاءات

يزعم المؤلفون أن هذه النتائج تحدد حدود مساحة التصميم لتحسين نماذج الحكم متعددة الأهداف باستخدام التغذية الراجعة النصية. وتوضح الدراسة أن مجرد توسيع طرق التدرج النصي أحادية الهدف لتشمل إعدادات متعددة المعايير غير كافٍ بسبب عدم التوافق الهيكلي مع حل النزاعات في الفضاء المتجهي.

تكمن الأهمية في تحديد أن الفشل ليس مجرد نقص في قوة التحسين، بل هو مشكلة أساسية تتمثل في تمييع الإشارة وتداخل التعليمات. ويجادل البحث بأنه لكي يتمكن الممارسون من تخصيص نماذج الحكم لمعايير محددة في المجال بشكل موثوق، يلزم إجراء تغييرات هيكلية قبل أن يكون تحسين المطالبات متعدد المعايير فعالاً. وتحديدًا، يقترح المؤلفون أن معالجة أحد أوضاع الفشل فقط (مثل تحسين جودة التدرج) لا يكفي إذا ظل تداخل وقت الاستنتاج قائمًا، والعكس صحيح. يوفر العمل إطارًا تشخيصيًا لتقييم النهج المستقبلية ويسلط الضوء على أن الجمع الساذج للتعليمات لكل مهمة هو أمر ضار، مما يستلزم استراتيجيات جديدة للتعامل مع التغذية الراجعة متعددة المعايير في نماذج الحكم اللغوية.