🤖 AI

Aligning Compound AI Systems via System-level DPO

تقدم هذه الورقة SysDPO، وهو إطار عمل يعمل على مواءمة الأنظمة الاصطناعية المركبة والمعقدة ومتعددة المكونات مع التفضيلات البشرية من خلال نمذجتها كرسوم بيانية موجهة غير حلقية (Directed Acyclic Graphs) وتوسيع تحسين التفضيل المباشر (Direct Preference Optimization) للتغلب على تحديات التفاعلات غير القابلة للاشتقاق وصعوبة ترجمة التفضيلات على مستوى النظام إلى مستويات المكونات.

المؤلفون الأصليون: Xiangwen Wang, Yibo Jacky Zhang, Zhoujie Ding, Katherine Tsai, Haolun Wu, Sanmi Koyejo

نُشر 2026-03-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Xiangwen Wang, Yibo Jacky Zhang, Zhoujie Ding, Katherine Tsai, Haolun Wu, Sanmi Koyejo

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مخرج لإنتاج سينمائي ضخم وعالي المخاطر. أنت لا تملك ممثلاً واحداً فحسب، بل لديك طاقم عمل كامل: كاتب سيناريو، ومصمم أزياء، وفريق مؤثرات خاصة، ومخرج.

في عالم الذكاء الاصطنا، هذه هي الأنظمة الذكية المركبة (Compound AI Systems). فبدلاً من وجود عقل واحد عملاق يحاول القيام بكل شيء، لدينا فريق من نماذج الذكاء الاصطعي المتخصصة التي تعمل معاً. أحد النماذج يكتب القصة، وآخر يرسم الصور، وثالث يدقق في الحقائق.

المشكلة: طاقم "سوء الفهم"
تشير الورقة البحثية إلى مشكلة مضحكة ولكنها محبطة. تخيل أنك طلبت من طاقم عملك إنتاج فيلم عن قطة تصبح غاضبة تدريجياً.

كاتب السيناريو (LLM): يكتب ثلاثة سيناريوهات: "قطة هادئة"، "قطة منزعجة قليلاً"، و"قطة غاضبة".
الفنان (مولد الصور): يرسم ثلاث صور.

في العالم المثالي، يجب أن تتطابق الصور مع السيناريوهات تماماً، لتظهر تطوراً واضحاً من الهدوء إلى الغضب. لكن في الواقع، غالباً ما يفشل الطاقم في التنسيق. قد يكتب كاتب السيناريو سيناريو لقطة "غاضبة"، لكن الفنان يرسم قطة "نائمة" لأنه لم يفهم تماماً "الحالة المزاجية" التي كان يقصدها الكاتب. أو قد يكتب كاتب السيناريو ثلاثة سيناريوهات متشابهة جداً، فلا يجد الفنان مادة للعمل عليها.

عندما تحاول إصلاح ذلك بتدريب كاتب السيناريو وحده، سيظل الفنان يخطئ. وإذا دربت الفنان وحده، سيظل كاتب السيناريو يعطي تعليمات سيئة. إنهما يشبهان شخصين يحاولان الرقص معاً دون الاستماع إلى الموسيقى؛ يحتاجان لتعلم "الرقصة معاً"، وليس مجرد تعلم خطواتهما الفردية.

الطريقة القديمة مقابل الطريقة الجديدة

الطريقة القديمة (التدريب القياسي للذكاء الاصطناعي): عادةً، نقوم بتدريب نماذج الذكاء الاصطناعي واحداً تلو الآخر. نعلم كاتب السيناريو كيف يكتب بشكل أفضل، ثم نعلم الفنان كيف يرسم بشكل أفضل. ولكن في النظام المركب، لا يتم إعطاء "الدرجة" (هل خرج الفيلم جيداً؟) إلا في النهاية تماماً. إنه يشبه تقييم كاتب السيناريو بناءً على الفيلم النهائي فقط، دون إخباره أي سطر حواري تحديداً تسبب في المشكلة.
حل الورقة البحثية (SysDPO): ابتكر المؤلفون طريقة تدريب جديدة تسمى SysDPO. فكر في هذا كـ "مدرب على مستوى النظام".

كيف يعمل SysDPO (الاستعارة)
تخيل أن طاقم العمل هو فريق سباق تتابع.

الخريطة (DAG): أولاً، يرسم المؤلفون خريطة للسباق. يوضحون بالضبط كيف ينتقل "العصا" (البيانات) من كاتب السيناريو إلى الفنان. تساعدهم هذه الخريطة في رؤية مكان حدوث عملية التسليم بدقة.
تعليقات المدرب: بدلاً من مجرد قول "عمل جيد" أو "عمل سيء" عند خط النهاية، ينظر المدرب (SysDPO) إلى السباق بأكه.
- إذا فشل الفريق، لا يكتفي المدرب بالصراخ على العداء الذي أسقط العصا. بل يحلل المدرب التسلسل بأكمله.
- هل سلم العداء الأول العصا مبكراً جداً؟ هل بدأ العداء الثاني الجري متأخراً جداً؟
- يقوم المدرب بتعديل التدريب لكلا العدائين في وقت واحد حتى يتعلما تمرير العصا بسلاسة في المرة القادبة.

النوعان
تقدم الورقة طريقتين لتشغيل جلسة التدريب هذه، اعتماداً على البيانات التي تملكها:

SysDPO-Direct (طريقة "إعادة العرض الكامل"):
- السيناريو: لديك تسجيل فيديو للسباق بأكمله، بما في ذلك عملية تسليم العصا.
- كيف يعمل: يمكنك رؤية ما كتبه كاتب السيناريو بالضبط وما رسمه الفنان بالضبط. يمكنك حساب الدرجة لكل خطوة بمفردها. هذه هي الطريقة الأكثر دقة للتدريب، لكنها تتطلب حفظ جميع البيانات الوسيطة (المسودات، والرسومات التخطيطية).
SysDPO-Sampling (طريقة "التخمين والتحقق"):
- السيناريو: لديك الفيلم النهائي فقط، ولكن ليس لديك المسودات أو الرسومات التخطيطية. لا تعرف بالضبط ما الذي كتبه كاتب السيناريو قبل أن يبدأ الفنان في الرسم.
- كيف يعمل: يجب على المدرب أن يكون مبدعاً. يقول: "حسناً، لنفترض خمسة أشياء مختلفة قد يكون كاتب السيناريو قد كتبها". يقومون بتوليد هذه السيناريوهات "الافتراضية"، ويمررونها عبر الفنان، ويرون أي تركيبة تؤدي إلى أفضل فيلم نهائي. يستخدمون هذا لتخمين كيفية تحسين الفريق. إنه يشبه حل لغز عبر تجربة قطع مختلفة حتى تتناسب الصورة.

لماذا يهم هذا الأمر؟
اختبر المؤلفون هذا على فريقين من الواقع:

النص إلى صورة (Text-to-Image): ذكاء اصطناعي يكتب أوامر لذكاء اصطناعي آخر يرسم صوراً.
المناظرة بالذكاء الاصطناعي (AI Debate): اثنان من نماذج الذكاء الاصطناعي يتحدثان مع بعضهما لحل مشكلة.

النتائج:

قبل هذا التدريب الجديد، كانت الفرق تتعثر. صور "القطة الغاضبة" كانت تبدو غالباً كقطط نائمة.
بعد استخدام SysDPO، تعلمت الفرق كيفية التنسيق. تعلم كاتب السيناريو كتابة أوامر يمكن للفنان فهمها بالفعل، وتعلم الفنان تفسير قصد الكاتب بشكل أفضل.
ارتفع معدل النجاح بشكل كبير. أصبح تطور "القطة الغاضبة" واضحاً ومتسقاً.

الخلاصة
تتحدث هذه الورقة عن تعليم فرق الذكاء الاصطناعي كيفية العمل معاً، وليس مجرد العمل بمفردهم. إنه الفرق بين مجموعة من العازفين المنفردين الموهوبين الذين يعزفون في نفس الغرفة، وبين أوركسترا سيمفونية تعزف في تناغم تام. من خلال استخدام "مدرب على مستوى النظام" (SysDPO)، يمكننا توجيه هذه الفرق المعقدة من الذكاء الاصطناعي لتقديم نتائج أكثر ذكاءً، وأماناً، وفائدة للبشر.

إليك ملخص تقني مفصل لورقة البحث بعنوان "محاذاة أنظمة الذكاء الاصطناعي المركبة عبر تحسين التفضيل المباشر على مستوى النظام (SysDPO)."

1. بيان المشكلة

أظهرت أنظمة الذكاء الاصطناعي المركبة (الأنظمة التي تدمج مكونات متعددة متفاعلة مثل النماذج اللغوية الكبيرة، والنماذج التأسيسية، والأدوات الخارجية) أداءً فائقاً مقارنة بالنماذج الأحادية. ومع ذلك، فإن محاذاة هذه الأنظمة مع التفضيلات البشرية تعد أكثر صعوبة بكثير من محاذاة النماذج المتجانسة بسبب ثلاث عقبات رئيسية:

التفاعلات غير القابلة للتفاضل: غالباً ما تتواصل المكونات عبر اللغة الطبيعية أو المخرجات المنفصلة، مما يمنع التحسين النهائي (end-to-end) القائم على الاشتقاق (على سبيل المثال، لا يمكن لعملية الانتشار الخلفي القياسية أن تتدفق من الصورة النهائية عبر النص الوصفي وصولاً إلى النموذج اللغوي الكبير).
التفضيلات غير القابلة للتفكيك: التفضيلات على مستوى النظام (مثل تماسك تسلسل الصور) لا يمكن ببساطة تفكيكها إلى تفضيلات مستقلة لكل مكون. إذ يؤدي تحسين المكونات بشكل منعزل غالباً إلى عدم محاذاة في المخرج النهائي.
نقص المعايير الدقيقة: تقيم المعايير الحالية عادةً مخرجات النظام النهائي، وتفتقر إلى وجود حقيقة أرضية (ground truth) للخطوات الوسيطة أو التفضيلات على مستوى المكون.

إن الطرق الحالية مثل تحسين التفضيل المباشر (DPO) وتعلم التعزيز من التغذية الراجعة البشرية (RLHF) لا يمكن تطبيقها مباشرة لأنها تفترض وجود سياسة واحدة قابلة للتفاضل.

2. المنهجية: إطار عمل SysDPO

يقترح المؤلفون SysDPO، وهو إطار عمل يوسع نطاق DPO ليشمل الأنظمة المركبة من خلال نمذجتها كـ رسوم بيانية موجهة غير حلقية (DAGs).

2.1 صياغة النظام

تمثيل الرسم البياني (DAG): يتم نمذجة النظام كرسوم بيانية موجهة غير حلقية حيث تمثل العقد المتغيرات (المدخل $x$ ، المخرجات الوسيطة $y$ ، المخرجات النهائية $z$ ) وتمثل الحواف تدفق البيانات.
تفكيك الاحتمالية: يتم تفكيك الاحتمالية المشتركة لمخرجات النظام إلى حاصل ضرب الاحتمالات الشرطية للمكونات الفردية:
$p_\theta(s|x) = \prod p_{\theta_i}(y_i | \text{Pa}(y_i)) \cdot \prod p_{\theta_j}(z_j | \text{Pa}(z_j))$
حيث أن $s$ هي مجموعة جميع المتغيرات المولدة.

2.2 نوعان من SysDPO

يوفر إطار العمل نهجين اعتماداً على توفر البيانات:

أ. SysDPO-Direct (للأنظمة ذات المخرجات الوسيطة المرصودة)

السيناريو: يُستخدم عندما تتضمن مجموعة بيانات التفضيلات كلاً من المخرجات الوسيطة ( $y$ ) والمخرجات النهائية ( $z$ ).
الآلية: يطبق دالة خسارة DPO مباشرة على المجموعة الكاملة من المتغيرات المولدة $s = \{y, z\}$ .
التحسين: يتم تقليل الخسارة عبر التوزيع المشترك. بالنسبة للمكونات التي لا يكون احتمالها قابلاً للتفاضل بشكل مباشر (مثل نماذج الانتشار - Diffusion Models)، استنتج المؤلفون حداً أعلى للخسارة باستخدام صياغة نموذج الانتشار الاحتمالي لتقليل الضجيج (DDPM)، مما يسمح بتحديثات اشتقاقية قابلة للتتبع.

ب. SysDPO-Sampling (للأنظمة ذات المخرجات الوسيطة غير المرصودة)

السيناريو: يُستخدم عندما تتوفر فقط أزواج المدخلات ( $x$ ) والمخرجات النهائية ( $z$ ) (وهو أمر شائع في مجموعات بيانات التفضيل القياسية).
الآلية: بما أن المخرات الوسيطة $y$ مخفية، فإن الاحتمالية الدقيقة $p(z|x)$ تتضمن جمعاً غير قابل للحل لجميع قيم $y$ الممكنة. يقوم SysDPO-Sampling بتقريب ذلك عن طريق أخذ عينات من مجموعة صغيرة ومتنوعة من المرشحين الوسيطين $\{y^\alpha\}$ .
استراتيجية أخذ العينات: يستخدم البحث الشعاعي المتنوع (Diverse Beam Search - DBS) لتوليد $k$ من المرشحين الوسيطين المتميزين وذوي الاحتمالية العالية. هذا يتجنب عدم كفاءة أخذ عينات مونت كارلو وتكرار العينات المتشابهة جداً.
دالة الخسارة: يتم تقريب خسارة DPO باستخدام هذه المسارات المأخوذة، مما يسمح بالتحسين النهائي عبر الاشتقاق باستخدام التدرج (gradient descent) حتى بدون ملاحظة $y$ في بيانات التدريب.

3. المساهمات الرئيسية

إطار عمل رسمي: تقديم صياغة قائمة على الرسوم البيانية (DAG) لأنظمة الذكاء الاصطناعي المركبة، مع نمذجة تفاعلات المكونات وتدفقات البيانات بشكل صريح.
خوارزمية SysDPO: اقتراح نوعين (Direct و Sampling) للتعامل مع سيناريوهات توفر البيانات المختلفة، مما يسمح بمحاذاة النظام ككل دون الحاجة إلى تسميات تفضيل على مستوى المكون.
الضمانات النظرية: إثبات أن SysDPO يحقق محاذاة مثالية ( $\beta$ -perfect alignment) في حالة المجتمع الإحصائي، مما يعمم الضمانات النظرية لـ DPO القياسي على الأنظمة المركبة. يعتمد الإثبات على افتراض أن توزيع التدريب يغطي حالات وسيطة متنوعة.
التحقق التجريبي: إثبات الفعالية عبر مجالين مختلفين من التطبيقات:
- نموذج لغوي كبير + نموذج انتشار: محاذاة مشتركة لنموذج لغوي (يولد أوصافاً) ونموذج انتشار (يولد صوراً) لضمان التقدم المنطقي في تسلسل الصور.
- التعاون بين نماذج لغوية متعددة: محاذاة خط معالجة مكون من مرحلتين (توليد الأسئلة $\leftarrow$ التنقيح) لمهام الاستدلال المعقدة.

4. النتائج التجريبية

التجربة 1: نموذج لغوي كبير + نموذج انتشار (تقدم الصور)

المهمة: توليد تسلسل من الصور يظهر تغيراً تدريجياً في سمة معينة (مثل "قط يزداد غضباً").
المقارنات المرجعية (Baselines): نظام غير محاذى، أخذ عينات "الأفضل من N" (Best-of-N)، تدريب النموذج اللغوي فقط، تدريب نموذج الانتشار فقط.
النتائج:
- حقق النظام غير المحاذى 32% فقط من اتساق الترتيب (التقدم الصحيح).
- أدى تدريب النموذج اللغوي فقط إلى تحسين هذه النسبة إلى 65%، مما يبرز دور النموذج اللغوي في توجيه النظام.
- حقق SysDPO-Direct أعلى أداء بنسبة 73% في اتساق الترتيب وأعلى درجة تفضيل (0.25)، متفوقاً على جميع المقارنات المرجعية.
- الاستنتاج: التحسين المشترك يتفوق على تحسين المكونات بشكل منفصل.

التجربة 2: التعاون المركب بين النماذج اللغوية (سؤال وجواب من مرحلتين)

المهمة: نظام من مرحلتين حيث يولد النموذج الأول إجابة وسيطة ويقوم النموذج الثاني بتنقيحها.
المقارنات المرجعية: نظام يعتمد على التلقين (Prompted System - بدون تدريب)، وDPO المنفصل (محاذاة كل نموذج على حدة).
النتائج:
- حقق SysDO-Sampling معدل فوز قدره 19.8% مقابل الاستجابات المفضلة بشرياً، وهو تحسن نسبي بنسبة 55% عن النظام الملقن غير المحاذى (12.8%).
- تفوق بشكل كبير على DPO المنفصل (16.6%)، مما يثبت أن التغذية الراجعة على مستوى النظام ضرورية حتى عندما تكون المكونات متشابهة.
- دراسة الاستبعاد (Ablation): أظهر تجميد أحد النماذح أثناء تدريب الآخر أنه بينما يساهم كلاهما، فإن المرحلة الثانية (مولد المخرجات النهائي) لها تأثير أكبر على الجودة النهائية. ومع ذلك، فإن التدريب المشترك فقط هو ما حقق ذروة الأداء.
- كفاءة أخذ العينات: أظهر استخدام البحث الشعاعي المتنوع (DBS) مع عينتين فقط نتائج أفضل من أخذ عينات مونت كارلو مع ما يصل إلى 5 عينات، مما يؤكد كفاءة عقوبة التنوع (diversity penalty).

5. الأهمية والتوجهات المستقبلية

تحول جذري: ينقل هذا العمل المجال من محاذاة النماذج الفردية إلى محاذاة الأنظمة، معالجاً واقع أن تطبيقات الذكاء الاصطناعي الحديثة أصبحت متزايدة النمطية والتعاونية.
الواقعية: من خلال التعامل مع التفاعلات غير القابلة للتفاضل والحالات الوسيطة المخفية، يجعل SysDPO من الممكن محاذاة سير العمل المعقد (مثل RAG، الأنظمة متعددة الوكلاء، خطوط المعالجة متعددة الوسائط) باستخدام بيانات التفضيل القياسية.
القابلية للتوسع: نجح إطار العمل في التوسع من أنظمة مكونة من عنصرين إلى نظام أولي مكون من 3 عناصر، مما يشير إلى إمكانية التطبيق على بنيات أكبر وأكثر تعقيداً.
العمل المستقبلي: يحدد المؤلفون تحديات في توسيع نطاق SysDPO ليشمل الأنظمة ذات التوجيه الديناميكي (dynamic routing)، وحلقات التغذية الراجعة، والمخرجات الكامنة عالية الأبعاد، بالإضافة إلى تحسين كفاءة التدريب للأنظمة المركبة واسعة النطاق.

باختصار، يوفر SysDPO حلاً مبدئياً، ذا أساس نظري، ومثبتاً تجريبياً لمحاذاة أنظمة الذكاء الاصطناعي المركبة، مما يثبت أن التحسين المشترك على مستوى النظام يتفوق بشكل كبير على محاذاة المكونات المنفصلة.