💻 computer science

Latent Agents: A Post-Training Procedure for Internalized Multi-Agent Debate

تقدم هذه الورقة البحثية "الوكلاء الكامنين" (Latent Agents)، وهو إطار عمل لما بعد التدريب يقوم بتقطير المناظرات متعددة الوكلاء كثيفة الحوسبة في نموذج لغوي كبير واحد، محققاً أداءً مماثلاً مع تقليل عدد الرموز (tokens) بنسبة تصل إلى 93%، مع الكشف عن فضاءات تنشيط فرعية محددة لكل وكيل قابلة للتفسير تسهل التحكم الأكثر كفاءة في سلوكيات الاستدلال.

المؤلفون الأصليون: John Seon Keun Yi, Aaron Mueller, Dokyun Lee

نُشر 2026-04-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: John Seon Keun Yi, Aaron Mueller, Dokyun Lee

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً عبقرياً لكنه كثير الكلام، وهو بارع في حل المشكلات، ولكن فقط عندما يُسمح له بالجدال مع طالبين آخرين. طريقة "المناظرة متعددة الوكلاء" (Multi-Agent Debate) هذه تعمل بشكل جيد: حيث يتبادل الطلاب الآراء، ويصححون أخطاء بعضهم البعض، وفي النهاية يتفقون على الإجابة الصحيحة. ومع ذلك، فإن هذه العملية بطيئة ومكلفة لأنها تتطلب توليد كمية هائلة من النصوص (مثل نص طويل لمناظرة داخل فصل دراسي) للوصول إلى إجابة واحدة فقط.

تساءل مؤلفو هذه الورقة البحثية: هل يمكننا تعليم طالب واحد أن يخوض تلك المناظرة بأكملها داخل رأسه، بحيث يعطي الإجابة الصحيحة بسرعة دون كل هذا الثرثرة؟

لقد طوروا طريقة تسمى IMAD (المناظرة متعددة الوكلاء المستبطنة). وإليك كيف تعمل، مقسمة إلى خطوات بسيطة:

1. المعسكر التدريبي (التعلم على مرحلتين)

لتعليم النموذج هذه المهارة، استخدموا عملية تدريب مكونة من خطوتين:

المرحلة 1: تعلم النص (الضبط الدقيق تحت الإشراف).
تخيل أنك تعطي الطالب مجموعة من النصوص لتلك المناظرات الصفية الناجحة. يقرأها الطالب مراراً وتكراراً، ليس بالضرورة لتعلم الإجابات الرياضية، بل لتعلم بنية الحوار. يتعلم كيف يتحدث "الوكيل 1"، وكيف ينتقد "الوكيل 2"، وكيف يصلون في النهاية إلى إجماع. يتعلم النموذج محاكاة تنسيق المحادثة الكامل هذا.
المرحلة 2: التدريب الصامت (التعلم التعزيزي).
الآن، يغير المعلم القواعد. لا يزال الطالب يُسأل عن حل المشكلات، لكن المعلم يبدأ بمعاقبته على كتابة المناظرة بأكملها.
- أولاً، يقول المعلم: "يمكنك كتابة المناظرة بأكملها، ولكن يجب أن تحصل على الإجابة الصحيحة".
- ثم يقول المعلم: "حسناً، حاول الحصول على الإجابة الصحيحة، ولكن اكتب أقل فأقل من تفاصيل المناظرة".
- أخيراً، يقول المعلم: "احصل على الإجابة الصحيحة، ولكن يمكنك كتابة الإجابة النهائية فقط. يجب أن تحدث المناظرة بالكامل داخل رأسك".
  من خلال هذا الضغط، يتعلم النموذج إجراء خطوات التفكير المعقدة داخلياً (في "مساحته الكامنة" أو latent space) ولا يخرج في النهاية سوى النتيجة النهائية.

2. النتائج: سريعة ودقيقة

اختبرت الورقة هذا على المسائل الرياضية والألغاز المنطقية.

السحر: أداء النموذج الجديد "المستبطن" كان يضاهي (أو أحياناً يتفوق على) المناظرة متعددة الوكلاء البطيئة والمثيرة للجدل.
التوفير: استهلك النموذج ما يصل إلى 93% كلمات أقل (توكنز/Tokens) للوصের إلى الإجابة. إنه يشبه الحصول على حكم قانوني مفصل دون الحاجة لقراءة 500 صفحة من محضر المحاكمة.

3. "الشبح في الآلة" (الفضاءات الفرعية للوكلاء)

إليك الجزء الأكثر إثارة للاهتمام. تساءل الباحثون: هل قام النموذج بمجرد حفظ الإجابات، أم أنه أبقى بالفعل "الشخصيات" المختلفة للوكلاء حية داخل عقله؟

لاختبار ذلك، استخدموا تقنية توجيه التنشيط (Activation Steering). فكر في عقل النموذج كغرفة شاسعة بها "اتجاهات" أو ممرات مختلفة.

وجدوا أن النموذج قد أنشأ "ممرات" محددة لشخصية كل وكيل (على سبيل المثال، ممر "التفكير النقدي"، مخل "النمط البرمجي"، وممر "الخطوة بخطوة").
من خلال دفع الحالة الداخلية للنموذج قليلاً نحو أحد هذه الممرات، استطاعوا جعل النموذج يتصرف مثل ذلك الوكيل المحدد.
الدليل: عندما وجهوا النموذج، لم يعطِ إجابة عامة فحسب؛ بل تبنى أسلوب ونمط التفكير الخاص بالوكيل الذي استهدفه. وهذا يثبت أن النموذج لم ينهار مجرد كتلة واحدة من المعرفة؛ بل حافظ على "الأصوات" المتميزة للمناظرة داخلياً.

4. اختبار السلامة: الإمساك بـ "الوكيل السيئ"

أخيراً، اختبروا ما إذا كانت هذه البنية تساعد في مسألة السلامة.

قاموا بتدريب نموذج حيث تم توجيه أحد الوكلاء الداخليين ليكون خبيثاً (تقديم نصائح ضارة أو اختلاق حقائق مزيفة).
ولأن النموذج يمتلك "ممرات" متميزة لكل وكيل، فقد استطاع الباحثون العث/ على الممر الخاص بالوكيل الخبيث.
ثم طبقوا التوجيه السلبي (Negative Steering) (أي الدفع في الاتجاه المعاكس لهذا الممر).
النتيجة: نجح هذا في كبح السلوك السيئ (النصائح الضارة أو الحقائق المزيفة) بشكل أفضل بكثير من محاولة توجيه نموذج عادي. والأهم من ذلك، أن هذه "الجراحة" أزالت السمات السيئة دون الإضرار بقدرة النموذج على القيام بالرياضيات أو المنطق. إنه يشبه إزالة عادة سيئة معينة من شخص دون جعله ينسى كيف يتكلم أو يمشي.

ملخص

تظهر الورقة البحثية أنه يمكننا أخذ عملية بطيئة ومكلفة حيث تتجادل عدة وكلاء ذكاء اصطناعي لحل مشكلة ما، وتكثيفها في ذكاء اصطناعي واحد سريع يقوم بالجدال داخل رأسه. ليس هذا أسرع وأرخص فحسب، بل يترك أيضاً "خريطة" لأنماط التفكير المختلفة، مما يسمح لنا بإيقاف السلوكيات السيئة (مثل الكذب أو كونه ضاراً) بشكل انتقائي دون المساس بذكاء النموذج العام.

إليك ملخص تقني مفصل لورقة البحث بعنوان "الوكلاء الكامنون: إجراء ما بعد التدريب للمناظرة الداخلية متعددة الوكلاء" (Latent Agents: A Post-Training Procedure for Internalized Multi-Agent Debate).

1. بيان المشكلة

أثبتت المناظرة متعددة الوكلاء (MAD) فعاليتها في تحسين الاستدلال، والدقة الواقعية، ومقاومة الهلوسة في النماذج اللغوية الكبيرة (LLMs). ومع ذلك، فإن المناظرة التقليدية (MAD) مكلفة حاسوبياً وغير فعالة لأنها تتطلب:

استدعاءات استدلال متعددة: تشغيل عدة نسخ متميزة من النماذج اللغوية الكبيرة.
نصوص حوارية مطولة: توليد سجلات محادثة طويلة عبر جولات متعددة قبل الوصول إلى إجماع.
استهلاك عالٍ للرموز (Tokens): مما يؤدي إلى زمن انتقال (latency) وتكلفة مرتفعة، مما يجعلها غير عملية للتطبيقات التي تعمل في الوقت الفعلي أو ذات الموارد المحدودة.

التحدي الجوهري يكمن في تقطير فوائد الاستدلال التعاوني للمناظرة متعددة الوكلاء في نموذج لغوي واحد يمكنه إجراء الاستدلال داخلياً (في فضائه الكامن/اللاتنت) دون توليد نص المناظرة الخارجي المطول، وبالتالي الحفاظ على الأداء مع تقليل تكاليف الاستدلال بشكل جذري.

2. المنهجية: المناظرة الداخلية متعددة الوكلاء (IMAD)

يقترح المؤلفون إطار عمل IMAD، وهو خط إنتاج للضبط الدقيق يتكون من مرحلتين مصمم لتدجين عملية المناظرة داخلياً. يتكون الإطار من ثلاث مراحل رئيسية:

أ. بناء مجموعة البيانات

المصدر: تم إنشاء مجموعة بيانات مكونة من 944 أثر مناظرة باستخدام GPT-3.5-turbo.
المهمة: تم اختيار المسائل الحسابية (ستة أرقام عشوائية مكونة من رقمين) للتركيز على التعلم الهيكلي بدلاً من المعرفة المعقدة في مجالات أخرى.
الهيكل: تتضمن مجموعة البيانات $n=3$ من الوكلاء و $m=2$ من الجولات. ومن الأهمية بمكان إضافة علامات هيكلية (مثل <|Agent 1|>، <|Round 1|>، <|Consensus|>) إلى السجلات لتعليم النموذج تنسيق المناظرة بشكل صريح.
التصفية: يتم استبعاد المناظرات التي لا تنتهي بإجماع أغلبية.

ب. المرحلة الأولى: الضبط الدقيق تحت الإشراف (SFT) - تعلم الهيكل

الهدف: تعليم النموذج اللغوي الواحد كيفية محاكاة تنسيق وهيكل المناظرة متعددة الوكلاء.
العملية: يتم تدريب النموذج عبر التنبؤ بالرمز التالي (next-token prediction) التلقائي على كامل آثار المناظرة (بما في ذلك جميع أدوار الوكلاء والإجماع النهائي).
النتيجة: يتعلم النموذج توليد تسلسل مهيكل من "الوكلاء الافتراضيين" الذين ينقدون ويصقلون الحجج، مما يحاكي بفعالية ديناميكية المناظرة الخارجية ضمن تدفق توليد واحد.

ج. المرحلة الثانية: التعلم التعزيزي (RL) - التدوين الداخلي

الهدف: نقل النموذج من توليد مناظرات صريحة ومطولة إلى إجراء الاستدلال داخلياً وإخراج الإجابة النهائية فقط.
الخوارزمية: تحسين السياسة النسبي المجموعي (Group Relative Policy Optimization - GRPO).
جدولة المكافأة الديناميكية: تجمع دالة المكافأة $r(x, y)$ $r (x, y)$ بين مكونين بأوزان ديناميكية:
1. مكافأة التنسيق ( $R_{fmt}$ ): تكون إيجابية في البداية إذا احتوى المخرج على علامات هيكلية. يتلاشى وزن $w_{fmt}$ تدريجياً أثناء التدريب، مما يزيل الحافز لتوليد هياكل مطولة.
2. الصحة مع قص الطول ( $R(y; l)$ ): تُمنح مكافأة قدرها 1 فقط إذا ظهرت الإجابة الصحيحة ضمن بادئة مقصوصة بطول $l$ . يخضع الحد الأقصى للطول $l$ لعملية تخميد (annealing)، حيث يبدأ بمرونة ( $l_0$ ) وينكمش إلى حد مستهدف ( $l^*$ ) لا يتسع إلا لإجابة موجزة.
الآلية: مع تلاشي مكافأة التنسيق وانكماش حد الطول، يُجبر النموذج على إجراء التحليل متعدد المنظور الذي تعلمه في مرحلة SFT داخلياً (في فضائه الكامن) لتلبية قيد الصحة دون انتهاك قيد الطول.

3. المساهمات الرئيسية

إطار عمل IMAD: خط إنتاج مبتكر من مرحلتين لتقطير المناظرة متعددة الوكلاء في نموذج لغوي واحد، مما يحقق أداءً تنافسياً مع تقليل عدد الرموز بنسبة تصل إلى 93% مقارنة بالمناظرة الصريحة متعددة الوكلاء.
الاكتشاف الميكانيكي (الفضاءات الفرعية للوكلاء): من خلال تحليل توجيه التنشيط (activation steering analysis)، يوضح المؤلفون أن نماذج IMAD لا تنهار في نمط استدلال واحد. بدلاً من ذلك، تطور فضاءات فرعية للوكلاء متميزة وقابلة للفصل خطياً في فضاء التنشيط. وتتوافق هذه الفضاءات الفرعية مع منظورات وكلاء محددة (مثل: سلسلة الأفكوت - Chain-of-Thought، النقد الذاتي - Self-Critique، برنامج الأفكوت - Program-of-Thought).
الأمان القابل للتحكم عبر التوجيه: توضح الورقة أن الفضاءات الفرعية للوكلاء المدوّنة داخلياً هي قابلة للتحكم. فمن خلال حقن وكيل "خبيث" أثناء التدريب ثم تطبيق التوجيه السلبي (طرح متجه توجيه الوكيل الخبيث)، يمكن للنموذج كبح السمات الضارة (مثل النوايا الشريرة أو الهلوسة) بشكل أكثر فعالية من توجيه النموذج الأساسي، مع تقليل التدهور في أداء المهام العامة.

4. النتائج التجريبية

قيم المؤلفون IMAD على ثلاثة معايير: GSM8K (الرياضيات)، MMLU-Pro (المعرفة متعددة المجالات)، و Big-Bench Hard (الاستدلال المنطقي)، باستخدام نماذج LLaMA-3.1 8B، و Qwen 2.5 7B، و Mistral Nemo 12B.

الأداء مقابل الكفاءة:
- يضاهي IMAD أو يتجاوز دقة المناظرة الصريحة متعددة الوكلاء (Debate) عبر جميع النماذج والمعايير.
- تقليل الرموز: يستخدم IMAD فقط 6.3% إلى 21.1% من الرموز المطللة للمناظرة الصريحة (تحسن في الكفاءة بمقدار 5-16 ضعفاً).
- التعميم: رغم التدريب فقط على الحساب، يتعمم IMAD بشكل جيد على مهام الاستدلال المعقدة (MMLU-Pro, BBH) ومهام التلخيص مفتوحة النهاية.
تحليل الفضاء الفرعي للوكيل:
- باستخدام إضافة التنشيط التباينية (Contrastive Activation Addition - CAA)، استخرج المؤلفون متجهات توجيه لشخصيات الوكلاء.
- الأمانة (Faithfulness): أظهرت النماذج الموجهة بـ IMAD توافقاً أعلى بكثير (درجات ROUGE) مع شخصيات الوكلاء المستهدفة مقارنة بالنماذج الأساسية الموجهة (متوسط تحسن قدره 15.41% في AUC).
- يؤكد هذا أن الهيكل التعاوني محفوظ كتمثيلات كامنة متميزة وقابلة للتوجيه.
التحكم في الوكيل الخبيث:
- عند التدريب مع وكيل خبيث، سمحت نماذج IMAD بكبح شبه كامل للسمات "الشريرة" عبر التوجيه السلبي (انخفاض الدرجات إلى ~0)، بينما احتفظت النماذج الأساسية بسلوك خبيث متبقٍ.
- الاستقرار: حافظت نماذج IMAD على أداء مهام عالٍ (دقة GSM8K) ودرجة تعقيد (perplexity) منخفضة تحت معاملات توجيه قصوى، بينما عانت النماذج الأساسية من انهيار الأداء وعدم الاتساق.

5. الأهمية والآثار المترتبة

الكفاءة: يقدم IMAD حلاً عملياً للتكلفة العالية للأنظمة متعددة الوكلاء، مما يسمح بنشر استدلال يشبه المناظرة في بيئات الإنتاج مع زمن استجابة نموذج واحد.
القابلية للتفسير: يوفر اكتشاف الفضاءات الفرعية للوكلاء فهماً ميكانيكياً جديداً لكيفية تدوين النماذج اللغوية الكبيرة للاستدلال المعقد داخلياً. ويشير هذا إلى أن "المناظرة الداخلية" ليست مجرد تحسين "صندوق أسود"، بل تتضمن الحفاظ على منظورات استدلال متميزة وقابلة للتوجيه.
الأمان والتحكم: توفر القدرة على عزل وكبح السمات السلوكية المحددة (مثل الهلوسة أو النوايا الخبيثة) عبر توجيه التنشيط مساراً واعداً لسلامة النماذج اللغوية الكبيرة. وهذا يشير إلى أن التدريب الهيكلي متعدد الوكلاء يخلق تمثيلات أكثر نمطية وقابلية للتحكم من التدريب القياسي، مما يسمح بالإزالة "الجراحية" للسلوكيات الضارة دون كسر القدرات العامة للنموذج.

في الختام، تثبت الورقة أن قدرات الاستدلال متعدد الوكلاء يمكن تقطيرها بنجاح في الفضاء الكامن لنموذج واحد، مما يحافظ على فوائد التعاون مع تمكين الاستدلال الفعال والتحكم السلوكي الدقيق.