EviSD: Evidence-Conditioned Self-Distillation for Search-Augmented Agents
يُعد EviSD إطار عمل للتقطير الذاتي المشروط بالأدلة، يعمل على تعزيز وكلاء اللغة المعززين بالبحث من خلال الاستفيد من الأدلة على مستوى الحالة والإجابات الذهبية كمعلومات متميزة لتنقية تخصيص الائتمان على مستوى الإجراء أثناء التدريب، مما يحقق أداءً فائقاً عبر معايير قياس متعددة دون تغيير سلوك وقت الاستدلال.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً ليكون محققاً. في عالم الذكاء الاصطناعي، يُسمى هذا الروبوت "عميلاً مدعوماً بالبحث" (search-augmented agent). مهمته هي حل الأسئلة الصعبة عبر التفكير، والبحث في الإنترنت عن أدلة، ثم التفكير مجدداً، والبحث مرة أخرى، حتى يجد الإجابة أخيراً. ولتحسين أدائه في ذلك، نستخدم طريقة تدريب تسمى "التعلم التعزيزي" (reinforcement learning). فكر في الأمر كأنه لعبة فيديو لا تحصل فيها على إشارة "فوز" أو "خسارة" إلا في نهاية اللعبة تماماً. إذا حل الروبوت اللغز، يحصل على درجة عالية؛ وإذا فشل، يحصل على صفر.
تكمن مشكلة نهج "الفوز أو الخسارة" هذا في أنه يشبه تقييم طالب بناءً على درجة امتحانه النهائي فقط دون النظر إلى واجباته المنزلية. إذا حصل الروبوت على الإجابة الصحيحة، فنحن نعرف أن الرحلة بأكملها كانت جيدة، لكننا لا نعرف أي بحث محدد كان عبقرياً وأيها كان مضيعة للوقت. هل وجد البحث الأول الدليل الذهبي؟ أم أن الروبوت نجح بمحض الصدفة في تخمينه الأخير؟ ولأن الروبوت لا يستطيع التمييز بينهما، فقد يستمر في إجراء عمليات بحث سيئة، آملاً أن تؤدي في النهاية إلى فوز. يتناول هذا البحث الجزء الأوسط الفوضوي من رحلة المحقق، محاولاً تعليم الروبوت أي الحركات كانت مفيدة وأيها كانت مشتتات، لكي يصبح محققاً أذكى وأسرع.
هنا يأتي دور EviSD، وهي خدعة تدريب ذكية تعمل كـ "مدرب متميز" (privileged coach) للروبوت. أدرك الباحثون أنه أثناء تعلم الروبوت، يكون لديه حق الوصول إلى ورقة مرجعية لن تكون متاحة له عندما يعمل في العالم الحقيقي. تحتوي هذه الورقة المرجعية على "الإجابة الذهبية" (الحل الصحيح) و"الأدلة الداعمة" (فقرات نصية محددة تثبت صحة الإجابة).
إليك كيف يعمل EviSD، باستخدام تشبيه مرح: تخيل أن الروبوت طالب يؤدي اختباراً.
- الطالب (الروبوت): يؤدي الطالب الاختبار مستخدماً فقط المعلومات المتوفرة لديه في تلك اللحظة. يكتب استفسارات البحث الخاصة به وإجابته النهائية.
- المدرب (المعلم): بعد أن ينتهي الطالب، يرتدي نفس نموذج الروبوت "قبعة المدرب". ينظر المدرب إلى إجابات الطالب، لكن يُسمح له بالاطلاع على الورقة المرجعية (الأدلة والإجابة الصحيحة).
- حلقة التغذية الراجعة: يقارن المدرب ما كتبه الطالب بما كان ينبغي عليه كتابته، وهو يعلم بوجود الأدلة السرية.
- إذا طرح الطالب سؤال بحث رائعاً من شأنه أن يجد الدليل، يعطي المدرب إشارة "أحسنت".
- إذا طرح الطالب سؤالاً غامضاً لن يساعد في الوصول للحل، يوجه المدرب دفعة لطيفة ليؤدي بشكل أفضل في المرة القادمة.
- والأهم من ذلك، أن المدرب لا يكتفي بالقول "لقد أصبت" أو "لقد أخطأت"، بل يقول: "بحثك عن 'س' كان رائعاً لأنه يتطابق مع الدليل، لكن بحثك عن 'ص' كان طريقاً مسدوداً".
إن سحر EviSD يكمن في أنه يستخدم "تغذية المدرب الراجعة" لضبط عقل الروبوت بدقة فقط في الأجزاء التي قام فيها الروبوت بحركة ما (استفسارات البحث والإجابة النهائية). هو لا يحاول إعادة كتابة شخصية الروبوت بالكامل أو إجباره على حفظ الورقة المرجعية. بدلاً من ذلك، يعمل مثل مفتاح التحكم في مستوى الصوت؛ فإذا قال تدريب الروبوت الأصلي: "هذا البحث كان جيداً"، يقوم المدرب برفع مستوى الصوت أكثر إذا كان الدليل يدعم ذلك. وإذا كان التدريب الأصلي غير متأكد، يساعد المدرب في توضيح الأمور. ولكن إذا أخطأ الروبوت في الإجابة النهائية، فلن يتظاهر المدرب بأن البحث كان مثالياً؛ فدرجة "الفوز أو الخسارة" تظل هي الأهم.
اختبر الباحثون هذه الطريقة على سبعة تحديات مختلفة للإجابة على الأسئلة، تتراوح من المعلومات العامة البسيطة إلى الألغاز المعقدة متعددة الخطوات. ووجدوا أن EviSD يتفوق باستمرار على أفضل الطرق الموجودة. في الواقع، لقد حسن دقة الروبوت بنحو 1.3 إلى 2.3 نقطة مقارنة بأفضل التقنيات الحالية. ولعل الأمر الأكثر إثارة للإعجاب هو أن الروبوت تعلم أن يكون أكثر كفاءة، حيث احتاج إلى عمليات بحث أقل للعثور على الإجابة (انخفض من متوسط 2.27 عملية بحث إلى 1.87).
تشير الورقة البحثية إلى أن هذا النهج يمثل خطوة كبيرة للأمام لأنه يحل مشكلة "تحديد المسؤولية" (credit assignment) — أي معرفة أي إجراءات محددة أدت إلى النجاح — دون تغيير كيفية سلوك الروبوت عندما يعمل فعلياً في العالم الحقيقي. فعندما يخرج الروبوت لحل مشكلات حقيقية، لن تكون لديه الورقة المرجعية، وهذا لا بأس به؛ فهو سيستخدم فقط العادات الأذكى التي تعلمها أثناء التدريب. وتظهر الدراسة أنه من خلال منح الروبوت لحظة للتأمل بـ "رؤية متميزة" للحقيقة، يمكننا تعليمه ليكون محققاً أكثر حدة، يميز بين التخمين المحظوظ والتحقيق المخطط له جيداً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.