AutoHarness: improving LLM agents by automatically synthesizing a code harness
تُثبت هذه الورقة أن نموذج لغة أصغر (Gemini-2.5-Flash) يمكنه تلقائياً توليد أطر برمجية أو سياسات كاملة من خلال التحسين التكراري، مما يمنع الأفعال غير القانونية بفعالية ويتفوق على نماذج أكبر بكثير عبر مختلف ألعاب TextArena مع توفير كفاءة أكبر في التكلفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة بحث AutoHarness، مترجمة إلى لغة بسيطة مع استخدام تشبيهات إبداعية.
الفكرة الكبرى: تعليم عبقري كيف يتبع القواعد
تخيل أن لديك لاعب شطرنج عبقرياً وفائق الذكاء (LLM، أو النموذج اللغوي الكبير). هذا اللاعب يعرف كل استراتيجية في الكتب، ويمكنه حساب الحركات المستقبلية المعقدة، ويفهم الفلسفة العميقة للعبة.
ومع ذلك، هناك مشكلة: هذا العبقري سيء جداً في اتباع القواعد الأساسية.
في مسابقة أخيرة، خسر هذا "العبقري" 78% من مبارياته ليس لأنه اتخذ قراراً استراتيجياً سيئاً، بل لأنه حاول تحريك "الحصان" مثل "الفيل"، أو حرك قطعة خارج اللوحة تماماً. كان الأمر أشبه بـ "جراند ماستر" يحاول لعب الشطرنج لكنه يصطدم بالقطع ويسقطها عن الطاولة بالخطأ لأنه نسي كيف تتحرك القطعة.
عادةً، لإصلاح ذلك، يتعين على البشر كتابة "كتيب قواعد" (يسمى حزام أمان أو harness) يعمل كحكم. يقوم هذا الحكم بفحص كل حركة يقوم بها العبقري. إذا كانت الحركة غير قانونية، يقول الحكم: "لا، حاول مجدداً". لكن كتابة كتيبات القواعد هذه يدوياً عملية بطيئة ومملة، وعليك القيام بها من الصفر لكل لعبة جديدة.
AutoHarness يغير قواعد اللعبة. فبدلاً من أن يكتب الإنسان كتيب القواعد، يطلب من العبقري نفسه أن يكتب كتيب القواعد الخاص به.
كيف يعمل: مفهوم "الكود كحزام أمان"
فكر في وكيل الذكاء الاصطناعي كـ سائق (النموذج اللغوي) و سيارة (بيئة اللعبة).
- المشكلة: السائق بارع في الملاحة، لكنه يستمر في محاولة القيادة عبر الجدران أو على الرصيف لأنه لا يعرف الحدود الفيزيائية للسيارة.
- الحل القديم: ميكانيكي بشري يبني مصداً مخصصاً لكل طراز من السيارات.
- حل AutoHarness: تعطي السائق ورقة وقلم وتقول له: "اكتب مجموعة من التعليمات التي تخبرك بالضبط بكيفية التحقق مما إذا كانت الحركة آمنة قبل القيام بها. إذا ارتكبت خطأً، سأخبرك، وسوف تعيد كتابة تعليماتك."
العملية: شجرة التخمينات
لم يطلب الباحثون من الذكاء الاصطناعي "أن يحاول بجهد أكبر" فحسب، بل استخدموا طريقة بحث ذكية تسمى البحث في الشجرة (Tree Search) (فكر فيها ككتاب "اختر مغامرتك الخاصة"، ولكن للكود البرمجي).
- المسودة الأولى: يكتب الذكاء الاصطناعي قطعة من الكود (الـ "harness") التي تحاول التحقق مما إذا كانت الحركة قانونية.
- تجربة القيادة: يقومون بتشغيل اللعبة. يحاول الذكاء الاصطناعي القيام بحركة ما.
- الناقد: إذا حاول الذكاء الاصطناعي تحريك قطعة بشكل غير قانوني، تصرخ البيئة: "حركة غير قانونية!".
- المراجعة: ينظر الذكاء الاصطني إلى الخطأ، ويقول: "آه، لقد نسيت التحقق مما إذا كان المسار خالياً"، ثم يعيد كتابة الكود لإصلاح هذا الخطأ تحديداً.
- التكرار: يفعلون ذلك مراراً وتكراراً، عبر تفرع أفكار مختلفة (مثل استكشاف مسارات مختلفة في متاهة) حتى يصبح الكود مثالياً.
في النهاية، يقوم الذكاء الاصطناعي بتركيب "فلتر" أو "حزام أمان" مثالي يلتقط كل حركة غير قانونية قبل وقوعها.
النتائج: عقل صغير، فوز كبير
الجزء الأكثر إثارة للدهشة في الورقة البحثية هو النتيجة.
- الإعداد: استخدموا نموذج ذكاء اصطناعي أصغر وأرخص (Gemini-1.5-Flash) لكتابة حزام الأمان.
- النتيجة: بمجرد أن كتب هذا النموذج الصغير "كتيب القواعد" الخاص به، أصبح أفضل في لعب الألعاب من نموذج أكبر بكثير، وأغلى ثمناً، وأكثر "ذكاءً" (Gemini-1.5-Pro) الذي لم يكن لديه حزام أمان مخصص.
تشبيه:
تخيل ميكانيكياً مبتدئاً (النموذج الصغير) يبني حزام أمان مخصصاً ومثالياً لسيارة سباق. بمجرد تجهيز السيارة بهذا الحزام، تقود بشكل مثالي.
وفي المقابل، هناك أسطورة سباقات عالمية (النموذج الكبير) يقود سيارة بدون حزام أمان. الأسطورة أسرع وأذكى، لكنه يستمر في الاصطدام بالجدران لأنه لا يتفقد مراياه.
النتيجة: سيارة الميكانيكي المبتدئ تفوز بالسباق لأنها لا تصطدم أبداً، بينما يستمر الأسطورة في ضرب الجدر walls.
النسخة "الخارقة": السيارة ذاتية القيادة
دفع الباحثون هذه الفكرة إلى أبعد من ذلك. فبدلاً من مجرد كتابة كتيب قواعد لـ التحقق من الحركات، طلبوا من الذكاء الاصطناعي كتابة الاستراتيجية بأكملها في شكل كود برمجي.
- الوكيل العادي: ينظر الذكاء الاصطناعي إلى اللوحة، يفكر: "يجب أن أتحرك هنا"، ثم يسأل حزام الأمان: "هل هذه الحركة قانونية؟"
- وكيل AutoHarness: يكتب الذكاء الاصطنا artist نص برمجي بلغة بايثون (Python) يمثل الاستراتيجية. يقوم النص البرمجي بحساب أفضل حركة وتنفيذها فوراً.
- الفائدة: بمجرد كتابة الكود، لن تحتاج إلى "الدماغ" الغالي للذكاء الاصطناعي بعد الآن! أنت فقط تقوم بتشغيل الكود. الأمر يشبه تعليم روبوت المشي، ثم ترك الروبوت يمشي بمفرده دون الحاجة لإمساك يد إنسان.
في الاختبارات، هزم هذا "الاستراتيجية القائمة على الكود فقط" أكثر نماذج الذكاء الاصطناعي تقدماً في العالم (بما في ذلك GPT-4o) في ألعاب اللاعب الواحد، وفعل ذلك بـ تكلفة تقترب من الصفر لأن الذكاء الاصطناعي الغالي لم يكن مطلوباً أثناء اللعبة الفعلية.
لماذا هذا مهم؟
- كفاءة التكلفة: يمكنك استخدام ذكاء اصطناعي صغير ورخيص لبناء أداة مخصصة تجعله يؤدي كأنه ذكاء اصطناعي خارق.
- الموثوقية: يحل مشكلة "الهلوسة" حيث يخترع الذكاء الاصطناعي قواعد من عنده. الكود يعمل كحارس بوابة رياضي صارم.
- القابلية للتوسع: بدلاً من كتابة البشر لقواعد 1,000 لعبة مختلفة، يمكن للذكاء الاصطناعي تعلم كتابة قواعد جميعها تلقائياً.
الملخص
AutoHarness يشبه إعطاء فنان عبقري لكنه أخرق مجموعة من الأدوات ذاتية التصحيح. يستخدم الفنان (الذكاء الاصطناعي) تلك الأدوات لبناء شبكة أمان لنفسه. وبمجرد بناء الشبكة، يمكن للفنان تقديم أداء عالمي دون ارتكاب أي خطأ أساسي، مما يثبت أنه في بعض الأحيان، أفضل طريقة لجعل الذكاء الاصطناعي أكثر ذكاءً هي السماح له ببناء حواجز الحماية الخاصة به.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.