Context Training with Active Information Seeking
تقترح هذه الورقة إطار عمل لتدريب السياق بكفاءة في استخدام البيانات، يجمع بين البحث النشط عن المعلومات عبر أدوات البحث مع إجراء تقليم قائم على البحث لتعزيز أداء النماذج اللغوية الكبيرة بشكل كبير عبر مجالات متنوعة، متجاوزاً بذلك قيود التكامل الساذج للأدوات وتحسين السياق ذي الحلقة المغلقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
إليك شرح لورقة البحث "التدريب السياقي عبر البحث النشط عن المعلومات" باستخدام لغة بسيطة وتشبيهات إبداعية.
الفكرة الكبرى: تعليم النموذج كيف "يبحث" بدلاً من مجرد "التفكير بعمق"
تخيل أن لديك طالباً عبقرياً ولكنه عنيد قليلاً (نموذج الذكاء الاصطناعي). هذا الطالب قرأ مكتبة ضخمة من الكتب حتى تاريخ معين، لكن ليس لديه وصول إلى الإنترنت، ولا يمكنه تغيير بنية دماغه (الأوزان الخاصة به) لتعلم أشياء جديدة بشكل دائم.
عادةً، عندما يواجه هذا الطالب مشكلة جديدة وصعبة، نحاول مساعدته عن طريق إعادة كتابة "ورقة الغش" الخاصة به (السياق) قبل أن يبدأ. نقول له: "تذكر هذه القاعدة!" أو "إليك مثال على كيفية القيام بهذا".
المشكلة:
في الماضي، كانت هذه "ورقة الغش" حلقة مغلقة. كان بإمكان الطالب فقط استخدام ما يعرفه بالفعل أو ما نكتبه له يدوياً. فإذا كانت الإجابة تتطلب حقيقة لم تكن موجودة في كتب تدريبه (مثل دليل طبي صدر بالأمس أو رمز برمجي للغة برمجة جديدة)، فإن الطالب إما سيخمن خطأ أو سيهلوس (يختلق أشياء من خياله). لقد كان عالقاً في غرفة بلا نوافذ.
حل الورقة البحثية:
أعطى المؤلفون هذا الطالب محرك بحث ومتصفح ويب. الآن، عندما لا يعرف شيئاً، يمكنه الخروج والبحث عن الإجابة في ويكيبيديا أو الويب، وإضافتها إلى ورقة الغش الخاصة به.
ومع ذلك، اكتشفت الورقة البحثية عقبة: مجرد إعطائهم متصفحاً ليس كافياً. في الواقع، إذا تركتهم يبحثون بشكل عشوائي ويحدثون ورقة الغش الخاصة بهم خطوة بخطوة، فغالباً ما سيزداد الأمر سوءاً. قد يجدون مقالاً من أخبار مزيفة، وينسخونه في ورقة الغش، ثم يرتبكون بسببه. يُسمى هذا "تلوث السياق" (Context Pollution).
السر الخفي: نهج "عرض المواهب" (البحث الشعاعي - Beam Search)
لإصلاح مشكلة التلوث، لم يكتفِ المؤلفون بالسماسة بالبحث فقط؛ بل غيروا كيفية تحديث ورقة الغش. بدلاً من مسار واحد خطي، استخدموا طريقة تسمى البحث الشعاعي (Beam Search).
التشبيه: تجربة أداء عرض المواهب
تخيل أنك تحاول العثور على السيناريو المثالي لمسرحية (السياق المثالي).
- الطريقة القديمة (التدريب المتسلسل): تكتب مسودة واحدة، تعرضها على المخرج، فيقول لك "أصلح هذا"، فتعيد الكتابة، وتعرضها مرة أخرى، وهكذا. إذا كتبت بالخطأ سطراً سيئاً في المسودة رقم 5، فستظل عالقاً معه. قد تستمر في محاولة إصلاحه، لكن السيناريو سيصبح أسوأ فأسوأ.
- الطريقة الجديدة (البحث الشعاعي): توظف خمسة كتاب مختلفين (مجموعة من المرشحين أو "شعاع").
- الكاتب (أ) يحاول إضافة قاموس.
- الكاتب (ب) يحاول إضافة مقال من ويكيبيديا.
- الكاتب (ج) يحاول استخدام بحث المتصفح.
- الكاتب (د) يحاول إضافة مثال برمجي.
- الكاتب (هـ) يقرر عدم فعل أي شيء والاحتفاظ بالسيناريو القديم.
بعد أن يكتبوا جميعاً مسوداتهم، تقوم باختبارها جميعاً أمام جمهور تجريبي (بيانات التحقق).
- إذا جعلت مسودة الكاتب (ب) (مسودة ويكيبيديا) الممثلين يؤدون بشكل سيء، فإنك تقطع هذا المسار. ترمي ذلك السيناريو بعيداً.
- إذا كانت مسودة الكاتب (أ) (القاموس) تعمل بشكل رائع، فإنك تحتفظ بها وتتركهم يكتبون الفصل التالي.
- إذا كان الكاتب (هـ) (الذي لم يفعل شيئاً) هو الخيار الأكثر أماناً في الواقع، فإنك تحتفظ به أيضاً.
بهذه الطريقة، إذا وجد الطالب معلومة "سامة" على الويب، فإن النظام يكتشف ذلك فوراً ويتخلص من تلك النسخة من ورقة الغش قبل أن تفسد كل شيء. إنها تسمح للنظام باستكشاف استراتيجيات مختلفة في وقت واحد والاحتفاظ فقط بتلك التي تنجح بالفعل.
ماذا وجدوا (النتائج)
اختبر الفريق هذا على ثلاثة أنواع مختلفة تماماً من "الامتحانات":
الترجمة منخفضة الموارد (تعلم لغة نادرة):
- التحدي: الترجمة من الإنجليزية إلى لغات مثل "تشوكوي" (Chokwe) أو "بوغينيز" (Buginese)، حيث يعرف الذكاء الاصطناعي عنها القليل جداً.
- النتيجة: مجرد إضافة أدوات البحث جعلت الذكاء الاصطناعي أسوأ (ارتبك بسبب المعلومات السيئة). ولكن مع طريقة "عرض المواهب" (البحث الشعاعي)، تعلم الذكاء الاصطناعي كيفية العثور على القواميس وقواعد النحو الصحيحة عبر الإنترنت، متفوقاً حتى على النماذج الأكبر والأكثر تكلفة.
سيناريوهات الرعاية الصحية (النصائح الطبية):
- التحدي: التصرف كطبيب يحتاج لمعرفة أحدث البروتوكولات.
- النتيجة: مرة أخرى، أدى البحث العشوائي إلى نصائح سيئة. لكن طريقة البحث الشعاعي ساعدت الذكاء الاصطناعي في العثور على الإرشادات الطبية الدقيقة والتحقق منها، مما جعله يؤدي بمستوى يضاهي أغلى نماذج الذكاء الاصطناعي الطبية المتاحة.
الاستنتاج الصعب والبرمجة:
- التحدي: حل مسائل رياضية معقدة أو كتابة أكواد برمجية صعبة.
- النتيجة: استخدم الذكاء الاصطناعي أدوات البحث للعثور على وثائق تقنية محددة لم يكن يعرفها، مما أدى إلى برمجة أفضل ودقة أعلى في الاختبارات الصعبة.
النقاط الرئيسية المستخلصة
- البحث النشط قوي للغاية: منح الذكاء الاصطناعي القدرة على البحث عن المعلومات أثناء تعلمه لمهمة ما هو تغيير لقواعد اللعبة، ولكن فقط إذا تمت إدارته بعناية.
- لا تثق في مسار واحد: إذا تركت الذكاء الاصطناعي يحدث معرفته خطوة بخض، فمن المرجح أن يعلق في حلقة مفرغة من المعلومات السيئة. يجب عليك إبقاء خيارات متعددة مفتوحة وقطع المسارات السيئة مبكراً.
- كفاءة البيانات: هذه الطريقة تعمل جيداً حتى عندما يكون لديك كمية ضئيلة جداً من بيانات التدريب (مثل 128 مثالاً فقط). إنه يشبه طالباً يتعلم الكثير من مجرد أمثلة جيدة قليلة لأنه يعرف كيف يبحث عن الباقي.
- القدرة على التعميم: "ورقة الغش" التي ينشئها الذكاء الاصطناعي لنموذج واحد تساعد نموذجاً آخر أقوى على الأداء بشكل أفضل أيضاً. هذا يثبت أن الذكاء الاصطناعي يجد معرفة حقيقية ومفيدة، وليس مجرد حفظ حيل لنماذج معينة.
باخت-الاختصار: تعلمنا الورقة البحثية أنه لجعل الذكاء الاصطناعي أكثر ذكاءً في المهام الجديدة، لا ينبغي لنا فقط إجباره على حفظ المزيد؛ بل يجب أن نعلمه كيفية البحث، ويجب أن نستخدم شبكة أمان (البحث الشعاعي) للتأكد من أنه لا يتعلم الأشياء الخاطئة من الإنترنت عن طريق الخطأ.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.