Adaptive Test-Time Compute Allocation with Evolving In-Context Demonstrations
تقترح هذه الورقة إطار عمل تكيفي للحوسبة في وقت الاختبار يقوم بتخصيص الموارد ديناميكيًا والاستفادة من نماذج السياق المتطورة المستمدة من استجابات الاستعلام الناجحة لتحسين الأداء في اختبارات الرياضيات والبرمجة والاستدلال، مع تقليل تكاليف الحوسبة أثناء الاستدلال بشكل كبير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك طاهٍ عبقري لكنه عنيد قليلاً، تحاول طهي مأدبة ضخمة لـ 1,000 ضيف. بعض الضيوف يريدون شطيرة جبن مشوي بسيطة، بينما يريد آخرون وليمة معقدة من 20 طبقاً من فن الطهي الجزيئي.
في عالم الذكاء الاصطناعي، هذا "الطاهي" هو نموذج لغوي كبير (LLM)، و"الضيوف" هم الأسئلة التي يحتاج للإجابة عليها، و"وقت الطهي" هو قوة الحوسبة (أو المال) التي يتطلبها توليد الإجابة.
الطريقة القديمة: نهج "المقاس الواحد للجميع"
سابقًا، كانت معظم أنظمة الذكاء الاصطناعي تستخدم استراتيجية تسمى Best-of-N (الأفضل من أصل N). تخيل الطاهي وهو يقرر طهي خمس شطائر جبن مشوي للضيف الذي أراد واحدة فقط، وأيضاً طهي خمس وجبات معقدة مكونة من 20 طبقاً لضيف من عشاق الطعام الفاخر.
- المشكلة: هذا أمر مسرف للغاية. الطاهي يحرق كمية هائلة من الطاقة (الحوسبة) لصنع خمس شطائر بينما كانت واحدة ستكون مثالية. وفي الوقت نفسه، بالنسبة للوجبات الصعبة، قد لا تكون خمس محاولات كافية لإتقانها، لكن الطاهي يتوقف على أي حال لأنه نفد من الوقت.
- الخلل: الطاهي لا يتكيف. إنهم يعاملون كل ضيف بنفس الطريقة، بغض النظر عن مدى جوعهم أو صعوبة طلباتهم.
الطريقة الجديدة: "الحوسبة التكيفية لوقت الاختبار مع الأمثلة المتطورة"
تقدم هذه الورقة البحثية استراتيجية مطبخ أكثر ذكاءً وديناميكية. الأمر يشبه توظيف مساعد طاهٍ فائق الذكاء يراقب المطبخ في الوقت الفعلي ويغير الاستراتيجية فوراً.
إليك كيف يعمل الأمر، مقسماً إلى مرحلتين بسيطتين:
المرحلة الأولى: "الإحماء" (اختبار المذاق)
قبل الحدث الرئيسي، يحاول الطاهي بسرعة صنع طبق واحد لكل ضيف من الضيوف.
- النجاحات السهلة: إذا طلب أحد الضيوف شطيرة جبن مشوي وصنعها الطاهي بشكل مثالي من المحاولة الأولى، فإن مساعد الطاهي يضع علامة على هذا الضيف كـ "تمت خدمته" ويتوقف عن إضاعة الوقت معه.
- مكتبة النجاح: يحفظ الطاهي وصفة الجبن المشوي المثالية والحل المثالي لذلك السؤال السهل في دفتر ملاحظات خاص. هذا الدفتر هو "مجمع" الأمثلة الناجحة.
المرحلة الثانية: "المرحلة التكيفية" (التحول الذكي)
الآن، يركز الطوهي فقط على الضيوف الذين لا يزالون جائعين (الأسئلة الصعبة). ولكن هنا تكمن الخدعة السحرية: الطاهي لا يحاول بجهد أكبر فحسب؛ بل يحاول بطريقة مختلفة.
بدلاً من مجرد محاولة طهي الوجبة المعقدة مرة أخرى من الصفر، ينظر الطاهي إلى دفتر ملاحظاته للأطباء الناجحة.
- التشبيه: تخيل أن الطاهي عالق في محاولة صنع "سوفليه". بدلاً من التخمين، ينظر إلى الدفتر ويرى: "أوه، لقد صنعت للتو موسًا معقدًا بنجاح لضيف مشابه! دعني أستخدم التقنيات المستخدمة في وصفة الموس لمساعدتي في صنع هذا السوفليه".
- الجزء "المتطور": بينما يحل الطاهي المزيد من الأطباق الصعبة، يصبح الدفتر أكبر وأكثر ذكاءً. في المرة القادمة التي يأتي فيها سؤال صعب جديد، يمكن للطاهي سحب مثال محدد جداً تم حله مؤخراً من الدفتر لتوجيهه. إن "السياق" (الأمثلة المعروضة للذكاء الاصطناعي) يتطور مع تعلم الطاهي المزيد.
لماذا يعد هذا تغييراً جذرياً في قواعد اللعبة؟
1. الأمر لا يتعلق بمجرد المحاولة أكثر؛ بل بالمحاولة بذكاء أكبر.
الأساليب القديمة قالت: "إذا لم تستطع الحل، حاول 10 مرات أخرى!" هذه الورقة تقول: "إذا لم تستطع الحل، انظر كيف حللت مشكلة مشابهة للتو، واستخدم ذلك لتغيير نهجك".
2. إنه يوفر كميات هائلة من المال (الرموز/Tokens).
في عالم الذكاء الاصطناعي، كل كلمة يولدها النموذج تكلف مالاً ووقتاً.
- الطريقة القديمة: قد يولد النموذج 5,000 كلمة من "التفكير" قبل أن يستسلم أمام مسألة رياضية صعبة.
- الطريقة الجديدة: من خلال استخدام "دفتر الملاحظات" للمشكلات المماثلة التي تم حلها، قد يكتشف النموذج الحل في 1,000 كلمة فقط. إنه يحل المشكلات الصعبة بسرعة أكبر وبطاقة أقل هدراً.
3. إنه يحسن نفسه ذاتياً.
النظام يصبح أفضل كلما عمل أكثر. في كل مرة يحل فيها مشكلة صعبة، يضيف "خدعة" جديدة إلى دفتر ملاحظاته، مما يجعل حل المشكلة الصعبة التالية أسهل. إنه مثل طالب، بعد حل مسألة تفاضل وتكامل صعبة، يصبح فوراً أفضل في حل المسألة التالية لأنه تعلم للتو "الخدعة".
النتيجة
اختبر المؤلفون هذه الطريقة على مسائل رياضية صعبة، وتحديات برمجية، وألغاز منطقية.
- النتيجة: حل أسلوبهم مشكلات أكثر من الطرق القديمة.
- الكفاءة: فعلوا ذلك باستخدام قدر أقل بكثير من قوة الحوسبة.
باختختصار
فكر في هذه الورقة البحثية على أنها تعلم الذكاء الاصطناعي ليكون محققاً ذكياً بدلاً من منفذ للقوة الغاشمة.
- المنفذ بالقوة الغاشمة: "سأجرب كل تركيبة ممكنة للمفاتيح حتى يفتح أحدها الباب". (يضيع الوقت، ويتعب).
- المحقق الذكي: "أرى أن هذا الباب يشبه الباب الذي فتحته بالأمس. دعني أستخدم نفس المفتاح الذي استخدمته حينها، مع تعديله قليلاً بناءً على القفل الجديد". (يحل المشكلة بشكل أسرع، ويستخدم طاقة أقل).
تسمح هذه الطريقة الجديدة للذكاء الاصطناعي بإنفاق "قوة دماغه" بالضبط حيث تشتد الحاجة إليها، مستخدماً نجاحاته الأخيرة كدليل لحل التحديات المستقبلية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.