Prior Knowledge or Search? A Study of LLM Agents in Hardware-Aware Code Optimization

إليك شرح لورقة بحثية بعنوان "المعرفة المسبقة أم البحث؟ دراسة لوكلاء النماذج اللغوية الكبيرة في تحسين الأكواد البرمجية المتوافقة مع الأجهزة"، مترجمة إلى لغة بسيطة باستخدام التشبيهات.

الصورة الكبيرة: الشيف "الذكي" مقابل الشيف "الباحث"

تخ-يل أنك تحاول العثور على الوصفة المثالية لكعكة ما. لديك شيفان مختلفان يعملان لصالحك:

1. الشيف (أ) (المُحسِّن ذو الصندوق الأسود): هذا الشيف لم يخبز كعكة من قبل. لديه دفتر ملاحظات يسجل فيه كل محاولة، ويتذوق النتيجة، ويستخدم الرياضيات ليقرر بدقة أين سيقوم بتعديل الوصفة تالياً. إنه منطقي وتكيفي تماماً.
2. الشيف (ب) (وكيل النماذج اللغوية الكبيرة - LLM Agent): هذا الشيف خبير عالمي قرأ ملايين كتب الطبخ. هو يعرف كيف يخبز الكعكة دون الحاجة إلى دفتر ملاحظات. ومع ذلك، فهو لا "يتعلم" أشياء جديدة أثناء حديثك معه؛ هو فقط يتذكر ما قرأه في كتبه ويحاول مطابقة طلبك الحالي مع تلك الذكريات.

هذه الورقة تسأل سؤالاً بسيطاً: عند محاولة حل مشكلة صعبة، هل من الأفضل الاعتماد على ذاكرة الشيف الهائلة (المعرفة المسبقة) أم على قدرته على البحث والتكيف بناءً على التغذية الراجعة (البحث)؟

لقد اختبر الباحثون ذلك عبر طلب كتابة أكواد برمجية (تحديداً أكواد تجعل بطاقات الرسوميات تعمل بشكل أسرع). وإليكم ما وجدوه.

---

النتيجة الأولى: الشيف "الجشع"

التجربة: طلبوا من الشيفات إيجاد أدنى نقطة في وادٍ ضبابي (وهي مسألة رياضية كلاسيكية).
النتيجة: تصرف الشيف (ب) (النموذج اللغوي الكبير) مثل متنزه جشع. بمجرد أن وجد بقعة بدت أقل ارتفاعاً مما بدأ منه، توقف عن البحث حوله. اكتفى باتخاذ خطوات صغيرة نحو الأسفل من تلك البقطة، مقتنعاً أنها هي القاع. نادراً ما ابتعد لاستكشاف أجزاء أخرى من الوادي.
التشبيه: تخيل أنك تبحث عن مفتاح مفقود في غرفة مظلمة. خوارزمية البحث الذكية ستمسح الغرفة بأكملها بشكل منهجي. أما الشيف (النموذج اللغوي)، فسيجد بقعة قد تكون هي المفتاح، ثم يظل ينبش في تلك البقعة تحديداً لساعات، متجاهلاً بقية الغرفة.
الخلاصة: النماذج اللغوية الكبيرة سيئة جداً في استكشاف مناطق جديدة. هي بارعة في صقل ما تعرفه بالفعل، لكنها تتعثر وتتوقف بسه قلباً.

النتيجة الثانية: قبعة "المقاس الواحد للجميع"

التجربة: طلبوا من الشيفات كتابة كود لأحجام مختلفة من البيانات (مثل صورة صغيرة مقابل فيديو بدقة 4K ضخم). وقد أخبروا الشيف صراحة: "هذا لصورة صغيرة جداً!".
النتيجة: تجاهل الشيف (النموذج اللغوي) تعليمات الحجم. لقد كتب نفس الكود للصورة الصغيرة الذي كتبه للفيديو الضخم. وكأن تعليمات "اجعلها صغيرة" كانت غير مرئية بالنسبة له.
التشبيه: تخيل خياطاً صنع ملايين البدلات. طلبت منه أن يصنع بدلة لطفل عمره 5 سنوات. ورغم أنك تخبره: "هذه لطفل"، إلا أن الخياط يخرج نمط البدلة الرجالية القياسية ويصنع بدلة ضخمة على أي حال. هو معتاد جداً على صنع البدلات الرجالية (معرفته المسبقة) لدرجة أنه لا يستطيع تخيل صنع بدلة طفل، حتى عندما تخبره بذلك.
الخلاصة: ذاكرة النموذج اللغوي قوية جداً لدرجة أنها تطغى على تعليماتك المحددة. هو يعود تلقائياً إلى ما رآه أكثر من غيره.

النتيجة الثالثة: حلقة التغذية الراجعة و"حاجز اللغة"

التجربة: قاموا بإعداد نظام حيث يكتب الشيف كوداً، ثم يختبره كمبيوتر، ويعطي تغذية راجعة مثل: "هذا تعطل" أو "هذا بطيء جداً". ثم يحاول الشيف مرة أخرى.
النتيجة:

• السيناريو (أ) (لغة CUDA - لغة شائعة): طُلب من الشيف كتابة كود بلغة CUDA، وهي لغة قرأ عنها الملايين من المرات في بيانات تدريبه. مع كل قطعة من التغذية الراجعة، كان الشيف يتحسن أكثر فأكثر. الكود كان يتطور باستمرار.
• السيناريو (ب) (لغة TVM IR - لغة نادرة): طُلب من الشيف كتابة كود بلغة TVM IR، وهي لغة نادرة جداً (مثل البحث عن إبرة في كومة قش). مع كل قطعة من التغذية الراجعة، كان الشيف في الواقع يصبح أسوأ. كلما حاول إصلاح الأمر بناءً على التغذية الراجعة، أصبح الكود أكثر عطلاً.
  التشبيه:
• CUDA: أنت تتحدث إلى شخص يتحدث اللغة بطلاقة. عندما يرتكب خطأً وتصححه له، يفهم فوراً ويصلحه.
• TVM IR: أنت تتحدث إلى شخص يكاد يعرف اللغة بالكاد. عندما يرتكب خطأً وتصححه له، يصاب بالارتباك، ويسيء فهم تصحيحك، ويرتكب خطأً أكبر. ليس لديه "معرفة مسبقة" كافية باللغة ليفهم التغذية الراجعة.
  الخلاصة: التغذية الراجعة تعمل فقط إذا كان الذكاء الاصطناي يعرف اللغة جيداً بالفعل. إذا كان الذكاء الاصطناعي غير ملم بالموضوع، فإن التغذية الراجعة ستجعله مرتبكاً وتجعل الأمور أسوأ.

الحكم النهائي

تخلص الورقة البحثية إلى أن النماذج اللغوية الكبيرة ليست "محركات بحث" أو "حلالي مشاكل" بالطريقة التي نتمناها. بل هي أدوات لمطابقة الأنماط.

• هي تعتمد بشدة على ما حفظته بالفعل (معرفتها المسبقة).
• هي سيئة في استكشاف أرض جديدة بمفردها.
• لا يمكنها التعلم من التغذية الراجعة إذا كانت التغذية الراجعة تتعلق بشيء لم تره من قبل.

ما هو الحل؟
إذا كنت تريد من الذكاء الاصطناعي تحسين الكود أو حل مشكلات صعبة، فلا يمكنك مجرد تركه "يدردش" ويحاول مجدداً. يجب عليك وضعه داخل نظام يجبره على الاستكشاف (مثل خوارزمية البحث) أو استرجاع أمثلة محددة لم يراها من قبل. لا يمكنك الاعتماد على قدرة الذكاء الاصطناعي "الوكيلية" (Agentic) على حل الأمر من تلقاء نفسه.

باختصار: الذكاء الاصطناعي هو أمين مكتبة بارع يعرف كل الكتب في المكتبة عن ظهر قلب، ولكن إذا طلبت منه كتابة كتاب عن موضوع ليس موجوداً في المكتبة، فسيقوم فقط بتأليف قصة مبنية على الكتب الموجودة هناك، حتى لو أخبرته بأن يكون مختلفاً. إنه يحتاج إلى إنسان (أو أداة بحث) ليوجهه عندما تنفد الإجابات من المكتبة.