🤖 machine learning

LLM as a Tool, Not an Agent: Code-Mined Tree Transformations for Neural Architecture Search

تقدم هذه الورقة LLMasTool، وهو إطار عمل للبحث عن البنية العصبية القائم على شجرة هرمية يعامل النماذج اللغوية الكبيرة كأدوات لحل درجات حرية محددة ضمن عملية بحث خوارزمية موثوقة، مما يتيح تطوراً مستقراً ومفتوح النهاية للنماذج يتفوق على الأساليب الحالية في معايير CIFAR وImageNet.

المؤلفون الأصليون: Masakazu Yoshimura, Zitang Sun, Yuiko Sakuma, Junji Otsuka, Atsushi Irie, Takeshi Ohashi

نُشر 2026-04-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Masakazu Yoshimura, Zitang Sun, Yuiko Sakuma, Junji Otsuka, Atsushi Irie, Takeshi Ohashi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول بناء أفضل قلعة "ليجو" (LEGO) في العالم.

لفترة طويلة، استخدم العلماء الذين يحاولون بناء أفضل الأدمغة الاصطناعية (الشبكات العصبية) نهجين رئيسيين:

المهندس الصارم: يرسم مخططاً محدداً للغاية ومقيداً. يمكنه فقط استخدام قطع "ليجو" معينة، ويمكنه ربطها بطرق محددة فقط. هذا النهج آمن وموثوق، لكنه يحد من الإبداع. لن تتمكن أبداً من بناء قلعة برأس تنين لأن المخطط لم يسمح بذلك.
الجني السحري (LLM): تطلب من ذكاء اصطناعي فائق الذكاء (نموذج لغوي كبير) أن "يكتب الكود الخاص بقلعة أفضل". المشكلة هي أن الذكاء الاصطناعي غالباً ما يصاب بالارتباك، أو يهلوِس (يخترع قطعاً غير موجودة)، أو يكتفي بنسخ القلاع القديمة التي رآها في كتب تدريبه. الأمر يشبه طلب بناء قلعة من جني، فيسلمك مخططاً ينهار بمجرد محاولة بنائه.

قرر مؤلفو هذه الورقة البحثية، "LLMasTool"، تجربة طريق ثالث. أدركوا أن: لا تجعل الذكاء الاصطناعي هو المهندس المعماري، بل اجعله المساعد المساعد.

إليك كيف يعمل نظامهم، باستخدام تشبيه بسيط:

1. "مكتبة الوحدات" (صندوق الليجو)

بدلاً من مطالبة الذكاء الاصطناعي باختراع قطع جديدة من الصفر، يقوم النظام أولاً بمسح آلاف من قواعد البيانات البرمجية (Codebases) العاملة والناجحة (مثل PyTorch). يقوم تلقائياً بالعثور على جميع "قطع الليجو" (الوحدات) الصالحة والعاملة ويضعها في مكتبة ضخمة ومنظمة.

لماذا هذا مهم: لا يحتاج الذكاء الاصطناعي للتخمين عما إذا كانت "الكتلة التلافيفية" (Convolutional Block) هي كذا أو كذا؛ بل يقوم ببساطة بجلب واحدة حقيقية وعاملة من المكتبة. هذا يضمن أن كل قطعة يستخدمها موجودة بالفعل وتعمل بالفعل.

2. "الشجرة" مقابل "الكود"

تحاول معظم أنظمة الذكاء الاصطناعي كتابة برنامج جديد بالكامل (فقرة نصية طويلة وفوضوية) لوصف بنية جديدة. إذا ارتكب الذكاء الاصطناعي خطأً مطبعياً واحداً، سينهار كل شيء.

خدعة الورقة البحثية: هم يمثلون الدماغ الاصطناعي على هيئة شجرة.
- الجذع هو النموذج بالكامل.
- الأغصان الكبيرة هي الأجزاء الرئيسية (مثل "العمود الفقري" أو "الرقبة").
- الأغصان الصغيرة هي الإعدادات المحددة (مثل "استخدام 32 قناة" أو "حجم النواة 3").
الفائدة: من الأسهل بكثير قطع غصن واستبداله بغصن آخر من المكتبة بدلاً من إعادة كتابة فقرة كاملة من الكود.

3. "المراقب" و"المتخصص" (من العام إلى الخاص)

هذا هو الابتكار الجوهري. لقد قسموا العمل بين خوارزمية قائمة على القواعد (المراقب) والذكاء الاصطناعي اللغوي (المتخصص).

المراقب (الخوارزمية): هو المدير. ينظر إلى الشجرة ويقرر استراتيجية "الصورة الكبيرة".
- مثال: "حسناً، نحتاج لاستبدال فرع 'العمود الفقري'. دعنا نحاول إزالة طبقة هنا، أو ربما إضافة فرع جديد هناك".
- يستخدم المراقب الرياضيات (الإحصاء البايزي) ليقرر أين يبحث تالياً، مما يضمن عدم تكرار نفس الشيء مراراً وتكراراً. إنه يجبر النظام على استكشاف اتجاهات جديدة وغريبة.
المتخصص (الذكاء الاصطناعي اللغوي - LLM): بمجرد أن يقول المراقب: "هيا، لنستبدل هذا الفرع بـ 'ResBlock'"، يتدخل المتخصص.
- المهمة: لا يتعين على المتخصص اختراع القلعة بأكملها؛ عليه فقط ملء التفاصيل الصغيرة. "حسناً، إذا استخدمنا 'ResBlock' هنا، فما هي الإعدادات المناسبة؟ هل يجب أن يكون الانحياز (bias) مفعلاً أم لا؟ ما هو الرقم الأفضل؟"
- السحر: لأن المتخصص يقوم فقط بمهام صغيرة ومحددة، فإنه نادراً ما يرتكب الأخطاء. إنه يعمل كأداة، وليس كمدير.

4. "التطور" (التجربة والخطأ)

يعمل النظام مثل الانتقاء الطبيعي:

الاقتراح: يختار المراقب مكاناً في الشجرة ويطلب من المتخصص إجراء تغيير صغير.
الاختبار: يقومون ببناء "القلعة" الجديدة (تدريب نموذج الذكاء الاصطناعي) ويرون مدى أدائها.
التعلم: إذا تحسن الأداء، يتذكرون هذا التغيير. وإذا ساء الأداء، ينسونه.
التكرار: يفعلون ذلك آلاف المرات، مما يؤدي ببطء إلى تطوير البنية لتصبح فعالة وقوية بشكل مذهل.

لماذا يعد هذا أمراً هاماً؟

لا مزيد من الهلوسة: بما أن الذكاء الاصطناعي يختار فقط من مكتبة من الكود الحقيقي ويقوم بملء الفراغات الصغيرة، فإنه نادراً ما ينشئ نموذجاً "معطلاً".
إبداع حقيقي: "المراقب" يجبر النظام على تجربة تركيبات غريبة قد لا يفكر فيها الذكاء الاصطناعي بمفرده، مما يكسر "انحياز التدريب" الخاص به.
نتائج أفضل: في اختباراتهم، تفوقت هذه الطريقة على الأساليب السابقة التي تمثل أحدث ما توصل إليه العلم بفارق كبير في اختبارات التعرف على الصور القياسية (مثل CIFAR و ImageNet).

با way المختصر:
بدلاً من مطالبة عبقري (ذكاء اصطناعي) بكتابة رواية من الصفر (وهو ما يفشل غالباً)، أعطوه قاموساً من الكلمات الحقيقية (مكتبة الوحدات) ومحرراً صارماً (الخوارزمية) ليخبره بالضبط أي كلمات يستخدم. ثم يقوم الذكاء الاصطناعي فقط بملء القواعد النحوية. والنتيجة؟ شاهقة فنية تتسم بالإبداع وتتبع القواعد النحوية بدقة متناهية.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "LLM كأداة، وليس كوكيل: تحويلات الشجرة المستخرجة من الكود للبحث عن البنى العصبية."

1. بيان المشكلة

يهدف البحث عن البنى العصبية (NAS) إلى أتمتة اكتشاف بنى الشبكات العصبية العميقة (DNN) عالية الأداء. ومع ذلك، تواجه الأساليب الحالية قيوداً كبيرة:

الـ NAS التقليدي القائم على الخوارزميات: يعتمد على مساحات بحث مصممة يدوياً بعناية (مثل خلايا محددة أو بدائيات رسومية) لضمان القابلية للتنفيذ. هذا يحد من الاستكشاف المفتوح ويجعل الاكتشافات منحازة للمعرفة المسبقة للمصمم.
الـ NAS القائم على النماذج اللغوية الكبيرة (LLM-Driven/Agentic): تستخدم الأساليب الحديثة النماذج اللغوية الكبيرة كوكلاء مستقلين لتوليد الكود أو البنى مباشرة. وتواجه هذه الطرق صعوبات في:
- الموثوقية: صعوبة توليد بنى معقدة، صالحة، وقابلة للتنفيذ دون أخطاء في بناء الجملة (Syntax) أو عيوب منطقية.
- الانحياز: تميل النماذج اللغوية الكبيرة إلى إعادة إنتاج الأنماط الموجودة في بيانات التدريب الخاصة بها، مما يعيق الاستكشاف الجديد أو المفتوح حقاً.
- القابلية للتحكم: غياب القيود الصارمة يجعل من الصعب ضمان تلبية النماذج المولدة لمتطلبات موارد محددة (مثل عدد العمليات الحسابية FLOPs، أو عدد المعلمات/Parameters) أو المتطلبات الهيكلية.

التحدي الجوهري هو سد الفجوة بين موثوقية البحث الخوارزمي والقدرة التوليدية للنماذج اللغوية الكبيرة دون الوقوع في فخ الانحياز أو عدم الصلاحية.

2. المنهجية: LLMasTool

يقترح المؤلفون LLMasTool، وهو إطار عمل هجين للبحث عن البنى العصبية (NAS) يعامل النموذج اللغوي الكبير كـ أداة مهيكلة وليس كوكيل مستقل. يعمل الإطار من خلال ثلاثة مكونات رئيسية:

أ. تنقيب الوحدات القائم على الخوارزميات

بدلاً من الاعتماد على النماذج اللغوية الكبيرة لفهم الكود أو حفظ البنى، يقوم النظام تلقائياً بتنقيب وحدات قابلة لإعادة الاستخدام من قواعد الأكواد مفتوحة المصدر (مثل PyTorch، وMMPretrain، وtimm).

العملية: تقوم خوارزمية قائمة على القواعد بتحليل الكود المصدري إلى أشجار بناء جملة مجردة (AST) لتحديد الفئات (Classes) التي ترث من torch.nn.Module.
المخرج: قاعدة بيانات الوحدات ( $D_M$ ) التي تحتوي على الوحدات، وبياناتها الوصفية (وسائط المنشئ، أشكال المدخلات والمخرجات)، والكود المصدري. يضمن هذا دقة بنسبة 100% في تعريف مساحة البحث ويسمح للنظام بالاستفادة من أصول المعرفة المثبتة والموجودة مسبقاً دون حدوث هلوسة.

ب. تمثيل شجري هرمي سهل النشر

ينتقل البحث بعيداً عن تمثيل تدفق البيانات القياسي المستخدم في العديد من طرق الـ NAS.

الهيكل: يتم تمثيل البنى كـ أشجار هرمية.
- العقد (Nodes): تمثل الوحدات على المستوى الكلي (مثل Backbone، Neck)، والمكونات، والمعلمات الفائقة على مستوى الأوراق (مثل حجم النواة/kernel size، وعرض القنوات/channel width).
- الميزة: هذا الهيكل يحاكي كيفية تعريف النماذج في أطر عمل مثل PyTorch (وحدات متداخلة)، مما يسهل رسم خرائط الكود المصدري الحالي مباشرة إلى مساحة البحث. كما يسهل التصميم من الأعلى إلى الأسفل ويبسط دمج كتل الكود المعقدة المكتوبة بشرياً.

ج. التطور من الخشن إلى الدقيق باستخدام الـ LLM كأداة

تقوم عملية التطور بتحويل شجرة البنية بدلاً من توليد كود خام. وهي تستخدم استراتيجية صنع قرار هرمية من الخشن إلى الدقيق:

التخطيط على المستوى الخشن (مدفوع خوارزمياً):
- تحدد خوارزمية تطورية موجهة بالتنوع نوع العملية (مثل: استبدال Swap، إدراج Insert، حذف Delete، تغيير معلمة فائقة Change Hyperparameter) والاتجاه العام.
- النمذجة البايزية: تستخدم أخذ العينات لثومبسون الهرمي (Hierarchical Thompson Sampling) على نموذج Beta-Bernoulli لموازنة الاستكشاف والاستغلال. فهي تتبع معدلات النجاح التاريخية للعمليات المختلفة وفئات التلقين (Prompts) لتوجيه الاختيارات المستقبلية بكفاءة.
- التحكم في التنوع: تقوم الخوارزمية بسرد اتجاهات التعديل الممكنة صراحةً لضمان عدم تقييد البحث بانحياز النموذج اللغوي الكبير.
القرار على المستوى الدقيق (مدفوع بالنموذج اللغوي الكبير):
- بمجرد تحديد الاتجاه الخشن (مثلاً: "استبدل وحدة في الموقع X")، يعمل النموذج اللغوي الكبير كأداة لحل درجات الحرية المتبقية.
- التلقين (Prompting): يتلقى النموذج اللغوي الكبير تلقينات (قوالب) محددة تحتوي على البنية الحالية، وقاعدة بيانات الوحدات، والتغذية الراجعة التاريخية. ويُطلب منه اختيار وحدات محددة، أو تحديد المعلمات الفائقة، أو توليد نص التكوين اللازم لضمان أن التحويل قابل للتنفيذ وصالح.
- الفئات: يستخدم النظام فئات مختلفة من التلقين تتراوح من "الاعتماد على الـ LLM" (اعتماد عالٍ على المعرفة المسبقة) إلى "الحد الأدنى من الـ LLM" (الخوارزمية تقرر الموقع/الوحدة، والـ LLM يملأ فقط المعلمات الفائقة) لضمان تنوع الاستكشاف.

3. المساهمات الرئيسية

إطار عمل LLMasTool: إطار عمل جديد للـ NAS يدمج الموثوقية الخوارزمية مع مرونة النماذج اللغوية الكبيرة من خلال تمثيل البنى كأشجار وتحويل الأشجار كعملية تطور.
مساحة بحث مستخرجة من الكود: تقنية تنقيب وحدات آلية تستخرج لبنات البناء القابلة لإعادة الاستخدام من أي كود مصدري، مما يخلق مساحة بحث موثوقة ومتنوعة دون هندسة يدوية.
صنع قرار من الخشن إلى الدقيق: استراتيجية حيث تتعامل الخوارزميات مع التخطيط رفيع المستوى (لضمان التنوع وتجنب انحياز الـ LLM) بينما تتعامل النماذج اللغوية الكبيرة مع التفاصيل الدقيقة (لضمان الصلاحية والقابلية للتنفيذ).
أخذ عينات ثومبسون الهرمي: طريقة تحسين بايزية مطبقة على التسلسل الهرمي للقرار للتنقل بكفاءة في مساحة البحث الواسعة والمفتوحة باستخدام التغذية الراجعة التاريخية.

4. النتائج التجريبية

تم تقييم الطريقة على NAS-Bench-201 (CIFAR-10، CIFAR-100، ImageNet16-120) و ImageNet-100.

مكاسب الأداء:
- CIFAR-10: تحسن بمقدار 0.69 نقطة عن الحالة الراهنة السابقة (NADER).
- CIFAR-100: تحسن بمقدار 1.83 نقطة.
- ImageNet16-120: تحسن بمقدار 2.68 نقطة.
- ImageNet-100: حقق نتائج هي الأفضل حالياً (SOTA)، متفوقاً بشكل كبير على طرق مثل NADER و LLMatic و LeMo-NADe.
دراسات الاستئصال (Ablation Studies):
- تحويل الشجرة مقابل توليد الكود: تفوق تطور الشجرة بشكل كبير على توليد الكود المباشر أو تعديل التكوين، مما يثبت أهمية التمثيل المهيكل.
- تنقيب الوحدات: استخدام الوحدات المنقوبة من المكتبات الخارجية حقق دقة أعلى بكثير من استخدام الوحدات البدائية فقط.
- دور الـ LLM: نهج "الحد الأدنى من الـ LLM" (حيث تقرر الخوارزمية ما الذي يجب تغييره والـ LLM يقرر كيفية التنفيذ) غالباً ما تفوق على أساليب "الاعتماد على الـ LLM"، مما يؤكد أن تقليل انحياز الـ LLM يؤدي إلى استكشاف أكثر انفتاحاً.
- أخذ العينات الهرمي: كان أخذ عينات ثومبسون الهرمي المقترح حاسماً للكفاءة؛ حيث أدى أخذ العينات الموحد أو غير الهرمي إلى الركود.

5. الأهمية

تمثل هذه الورقة تحولاً في كيفية استخدام النماذج اللغوية الكبيرة في الاكتشاف العلمي والمهام الهندسية:

من وكيل إلى أداة: تجادل الورقة بأنه بالنسبة للمهام المعقدة والمقيدة مثل الـ NAS، لا ينبغي معاملة النماذج اللغوية الكبيرة كوكلاء مستقلين بل كـ أدوات متخصصة تعمل ضمن إطار خوارزمي صارم. هذا يقلل من مخاطر الهلوسة والانحياز.
الاستكشاف المفتوح: من خلال فصل اتجاه البحث (الخوارزمية) عن تفاصيل التنفيذ (النموذج اللغوي)، يمكن للطريقة استكشاف مساحات معمارية تختلف جوهرياً عن بيانات تدريب النموذج اللغوي، مما يؤدي إلى اكتشافات مبتكرة حقاً.
إعادة استخدام المعرفة: توضح طريقة تنقيب الوحدات كيفية حصاد وإعادة استخدام أصول هندسة البرمجيات الحالية (الكود) بشكل منهجي لتسريع أبحاث الذكاء الاصطناعي، مما يسد الفجوة بين هندسة البرمجيات التقليدية وتعلم الآلة المؤتمت.

باختصار، يثبت LLMasTool أن الجمع بين الصرامة الهيكلية للبحث الخوارزمي والفهم الدلالي للنماذج اللغوية الكبيرة، مع التحكم الصارم في دور النموذج اللغوي، يؤدي إلى نتائج متفوقة في اكتشاف بنى عصبية عالية الأداء.