LLM attribution analysis across different fine-tuning strategies and model scales for automated code compliance
تستخدم هذه الورقة تحليل العزو القائم على الاضطراب للكشف عن أن الضبط الدقيق الكامل يُنتج سلوكيات تفسيرية أكثر تركيزاً من الأساليب الفعالة في كفاءة المعلمات، بينما يؤدي زيادة حجم النموذج إلى تعزيز الانتباه لضوابط قواعد محددة رغم استقرار مكاسب الأداء بعد تجاوز 7 مليارات معلمة، مما يعزز قابلية التفسير للنماذج اللغوية الكبيرة لأتمتة الامتثال للأكواد في صناعة الهندسة والعمارة والإنشاءات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت ذكي للغاية، ولكنه غامض نوعاً ما، كيف يقرأ كتاب أكواد البناء ويحول تلك القواعد إلى برنامج كمبيوتر. هذا هو موضوع الورقة البحثية: تعليم الروبوتات كيفية التحقق مما إذا كانت المباني تتبع القواعد (مثل "يجب أن يكون عرض مخارج الحريق مترين") وتحويل قواعد النصوص هذه إلى كود يمكن للكمبيوتر فهمه.
أراد الباحثون معرفة: كيف "يفكر" الروبوت فعلياً عندما يفعل ذلك؟ هل يقرأ الجملة كاملة بعناية، أم أنه يكتفي بالتخمين بناءً على بضع كلمات مفتاحية؟ وهل يهم كيف نعلم الروبوت (طريقة التدريب) أو حجم دماغ الروبوت (حجم النموذج)؟
إليك تفصيل لنتائجهم باستخدام تشبيهات من الحياة اليومية:
1. الطرق الثلاث لتدريب الروبوت (استراتيجيات الضبط الدقيق - Fine-Tuning)
تخيل أن لديك طالباً نابغاً (نموذج الذكاء الاصطناعي) يعرف الكثير عن كل شيء. أنت تريد تعليمه خصيصاً عن أكواد البناء. لديك ثلاث طرق للقيام بذلك:
- الضبط الدقيق الكامل (Full Fine-Tuning - FFT): هذا يشبه استئجار مدرس خصوصي يعيد كتابة كتاب الطالب بالكامل من الصفر، ويغير كل ملاحظة وتظليل ليتناسب مع الموضوع الجديد. إنه أمر مكلف ويستغرق وقتاً طويلاً، لكن الطالب يتعلم المادة بشكل مثالي.
- النتيجة: أصبح الروبوت مركزاً جداً. عرف بالضبط أي الكلمات في القاعدة هي "المفاتيح" للحل. لم يضع وقته في التخمين؛ بل ركز بدقة على الأرقام والمصطلحات المحددة.
- تقنية LoRA (التكيف منخفض الرتبة): هذا يشبه إعطاء الطالب مجموعة من الملاحظات اللاصقة (Sticky Notes) وقلم تحديد. أنت لا تعيد كتابة الكتاب بالكامل؛ بل تضيف فقط ملاحظات في الهوامش. إنها طريقة أرخص وأسرع.
- النتيجة: قام الروبوت بعمل جيد، لكن "تفكيره" كان مشتتاً بعض الشيء. لقد نظر إلى المزيد من الكلمات، غير متأكد من أي منها كان الأكثر أهمية حقاً.
- تقنية QLoRA (الـ LoRA المكممة): هذا يشبه إعطاء الطالب الملاحظات اللاصقة، ولكن الحبر باهت جداً (مضغوط). إنها أرخص أيضاً، ولكن بعض التفاصيل تصبح ضبابية.
- النتيجة: عانى الروبوت أكثر من غيره. كان الأقل ثقة بشأن الكلمات التي تهم، وغالباً ما كان يوزع انتباهه بشكل مفرط وضعيف.
الخلاصة: إذا كنت تريد من الروبوت أن يكون جراحاً دقيقاً، فأنت بحاجة إلى طريقة "الضبط الدقيق الكامل". إذا كنت تريد فقط فحصاً سريعاً، فإن طرق "الملاحظات اللاصقة" تفي بالغرض، لكن الروبوت قد يكون ضبابياً في التفاصيل.
2. حجم الدماغ (حجم النموذج - Model Scale)
اختبر الباحثون أيضاً روبوتات ذات أحجام أدمغة مختلفة: صغير (3 مليار معلمة)، متوسط (7 مليار)، وضخم (22 مليار).
- الدماغ الصغير (3B): تخيل متدرباً مبتدئاً. يقرأ القاعدة ويظلل كل شيء تقريباً. إنه غير متأكد مما هو مهم، لذا يظلل كلمات مثل "الـ"، "و"، "يجب"، و"الارتفاع" بنفس الكثافة. إنه يحاول أن يكون آمناً بعدم تفويت أي شيء.
- الدماغ المتوسط (7B): هذا مهندس خبير. يبدأ في تجاهل الحشو. يركز على الأرقام وأسماء القواعد المحددة.
- الدماغ العملاق (22B): هذا معماري ماهر. هو لا يقرأ الكلمات فحسب؛ بل يفهم بنية القاعدة.
- الخدعة السحرية: أدرك الدماغ العملاق أن رقم تعريف القاعدة (مثل "القسم 4.3.11") هو في الواقع دليل قوي للغاية. كما تعلم أن الرقم المحدد (مثل "2.2 متر") هو الجزء الأكثر أهمية في الجملة.
- العيب: بمجرد أن أصبح الدماغ أكبر من 7 مليار، لم يجعله ذلك أكبر (أو أفضل) في المهام العادية. كان الأمر يشبه شراء سيارة فيراري بينما سيارة تويوتا سريعة بما يكفي بالفعل؛ فالسرعة الإضافية لم تساعدك في الوصول إلى المتجر بشكل أسر faster. ومع ذلك، كان الدماغ العملاق أفضل في التعامل مع الحالات الأصعب.
3. مشكلة "الصندوق الأسود"
عادةً، عندما نستخدم الذكاء الاصطناعي، فإننا نعامله كـ صندوق أسود: نضع قاعدة في الداخل، ويخرج كود من الجهة الأخرى. نحن لا نعرف لماذا صنع هذا الكود.
هذه الورقة البحثية تشبه وضع نافذة شفافة على ذلك الصندوق الأسود. من خلال استخدام تقنية تسمى "تحليل الإسناد" (وهي تشبه تسليط كشاف الضوء على الكلمات التي ينظر إليها الروبوت)، استطاع الباحثون رؤية:
- هل ركز الروبوت على الكلمات الصحيحة؟
- هل ارتبك بسبب الكلمات الخاطئة؟
- هل تعلم الوثوق بأرقام القواعد؟
لماذا يهم هذا؟
في صناعة البناء، إذا ارتكب الروبوت خطأً، فقد يكون المبنى غير آمن. لا يمكننا مجرد الثقة في روبوت لأنه حصل على "الإجابة الصحيحة" بنسبة 90% من المرات. نحن بحاجة لمعرفة كيف وصل إلى هناك.
- إذا كان الروبوت يركز على الكلمات الخاطئة (مثل التركيز على لون النص بدلاً من الأرقام)، فقد يسمح بمرور مبنى غير آمن.
- توضح هذه الدراسة أنه لبناء روبوتات موثوقة للوظائف الحرجة المتعلقة بالسلامة، نحتاج إلى استخدام طريقة التدريب الصحيحة (الضبط الدقيق الكامل) وفهم أن الحجم الأكبر ليس دائماً هو الأفضل—الأمر يتعلق بإيجاد الحجم "المثالي" حيث يكون الروبوت ذكياً بما يكفي ليكون دقيقاً وليس كبيراً جداً بحيث يكون هدراً.
باختصار: اكتشف الباحثون أنه لجعل الذكاء الاصطناعي موثوقاً لسلامة المباني، نحتاج إلى تدريبه بدقة (وليس فقط باستخدام الملاحظات اللاصقة) وتعليمه التركيز على الأرقام المحددة وأرقام القواعد، بدلاً من مجرد التخمين بناءً على الانطباع العام للجملة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.