AIGen: Automating AI Bill of Materials Generation Through Hybrid MLOps Integration
تقدم هذه الورقة AIGen، وهي أداة نمطية تتكامل مع MLflow وتجمع بين خوارزميات التنقيب والنماذج اللغوية الكبيرة لتوليد قوائم مواد الذكاء الاصطناعي (AIBoMs) الآلية المتوافقة مع المعايير والقابلة للقراءة آلياً بناءً على ملف تعريف SPDX 3.0، مما يسهل الامتثال التنظيمي وحوكمة سلاسل توريد الذكاء الاصطناعي الشفافة.
المؤلفون الأصليون:Federica Pepe, Daniele Bifolco, Costantino Martignetti, Aureliano D'Amici, Fabiano Izzo, Damian A. Tamburri, Massimiliano Di Penta
تخيل أنك تقوم ببناء روبوت ضخم ومخصص من قطع مستمدة من ألف متجر مختلف. لديك تروس من متجر ألعاب، ودماغ من مختبر حاسوب، وقلب مصنوع من كود برمجي كتبه شخص غريب عبر الإنترنت. في عالم البرمجيات، احتفظنا لفترة طويلة بـ "قائمة المواد" (BoM) - وهي ببساطة قائمة تسوق مفصلة للغاية - تخبرك بالضبط ما هي الأجزاء الموجودة داخل المنتج، ومن أين أتت، ومن يملكها. هذا الأمر بالغ الأهمية للسلامة وإصلاح الأخطاء البرمجية. ولكن عندما نبدأ في بناء الذكاء الاصطناائي (AI)، فإن القوائم القديمة لا تعمل بعد الآن. فالذكاء الاصطناعي ليس مجرد كود برمجي؛ بل هو أيضاً أكوام هائلة من البيانات التي تعلم منها، والإعدادات المحددة المستخدمة لتدريبه، والبيئة التي يعمل فيها. إذا كنت لا تعرف بالضبط ما الذي دخل في تكوين ذكائك الاصطناعي، فقد تبني عن غير قصد شيئاً منحازاً، أو غير قانوني، أو خطيراً دون أن تدرك ذلك حتى. وهنا يأتي دور مفهوم "قائمة مواد الذكاء الاصطناعي" (AIBoM): وهو سجل كامل، قابل للقراءة آلياً، لكل مكون من مكونات نظام الذكاء الاصطناعي، بدءاً من البيانات الخام وصولاً إلى النموذج النهائي.
الآن، تخيل أنك تحاول كتابة قائمة التسوق تلك لروبوت يغير رأيه في كل مرة تنظر إليه. هذه هي المشكلة التي يواجهها الباحثون اليوم. وبينما توجد قواعد ومعايير جديدة (مثل "كتاب وصفات" عالمي يسمى SPDX 3.0) تقول لك: "يجب عليك تدوين هذه التفاصيل"، فإن القيام بذلك فعلياً هو كابوس. تضطر معظم الشركات إلى كتابة هذه القوائم يدوياً، وهو أمر بطيء، وممل، وعرضة للأخطاء. إذا قامت شركة تقنيات صحية بنشر ذكاء اصطناعي لفحص الرئتين بحثاً عن السرطان، لكنها نسيت توثيق أنه تم تدريبه على بيانات غير مرخصة، فقد تواجه غرامات باهظة وتفقد سمعتها. السؤال هو: هل يمكننا صنع روبوت يكتب قائمة التسوق الخاصة بالروبوت؟
إليك AIGen، وهي أداة جديدة ابتكرها فريق من الباحثين والمهندسين تعمل كمساعد فائق التنظيم وشديد الانتباه لبنائي الذكاء الاصطناعي. فكر في AIGen كـ "محقق رقمي" يعيش داخل مساحة العمل حيث يُبنى الذكاء الاصطناعي (تحديداً في نظام يسمى MLflow). فبدلاً من مطالبة البشر بتذكر كل تفصيل عن مشروعهم، يقوم AIGamente بالبحث تلقائياً في "القمامة الرقمية وصناديق الكنوز" للعثند على الإجابات. إنه يستخدم استراتيجية ذكية مكونة من جزأين: أولاً، يلتقط الحقائق الهيكلية السهلة (مثل "تم تدريب هذا النموذج لـ 100 جولة") مباشرة من سجلات الحاسوب. ولكن بالنسبة للأمور الصعبة - مثل قراءة دفتر ملاحظات فوضوي لمعرفة لماذا تم بناء النموذج أو تلخيص حدوده - فإنه يستدعي "نموذج لغة كبير" (LLM)، وهو في الأساس ذكاء اصطناعي ذكي جداً يمكنه القراءة والكتابة بلغة البشر.
يصف البحث كيف تم بناء AIGen ليكون مرناً. إنه يشبه "السكين السويسري" المزود بنظام إضافات (Plugins). إذا كنت تستخدم أداة معينة مثل Hugging Face أو GitHub، فإن AIGen يمتلك "يداً" خاصة (تسمى Builder) تعرف كيف تجلب المعلومات من ذلك المكان المحدد. إذا قمت بتغيير الأدوات، فأنت فقط تستبدل "اليد"؛ ولا يحتاج جسم الأداة الرئيسي إلى التغيير. وهذا يعني أنه يمكنه التعامل مع أنواع مختلفة من مشاريع الذكاء الاصطناعي، من التعرف على الصور إلى التنبؤ بأنماط الطقس. اختبر الباحثون AIGen على ثمانية مشاريع ذكاء اصطناعي مفتوحة المصدر. ووجدوا أنه عندما يتعلق الأمر بجلب الأرقام والحقائق الصعبة (مثل المعلمات الفائقة)، كان شبه مثالي، حيث حصل على التفاصيل بدقة 91% من المرات. ومع ذلك، عندما كان عليه كتابة جمل وصفية حول هدف المشروع أو حدوده، لم يكن مثالياً تماماً. ففي بعض الأحيان، فاته تفصيل ما أو اخترع حقيقة صغيرة ("هلوسة")، مما يشير إلى أنه بينما تعد الأداة خطوة كبيرة للأمام، إلا أنها لا تزال بحاجة إلى إنسان لمراجعة القصة النهائية.
الخلاصة الكبرى هي أن AIGen يقترح طريقة لجعل الذكاء الاصطناعي أكثر أماناً وشفافية دون إبطاء العملية الإبداعية. هو لا يدعي أنه حل مشكلة سلامة الذكاء الاصطناعي للأبد، ولكنه يوفر أساساً ملموساً وقابلاً لإعادة الاستخدام يساعد الشركات على اتباع القوانين الجديدة (مثل قانون الذكاء الاصطناعي للاتحاد الأوروبي) والمعايير. ومن خلال أتمتة الأعمال الورقية المملة، فإنه يحرر البشر للتركيز على الشيء المهم: التأكد من أن الذكاء الاصطناعي يفعل حقاً ما يُفترض به القيام به. الأداة متاحة بالفعل لأي شخص لتجربتها، مما يقدم لمحة عن مستقبل يأتي فيه كل نظام ذكاء اصطناعي ومعه بطاقة تعريف خاصة به، واضحة وصادقة ومولدة تلقائياً.
ملخص تقني: AIGen – أتمتة توليد قائمة مواد الذكاء الاصطناً (AIBoM) من خلال التكامل الهجين لعمليات تعلم الآلة (MLOps)
1. بيان المشكلة
يتطلب التطوير والنشر المسؤول لأنظمة الذكاء الاصطناعي (AI) توثيقاً صارماً لجميع المكونات المادية، بما في ذلك مجموعات البيانات، وأوزان النماذج، وخطوط أنابيب التدريب، والتبعيات وقت التشغيل. وبينما قدم معيار تبادل بيانات حزم البرامج (SPDX) الإصدار 3.0 دعماً أصيلاً لملفات تعريف الذكاء الاصطناعي ومجموعات البيانات، إلا أن الأدوات العملية القادرة على توليد قوائم مواد الذكاء الاصطناً (AIBoMs) المتوافقة مع المعايير بشكل آلي لا تزال نادرة.
تشمل التحديات الحالية ما يلي:
تعقيد أنظمة الذكاء الاصطناعي: على عكس قوائم مواد البرمجيات التقليدية (SBoMs) التي تتبع تبعيات الكود، يجب أن تأخذ قوائم AIBoMs في الاعتبار بيانات التدريب، والبيانات الوصفية للنماذج، والقطع الأثرية المتكررة للتدريب.
الضغط التنظيمي: تتطلب اللوائح الناشئة مثل قانون الذكاء الاصطناعي للاتحاد الأوروبي، وإطار عمل إدارة مخاطر الذكاء الاصطناعي التابع للمعهد الوطني للمعايير والتقنية (NIST)، ومعيار ISO/IEC 42001، حوكمة شفافة وقابلة للتدقيق لسلسلة التوريد. ويمكن أن يؤدي عدم الامتثال إلى عواقب مالية وقانونية وخيمة.
نقص الأتمتة: تدير أدوات MLOps الحالية (مثل MLflow وDVC) البيانات الوصفية ولكنها لا تولد وثائق رسمية متوافقة. كما أن التجميع اليدوي عرضة للخطأ وغير قابل للتوسع.
2. المنهجية: إطار عمل AIGen
إن AIGen هو مولد معياري يعتمد على لغة Java، مصمم للعمل فوق إطار عمل MLOps الخاص بـ MLflow. وهو يستخدم نهج استخراج هجين يجمع بين تنقيب البيانات الحتمي ونماذج اللغات الكبيرة (LLMs) لإنتاج مخزونات قابلة للقراءة آلياً ومتوافقة مع ملف تعريف الذكاء الاصطناً الخاص بـ SPDX 3.0.
2.1 خط أنابيب البنية التحتية
يعمل النظام من خلال خمس مراحل:
التكوين والتهيئة: يقوم محرك PipeManager (المعتمد على Java) بتحميل الوحدات المطلوبة ديناميكياً بناءً على تكوين YAML ثنائي المستويات.
استرداد البيانات: تقوم "البُناة" (Builders) النشطة بجمع البيانات الوصفية عبر واجهات برمجة التطبيقات (APIs) أو نماذج اللغات الكبيرة (LLMs).
التسلسل (Serialization): يتم تحويل البيانات إلى مستندات AIBoM معيارية.
التحقق من الصحة: يتم فحص المخرجات مقابل المواصفات الرسمية.
التدقيق غير المعطل (Non-blocking Audit): يقوم سجل التحقق بتسجيل الحقول المفقودة دون إيقاف خط الأنابيب، مما يسمح بالتحسين من خلال العنصر البشري.
2.2 المكونات الأساسية
PipeManager: يشرف على دورة حياة وقت التشغيل ويستخدم خاصية الانعكاس (Reflection) في Java لإنشاء المكونات في وقت التشغيل، مما يضمن القابلية للتوسع دون تعديل الكود الأساسي.
البُناة (Builders)، الفرق (Teams)، والأهداف (Goals):
البُناة (Builders): وحدات متخصصة (مثل MLflow، GitHub، Kaggle، Hugging Face) تستخرج البيانات الوصفية.
الفرق (Teams): مجموعات منطقية تدمج البيانات من مصادر متباينة في مكون واحد من مكونات SPDX.
الأهداف (Goals): حقول SPDX محددة يتم تعيينها للبُناة مع آلية تراجع قائمة على الأولويات للتعامل مع فشل واجهة برمجة التطبيقات أو السجلات غير المكتملة.
عميل نماذج اللغات الكبيرة (LLMClient): واجهة مستقلة عن المزود (تدعم Ollama، OpenAI، إلخ) تعمل على أتمتة استخراج الحقول ذات اللغة الطبيعية غير المهيكلة (مثل قيود النموذج، وحالات الاستخدام) من السجلات، والكود، والوثائق. وهي تستخدم استراتيجيات مثل الاستخراج بالنافذة المنزلقة للتعامل مع حدود الرموز (Tokens)، وتحسين دفاتر الملاحظات لعزل الكود عن البيانات الوصفية.
المسلسل (Serializer): يستخدم التفويض والتركيب (بدلاً من الوراثة) للتكيف مع المعايير المتطورة (مثل الانتقال من SPDX 3.0 إلى 4.0) عبر تغليف المنطق الحالي للحقول التي لم تتغير مع تنفيذ الحقول الجديدة.
2.3 التعامل المتقدم مع البيانات
لضمان المتانة في البيئات الصناعية، ينفذ AIGen ما يلي:
حل التراخيص: يميز بين التراخيص "المعلنة" و"المستنتجة"، ويعتمد NoAssertion افتراضياً عند عدم الوضوح.
سلامة التنفيذ: تمنع النهج غير المعطلة توقف خط الأنابيب بسبب مهلات نماذج اللغات الكبيرة، حيث تقوم بإعادة تنفيذ المهام تلقائياً في "الوضع القياسي" إذا حدثت حلقات استنتاجية.
الخصوصية: يدعم استضافة نماذج اللغات الكبيرة محلياً (عبر Ollama) لضمان عدم تعرض الكود المصدري المملوك للشركة للخدمات السحابية الخارجية.
3. المساهمات الرئيسية
أداة AIGen: مولد معياري مفتوح المصدر يؤتمت إنشاء AIBoM، مما يسد الفجوة بين بيانات MLOps ومعايير الامتثال التنظيمية.
استراتيجية الاستخراج الهجين: دمج مبتكر للاستخراج المهيكل عبر واجهات برمجة التطبيقات (للبيانات الحتمية مثل المعلمات الفائقة) والتركيب القائم على نماذج اللغات الكبيرة (للبيانات غير المهيكلة مثل حالات الاستخدام والقيود).
القابلية للتوسع عبر بنية الإضافات (Plugin Architecture): تصميم يسمح للممارسين بإضافة جامعي بيانات متخصصين في المجال (مثل أدوات MLOps الجديدة) دون تعديل الكود الأساسي.
المواءمة مع الامتثال: دعم مباشر لملفات تعريف الذكاء الاصطناً الخاصة بـ SPDX 3.0، مما يسهل الالتزام بقانون الذكاء الاصطناعي للاتحاد الأوروبي وأطر عمل NIST.
4. التقييم الأولي
قام المؤلفون بتقييم AIGen على ثمانية مشاريع تعلم آلي مفتوحة المصدر من GitHub وKaggle، تغطي مجالات الرؤية الحاسوبية، والبيانات الجدولية، وأنظمة التوصية. استخدم التقييم نموذج DeepSeek-r1 8B عبر Olloma للاستدلال.
النتائج:
توليد الحقول: قامت الأداة بتوليد 124 حقلاً من حقول AIBoM عبر المشاريع.
تقييم الجودة: تم تصنيف 91% من الحقول على أنها "مثالية" (59%) أو "جيدة" (32%) وفقاً لمقياس رباعي النقاط.
البيانات المهيكلة مقابل غير المهيكلة:
الحقول التي تمت معالجتها بواسطة البُناة المهيكلة (مثل MLflow، Kaggle) للبيانات الوصفية الحتمية (المعلمات الفائقة، المقاييس) حققت باستمرار تصنيفات "مثالية".
الحقول التي تتطلب تركيباً من نماذج اللغات الكبيرة (مثل الأوصاف من ملفات README أو الكود) أظهرت دقة عالية عندما كانت المعلومات صريحة، لكنها عانت أحياناً من الهلوسة أو فقدان السياق بسبب استراتيجيات النافذة المنزلقة.
القيود: الحقول الخاصة بالمجال (مثل "القيود") تطلبت أحياناً سياقاً يتجاوز القطع الأثرية التي تم تحليلها، مما يشير إلى الحاجة لمدخلات توثيق إضافية.
5. الأهمية والادعاءات
تضع الورقة البحثية AIGen كقاعدة ملموسة وقابلة لإعادة الاستخدام لحوكمة سلسلة توريد الذكاء الاصطناً الشفافة والمسؤولة. وتكمن أهميته في:
تشغيل الامتثال: نقل توليد AIBoM من مفهوم نظري إلى جزء مؤتمت ومتكامل من سير عمل MLOps.
القابلية للتوسع: توفير حل يمكنه التطور مع المعايير المتغيرة (عبر بنية التغليف) وأطر عمل الذكاء الاصطناعي غير المتجانسة (PyTorch، TensorFlow، Hugging Face).
سد الفجوة: معالجة "الفراغ التشغيلي" حيث تدير الأدوات الموجودة البيانات الوصفية ولكنها تفشل في إنتاج وثائق رسمية متوافقة.
يخلص المؤلفون إلى أنه بينما يعد استخراج البيانات المهيكلة فعالاً للغاية، فإن تركيب اللغة الطبيعية يظل تحدياً يتطلب مزيداً من التطوير. ويتضمن العمل المستقبلي التحقق الصناعي مع الشركات الشريكة لتقييم القابلية للضبط والمتانة في سيناريوهات البيانات الوصفية غير المكتملة في العالم الحقيقي.