تقدم هذه الورقة MCTidy وMCGenie، وهما نظامان يعتمدان على النماذج اللغوية الكبيرة لتوحيد بطاقات النماذج الحالية وتوليد بطاقات جديدة من بيانات المستودعات على التوالي، مما يثبت فعاليتهما في تحسين القابلية للتوسع والاتساق والشفافية في توثيق نماذج تعلم الآلة.
في عالم الذكاء الاصطناعي الآخذ في التوسع السريع، تتخذ الآلات بشكل متزايد قرارات تؤثر على حياة البشر، من تشخيص الأمراض إلى الموافقة على القروض. ومع ازدياد قوة هذه الأنظمة، ظهرت حاجة ماسة لتوثيق واضح وصادق يشرح كيفية عملها، وما هي البيانات التي دربتها، وأين قد تخفق. هذا التوثيق، المعروف باسم "بطاقة النموذج" (model card)، يعمل بمثابة ملصق أو سيرة ذاتية لنموذج تعلم الآلة؛ إذ يهدف إلى إخبار المستخدمين بالضبط بما يتعاملون معه، مما يضمن الشفافية ويمنع سوء الاستخدام. ومع ذلك، في المشهد الحالي، غالبًا ما تكون هذه البطاقات مفقودة تمامًا، أو مكتوبة بأساليب غير متسقة، أو مدفونة في مصطلحات تقنية يصعب على القليلين فهمها. وبدون وجود طريقة معيارية لعرض هذه المعلومات، يصبح مقارنة النماذج المختلفة أو فهم قيودها مهمة صعبة ويدوية للمطورين والباحثين على حد سواء.
لقد عزم باحثان من جامعة ألبرتا، هما تجكيا رحمان توما وبالريت غروال، بالتعاون مع زميلهما كور-بول بيزيمر، على حل هذه المشكلة عبر تعليم الحواسيب كتابة هذه السير الذاتية بنفسها. وقد استخدموا نوعًا من البرامج الحاسوبية المتقدمة يُعرف باسم "النموذج اللغوي الكبير"، وهو قادر على قراءة كميات هائلة من النصوص وتوليد كتابة تشبه كتابة البشر. طور الفريق أداتين متميزتين للتعامل مع تحدي التوثيق؛ الأداة الأولى، التي أطلقوا عليها اسم MCTidy، صُممت لأخذ بطاقات النماذج الموجودة والمبعثرة وإعادة تنظيمها في تنسيق نظيف ومعياري. أما الأداة الثانية، المسماة MCGenie، فقد بُنيت للقيام بشيء أكثر طموحًا: إنشاء بطاقة نموذج من الصفر باستخدام الملفات الخام الموجودة في المستودع الرقمي للنموذج، مثل الكود البرمجي، وإعدادات التكوين، والأوراق الأكاديمية.
لاختبار هذه الأدوات، جمع الباحثون مجموعة من ثمانية وأربعين نموذجًا شهيرًا لتعلم الآلة من منصة رئيسية عبر الإنترنت تسمى "Hugging Face". قاموا أولاً بتغذية بطاقات النماذج الموجودة في MCTidy، مع توجيهها لفرز المعلومات في قالب محدد يغطي كل شيء بدءًا من مبتكري النموذج وصولًا إلى حدوده الأخلاقية. كانت النتائج فعالة بشكل مفاجئ؛ حيث تمكن النظام من الاحتفاظ بمعظم المعلومات الأصلية، محافظًا على حوالي 94% من التفاصيل الرئيسية دون فقدان المعنى. كما نجح في وضع المحتوى في الأقسام الصحيحة في كل مرة تقريبًا، مع وقوع نسبة ضئيلة جدًا من المعلومات في المكان الخاط. وبينما كان الحاسوب يخترع أحيانًا قدرًا صغيرًا من النص الإضافي أو يسيء تفسير عبارة ما، إلا أن هذه الأخطاء كانت نادرة وغالبًا ما حدثت في الأقسام التي تتطلب حكمًا ذاتيًا، مثل وصف من قد يستخدم النموذج أو ما هي المخاوف الأخلاقية القائمة. والأهم من ذلك، أنتجت الأداة نتائج متسقة؛ فإذا قام الباحثون بتشغيل المهمة نفسها عدة مرات، ظل الناتج متطابقًا تقريبًا، مما أثبت أن عملية إعادة التنظيم كانت مستقرة وموثوقة.
ركز الجزء الثاني من الدراسة على MCGenie، الذي حاول كتابة بطاقات نماذج للنماذج التي لا تملك أي توثيق على الإطلاق. تم منح النظام إمكانية الوصول إلى الملفات الرقمية للنموذج، بما في ذلك الأوراق الأكاديمية التي تصف كيفية بناء النموذج، وطُلب منه توليد سيرة ذاتية كاملة. كان الأداء هنا قويًا أيضًا؛ حيث كانت البطاقات المولدة متشابهة دلاليًا إلى حد كبير مع النسخ المكتوبة بشريًا، حيث التقطت الحقائق الجوهرية والبنية بدقة عالية. وكان أكثر من نصف البطاقات المولدة خاليًا تمامًا من الأخطاء الواقعية. وعندما وقعت أخطاء، كانت عادةً بسيطة، مثل عدم تطابق طفيف بين رقم في النص ورقم في الملف المصدر، أو تخمين نظري حول غرض النموذج لم يُذكر صراحة في المادة المصدرية. ووجد الباحثون أن جودة المخرجات تعتمد بشكل كبير على توافر نوع معين من المصادر: الورقة الأكاديمية. فعندما كانت الورقة متضمنة، كانت البطاقة المولدة غنية ومفصلة؛ وبدونها، كان النظام يعاني لملء السياق اللازم، تاركًا العديد من الأقسام فارغة أو غامضة.
تخلص الدراسة إلى أن هذه النهج المؤتمتة توفر مسارًا عمليًا لإدارة الانفجار في نماذج الذكاء الاصطناعي. فمن خلال استخدام النماذج اللغوية الكبيرة إما لتنظيم التوثيق الحالي أو لتوليد بطاقات جديدة من البيانات الخام، يمكن إنشاء سجلات معيارية وشفافة بمقياس لا يمكن للبشر إدارته بمفردهم. وبينما لا تُعد هذه الأدوات مثالية ولا تزال تستفيد من المراجعة البشرية النهائية، خاصة للتحقق من دقة أرقام معينة أو ادعاءات أخلاقية، إلا أنها تثبت أن العمل المضني للتوثيق يمكن أتمتته إلى حد كبير. ويمكن أن يؤدي هذا التحول إلى مستقبل يأتي فيه كل نموذج لتعلم الآلة مع دليل واضح ومتسق وسهل الوصول، مما يجعل التكنولوجيا أكثر أمانًا وفهمًا للجميع.
ملخص تقني: التوليد التلقائي لبطاقات النماذج باستخدام النماذج اللغوية الكبيرة (LLM)
بيان المشكلة تتزايد عمليات نشر نماذج تعلم الآلة (ML) في المجالات عالية المخاطر، ومع ذلك لا يزال التوثيق الفعال يشكل تحديًا كبيرًا. وبينما برزت "بطاقات النماذج" (Model Cards) كمعيار لتحسين الشفافية والمساءلة، تفتقر العديد من النماذج إلى التوثيق تمامًا، أو تعاني بطاقاتها الموجودة من هياكل غير متسقة وتفاصيل غير كافية. هذا التباين يعيق مقارنة النماذج، واختيارها، ونشرها بشكل آمن. علاوة على ذلك، فإن إنشاء توثيق شامل من الصفر يستغرق وقتًا طويلاً وغالبًا ما يتم تهميشه من قبل المطورين. كما أن الحلول المؤتمتة الموجودة مقيدة غالبًا باعتمادها على مدخلات مهيكلة محددة (مثل بيانات وصف البيانات الخاصة بتعلم الآلة - ML Metadata) أو بيئات متخصصة (مثل دفاتر ملاحظات الحوسبة - Computational Notebooks)، مما يحد من قابليتها للتطبيق في منظومة مستودعات النماذج الأوسع.
المنهجية يقترح المؤلفون ويقيمان نهجين يعتمدان على النماذج اللغوية الكبيرة لمعالجة هذه الفجوات: MCTidy لإعادة تنظيم التوثيق الحالي، وMCGenie لتوليد التوثيق من الصفر.
مجموعة البيانات: استخدمت الدراسة 48 بطاقة نموذج عالية الجودة باللغة الإنجليزية وملفات المستودع المرتبطة بها من Huger Face. تم اختيار هذه البطاقات من بين أفضل 1000 نموذج بناءً على الشعبية، وتم تصفيتها لتشمل النماذج الأساسية (Base Models)، وجرى تنسيقها يدويًا لضمان كونها طويلة، وصفية، وغير مكررة.
MCTidy (إعادة التنظيم): يستخدم هذا النهج نموذجًا لغويًا كبيرًا (Gemini 2.0 Flash Thinking) لإعادة تنظيم محتوى بطاقات النماذج الحالية إلى قالب موحد بناءً على الإطار الذي وضعه Mitchell وآخرون [21]. يأخذ النظام البطاقة الأصلية وقالبًا يحتوي على أوصاف للأقسام كمدخلات، حيث يقوم بنقل المحتوى إلى الأقسام المناسبة دون إضافة أو حذف أي معلومات.
التقييم: قام المؤلفون ببناء "قوائم تحقق للمعلومات" من البطاقات الأصلية (عن طريق تفكيك الجمل إلى وحدات متميزة) للتحقق من الاحتفاظ بالمعلومات. وقاموا بتقييم الاحتفاظ بالمعلومات، ومحاذاة الأقسام، والهلوسة (المعلومات الإضافية)، والاستقرار عبر تشغيلات متعددة باستخدام مقاييس التشابه الدلالي (تشابه جيب التمام لمتجهات تضمين الجمل).
MCGenie (التوليد): يقوم هذا النظام بتوليد بطاقات النماذج مباشرة من ملفات مستودع النموذج (مثل الأوراق الأكاديمية، ملفات التكوين، والمحللات - Tokenizers) دون الاعتماد على بطاقة نموذج موجودة. ويستخدم نموذجًا لغويًا كبيرًا أكثر قدرة (Gemini 2.5 Pro) لتخليق المعلومات في نفس القالب الموحد.
التقييم: تمت مقارنة البطاقات المولدة مع البطاقات التي أُعيد تنظيمها يدويًا (والتي استُخدمت كأرضية حقيقية/Ground Truth). ركز التقييم على التشابه الدلالي، والصحة الواقعية (التي تم التحقق منها عبر لجنة من النماذج اللغوية الكبيرة التي تقارن المعلومات بملفات المستودع)، وتأثير أنواع بيانات المدخلات المحددة من خلال دراسات الاستئصال (إزالة الأوراق الأكاديمية، أو ملفات التكوين، أو المحللات).
المساهمات الرئيسية
MCTidy: أداة لتوحيد بطاقات النماذج الحالية. تُظهر الدراسة أن النماذج اللغوية الكبيرة يمكنها إعادة تنظيم التوثيق غير المهيكل بفعالية في تنسيق متسق مع احتفاظ عالٍ بالمعلومات وتقليل الهلوسة إلى أدنى حد.
MCGenie: نظام لتوليد بطاقات النماذج مباشرة من بيانات مستودع النموذج الخام. تقيم الدراسة جدوى أتمتة إنشاء التوثيق من ملفات المصدر، وتحدد الموارد المحددة المطلوبة للحصول على مخرجات عالية الجودة.
التقييم التجريبي: تقييم شامل لكلا الأداتين عبر 48 نموذجًا، مما يوفر معايير مرجعية للاحتفاظ بالمعلومات، والدقة الواقعية، وحساسية جودة التوليد تجاه موارد المدخلات.
النتائج
أداء MCTidy:
الاحتفاظ: احتفظ النظام بمتوسط 93.8% من عناصر قائمة تحقق المعلومات، مع متوسط مسافة "ليفنشتاين" (Levenshtein distance) معيرة قدره 0.03 فقط مقارنة بالنسخ المكتملة يدويًا.
الموضع: وُضع المحتوى في الأقسام الصحيحة في 98.1% من الحالات؛ حيث احتوت 1.9% فقط من الأقسام الفرعية على محتوى في غير موضعه.
الهلوسة: كانت الهلوسة نادرة (10.2% من الأقسام الفرعية)، وحدثت بشكل أساسي في الأقسام الوصفية مثل "المستخدمون المستهدفون الأساسيون" و"الاعتبارات الأخلاقية".
الاستقرار: أظهر النظام اتساقًا عاليًا عبر تشغيلات متعددة، مع متوسط درجة تشابه دلالي قدره 0.9 للوثائق الكاملة.
أداء MCGenie:
التشابه الدلالي: حققت البطاقات المولدة متوسط تشابه دلالي قدره 0.9 مقارنة بالأرضية الحقيقية. ومع ذلك، أظهرت الأقسام التي تتطلب تفسيرًا (مثل "التحذيرات"، "التوصيات") تشابهًا أقل (0.76–0.80) مقارنة بالأقسام الواقعية.
الصحة الواقعية: كانت 54.17% من البطاقات المولدة صحيحة واقعيًا بالكامل. ومن بين البطاقات غير الصحيحة، احتوى الوسيط منها على قسم فرعي غير دقيق واحد فقط. نبعت الأخطاء أساسًا من عدم التطابق بين الاستشهاد والمحتوى أو الاستنتاج التخميني.
الحساسية للمدخلات: كان توفر الأوراق الأكاديمية المرتبطة هو العامل الأكثر أهمية. أدى حذف الأوراق إلى تقليل التشابه على مستوى الوثيقة إلى 0.91 وزيادة الأقسام الفارغة بشكل ملحوظ. في المقابل، كان لحذف ملفات التكوين أو المحللات تأثير ضئيل (بقي التشابه عند ~0.95–0.96)، حيث توفر الأوراق غالبًا معلومات متداخلة أو أكثر شمولاً.
الأهمية والادعاءات يزعم البحث أن الطرق القائمة على النماذج اللغوية الكبيرة توفر مسارًا قابلًا للتوسع لتوحيد وتوليد توثيق بطاقات النماذج.
التوحيد: يثبت MCTidy أن التوثيق الحالي غير المتسق يمكن إعادة تنظيمه في هيكل موحد بأقل قدر من الإشراف البشري، مما يسهل مقارنة النماذج بشكل أفضل.
الأتمتة: يوضح MCGenie أنه من الممكن توليد بطاقات نماذج شاملة مباشرة من آثار المستودع، مما يقلل العبء على المطورين.
الاعتماد على الموارد: تسلط الدراسة الضوء على أنه بينما تعد الأتمتة ممكنة، فإن جودة التوثيق المولد تعتمد بشدة على توفر مواد مصدرية عالية الجودة، وخاصة الأوراق الأكاديمية.
الواقعية العملية: يخلص المؤلفون إلى أن هذه الأدوات يمكن أن تمكن من إنشاء توثيق موحد على نطاق واسع، رغم إشارتهم إلى أن المراجعة البشرية تظل ضرورية للأقسام المحددة المعرضة للهلوسة أو لضمان المواءمة الواقعية في السيناريوهات المعقدة.
يصرح المؤلفون صراحةً بأن نتائجهم توضح إمكانات هذه الطرق ولكنهم يقرون بالقيود، مثل الاعتماد على مجموعة محددة من 48 نموذجًا والطبيعة غير الحتمية للنماذج اللغوية الكبيرة. كما قاموا بإصدار أدواتهم ومجموعات البيانات الخاصة بهم لدعم الأبحاث المستقبلية في مجال التوثيق المؤتمت.