Multi-Modal LLM based Image Captioning in ICT: Bridging the Gap Between General and Industry Domain

ملخص تقني: وصف الصور باستخدام النماذج اللغوية الكبيرة متعددة الوسائط في مجال تكنولوجيا المعلومات والاتصالات (ICT)

بيان المشكلة
في صناعة تكنولوجيا المعلومات والاتصالات (ICT)، يتطلب تدريب النماذج اللغوية الكبيرة (LLMs) المتخصصة في المجال أو بناء أنظمة التوليد المعزز بالاسترجاع (RAG) كميات هائلة من المعرفة النوعية عالية القيمة. وبينما توجد هذه المعرفة في كل من الوسائط النصية والصورية، فإن طرق تحليل المستندات التقليدية (مثل Miner-U وGOT) تقتصر على استخراج النصوص، مما يؤدي إلى إهمال المعلومات المرئية الحرجة مثل المخططات الانسيابية (flowcharts) ومخططات الإشارات (signaling diagrams). ومن ناحية أخرى، في حين تمتلك النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) العامة قدرات فهم الصور، إلا أنها تفتقر إلى المعرفة النوعية المحددة المطلوبة لقطاع تكنولوجيا المعلومات والاتصالات. وعند تطبيقها مباشرة على مستندات هذا القطاع، غالبًا ما تنتج هذه النماذج أخطاء في الحكم المنطقي، وتفشل في تحديد معلومات محددة بوضوح، أو تسيء تفسير اتجاهات تدفق الإشارات. ويتمثل التحدي الجوهري في غياب نموذج قادر على تحويل المعلومات المرئية المعقدة في قطاع تكنولوجيا المعلومات والاتصالات بدقة إلى تمثيلات نصية منطقية ودقيقة.

المنهجية
لمعالجة هذه القيود، يقترح المؤلفون نموذج وصف الصور المتخصص في المجال (DICModel) استنادًا إلى استراتيجية تدريب تدريجية مكونة من ثلاث مراحل. يستخدم النموذج بنية Qwen2.5-VL 7B كبنية أساسية.

1. المرحلة الأولى: التدريب المسبق للضبط الدقيق (Pre-SFT) باستخدام البيانات الاصطناعية

   • الهدف: تعليم النموذج النماذج القياسية لتحليل الصور والمعلومات الهيكلية.
   • توليد البيانات: تم توليد حوالي 7,233 زوجًا من (صورة-نص) اصطناعيًا. تقوم أداة Mermaid بتوليد المخططات الانسيابية ومخططات الإشارات من أكواد مهيكلة. بعد ذلك، يقوم نموذج لغوي كبير (Grok-3) بتحويل كود Mermaid إلى نص تعليقي معياري ومعتمد من قبل الخبراء.
   • النتيجة: يتعلم النموذج تحليل الصور إلى تنسيقات نصية مهيكلة.

2. المرحلة الثانية: التدريب اللاحق للضبط الدقيق (Post-SFT) باستخدام البيانات المشروحة من قبل الخبراء

   • الهدف: حقن معرفة نوعية محددة بقطاع تكنولوجيا المعلومات والاتصالات وصقل دقة التحليل.
   • توليد البيانات: قام خبراء في مجال تكنولوجيا المعلومات والاتصالات بشرح حوالي 2,274 زوجًا عالي الجودة من (صورة-نص) من مستندات مهنية واقعية (تشمل 1,100 مخطط انسيابي و1,174 مخطط إشارات). يستخدم الخبراء قوالب ثابتة لضمان توافق النص مع المعايير الصناعية.
   • النتيجة: يتكيف النموذج مع أنماط الاستدلال والمصطلحات الخاصة بقطاع تكنولوجيا المعلومات والاتصالات.

3. المرحلة الثالثة: الضبط الدقيق للتعليمات (Instruction-SFT) باستخدام بيانات السؤال والجواب البصري (VQA)

   • الهدف: تعزيز قدرة النموذج على اتباع تعليمات المستخدم وفهم التفاصيل الدقيقة، والمكونات المحلية، والتخطيطات الشاملة.
   • توليد البيانات: تم إنشاء حوالي 1,573 زوجًا من أسئلة وأجوبة بصرية (VQA). يتم توليد الأسئلة بواسطة كل من النماذج اللغوية الكبيرة متعددة الوسائط (Gemini 2.0) وخبراء المجال بناءً على صور تكنولوجيا المعلومات والاتصالات.
   • النتيجة: يحسن النموذج من امتثاله للتعليمات وقدرات الفهم العميق لديه.

المساهمات الرئيسية

• استراتيجية التدريب التدريجي: يقدم البحث خط تدريب مكون من ثلاث مراحل (اصطناعي $\leftarrow$ مشروح من الخبراء $\leftarrow$ VQA القائم على التعليمات) الذي يسد بفعالية الفجوة بين قدرات النماذج اللغبية الكبيرة العامة والمتطلبات النوعية لقطاع تكنولوجيا المعلومات والاتصالات.
• خط توليد البيانات: تم تطوير طريقة مبتكرة لتوليد بيانات تدريب عالية الجودة عبر الجمع بين أداة رسم المخططات Mermaid وإعادة كتابة النصوص القائمة على النماذج اللغوية الكبيرة، مما يعالج ندرة البيانات المشروحة في هذا المجال.
• نظام تقييم شامل: أنشأ المؤلفون نظام تقييم صارم يضم خبراء في مجال تكنولوجيا المعلومات والاتصالات. يتضمن ذلك الشرح اليدوي لـ 100 صورة حرجة لجودة التحليل، وإنشاء 300 سؤال موضوعي (200 اختيار من متعدد، 100 اختيار من متعدد) لاختبار فهم الصور.

النتائج التجريبية
تم تقييم DICModel (بـ 7 مليارات معلمة) مقابل النماذج الرائدة (SOTA)، بما في ذلك واجهات برمجة التطبيقات مغلقة المصدر (Gemini 2.0, Claude-3.5) والنماذج مفتوحة المصدر ذات الأحجام المختلفة (من 7 إلى 32 مليار معلمة).

• الأسئلة والأجوبة البصرية (VQA): في الأسئلة الموضوعية التي وضعها الخبراء، حقق DICModel متوسط دقة ($Prec_a$) بلغت 72.3%. وهذا يتفوق على النماذج ذات الـ 32 مليار معلمة (Qwen2.5-VL 32B بنسبة 69.0%، وIntern2.5-VL 32B بنسبة 71.3%) وعلى النماذج مغلقة المصدر (Gemini 2.0 بنسبة 64.3%). مقارنة بأفضل نموذج 7B آخر (Qwen2.5-VL 7B)، حقق DICModel تحسنًا في الدقة بنسبة 10.3%.
• تحليل الصور (الوصف): من حيث مقاييس تشابه النصوص (BLEU, CIDEr, METEOR)، تفوق DICModel بشكل كبير على النماذج الأخرى من فئة 7B. وتحديدًا، حسن درجة BLEU بنسبة تقارب 56.8% مقارنة بـ Qwen2.5-VL 7B وبنسبة 20.8% مقارنة بـ Qwen2.5-VL 32B.
• دراسة الاستئصال (Ablation Study): أكدت الدراسة أن جميع مراحل التدريب الثلاث ضرورية؛ حيث كانت المرحلتان الأولى والثانية حاسمتين لتعظيم دقة التحليل (BLEU)، بينما كانت المرحلة الثالثة ضرورية لتعظيم دقة الإجابة على الأسئلة.

الأهمية والادعاءات
يزعم البحث أن DICModel يثبت أن نموذجًا أصغر ومتخصصًا في المجال (7 مليارات معلمة) يمكنه التفوق على النماذج العامة الأكبر حجمًا بكثير (32 مليار معلمة) في المهام النوعية لقطاع تكنولوجيا المعلومات والاتصالات. ومن خلال استخراج النصوص المنطقية بكفاءة من الصور المعقدة مثل المخططات الانسيابية ومخططات الإشارات، يتيح النموذج إنشاء قواعد بيانات متجهة متعددة الوسائط عالية القيمة ويدعم تطوير النماذج اللغوية الكبيرة المتخصصة في المجال. ويضع المؤلفون هذا العمل كخطوة تأسيسية نحو تطبيقات الذكاء الاصطناعي الأكثر تقدمًا في قطاع تكنولوجيا المعلومات والاتصالات، مثل خدمة العملاء الذكية، وأنظمة RAG متعددة الوسائط، والإدارة الآلية لأصول البيانات.

القيود
يقر المؤلفون بأن النموذج لا يزال يواجه صعوبات مع المخططات شديدة التعقيد، وتحديدًا في تحديد الخطوات المستهدفة عند وجود خطوط دمج في المخططات الانسيابية، أو تحديد نهايات الإشارات في المخططات التي تمتد فيها الإشارات عبر عقد متعددة. بالإضافة إلى ذلك، يقتصر النطاق الحالي على الصور الثابتة، مما يجعل من بيانات الصوت والفيديو تحديات مستقبلية للتمثيل الموحد عبر الوسائط.