Jagle: Building a Large-Scale Japanese Multimodal Post-Training Dataset for Vision-Language Models
تقدم هذه الورقة Jagle، وهو أكبر مجموعة بيانات يابانية لتدريب النماذج متعددة الوسائط بعد التدريب المسبق حتى الآن، والتي تضم 9.2 مليون نموذج تم إنشاؤها من مصادر متنوعة، مما يعزز بشكل كبير أداء نماذج الرؤية واللغة اليابانية مع الحفاظ على قدراتها الإنجليزية أو تحسينها.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيف يفهم العالم. لقد أعطيته عينين (كاميرا) وعقلاً (نموذج لغوي). ولجعل هذا الروبوت ذكياً، يتعين عليك أن تريه ملايين الصور وتخبره بقصص عما يوجد بداخلها. هذه هي الطريقة التي يتم بها تدريب "نماذج الرؤية واللغة" (VLMs).
لفترة طويلة، كان لدى العلماء مكتبة ضخمة من هذه "الصور-القصص". وكان بإمكانهم ببساطة دمج ومطابقة آلاف الكتب الموجودة لإنشاء روبوت إنجليزي فائق الذكاء.
لكن بالنسبة للغة اليابانية، كانت المكتبة شبه فارغة. لم تكن هناك كتب كافية، والكتب الموجودة كانت إما صغيرة جداً أو تغطي مواضيع بسيطة فقط. ولم يكن بإمكانك مجرد ترجمة الكتب الإنجليزية لأن الصور في تلك الكتب غالباً ما تحتوي على نصوص إنجليزية (مثل اللافتات أو المخططات)، مما قد يربك الروبوت الياباني.
إليك "Jagle".
تخيل "Jagle" كأنه مشروع بناء ضخم ومخصص لملء تلك المكتبة اليابانية الفارغة. إليك كيف قام المؤلفون ببنائه، باستخدام بعض التشبيهات البسيطة:
1. المشكلة: "الرف الفارغ"
معظم الباحثين يبنون مجموعات البيانات عبر جمع كتب "السؤال والجواب" الموجودة مسبقاً. في الإنجليزية، هناك الملاٌين من هذه الكتب. أما في اليابانية، فالأرفف فارغة. محاولة بناء روبوت ياباني ذكي ببيانات قليلة كهذه تشبه محاولة تعليم طفل القراءة باستخدام كتاب قصص مصورة واحد فقط.
2. الحل: البناء من الصفر
بدلاً من البحث عن كتب موجودة، قرر فريق "Jagle" بناء الكتب بأنفسهم. لقد جمعوا المواد الخام من كل مكان:
- صور ملتقطة في اليابان: مثل ألبوم صور رقمي للحياة اليومية.
- ملفات PDF ومستندات: أوراق حكومية ممسوحة ضوئياً، وكتب مدرسية، وتقارير.
- صفحات الويب: مليارات من أزواج (الصورة-النص) من الإنترنت.
لم يكتفوا بمجرد النسخ واللصق؛ بل استخدموا نهج "المصنع" لتحويل هذه المواد الخام إلى تمارين تعليمية.
3. المصنع: أربع طرق لصناعة الأسئلة
استخدم الفريق أربع "آلات" مختلفة لتحويل البيانات الخام إلى أسئلة تدريبية:
- المحاور الذكي (توليد قائم على VLM): استخدموا ذكاءً اصطناعياً فائق الذكاء (Qwen3-VL) ليتأمل الصورة ويسأل: "ماذا يحدث هنا؟" ثم يجيب على ذلك. الأمر يشبه وجود مرشد سياحي آلي ينظر إلى صورة لمركز شرطة ويقول: "هذا هو مقر شرطة محافظة غونما".
- المترجم: أخذوا مخططات ورسوماً بيانية إنجليزية موجودة، وترجموا النص الموجود داخل الصورة وكذلك الأسئلة إلى اليابانية، لضمان تطابق الصورة والكلمات تماماً.
- الطابعة (توليد النصوص): بالنسبة للمهام التي يحتاج فيها الروبوت لقراءة نص من صورة (مثل قراءة لافتة)، أخذوا نصاً، وطبعوه على صورة فارغة، ثم طلبوا من الروبوت قراءته مرة أخرى.
- الماسح الضوئي (OCR): استخدموا أدوات متخصصة لاستخراج النصوص من المستندات الفوضوية وإنشاء أسئلة بناءً على ذلك النص.
4. النتيجة: مكتبة ضخمة
النتيجة هي Jagle، وهي مجموعة بيانات تحتوي على 9.2 مليون مثال.
- تغطي 5 أنواع مختلفة من التفكير: أسئلة عامة (ماذا يوجد في هذه الصورة؟)، قراءة المخططات، كتابة الأوصاف، قراءة النصوص من الصور، واستخراج النصوص البسيطة.
- إنها أكبر مجموعة بيانات يابانية من نوعها تم صنعها على الإطلاق.
5. الاختبار: هل نجح الأمر؟
قام الباحثون بتدريب عقل روبوت صغير (2.2 مليار معلمة/parameter) باستخدام هذه المكتبة الجديدة.
- المهارات اليابانية: أصبح الروبوت ذكياً للغاية في المهام اليابانية. لقد تفوق على أفضل روبوت ياباني سابق (InternVL3.5) واقترب جداً من أفضل روبوت متعدد اللغات في العالم (Qwen3-VL).
- المهارات الإنجليزية: إليكم الخدعة السحرية. عادةً، عندما تعلم روبوتاً لغة جديدة، يصبح أسوأ في لغته القديمة (مثل الطالب الذي يركز بشدة على الفرنسية فينسى الإنجليزية). ولكن مع "Jagle"، أصبح الروبوت أفضل في الإنجليزية أيضاً!
- لماذا؟ يعتقد المؤلفون أنه من خلال إضافة الكثير من البيانات اليابانية المتنوعة، تعلم الروبوت أن يكون أكثر مرونة وإبداعاً، مما ساعده فعلياً على حل المشكلات الإنجليزية بشكل أفضل من ذي قبل.
الصورة الكبيرة
تظهر الورقة البحثية أنك لست بحاجة لانتظار شخص آخر ليبني مكتبة للغتك. إذا كنت تملك الأدوات الصحيحة والمسار الإبداعي، يمكنك بناء مجموعة بيانات ضخمة وعالية الجودة من الصفر.
Jagle يشبه منح طالب ياباني موسوعة جديدة مكونة من 9 ملايين صفحة من الصور والقصص، مما يمنحه أخيراً نفس الفرصة ليصبح عبقرياً مثل نظرائه المتحدثين بالإنجليزية. والأفضل من ذلك؟ لقد أطلقوا المكتبة، والروبوت، والمخططات (الخطط) ليستخدمها الجميع.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.