🤖 AI

ITO: Images and Texts as One via Synergizing Multiple Alignment and Training-Time Fusion

تقترح الورقة البحثية إطار عمل ITO، الذي يعزز التدريب المسبق التبايني بين الصور والنصوص من خلال دمج المحاذاة المتعددة متعددة الوسائط مع وحدة دمج خفيفة الوزن وغير مستخدمة أثناء الاستدلال لتقليل الفجوات بين الوسائط والتفوق على النماذج المرجعية الحالية عبر مختلف المعايير.

المؤلفون الأصليون: HanZpeng Liu, Yaqian Li, Zidan Wang, Shuoxi Zhang, Zonglin Zhao, Zihao Bo, Rinyoichi Takezoe, Kaiwen Long, Kun He

نُشر 2026-03-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: HanZpeng Liu, Yaqian Li, Zidan Wang, Shuoxi Zhang, Zonglin Zhao, Zihao Bo, Rinyoichi Takezoe, Kaiwen Long, Kun He

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث "ITO: الصور والنصوص ككيان واحد" (Images and Texts as One) باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: الطالب "بذات الرأسين"

تخيل أنك تقوم بتعليم طالب كيف يفهم العالم باستخدام كتابين درسيين مختلفين: أحدهما مليء بـ الصور والآخر مليء بـ الكلمات.

في نماذج الذكاء الاصطناعي التقليدية (مثل نموذج CLIP الشهير)، يقرأ الطالب كتاب الصور وكتاب الكلمات بشكل منفصل. يُطلب منه مطابقة صورة "قطة" مع كلمة "قطة". وهو يصبح بارعاً جداً في لعبة المطابقة هذه.

ومع ذلك، هناك عيب خفي: على الرغم من قدرته على مطابقتها بشكل مثالي، إلا أنه لم يدمج المفاهيم حقاً.

عندما يفكر في "قطة"، قد يكون لديه ملفان ذهنيان منفصلان: ملف لـ "صور القطط" وملف آخر لـ "كلمات القطط".
إذا سألته سؤالاً صعباً يتطلب دمج التفاصيل البصرية مع معاني الكلمات، فقد يرتبك لأن عقله لا يزال منظماً حسب النمط (صورة مقابل نص) بدلاً من المعنى.

يسمي الباحثون هذا بـ "فجوة النمط" (Modality Gap). الصور والكلمات متوافقتان (تشيران إلى نفس الشيء)، لكنهما غير متكاملتين (لا تعيشان في نفس المساحة الذهنية).

الحل: ITO (الصور والنصوص ككيان واحد)

يقترح المؤلفون طريقة تدريب جديدة تسمى ITO. فكر في ITO كتقنية تدريب خاصة تجبر الطالب على التوقف عن معاملة الصور والكلمات كمواد منفصلة، والبدء في معاملتها كلغة واحدة موحدة.

يفعلون ذلك باستخدام استراتيجيتين رئيسيتين:

1. جلسة "الدراسة الجماعية" (المحاذاة المتعددة للأنماط)

التشبيه: تخيل أنك تدرس لاختبار ما. بدلاً من مجرد النظر إلى بطاقة تعليمية واحدة بها صورة كلب وكلمة "كلب"، تقوم بإنشاء جلسة دراسة جماعية كاملة.

تأخذ نفس صورة الكلب وتظهرها للطالب بإضاءة وزوايا وقصات مختلفة.
تأخذ كلمة "كلب" وتظهرها بخطوط وأحجام مختلفة، أو حتى باستخدام مرادفات مثل "جرو" أو "كلب" (Canine).
ثم تقول للطالب: "كل هذه النسخ المختلفة من الصورة وكل هذه النسخ المختلفة من الكلمة هي في الواقع نفس المفهوم. طابقهم جميعاً معاً!"

ماذا يفعل هذا: يخلق هذا شبكة روابط أكثر ثراءً وكثافة. فهو يجبر الذكاء الاصطناعي على فهم جوهر الشيء، وليس مجرد صورة أو جملة محددة واحدة. وهذا يجعله أكثر ذكاءً في التعرف على الأشياء.

2. "الخلاط مع عصب العينين" (الدمج أثناء التدريب)

التشبية: هذا هو السر الحقيقي. تخيل أن الطالب يرتدي نظارات خاصة أثناء وقت الدراسة (التدريب).

تحتوي هذه النظارات على معالج صغير وسحري بالداخل يقوم فعلياً بلصق الصورة والكلمة معاً في "مفهوم فائق" واحد قبل أن يراه الطالب.
يتعلم الطالب حل المشكلات باستخدام هذا المفهوم الفائق المدمج. يتعلم أن الصورة والكلمة لا ينفصلان.
الأمر الحاسم: بمج once تنتهي جلسة الدراسة ويحين وقت الامتحان النهائي (الاستنتاج)، يخلع الطالب النظارات. لم يعد لديه المعالج السحري. هو فقط يستخدم كتابيه الأصليين.

لماذا هذا عبقري؟
لأنه تعلم بينما كان يرتدي النظارات، فقد تمت إعادة صياغة دماغه. حتى بدون النظارات، أصبحت ملفاته الذهنية لـ "الصور" و"الكلمات" الآن مختلطة تماماً. هو لا يحتاج إلى الآلات الثقيلة والبطيئة أثناء الامتحان؛ هو فقط يحتاج إلى المعرفة التي اكتسبها أثناء ارتداء النظارات.

لماذا هذا مهم: تأثير "المثبت"

اكتشفت الورقة شيئاً مفاجئاً حول "الخلاط مع عصب العينين" (وحدة الدمج):

يمنع "الاحتراق": في التدريب التقليدي، إذا ضغطت على الذكاء الاصطناعي بقوة لمطابقة الأشياء، فإنه يبدأ في "الإفراط في التخصيص" (Overfitting). هو يحفظ بيانات التدريب تماماً ولكنه يفشل في الأمثلة الجديدة والغريبة (مثل قطة مرسومة بأسلوب كرتوني). إنه يشبه طالباً حفظ الكتاب المدرسي لكنه لا يستطيع الإجابة على سؤال إذا تغيرت الصياغة.
يعمل كغراء هيكلي: تعمل وحدة الدمج كـ منظم هيكلي (Structural Regularizer). فهي تجبر الذكاء الاصطناعي على بناء أساس مستقر وموحد. إنها تمنع الذكاء الاصطناعي من اتخاذ "طرق مختصرة" (مثل مجرد حفظ أن "القطط عادة لها شوارب" دون فهم مفهوم القطة نفسه).

النتائج: أسرع، أذكى، وأكثر كفاءة

لأن "الغراء" (وحدة الدمج) يتم التخلص منه بعد التدريب:

السرعة: نموذج الذكاء الاصطناعي النهائي سريع وخفيف الوزن مثل النماذج القديمة تماماً. لا يحتاج إلى قوة حوسبة إضافية للعمل.
الأداء: هو أفضل بشكل ملحوظ في كل شيء:
- التصنيف الصفري (Zero-shot classification): التعرف على أشياء جديدة لم يسبق له رؤيتها من قبل.
- الاسترجاع (Retrieval): العث ور الصورة المثالية لوصف نصي معقد (أو العكس).
- الاستنتاج (Reasoning): مساعدة النماذج اللغوية الكبيرة على فهم الصور بشكل أفضل.

الملخص باختصار

ITO يشبه طريقة الطهي حيث تخبز كعكة باستخدام خلاط خاص وثقيل (وحدة الدمج) لضمان مزج جميع المكونات بشكل مثالي. بمجرد خبز الكعكة، لا تحتاج إلى الخلاط بعد الآن. أنت فقط تقدم الكعكة.

النتيجة هي كعكة (نموذج الذكاء الاصطناعي) طعمها أفضل (أداء أفضل)، وتحافظ على شكلها بشكل أفضل (لا تفرط في التخصيص)، وهي سهلة الأكل (سريعة وفعالة) تماماً مثل الكعك المصنوع بالطرق القديمة. إنها تثبت أنه لكي تفهم العالم حقاً، يجب أن تكون الصور والنصوص كياناً واحداً، وليست مجرد شيئين يقفان بجانب بعضهما البعض.

إليك ملخص تقني مفصل لورقة البحث بعنوان "ITO: الصور والنصوص ككيان واحد عبر تعزيز التوافق المتعدد والدمج أثناء وقت التدريب".

1. بيان المشكلة

على الرغم من نجاح التدريب المسبق للتباين بين الصور والنصوص (مثل CLIP) في تعلم التمثيل البصري، إلا أن هناك قصوراً جوهرياً لا يزال قائماً: الانفصال الناجم عن النمط (modality-induced separation).

المشكلة: بينما تشجع أهداف التباين القياسية (مثل InfoNCE) المطابقة على مستوى العينات بين الصور والنصوص المقترنة، إلا أنها لا تفرض صراحةً كيفية تنظيم التمثيلات عالمياً في فضاء التضمين (embedding space).
النتيجة: في الممارسة العملية، غالباً ما تشكل تضمينات الصور والنصوص فضاءات فرعية متميزة داخل الفضاء الشعاعي المشترك. يعتمد النموذج على "اختصارات خاصة بالنمط" بدلاً من تعلم فضاء دلالي موحد حقاً.
الفجوة: تحاول الطرق الحالية معالجة ذلك إما عن طريق:
1. إدخال وحدات دمج متعدد الوسائط تظل نشطة أثناء الاستدلال، مما يزيد من التكاليف الحسابية ويكسر كفاءة بنية المشفر المزدوج (dual-encoder).
2. استخدام تصميمات خاصة بمهام معينة تحد من القدرة على التعميم.
الهدف: هل يمكننا تقليل الانفصال بين الأنماط وفرض فضاء تمثيل موحد دون التضحية بكفاءة الاستدلال لمشفرات الثنائي القياسية؟

2. المنهجية: إطار عمل ITO

يقترح المؤلفون إطار عمل ITO (الصور والنصوص ككيان واحد)، وهو إطار يجمع بين آليتين لتحقيق تمثيلات موحدة مع الحفاظ على بنية المشفر المزدوج القياسية أثناء الاستدلال.

أ. التوافق المتعدد متعدد الوسائط (Multimodal Multiple Alignment)

بدلاً من معاملة كل زوج (صورة-نص) كعينة إيجابية واحدة، يقوم ITO بإثراء إشارة الإشراف عبر استخراج مراسلات متنوعة من النسخ المعززة (augmented views).

الآلية: يقوم النموذج بتوليد عدة رؤى صور معززة (مثلاً عبر القص أو القلب) وربما عدة رؤى نصية (عبر أخذ عينات من الوصف الفرعي) لكل عينة أصلية.
دالة الخسارة: يقوم ببناء مجموعة كثيفة من الأزواج الإيجابية (واحد-إلى-متعدد ومتعدد-إلى-متعدد) داخل الدفعة (batch). وتكون الخسارة هي متوسط خسائر InfoNCE ثنائية الاتجاه عبر جميع مجموعات الصور والنصوص الصالحة.
الهدف: زيادة تنوع الاقترانات الإيجابية، وبالتالي استخراج كامل القدرة التمييزية للبيانات وتحسين متانة التوافق.

ب. الدمج متعدد الوسائط أثناء وقت التدريب (Training-Time Multimodal Fusion)

هذا هو الابتكار الجوهري للتكامل الهيكلي.

الآلية: أثناء التدريب، يتم إدخال وحدة دمج خفيفة الوزن (Transformer مكون من طبقتين مع انتباه ثنائي الاتجاه). تأخذ هذه الوحدة رموز الصور والنصوص المدمجة كمدخلات وتنتج رموزاً مدمجة متعددة الوسائط.
دالة الخونة: يتم تطبيق خسارة تباينية على هذه التمثيلات المدمجة. تُعامل التمثيلات المدمجة من تعزيزات مختلفة لنفس العينة الأساسية كأزواج إيجابية، بينما تُعامل غيرها كأزواج سلبية.
التصميم الجوهري: يتم استبعاد وحدة الدمج تماماً عند وقت الاستدلال. تنتقل التدرجات (gradients) عبر وحدة الدمج وصولاً إلى مشفرات الصور والنصوص الفردية.
الهدف: العمل كـ منظم هيكلي (structural regularizer). فهي تجبر المشفرات على تعلم ميزات ليست فقط قابلة للفصل خطياً (كما في CLIP التقليدي)، بل متوافقة أيضاً للدمج العميق، مما يقضي فعلياً على الفجوة بين الأنماط ويمنع المشفرات من الانجراف نحو فضاءات فرعية معزولة.

ج. الهدف العام

إجمالي الخسارة هو مجموع موزون:
$\mathcal{L} = \mathcal{L}_{Align} + \lambda \mathcal{L}_{Fusion}$
حيث يوازن $\lambda$ بين شدة التمييز (التوافق) والتنظيم الهندسي (الدمج).

3. المساهمات الرئيسية

تحديد فجوة "التوافق مقابل التكامل": تجادل الورقة بأن التوافق القوي لا يضمن بالضرورة التمثيلات المتكاملة، وتوضح أن التعلم التبايني القياسي غالباً ما يترك فجوة بين الأنماط تعيق الأداء في المهام اللاحقة.
تكامل فعال عند الاستدلال: يحقق ITO تمثيلاً موحداً للفضاء دون تعديل بنية الاستدلال. فمن خلال استخدام الدمج فقط كإشارة تدريب، فإنه يحتفظ بسرعة وقابلية التوسع الخاصة بالمشفرات الثنائية.
الآلية التآزرية: يوضح المؤلفون أن التوافق المتعدد والدمج أثناء وقت التدريب يلعبان أدواراً متميزة ولكنها متكاملة:
- التوافق المتعدد يدفع القدرة التمييزية (الدقة).
- الدمج أثناء وقت التدريب يعمل كمنظم هيكلي، مما يعمل على استقرار ديناميكيات التدريب ومنع الإفراط في التخصيص (overfitting) أو التشبع.
التقييم الشامل: تثبت التجارب المكثفة عبر التصنيف بـ "صفر محاولة" (zero-shot classification)، والاسترجاع، ونماذج اللغة الكبيرة متعددة الوسائط (multimodal LLM backbones) تفوق الطريقة.

4. النتائج التجريبية

قيم المؤلفون ITO على مجموعات بيانات تتراوح من 3 ملايين (CC3M) إلى مليار (DataComp-1B) عينة باستخدام مشفرات ViT-B/16 و ViT-L/16.

التصنيف بـ "صفر محاولة": يتفوق ITO باستمرار على النماذج المرجعية القوية (CLIP, SigLIP, FLAX, SLIP) عبر 26 اختباراً معيارياً.
- على DataComp-1B، حقق ITO أعلى أداء إجمالي، محققاً تحسناً في متوسط دقة "صفر محاولة" بنسبة 2.6% عن CLIP على Laion100M.
- على ImageNet-1K، أظهر ITO مكاسب كبيرة (مثلاً 44.3% مقابل 36.4% على YFCC15M).
استرجاع الصور والنصوص: أظهر ITO توافقاً متفوقاً عبر الوسائط على MSCOCO و Flickr30k، مع أداء قوي بشكل خاص في الاسترجاع الدقيق (DOCCI)، مما يشير إلى سلامة هيكلية أفضل لفضاء التضمين.
نقل التعلم لنماذج LLM متعددة الوسائط: عند استخدامه كعمود فقري بصري لـ LLaVA-1.5، حسنت المشفرات المدربة بأسلوب ITO الأداء بشكل كبير في الاختبارات التي تعتمد على الاستنتاج (VQAv2, MMVet, POPO)، مما يشير إلى أن الفضاء الموحد يقلل من حاجز التكيف لنماذج LLM.
دراسات الاستبعاد (Ablation Studies):
- إزالة الدمج ( $\lambda=0$ ) أدى لتحسن الدقة مقارنة بـ CLIP ولكنه فشل في القضاء على الانفصال بين الأنماط.
- إزالة التوافق مع الإبقاء على الدمج أظهر عوائد متناقصة، مما يؤكد أن التوافق هو المحرك الرئيسي للقدرة التمييزية.
- ديناميكيات التدريب: كشف التحليل أن نماذج CLIP و SLIP القياسية تعاني من التشبع المبكر والإفراط في التخصيص (حيث ينخفض الأداء بعد الذروة). أما ITO، بوجود الدمج، فقد حافظ على أداء مستقر طوال فترة التدريب، حيث عمل كعامل استقرار.

5. الأهمية والخاتمة

الرؤية النظرية: تؤسس الورقة لفكرة أن التكامل (التوحيد الهيكلي لفضاء التضمين) أمر متميز وضروري بجانب التوافق (المطابقة بين العينات).
الأثر العملي: يعد ITO بديلاً "جاهز للاستخدام" للمشفرات التباينية الحالية. فهو يوفر أداءً يضاهى أحدث المستويات دون تكلفة وقت الاستدلال المرتبطة بطبقات الانتباه المتقاطع أو الدمج، مما يجعله عالي القابلية للتوسع.
الاتجاه المستقبلي: تشير الورقة إلى أن التدريب المسبقي التبايني المستقبلي يجب ألا يركز فقط على بيانات أفضل أو أهداف توافق أقوى، بل على تشكيل هندسة فضاء التمثيل صراحةً لضمان التكامل غير المرتبط بالنمط.

باختصار، يثبت ITO أنه من خلال استخدام آلية دمج خفيفة الوزن ومؤقتة أثناء التدريب لتوجيه المشفرات، يمكن تحقيق تمثيل "الصور والنصوص ككيان واحد" يكون عالي الأداء من حيث الأداء وفعالاً من حيث الحوسبة في آن واحد.