Asymmetric Idiosyncrasies in Multimodal Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "السمات الفردية غير المتماثلة في النماذج متعددة الوسائط" (Asymmetric Idiosyncrasies in Multimodal Models).

1. بيان المشكلة

تبحث الورقة في فرضية حرجة في مسارات العمل الحديثة متعددة الوسائط: وهي أن الأوصاف (captions) التي تولدها النماذج محايدة أسلوبياً ويمكن تحويلها بأمانة إلى محتوى بصري بواسطة نماذج تحويل النص إلى صورة (T2I).

• السياق: تعتمد مسارات توليد الصور المتطورة (مثل DALL·E 3 وFlux) بشكل متزايد على الأوصاف التي تولدها النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) لتوسيع مجموعات البيانات التدريبية وتحسين المحاذاة بين النص والصورة.
• الفجوة: بينما ثبت جيداً أن النماذج اللغوية الكبيرة (LLMs) تترك "بصمات" فريدة (انحيازات أسلوبية وتوزيعية) على مخرجاتها النصية، لا يزال من غير الواضح ما إذا كانت هذه السمات الفردية على مستوى الوصف تنتقل عبر الوسائط إلى الصور التي تولدها أنظمة (T2I) اللاحقة.
• الفرضية: إذا كانت الأوصاف من نماذج (MLLMs) مختلفة تحتوي على تواقيع أسلوبية متميزة، لكن نماذج (T2I) تفشل في ترجمة هذه الفروق الدقيقة إلى اختلافات بصرية، فإن هذا يعني وجود "فجوة ترجمة عبر الوسائط". قد يؤدي هذا إلى إدخال انحيازات في المجال النصي لا تظهر بصرياً، مما يعقد استخدام الأوصاف الاصطناعية كإشارات إشرافية أمينة.

2. المنهجية

يقترح المؤلفون إطار عمل "تسمية النموذج" (Name-that-Model) للقيام بعملية عزو (attribution) كمية لانتقال السمات الفردية عبر الوسائط. يتكون المسار من مهمتين تصنيفيتين متوازيتين:

أ. جمع البيانات

• مصدر الصور: 30,000 صورة تم أخذ عينات منها من CC3M وCOCO وImageNet وMNIST.
• توليد الأوصاف: تقوم أربعة نماذج (MLLMs) وهي (Claude-3.5-Sonnet، Gemini-1.5-Pro، GPT-4o، Qwen3-VL) بتوليد أوصاف لنفس الصور باستخدام ثلاثة مستويات من التفصيل التصاعدي (سطحي، مفصل، مفصل جداً).
• توليد الصور: يتم تغذية الأوصاف المولدة في أربعة نماذج (T2I) وهي (Stable Diffusion v1.5، v2.1، XL، وFLUX.1-schnell) لتخليق صور جديدة.

ب. مهام التصنيف

1. عزو النص: يتم تدريب مصنف يعتمد على BERT لتحديد نموذج (MLLM) المصدر للوصف.
2. عزو الصورة: يتم تدريب مصنف (ResNet-18 أو يعتمد على CLIP) لتحديد نموذج (MLLM) المصدر للصورة المولدة بناءً على الوصف المستخدم لإنشائها.
3. تجارب الضبط (Control Experiments):
   • إعادة الصياغة: اختبار ما إذا كانت البصمات تصمد أمام إعادة كتابة النص.
   • سبر المشفرات (Encoder Probing): تحليل مشفرات النص T5 وCLIP لمعرفة ما إذا كانت تتخلص من الإشارات الأسلوبية.
   • الكلمات المفتاحية (Keywords): اختبار ما إذا كان إزالة الأسلوب السردي (باستخدام الكلمات المفتاحية فقط) يغير عملية العزو.
   • خط الأساس للصور الطبيعية: مقارنة عزو الصور المولدة مقابل عزو الصور الطبيعية لاستبعاد قيود المصنف.

3. النتائج الرئيسية

أ. دقة عالية في عزو النص

• حقق مصنف النص دقة بلغت 99.70% في تحديد مصدر (MLLM).
• يؤكد هذا أن النماذج (MLLMs) تنتج بصمات لغوية مميزة للغاية وخاصة بكل نموذج (مثل تفضيلات محددة لوصف الإضاءة، أو زوايا المنظور، أو تأطير التكوين) والتي تستمر حتى تحت إعادة الصياغة (حيث ظلت الدقة أعلى من 90%).

ب. انهيار عزو الصورة

• في المقابل تماماً، تنخفض دقة عزو الصور إلى مستويات تقارب العشوائية.
• حتى مع نموذج Flux-schnell المتطور، بلغت ذروة دقة تصنيف الصور 49.85% فقط (بالكاد فوق نسبة العشوائية البالغة 33.3% لثلاث فئات).
• هذه النسبة أقل بكثير من دقة 76.7% التي حققها تصنيف الصور الطبيعية ذات الحجم المماثل باستخدام نفس البنية، مما يثبت أن الصعوبة تكمن في عملية التوليد، وليس في المصنف.

ج. تحليل "الفجوة الفردية"

تحدد الورقة أبعاداً محددة تفشل فيها الفروق الدقيقة في الوصف في الانتقال إلى الصور:

1. مستوى التفصيل: بينما تُصنف أوصاف Gemini باستمرار على أنها "الأكثر تفصيلاً" (بنسبة 84% من الوقت)، لا تظهر الصور الناتجة زيادة مقابلة في التفاصيل؛ بل إن الصور المولدة من GPT (من أوصاف أقل تفصيلاً) كانت أحياناً تُصنف على أنها أكثر تفصيلاً.
2. اللون والملمس: رغم وجود فروق كبيرة في استخدام مفردات اللون والملمس بين النماذج (على سبيل المثال، يستخدم Gemini مصطلحات لونية أكثر دقة بمرتين من GPT)، إلا أن الصور المولدة لا تعكس هذه الاختلافات. يتم توحيد (Normalization) تعليمات الألوان الدقيقة بواسطة نماذج (T2I).
3. التكوين (Composition): تختلف النماذج في كيفية وصف الطبقات المكانية، وتركيز الموضوع، والتناظر. ومع ذلك، لا يتم تنفيذ هذه التعليمات التكوينية بأمانة في الصور المولدة، والتي تميل إلى العودة إلى هياكل المشاهد الشائعة.
4. حفظ المشفر (Encoder Preservation): تحافظ مشفرات النص (T5، CLIP) على الإشارات الأسلوبية (دقة 94-99%)، مما يشير إلى أن فقدان الإشارة يحدث أثناء مرحلة التوليد، وليس مرحلة الترميز.

4. المساهمات الرئيسية

1. إطار عمل مبتكر: يقدم إطار عمل عزو قابل للتوسع ومستقل عن النماذج لقياس السمات الفردية الأسلوبية لنماذج الأوصاف وقدرة نماذج (T2I) على اتباع المطالبات (prompts).
2. قياس الفجوة عبر الوسائط: يقدم دليلاً تجريبياً على وجود تباين هائل: عزو النص شبه مثالي (99.7%)، بينما عزو الصورة ضعيف (50%)، مما يسلط الض الضوء على فشل جوهري في الترجمة عبر الوسائط.
3. تحليل السبب الجذري: يوضح أن الفجوة ليست بسبب الصياغة السطحية (التي تصمد أمام إعادة الصياغة) بل تنبع من أنماط اختيار المحتوى والمنظور الأكثر عمقاً (مثل اختيار التفاصيل، دقة الألوان، التكوين) التي تفشل نماذج (T2I) الحالية في الحفاظ عليها.
4. العزو كأداة تقييم: يقترح استخدام دقة العزو كمقياس تكميلي لتقييم قدرات اتباع التعليمات في نماذج (T2I). الدقة الأعلى في العزو ستعني حفظاً أفضل لدلالات الوصف.

5. الأهمية والآثار المترتبة

• انحياز بيانات التدريب: قد يؤدي تجميع الأوصاف من نماذج (MLLMs) متنوعة لتدريب (T2I) إلى حقن انحيازات في المجال النصي لا تترجم إلى تنوع بصري، مما قد يحد من قدرة النموذج على تعلم المفاهيم البصرية الدقيقة.
• اتباع التعليمات: تشير النتائج إلى أن نماذج (T2I) الحالية تعاني في اتباع التعليمات التي تتجاوز الكلمات المفتاحية البسيطة للأشياء. فهي تفشل في التقاط السمات الدقيقة مثل حالات الإضاءة المزاجية، أو الملامس التفصيلية، أو التخطيطات التكوينية المعقدة الموصوفة في المطالبة.
• الاتجاهات المستقبلية: تدعو الورقة نماذج (T2I) إلى تحسين قدرتها على ترجمة الخيارات الدلالية رفيعة المستوى (الأسلوب، المنظور، مستوى التفصيل) إلى مخرجات بصرية، بدلاً من مجرد توليد صور عامة تطابق الكلمات المفتاحية للأشياء.

باخت-صار، تكشف الورقة عن "سمة فردية غير متماثلة": فبينما تتميز النماذج متعددة الوسائط بوضوح في كيفية وصفها للعالم، فإن النماذج التوليدية الحالية متجانسة بشكل مفاجئ في كيفية تجسيدها البصري لتلك الأوصاف.