💬 NLP

Dissecting Multimodal In-Context Learning: Modality Asymmetries and Circuit Dynamics in modern Transformers

تستقصي هذه الورقة آليات التعلم داخل السياق متعدد الوسائط في نماذج "ترانسفورمر" الحديثة من خلال تجارب منضبطة على مهام اصطناعية، كاشفةً أن تضمينات الموضع الدوارة ترفع عتبة تعقيد البيانات للتعلم داخل السياق، بينما يتيح التنوع العالي للوسيط الأساسي ظهور التعلم داخل السياق متعدد الوسائط بتعقيد منخفض بشكل مفاجئ في وسيط ثانوي عبر دوائر استقرائية منقحة.

المؤلفون الأصليون: Yiran Huang, Karsten Roth, Quentin Bouniot, Wenjia Xu, Zeynep Akata

نُشر 2026-05-27

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yiran Huang, Karsten Roth, Quentin Bouniot, Wenjia Xu, Zeynep Akata

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل عقلاً رقمياً عملاقاً (نموذج Transformer) يتعلم حل الألغاز. عادةً، نعتقد أن هذه العقول تتعلم من خلال حفظ الحقائق وتخزينها في "خلاياها الدماغية" (المعلمات/Parameters). لكن هذه النماذج تمتلك قوة خارقة تسمى التعلم داخل السياق (In-Context Learning - ICL). هذا يشبه النظر إلى بضعة أمثلة أمامك مباشرةً واستنتاج القاعدة في اللحظة ذاتها، دون الحاجة للدراسة المسبقة.

تبحث هذه الورقة البحثية في كيفية عمل هذه القوة الخارقة عندما يتعين على العقل التعامل مع نوعين مختلفين من المعلومات في وقت واحد (مثل النصوص والصور)، وكيف تتغير التوصيلات الداخلية للعقل كلما أصبح أكبر حجماً.

إليك تفصيل النتائج باستخدام تشبيهات بسيطة:

1. مفارقة "العقل الكبير"

النتيجة: عندما تجعل عقلاً أحادي النمط (نصوص فقط) أكبر حجماً، فإنه في الواقع يصبح أسوأ في استخدام حيلة "النظر إلى الأمثلة" وأفضل في مجرد حفظ الحقائق.
التشبيه: تخيل طالباً. إذا كان صغيراً، فعليه النظر إلى أمثلة الكتاب المدرسي لحل مسألة رياضية جديدة. ولكن إذا أعطيته مكتبة ضخمة من الحقائق ليحفظها (زيادة الحجم)، سيتوقف عن النظر إلى الأمثلة وسيحاول فقط استرجاع حقيقة مشابهة حفظها مسبقاً. كلما كانت المكتبة أكبر، زاد اعتماده على الذاكرة بدلاً من الاستنتاج.
التحول المفاجئ: وجدت الورقة أن تقنية "Rotary Position Embeddings" (طريقة محددة لتتبع الترتيب مثل RoPE) تجعل هذا الأمر أكثر صعوبة. الأمر يشبه إعطاء الطالب خريطة مربكة؛ فهو يكافح للعثور على المثال الصحيح لتقليده، لذا يعتمد أكثر على الذاكرة.

2. الطالب "الأساسي مقابل الثانوي" (الاكتشاف الكبير)

النتيجة: عند تعليم العقل التعامل مع نمطين (مثلاً: نص + صور)، هناك عدم توازن كبير. إذا كان العقل خبيراً بالفعل في النصوص (النمط "الأساسي")، فيمكنه تعلم التعامل مع الصور (النمط "الثانوي") ببراعة وبأقل قدر من التدريب.
التشبيه: فكر في العقل كطاهٍ ماهر قضى سنوات في إتقان صلصة معقدة (النص). الآن، تطلب منه إضافة مكون جديد، مثل توابل معينة (الصور).

المفاجأة: أنت لا تحتاج لتعليم الطاهي كيفية طبخ التوابل من الصفر. ولأن لديه معرفة مسبقة بكيفية طبخ الصلصة، فإنه يحتاج فقط إلى القليل من الممارسة ليعرف كيف يمزج التوابل بها.
عدم التماثل: إذا حاولت تعليمهم التوابل أولاً (بدون تدريب الصلصة)، فسيحتاجون إلى كمية هائلة من بيانات التوابل للتعلم. ولكن لأنهم يعرفون الصلصة بالفعل، فإن القليل من بيانات التوابل يكفي. النمط "الأساسي" يبني المحرك؛ والنمط "الثانوي" يحتاج فقط إلى مفتاح صغير لتشغيله.

3. زيادة الحجم تساعد "العقل ثنائي النمط"

النتيجة: على عكس العقل أحادي النمط (حيث يجعل الحجم الأكبر من عملية "النظر إلى الأمثلة" أسوأ)، فإن جعل العقل "ثنائي النمط" أكبر يجعلها دائماً أفضل في استخدام الأمثلة.
التشبيه: في حالة النمط الواحد، كان العقل الكبير يكتفي بمجرد تكديس المزيد من الحقائق. أما في حالة النمطين، فلا تُستخدم قوة العقل الإضافية لحفظ المزيد من الحقائق، بل تُستخدم لبناء "جسر" أفضل بين المكون الجديد (الصور) والصلصة الأساسية (النصوص). كلما كان العقل أكبر، كان الجسر أفضل، وأصبح استخدام الأمثلة أسهل.

4. "المترجم" أمر بالغ الأهمية

النتيجة: لجعل النمطين يعملان معاً، تحتاج إلى "مترجم" جيد (مشفر/Encoder) لتحويل الصور إلى لغة يفهمها عقل النصوص.
التشبيه: تخيل أن عقل النصوص يتحدث الإنجليزية، وعقل الصور يتحدث لهجة فرنسية. إذا رميت الكلمات الفرنسية فقط على المتحدث بالإنجليزية، فسيصاب بالارتباك. أنت بحاجة إلى مترجم.

إذا كان المترجم سيئاً (مشفر منخفض الجودة)، فلن يستطيع المتحدث بالإنجليزية فهم الأمثلة، حتى لو كانت الأمثلة مثالية.
إذا كان المترجم ممتازاً (مشفر عالي الجودة)، فسيتمكن المتحدث بالإنجليزية فوراً من فهم الأمثلة وحل اللغز. جودة المترجم هي ما يتنبأ بمدى نجاح النظام بأكراف.

5. داخل الآلة: دائرة "النسخ واللصق"

النتيجة: نظرت الورقة داخل توصيلات العقل (الدوائر) لترى كيف يتعلم. ووجدت سلكين محددين (رؤوس انتباه/Attention Heads) يقومان بالعمل:

سلك "النظر للخلف": يجد العنصر السابق في القائمة.
سلك "الاستنتاج": يجد المثال المطابق وينسخ إجابته.
التشبيه:

المرحلة الأولى (التدريب على النصوص): يتعلم العقل بناء هذه الأسلاك. يتعلم قائلاً: "مهلاً، إذا رأيت نمطاً، يجب أن أنظر للخلف إلى المثال وأنسخ الإجابة".
المرحلة الثانية (إضافة الصور): العقل لا يبني أسلاكاً جديدة. هو فقط يصقل سلك "الاستنتاج" الموجود بالفعل. إنه يصبح أفضل في مطابقة الصورة مع مثال النص.
الدليل: عندما قام الباحثون بـ "قطع" هذه الأسلاك (إيقاف تشغيلها)، فقد العقل قدرته على استخدام الأمثلة، وهبط إلى مستوى التخمين العشوائي. هذا يثبت أن هذه الأسلاك هي المحرك الفعلي لهذه المهارة.

6. التحقق من الواقع

النتيجة: اختبروا هذه الأفكار على نموذج ذكاء اصطناٍ حقيقي وضخم (Qwen2.5-VL) يُستخدم في العالم الحقيقي.
التشبيه: لم يدرسوا مجرد روبوت لعبة؛ بل نظروا إلى روبوت صناعي حقيقي. وجدوا أن نفس أسلاك "النظر للخلف" و"الاستنتاج" موجودة في الروبوت الحقيقي. عندما أوقفوا هذه الأسلاك، فشل الروبوت. وعندما قاموا بضبط النموذج (Fine-tuning)، أصبحت تلك الأسلاك المحددة أكثر حدة ودقة، تماماً كما حدث في تجاربهم على النماذج الصغيرة.

الملخص

تكشف الورقة أن التعلم متعدد الأنماط (نص + صور) هو عملية غير متماثلة. أنت لا تحتاج لتعليم العقل كل شيء من الصفر. إذا علمت العقل لغة واحدة أولاً، فإنه يبني "محرك استنتاج". إضافة لغة ثانية يكون سهلاً لأن المحرك موجود بالفعل؛ أنت فقط تحتاج لربط المدخل الجديد بالمحرك القديم. جعل العقل أكبر يساعد هذا الاتصال، وتعتمد العملية برمتها على أسلاك "نسخ ولصق" داخلية محددة يتم صقلها، وليس إعادة بنائها، مع تعلم النموذج.

ملخص تقني: تشريح التعلم داخل السياق متعدد الوسائط

بيان المشكلة

تُظهر النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) القائمة على المحولات (Transformers) قدرة على "التعلم داخل السياق" (In-Context Learning - ICL)، وهي القدرة على أداء مهام جديدة من خلال أمثلة توضيحية دون الحاجة لتحديث المعلمات (parameters). وبينما تمت دراسة الدوافع الإحصائية والدوائر الميكانيكية (وتحديداً رؤوس الاستقراء/induction heads) للتعلم داخل السياق أحادي الوسيط في نماذج المحولات المبسطة التي تعتمد على الانتباه فقط، لا يزال من غير الواضح كيف تعمل هذه المبادئ ضمن البنى الحديثة للنماذج اللغوية الكبيرة (التي تتضمن مكونات مثل RoPE وRMSNorm) وكيف تمتد إلى الإعدادات متعددة الوسائط. وبناءً عليه، يتساءل البحث: ما الذي يمكّن المحولات من أداء التعلم داخل السياق متعدد الوسائط من حيث إحصائيات بيانات التدريب والآليات الأساسية؟

المنهجية

يستخدم المؤلفون نهجاً هندسياً عكسياً منضبطاً باستخدام نماذج محولات صغيرة مكونة من طبقتين وواقعية معمارياً، تم تدريبها على مهام تصنيف اصطناعية. يسمح هذا الإعداد بالتحكم الدقيق في إحصائيات البيانات والمكونات المعمارية، مما يتجنب المتغيرات المربكة الموجودة في مجموعات بيانات التدريب المسبق في العالم الحقيقي.

المكونات التجريبية الرئيسية:

توليد البيانات الاصطناعية: يتم توليد البيانات من نماذج الخليط الغاوسي (GMMs) لوسيطين ( $M_1$ $M_{1}$ و $M_2$ $M_{2}$ ). ويتحكم المؤلفون في:
- تنوع الفئات ( $K$ ): عدد الفئات.
- الانفجارية (Burstiness - $B$ ): وتيرة تكرار الفئة في السياق.
- التباين داخل الفئة ( $\epsilon$ ): مستوى الضجيج داخل الفئة الواحدة.
- انحراف زيبف (Zipfian Skew - $\alpha$ ): توزيع تكرار الفئات.
بروتوكولات التدريب:
- الأساس أحادي الوسيط: التدريب على وسيط واحد لتأسيس دوائر التعلم داخل السياق (ICL).
- الإعداد متعدد الوسائط: عملية مكونة من مرحلتين حيث يتم أولاً تدريب نموذج فك التشفير (decoder) مسبقاً على وسيط أساسي ( $M_1$ )، ثم يتم تقديم وسيط ثانوي ( $M_2$ ) عبر مُسقط MLP (MLP projector). كما تم اختبار مشفر (encoder) مدرب مسبقاً اختيارياً للوسيط $M_2$ .
مقايسات التقييم:
- التعلم داخل الأوزان (In-Weight Learning - IWL): الأداء على الفئات المرئية التي لم تكن موجودة في السياق (لقياس الحفظ).
- التعلم داخل السياق (In-Context Learning - ICL): الأداء على الفئات الجديدة الموجودة في السياق (لقياس الاستنتاج).
- المجسات الميكانيكية: مقاييس كمية لأنماط الانتباه، بما في ذلك "قوة رأس الرمز السابق" (PHStrength) و"قوة رأس الاستقراء" (IndStrength).
التحقق على نماذج الإنتاج: يتم التحقق من النتائج على نموذج Qwen2.5-VL-3B من خلال تحديد الرؤوس، والاستئصال السببي (causal ablation/knockout)، وتحليل ديناميكيات الضبط الدقيق.

المساهمات والنتائج الرئيسية

1. الافتراضات المعمارية في المحولات الحديثة

إحصائيات البيانات: تستمر الدوافع الإحصائية الجوهرية للتعلم داخل السياق أحادي الوسيط (التنوع العالي للفئات، الانفجارية، وانحراف زيبف الأمثل) في بنى المحولات الحديثة الشبيهة بالنماذج اللغوية الكبيرة.
آثار التوسع (Scaling Effects): على عكس النماذج المبسطة، فإن توسيع نطاق المحولات الحديثة (زيادة الطبقات أو الرؤوس) يفضل التعلم داخل الأوزان (IWL) على حساب التعلم داخل السياق (ICL) عند ثبات تعقيد البيانات. تتطلب النماذج الأكبر بيانات أكثر تعقيداً بشكل ملحوظ لتحقيق تعلم قوي داخل السياق. ويُعزى ذلك إلى أن آلية الانتباه متعددة الرؤوس تخلق فضاءات فرعية متخصصة للحفظ، والتي تتنافس مع حل التعلم داخل السياق.
التشفيرات الموضعية: يؤدي الانتقال من التشفيرات الموضعية المطلقة (APE) إلى تشفيرات الموضع الدورانية (RoPE) إلى رفع عتبة تعقيد البيانات المطلوبة للتعلم داخل السياق. يعطل Ro-PE تكوين أنماط انتباه واضحة لـ "الرمز السابق" و"الاستقراء"، ويرجع ذلك على الأرجيه إلى بنيته الدورانية الضربيه التي تفتقر إلى إشارات الإزاحة المنفصلة.

2. عدم التماثل في التعلم متعدد الوسائط

الدور الأساسي مقابل الثانوي: يوجد عدم تماثل جوهري؛ فعندما يتم تدريب النموذج مسبقاً على بيانات عالية التنوع من وسيط أساسي ( $M_1$ )، يتطلب الوسيط الثانوي ( $M_2$ ) تعقيد بيانات منخفضاً جداً (مثل عدد قليل من الفئات) لتمكين التعلم داخل السياق متعدد الوسائط.
الآلية: يقوم الوسيط الأساسي بتثبيت دائرة التعلم داخل السياق الجوهرية. أما دور الوسيط الثانوي فهو مجرد توفير إشارة مميزة يمكن للمُسقط (projector) رسمها على فضاء الميزات الموجود مسبقاً.
فائدة التوسع: على عكس الحالة أحادية الوسيط حيث يفضل التوسع الحفظ، فإن توسيع نطاق نموذج فك التشفير في الإعداد متعدد الوسائط يحسن باستمرار من التعلم داخل السياق (ICL). تُستخدم السعة الإضافية لرسم خريطة الوسيط الثانوي إلى الدائرة الموجودة مسبقاً بدلاً من استخدامها للحفظ.
الاعتماد على جدول التدريب: هذا التباين مدفوع بمنهج التدريب المسبق. في حالة التدريب المشترك للدمج المبكر (تدريب كلا الوسيطين من الصفر)، ينعكس هذا التباين، حيث يصبح الوسيط المجاور للعلامة (label) مكانياً هو المهيمن.

3. دور المشفرات والمحاذاة

المحاذاة عبر الوسائط: يعد وجود مشفر مدرب مسبقاً للوسيط الثانوي أمراً حاسماً؛ فهو يسد "فجوة عدم المحاذاة" بين ميزات $M_2$ عالية الأبعاد والفضاء الكامن لنموذج فك التشفير.
جودة الميزات: دقة التحقق من المشفر الأعلى (قدرة تمييز الميزات الأفضل) تتنبأ بقوة الأداء اللاحق للتعلم داخل السياق متعدد الوسائط. يقوم المشفر بضغط بيانات $M_2$ إلى متشعب (manifold) يتوافق بشكل أفضل مع نموذج فك التشفير، مما يسمح لرؤوس الاستقراء بالعمل بفعالية.

4. الديناميكيات الميكانيكية

صقل الدوائر: يكشف التحليل الميكانيكي عن تطور مرحلتين:
1. التدريب المسبق أحادي الوسيط: يقوم بتثبيت دائرة الاستقراء التأسيسية (تعلم نسخ "الرمز السابق" و"مطابقة العلامة").
2. التدريب متعدد الوسائط: يعمل بشكل أساسي على صقل رأس الاستقراء المسؤول عن مطابقة العلامة (IndStrength) لاستيعاب الوسيط الجديد. تظل آلية نسخ "الرمز السابق" مستقرة ويتم إعادة استخدامها.
الدوافع السببية: ترتبط قوة رأس الاستقراء في كلتا الحالتين ارتباطاً وثيقاً بدقة التعلم داخل السياق. وتؤكد دراسات الاستئصال (Ablation) أن إزالة هذه الرؤوس تؤدي إلى انخفاض كارثي في الأداء.
التحقق على مقياس الإنتاج: في نموذج Qwen2.5-VL-3B، تتداخل رؤوس الاستقراء والرموز السابقة التي تم تحديدها في الاختبار الاصطناعي بشكل كبير مع تلك الموجودة في هيكل LLM. تقود هذه الرؤوس التعلم داخل السياق سببياً (الاستئصال يقلل الدقة إلى مستوى قريب من العشوائية)، كما يعمل الضبط الدقيق على صقل قوة رأس الاستقراء دون تغيير آلية النسخ، مما يعكس النتائج الاصطناعية.

الأهمية والادعاءات

يدعي البحث أنه يقدم أول تفسير ميكانيكي للتعلم داخل السياق متعدد الوسائط في المحولات. وتكمن أهميته في:

الفصل بين الإحصائيات والبنية: إثبات أنه بينما تقود إحصائيات البيانات التعلم داخل السياق، فإن الخيارات المعمارية (مثل RoPE والتوسع) يمكن أن تثبط ذلك في الإعدادات أحادية الوسيط، ولكن يتم استغلالها بشكل مختلف في الإعدادات متعددة الوسائط.
تفسير التوسع متعدد الوسائط: تقديم تفسير ميكانيكي لسبب تحسين التوسع باستمرار للتعلم داخل السياق متعدد الوسائط (حيث تُستخدم السعة للرسم الخرائطي وليس للحفظ)، وذلك على النقييد مع توجهات الحالة أحادية الوسيط.
وراثة الدوائر: إثبات أن التعلم داخل السياق متعدد الوسائط يعتمد على دوائر موروثة من التدريب المسبق للوسيط الأساسي، والتي يتم صقلها بدلاً من إعادة بنائها.
منفعة بيئة الاختبار: توفير بيئة اختبار اصطناعية منضبطة ومنخفضة التكلفة الحسابية تنجح في عزل العوامل السببية ونقل الرؤى النوعية إلى نماذج بمقياس الإنتاج (Qwen2.5-VL).

يحافظ المؤلفون على التواضع فيما يتعلق بادعاءاتهم، مشيرين إلى أن استنتاجاتهم الميكانيكية مبنية في نماذج محولات صغيرة ومتحكم بها، وأن نقلها إلى نماذج الإنتاج يجب أن يُنظر إليه كجسر نوعي وليس كتكافؤ كمي تم التحقق منه بالكامل. كما يؤكدون أن عملهم يساهم في الفهم الأوسع لظواهر تعلم المحولات بدلاً من التركيز حصرياً على قابلية تفسير النماذج متعددة الوسائط الكبيرة.