🧬 biology

Task-conditioned probing of instruction-tuned multimodal LLMs: Region-specific brain alignment patterns under naturalistic stimuli

تُظهر هذه الدراسة أن النماذج اللغوية الكبيرة متعددة الوسائط والمنضبطة بالتعليمات تُبدي محاذاة أقوى وأكثر تخصصاً في المهام مع نشاط الدماغ البشري أثناء مشاهدة الأفلام الطبيعية مقارنة بالنماذج غير المنضبطة بالتعليمات ونماذج التعلم بالسياق، مما يشير إلى أن الضبط بالتعليمات ينظم التمثيلات حول المتطلبات الوظيفية للمهام بدلاً من الدلالات السطحية.

المؤلفون الأصليون: Subba Reddy Oota, Khushbu Pahwa, Prachi Jindal, Satya Sai Srinath Namburi, Maneesh Singh, Tanmoy Chakraborty, Bapi S. Raju, Manish Gupta

نُشر 2026-05-21

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Subba Reddy Oota, Khushbu Pahwa, Prachi Jindal, Satya Sai Srinath Namburi, Maneesh Singh, Tanmoy Chakraborty, Bapi S. Raju, Manish Gupta

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ هذا شرح مولَّده بالذكاء الاصطناعي لبحث مسبق لم يخضع لمراجعة الأقران. وهو ليس نصيحة طبية. لا تتخذ أي قرارات تتعلق بصحتك بناءً على هذا المحتوى. اقرأ إخلاء المسؤولية الكامل

الفكرة الكبرى: تعليم الحواسيب كيف "تفكر" مثل الأدمغة

تخيل أن لديك مجموعة من المساعدين الأذكياء جداً من الذكاء الاصطناوي (نماذج اللغات الكبيرة متعددة الوسائط، أو MLLMs). هذه الأنظمة من الذكاء الاصطناعي يمكنها مشاهدة الأفلام والاستماع إلى الصوت. أراد الباحثون معرفه: هل تعالج هذه الأنظمة المعلومات بنفس الطريقة التي تعالج بها الأدمغة البشرية؟

لمعرفة ذلك، لم يكتفوا بسؤال الذكاء الاصطناعي، بل نظروا إلى "موجات الدماغ" (صور الرنين المغناطيسي الوظيفي fMRI) لأشخاص حقيقيين يشاهدون نفس الأفلام. ثم حاولوا التنبؤ بتلك الموجات الدماغية باستخدام "الأفكار الداخلية" للذكاء الاصطناعي. كان الهدف هو معرفة أي "دماغ" اصطناعي يتطابق بشكل أفضل مع الدماغ البشري.

الشخصيات الرئيسية: نوعان من الذكاء الاصطناعي

قارنت الدراسة بين نوعين من مساعدي الذكاء الاصطناعي:

الذكاء الاصطناعي "الخام" (التعلم في السياق): فكر في هذا كطالب عبقري قرأ ملايين الكتب ولكنه لم يخضع أبداً لاختبار محدد. إذا عرضت عليه فيلماً وسألته: "ماذا يحدث؟"، سيجيب بناءً على معرفته العامة. إنه ذكي، لكنه قد يكون مجرد مكرر لما رآه من قبل.
الذكاء الاصطناعي "المُدرب" (ضبط التعليمات): فكر في هذا كونه نفس الطالب، لكنه أنهى للتو معسكراً تدريبياً صارماً حيث مارس مهاماً محددة: "لخص هذا"، "ابحث عن العاطفة"، "صف الصوت". لقد أصبح الآن خبيراً في اتباع تعليمات محددة.

التجربة: ليلة مشاهدة الفيلم

أعد الباحثون "ليلة مشاهدة فيلم" مع أربعة متطوعين بشريين. وبينما كانوا يشاهدون مقاطع من أفلام شهيرة (مثل The Wolf of Wall Street)، تم مسح أدمغتهم ضوئياً.

بعد ذلك، قاموا بتغذية تلك المقاطع السينمائية نفسها للذكاء الاصطناعي.

الذكاء الاصطناعي "الخام" اكتفى بمشاهدة الفيديو فقط.
الذكاء الاصطناعي "المُدرب" أُعطي 13 "تعليمات" مختلفة لنفس الفيديو، مثل:
- "ما هي الأحداث الرئيسية؟"
- "صف المشاعر."
- "ما هو الصراع المركزي؟"
- "حدد الأصوات."

ثم سأل الباحثون: أي "أفكار" الذكاء الاصطناعي يمكنها التنبؤ بأفضل شكل بما كان يفعله الدماغ البشري في تلك اللحظة تحديداً؟

النتائج المفاجئة

إليك ما اكتشفوه، باستخدام بعض الاستعارات البسيطة:

1. الذكاء الاصطناعي "المُدرب" هو الأكثر مطابقة للدماغ البشري
كانت نماذج الذكاء الاصطناعي "المُدربة" (المضبوطة بالتعليمات) أفضل بكثير في التنبؤ بنشاط الدماغ البشري مقارنة بالنماذج "الخام".

الاستعارة: تخيل أنك تحاول تخمين ما يفكر فيه صديق لك. الذكاء الاصطناعي "الخام" يشبه صديقاً يسرد حقائق عشوائية عن الفيلم. أما الذكاء الاصطناعي "المُدرب" فهو يشبه صديقاً يحاول بنشاط فهم القصة والمشاعر، تماماً كما يفعل دماغك. كانت "أفكار" الذكاء الاصطناعي المُدرب تتوافق مع الدماغ البشري بنسبة أفضل بـ 9% إلى 20% من غيره.

2. الذكاء الاصطناوي "الخام" يكرر الكلمات فقط؛ أما "المُدرب" فيقوم بالعمل الفعلي
وجد الباحثون فرقاً جوهرياً في كيفية تفكير هذه الأنظمة:

الذكاء الاصطناعي "الخام" حساس جداً لـ الكلمات الدقيقة التي تستخدمها. إذا قلت "صف الفيديو" مقابل "أخبرني عن الفيديو"، فإن "دماغ" الذكاء الاصطناوي الخام يتغير كثيراً لأن الكلمات مختلفة. إنه يشبه الببغاء الذي يقلد الأصوات.
الذكاء الاصطناعي "المُدرب" يتجاهل الصياغة المحددة ويركز على المهمة المطلوبة منه. سواء قلت "لخص" أو "احكِ القصة"، يظل دماغه الداخلي مركزاً على المهمة.
الخلاصة: يبدو أن الأدمغة البشرية تهتم أيضاً بالمهمة (فهم القصة) أكثر من اهتمامها بالكلمات الدقيقة المستخدمة لطلب ذلك. والذكاء الاصطناعي "المُدرب" يحاكي هذا السلوك البشري بشكل أفضل.

3. مهام مختلفة تُنشط أجزاء مختلفة من الدماغ (والذكاء الاصطناعي)
أظهرت الدراسة أنه عندما تعطي الذكاء الاصطناعي وظيفة محددة، فإنه ينشط "أقساماً" مختلفة في دماغه، تماماً مثل البشر.

الاستعارة: فكر في الدماغ كمدينة بها أحياء مختلفة.
- عندما يُطلب من الذكاء الاصطناعي رصد الأصوات، يضيء "حي الصوت" لديه، مما يطابق القشرة السمعية البشرية.
- عندما يُطلب منه فهم قصة، يضيء "حي اللغة" لديه، مما يطابق مناطق اللغة البشرية.
- عندما يُطلب منه التعرف على الأشياء، يضيء "حي البصر" لديه.
لم يكن الذكاء الاصطناعي "الخام" ينتقل بين الأحياء بهذا الوضوح. الذكاء الاصطناعي "المُدرب" عرف بالضبط أي جزء من المدينة يجب استخدامه للمهمة المحددة.

4. الطبقات "العميقة" تطابق الدماغ "العميق"
تمتلك نماذج الذكاء الاصطناعي طبقات، مثل مبنى متعدد الطوابق.

الطوابق السفلية (الطبقات الضحلة): تتعامل مع الأشياء البسيطة مثل الحواف، الألوان، والأصوات الأساسية.
الطوابق العلوية (الطبقات العميقة): تتعامل مع الأفكار المعقدة مثل القصص، المشاعر، والتفكير المنطقي.
النتيجة: وجد الباحثون أن "الطوابق السفلية" للذكاء الاصطناعي طابقت المناطق الحسية في الدماغ البشري (العين/الأذن)، بينما طابقت "الطوابقات العلوية" للذكاء الاصطناعي مناطق التفكير في الدماغ البشري. كان هذا "التسلسل الهرمي" أكثر وضوحاً في الذكاء الاصطناعي "المُدرب".

تحول "الفيديو مقابل الصوت"

نظرت الدراسة أيضاً في نماذج الذكاء الاصطناعي المصممة خصيصاً للفيديو وتلك المصممة خصيصاً للصوت.

نماذج الفيديو: كانت هي نجمة العرض. فقد طابقت نشاط الدماغ البشري بشكل جيد جداً عبر كامل الدماغ.
نماذج الصوت: قدمت أداءً جيداً، لكنها طابقت مراكز السمع في الدماغ البشري فقط. لم تطابق بقية الدماغ بنفس قدر نماذج الفيديو.
الاستنتاج: حالياً، نماذج الذكاء الاصطناعي التي يمكنها "الرؤية" و"السماع" معاً (الفيديو) هي أقرب بكثير إلى وظائف الدماغ البشري من النماذج التي "تسمع" فقط (الصوت).

الملخص

يثبت هذا البحث أننا عندما نعلم نماذج الذكاء الاصطناعي اتباع تعليمات محددة (كما يفعل المعلم البشري)، فإنها تتوقف عن مجرد "استرجاع" البيانات وتبدأ في "التفكير" بطريقة تشبه بشكل مذهل طريقة عمل أدمغتنا. إنها تنظم أفكارها حسب المهمة بدلاً من الصياغة، وتنشط مناطق دماغية محددة اعتماداً على ما يُطلب منها. وهذا يجعلها أدوات قوية للعلماء الذين يحاولون فهم كيفية معالجة الدماغ البشري لعالم الأفلام والقصص المعقد.

ملخص تقني: استقصاء مشروط بالمهام للنماذج اللغوية الكبيرة متعددة الوسائط والمدوزنة بالتعليمات

بيان المشكلة

أثبتت دراسات ترميز الدماغ الحديثة أن النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) تظهر توافقاً أعلى مع نشاط الدماغ البشري مقارنة بالنماذج أحادية الوسائط. علاوة على ذلك، تبين أن النماذج متعددة الوسائط المدوزنة بالتعليمات (IT) تولد تمثيلات خاصة بالمهام تتوافق بقوة مع نشاط الدماغ. ومع ذلك، اقتصرت التقييمات السابقة إلى حد كبير على إعدادين: (1) نماذج متعددة الوسائط يتم تقييمها بمحفزات أحادية الوسائط، أو (2) نماذج غير مدوزنة بالتعليمات يتم تقييمها بمحفزات متعددة الوسائط.

لا تزال هناك فجوة حرجة في فهم ما إذا كان الضوزنة بالتعليمات تجعل نماذج (IT-MLLMs) تنظم تمثيلاتها حول المتطلبات الوظيفية للمهام، أم أنها تعكس مجرد دلالات سطحية. بالإضافة إلى ذلك، هناك نقص في الاستقصاء المنهجي لنماذج (IT-MLLMs) تحت محفزات متعددة الوسائط طبيعية (فيديو مع صوت) لتحديد كيفية توافق التمثيلات الموجهة لغوياً والمحددة بالمهام مع نشاط الدماغ عبر المناطق القشرية، من المناطق الحسية المبكرة إلى المناطق المعرفية العليا.

المنهجية

يعالج المؤلفون هذه الفجوة من خلال تقدير التوافق مع الدماغ عبر التنبؤ باستجابات الرنين المغناطيسي الوظيفي (fMRI) المسجلة أثناء مشاهدة أفلام طبيعية (فيديو مع صوت) باستخدام تمثيلات من نماذج (IT-MLLMs).

البيانات والنماذج:

مجموعة البيانات: تستخدم الدراسة مجموعة بيانات Movie10 (Boyle et al., 2020)، وهي مجموعة بيانات رنين مغناطيسي وظيفي طبيعية متعددة الوسائط حيث شاهد أربعة أشخاص أربعة أفلام مختلفة بشكل سلبي. تم إسقاط البيانات على مساحة السطح "fsaverage6".
النماذج التي تم تقييمها:
- المدوزنة بالتعليمات (IT): ستة نماذج فيديو (مثل InstructBLIPVideo، وVideo-LLaVA، وQwen-2.5-VL) ونموذجان للنماذج الصوتية (Qwen-2.5-Audio، وKimi-Audio).
- النماذج المرجعية (Baselines): نموذجان من نماذج التعلم في السياق (ICL) للفيديو، ونموذجان من النماذج متعددة الوسائط غير المدوزنة بالتعليمات، ونموذجان لفيديو أحادي الوسائط، ونموذج واحد لصوت أحادي الوسائط.
التعليمات: تم استقصاء النماذج باستخدام 13 تعليمات خاصة بالفيديو (مثل التعرف على الأفعال، وفهم السرد، والاستنتاج المنطقي الشائع) و5 تعليمات خاصة بالصوت (مثل فهم الصوت، وكشف الأحداث الصوتية).
استخراج الميزات: بالنسبة لنماذج (IT)، تم استخراج تمثيلات الحالة الخفية عند كل طبقة بناءً على الفيديو/الصوت المدخل والتعليمات الخاصة بالمهمة. بالنسبة لنماذج (ICL) والأسس غير المدوزنة بالتعليمات، تم إجراء استدلال صفري (zero-shot) باستخدام مطالبات اللغة الطبيعية.

الترميز والتقييم:

ترميز مستوى الفوكسل (Voxel-wise Encoding): تم تدريب نماذج انحدار حافة (ridge regression) لتقليل استجابة نشاط الدماغ من تمثيلات النموذج. وقد راعت النماذج تأخيرات الاستجابة الهيموديناميكية باستخدام مرشح الاستجابة النبضية المحدودة (FIR).
المقاييس: تم قياس الأداء باستخدام معامل ارتباط بيرسون (PC) بين نشاط الدماغ المتوقع والفعلي. ولتوحيد الأداء، تم تقسيم النتائج على دقة التنبؤ المقدرة عبر المشاركين، مما أنتج "توافقاً دماغياً معيارياً".
التحليل: استخدمت الدراسة تحليل التشابه التمثيلي (RSA) لمقارنة التشابه الدلالي للتعليمات مع تشابه تمثيل النموذج. كما استخدمت مقاييس التجميع (Adjusted Rand Index) لتقييم التنظيم المشروط بالمهمة وتقسيم التباين لتحليل التباين المشترك والفريد عبر المهام.

المساهمات الرئيسية والنتائج

1. الفصل بين الدلالات السطحية وبنية المهمة
تجد الدراسة فرقاً جوهرياً في كيفية تنظيم نماذج (IT) ونماذج (ICL) لتمثيلاتها:

نماذج (ICL): تظهر اقتراناً قوياً (بيرسون $r \approx 0.78$ ) بين التمثيلات الداخلية ودلالات التعليمات السطحية، مما يشير إلى مطابقة سطحية قريبة من النص.
نماذج (IT): تظهر اقتراناً ضعيفاً بالدلالات السطحية ( $r \approx 0.14$ ) ولكنها تظهر تجميعاً أقوى مشروطاً بالمهمة. يشير هذا إلى أن نماذج (IT) تنظم تمثيلاتها بناءً على المتطلبات الوظيفية للمهمة بدلاً من الصياغة المحددة للمطالبة.

2. التوافق الدماغي المتفوق لنماذج (IT Video MLLMs)

الأداء العام: تظهر نماذج (IT Video MLLMs) توافقاً دماغياً أعلى بكثير من نماذج (ICL) (تحسن بنحو 9%)، والنماذج متعددة الوسائط غير المدوزنة بالتعليمات (تحسن بنحو 15%)، والنماذج أحادية الوسائط المرجعية (تحسن بنحو 20%).
عدم تماثل الوسائط: بينما تظهر نماذج (IT Video) توافقاً قوياً عبر مناطق الدماغ الكاملة، واللغة، والبصر، تظهر نماذج (IT Audio) مكاسب في القشرة السمعية والتلفيف الجبهي الأوسط (MFG) بشكل أساسي. وتؤدي نماذج (IT-MLLMs) الصوتية أداءً مشابهاً للنماذج متعددة الوسائط غير المدوزنة بالتعليمات، مما يشير إلى وجود مجال للتحسين في التقاط المعلومات الدلالية ذات الصلة بالدماغ للصوت.

3. التمايز النوعي للمهام حسب المنطقة
تنتج التعليمات الخاصة بالمهام تمثيلات متميزة تتوافق مع مناطق وظيفية محددة في الدماغ:

مهام الفيديو: تُظهر مهام "فهم السرد" و"الأسئلة والأجوبة البصرية" توافقاً أعلى في المناطق المرتبطة باللغة (التلفيف الزاوي، والفص الصدغي الخلفي)، بينما تهيمن مهمة "فهم الفيديو" على المناطق الجبهية العليا.
مهام الصوت: تتوافق مهام "وصف الصوت" و"كشف الأحداث الصوتية" مع القشرة السمعية، بينما تنشط مهمة "فهم الصوت" مناطق عليا مثل التلفيف الجبهي السفلي (IFG).
تقسيم التباين: تساهم المهام ذات الحمل البصري العالي بشكل فريد في تباين القشرة البصرية، بينما تساهم المهام الدلالية عالية المستوى بشكل فريد في تباين شبكة اللغة.

4. التوافق الهرمي مع المعالجة القشرية
تُظهر نماذج (IT-MLLMs) نمط توافق طبقي يتوافق مع التسلسل الهرمي للمعالجة في الدماغ:

الطبقات المبكرة: تتوافق مع المناطق الحسية المبكرة (القشرة البصرية والسمعية).
الطبقات المتوسطة/العميقة: تتوافق مع المناطق البصرية العليا (LOC, PPA) ومناطق اللغة (التلفيف الزاوي، IFG).
تجارب الضبط: يختفي هذا التدرج الهرمي عند استخدام مطالبات غير لغوية طبيعية (رموز عشوائية)، مما يؤكد أن التوافق مدفوع بدلالات التعليمات وليس بهيكل النموذج العام. وتؤكد المقارنات المنضبطة داخل عائلات النماذج (مثل Qwen-2.5-VL IT مقابل النسخة المسبقة التدريب) أن الضوزنة بالتعليمات تحسن التوافق باستمرار عبر جميع الطبقات.

الأهمية والادعاءات

يدعي الورق البحثي أنه أول دراسة تستخدم نماذج (IT-MLLMs) للفيديو والصوت لنمذجة استجابات الرنين المغناطيسي الوظيفي عبر مهام متعددة الوسائط متنوعة. وتشير النتائج إلى ما يلي:

تعمل الضوزنة بالتعليمات على تحويل نماذج (MLLMs) إلى أدوات استقصاء تنظم تمثيلاتها حول متطلبات المهام بدلاً من النص السطحي، مما يؤدي إلى توافق أقوى مع التنظيم الوظيفي للدماغ.
يمكن استخدام التعليمات الخاصة بالمهام كرافعة محكومة لتغيير أهداف المهمة مع تثبيت المحفز، مما يسمح برسم خرائط لمعالجة المعلومات المشتركة في كل من الأنظمة الاصطناعية والبيولوجية.
يدعم نمط التوافق المعتمد على الطبقات استخدام (IT-MLLMs) لدراسة التخصص الوظيفي تحت محفزات طبيعية وربط النمذجة المعرفية بعلوم الأعصاب.

يحافظ المؤلفون على موقف متواضع فيما يتعلق بالمقارنات بين العائلات المختلفة، مشيرين إلى وجود اختلافات في الحجم، وبيانات التدريب، والبنية. ومع ذلك، فإنهم يؤكدون أن المقارنات المنضبطة داخل نفس العائلة (نسخ IT مقابل النسخ المسبقة التدريب لنفس النموذج) تُظهر باستمرار مكاسب إيجابية في التوافق الدماغي بعد الضوزنة بالتعليمات، مما يعزل تأثير عملية الضوزنة نفسها.