Language-aligned models and structured scene descriptions reveal sensitivity to compositional scene structure in the high-level visual cortex
باستخدام بيانات التصوير بالرنين المغناطيسي الوظيفي بقوة 7 تسلا والنماذج المتوافقة لغوياً، تُظهر هذه الدراسة أن القشرة البصرية العليا حساسة للبنية التركيبية للمشاهد الطبيعية بدلاً من مجرد التزامن بين الأشياء، مما يشير إلى أن الإشراف اللغوي يمكن أن يساعد نماذج الرؤية الاصطناعية على تطوير تمثيلات هيكلية مماثلة.
المؤلفون الأصليون:Rajaei, K., Afshar, A., Cichy, R. M., Soltanian-Zadeh, H.
تخيل أن دماغك عبارة عن مكتبة ضخمة تعج بالحركة. لفترة طويلة، اعتقد العلماء أن "القسم البصري" من هذه المكتبة لم يكن سوى خزانة ملفات عملاقة للأشياء الفردية. فإذا رأيت كلباً، أو سيارة، أو شجرة، سيضيء رف محدد ليقول: "مهلاً، لدينا كلب هنا!". ولكن ماذا يحدث عندما يطارد الكلب السيارة، أو تحجب الشجرة الرؤية عن السيارة؟ هل يقوم الدماغ بمجرد مراجعة قائمة من العناصر، أم أنه يقرأ بالفعل القصة التي توضح كيفية ترابطها معاً؟ هذا السؤال يقع في قلب مجال يُسمى العلوم العصبية الإدراكية، حيث يحاول الباحثون فك شفرة اللغة السرية لأفكارنا وحواسنا. إنهم يستخدمون أدوات قوية مثل التصوير بالرنين المغناطيسي الوظيفي (fMRI)، والذي يعمل ككاميرا عالية التقنية يمكنها رؤية أي أجزاء من الدماغ "تتحدث" عندما تنظر إلى شيء ما. واللغز الكبير هو ما إذا كان المركز البصري في دماغنا ذكياً بما يكفي لفهم العلاقات بين الأشياء، أم أنه مجرد صانع قوائم يهتم فقط بما هي الأشياء الموجودة.
قرر فريق من الباحثين فك هذه الشفرة عبر معاملة الدماغ كمحقق واللغة كعدسة مكبرة. استخدموا بيانات من ثمانية أشخاص تم مسح أدمغتهم أثناء النظر إلى 10,000 مشهد طبيعي مختلف. ولاختبار قدرة الدماغ على فهم "القصص" بدلاً من مجرد "القوائم"، صمموا تجربة ذكية. فلكل صورة، استخدموا ذكاءً اصطناعياً لكتابة جملة كاملة وصحيحة نحوياً تصف بدقة ما يحدث (على سبيل المثال: "شخص يطارد كلباً في حديقة"). ثم أخذوا تلك الجملة نفسها وبعثروها في كومة عشوائية من الكلمات (على سبيل المثال: "حديقة، كلب، شخص، يطارد، في، أ"). كانت النسختان تحتويان على نفس الكلمات تماماً، لكن النسخة الأولى فقط هي التي حكت قصة متماسكة ذات بنية واضحة.
كانت النتائج بمثابة كشف مذهل. فعندما حاول الباحثون التنبؤ بما يفعله الدماغ بناءً على هذه الأوصاف، وجدوا أن "حقيبة الكلمات" المبعثرة لا تزال تتنبأ بنشاط الدماغ، لكنها كانت أقل دقة بشكل ملحوظ مقارنة بالجمل الكاملة والمنظمة. لقد وفرت الجمل المنظمة تطابقاً أفضل بكثير مع نشاط الدماغ، خاصة في المناطق العليا المسؤولة عن التعرف على الوجوه والأماكن والأجساد. اتضح أن الدماغ ليس مجرد صانع قوائم؛ بل هو راوٍ للقصص. إنه يهتم بعمق بـ كيفية ترابط القطع معاً. كما اختبر الباحثون ذلك باستخدام نماذج حاسوبية، ووجدوا أن نماذج الذكاء الاصطناعي المدربة على فهم كل من الصور واللغة كانت أفضل بكثير في تخمين نشاط الدماغ من النماذج التي تنظر إلى الصور فقط. وهذا يشير إلى أن اللغة تساعد الدماغ (وربما الذكاء الاصطناعي أيضاً) على تنظيم العالم البصري في روابط ذات معنى، وليس مجرد مجموعة عشوائية من الأشياء.
وللتأكد من أن الأمر لم يكن يتعلق فقط بكون الجمل تبدو "سلسة" أو صحيحة نحوياً، جرب الفريق خدعة ثانية. فقد أخذوا الكلمات الرئيسية من القصة الأصلية وطلبوا من ذكاء اصطناعي كتابة جملة نحوية جديدة باستخدام تلك الكلمات فقط. ورغم أن هذه الجملة الجديدة كانت سليمة نحوياً، إلا أنها لم تتنبأ برد فعل الدماغ بنفس كفاءة القصة الأصلية المرتبطة بالصورة. أثبت هذا أن الدماغ لا يكتفي بمجرد سماع أي جملة جيدة الصياغة؛ بل يتوق تحديداً إلى العلاقات الهيكلية الفريدة الموجودة في المشهد الفعلي. تشير الدراسة إلى أن القشرة البصرية العليا حساسة لـ "البنية التركيبية" للمشهد — أي الطريقة المحددة التي يتم بها تنظيم العناصر، والأفعال، والمساحات. لا يكفي معرفة أن هناك كلباً وشخصاً موجودان فحسب؛ بل يحتاج الدماغ لمعرفة من يطارد من لكي "يرى" المشهد حقاً.
ملخص تقني
المشكلة والدوافع لا تُعرَّف المشاهد الطبيعية بمجرد الكائنات التي تحتويها فحسب، بل بالعلاقات الهيكلية بين تلك الكيانات، بما في ذلك التخطيط المكاني، والارتباطات الدلالية، والتفاعلات الاجتماعية، والأفعال. وبينما يقوم النظام البصري باستخراج مثل هذه المعلومات الهيكلية بسرعة لتفسير معنى المشهد، لا يزال من غير الواضح ما إذا كانت تمثيلات القشرة البصرية العليا تشفر هذا التركيب الهيكلي أم أنها تعكس بشكل أساسي التواجد المشترك للكيانات الفردية. لقد أثبتت الأعمال السابقة أن نماذج الرؤية المتوافقة مع اللغة تتنبأ باستجابات الدماغ بشكل أفضل من النماذج التي تعتمد على الرؤية فقط، ولكن لا يزال الأساس وراء هذه الميزة محل نقاش: فقد تنبع من الملصقات الدلالية الأكثر ثراءً أو من القدرة على التقاط التنظيم العلاقاتي الهيكلي. تهدف هذه الدراسة إلى الفصل بين الحساسية تجاه التنظيم الهيكلي للمشهد والحساسية تجاه مجرد وجود عناصر المشهد.
المنهجية استخدم المؤلفون بيانات التصوير بالرنين المغناطيسي الوظيفي (fMRI) بتركيز 7 تسلا من مجموعة بيانات المشاهد الطبيعية (NSD)، والتي تضم استجابات ثمانية مشاركين شاهدوا 10,000 صورة طبيعية فريدة. وظفت الدراسة نهجين متكاملين ضمن إطار ترميز (encoding framework):
التلاعب اللغوي: لكل صورة، أنتج نموذج لغة ورؤية توليدي (Qwen 2.5-VL) وصفاً سردياً. قام المؤلفون ببناء مساحات سمات لغوية متعددة للتلاعب بالهيكل بشكل منهجي مع التحكم في المحتوى المعجمي:
السرد الكامل: أوصاف متماسكة وسليمة.
حقيبة الكلمات (Bag-of-Words): نفس كلمات السرد ولكن بترتيب عشوائي، مما يؤدي إلى تعطيل البنية النحوية والعلاقاتية.
كلمات المحتوى: أسماء، وأفعال، وصفات بترتيب عشوائي (باستثناء كلمات الربط/الوظيفة).
الفئات المعزولة: نماذج مدربة على الأسماء، أو الأفعال، أو الصفات وحدها.
الأوصاف المعاد توليدها: مجموعة ضابطة حيث تمت إزالة كلمات الربط من السرد الأصلي، وقام نموذج لغوي بإعادة توليد جملة قواعدية باستخدام فقط كلمات المحتوى الأصلية. اختبر هذا ما إذا كانت ميزة السرد ناتجة عن الفصاحة اللغوية العامة أم عن التنظيم العلاقاتي الخاص بالصورة.
تم اشتقاق التضمينات النصية باستخدام مشفرات CLIP (ViT-L/14) وRoBERTa.
مقارنة النماذج الحسابية: قارن المؤلفون بين القدرة التنبؤية العصبية بين نموذج رؤية متوافق مع اللغة (SigLIP2) ونموذج رؤية ذاتي الإشراف يعتمد على الرؤية فقط (DINOv3). تشترك كلا النماذج في بنيات متشابهة (Vision Transformer Large) ومقاييس تدريب متماثلة، لكنهما يختلفان في أهداف التعلم (خسارة التباين بين الصورة والنص مقابل التعلم البصري ذاتي الإشراف).
الترميز والتحليل تمت ملاءمة نماذج انحدار ريدي (ridge regression) على مستوى الفوكسل (voxelwise) للتنبؤ باستجابات fMRI من مساحات السمات. استخدمت الدراسة تقسيم التباين لحساب التباين المفسر الفريد (Runique2). عزلت هذه المقياس مساهمة مجموعة سمات محددة (مثل الهيكل السردي) عن طريق قياس الانخفاض في أداء التنبؤ عند إزالة تلك المجموعة من نموذج مشترك يحتوي على المجموعة المستهدفة ومجموعة مرجعية (مثل حقيبة الكلمات). تم تقييم الأهمية الإحصائية عبر إعادة أخذ العينات بطريقة بوتستراب غير معلمية وتصحيح FDR.
النتائج الرئيسية
الهيكل السردي يتفوق على الضوابط المعجمية: تنبأت الأوصاف السردية الكاملة بالاستجابات القشرية بشكل أفضل بكثير من ضوابط حقيبة الكلمات وكلمات المحتوى عبر القشرة البصرية العليا، بما في ذلك المناطق الانتقائية للفئات (EBA, FFA, PPA, OPA, RSC). كانت هذه الميزة ضئيلة في القشرة البصرية المبكرة.
الخصوصية تجاه الهيكل التركيبي: لم يكن التباين الفريد المفسر بواسطة السردات فوق حقيبة الكلمات مدفوعاً بكلمات الربط أو الفصاحة العامة. أظهر التحكم في الوصف المعاد توليده أنه بينما التقطت الجمل القواعدية المعاد بناؤها من كلمات المحتوى بعض التباين، إلا أنها فشلت في مطابقة القدرة التنبؤية للسردات الأصلية الخاصة بالصورة. يشير هذا إلى أن الدماغ يشفر التنظيم العلاقاتي المحدد للمشهد، وليس مجرد الأشكال اللغوية الفصيحة.
المساهمات المعجمية: فسرت الأسماء أكبر قدر من التباين، تليها الأفعال ثم الصفات. ومع ذلك، فإن الجمع غير المرتب بين فئات معجمية متعددة التقط معلومات أكثر من أي فئة منفردة وحدها.
التقارب مع النماذج المتوافقة مع اللغة: تفوق نموذج SigLIP2 (المتوافق مع اللغة) على نموذج DINOv3 (المعتمد على الرؤية فقط) في مناطق القشرة العليا الانتقائية للفئات. وقد عكس التوزيع المكاني لهذه الميزة توزيع ميزة السرد على حقيبة الكلمات بشكل وثيق. وُجد ارتباط إيجابي قوي (r=0.66) بين التباين الفريد المفسر بواسطة الأوصاف المهيكلة والتباين الفريد المفسر بواسطة النموذج المتوافق مع اللغة عبر الفوكسلات.
محركات المحفزات: اتسمت الصور التي دفعت التباين الفريد لكل من الأوصاف المهيكلة والنماذج المتوافقة مع اللغة بدرجات عالية في الهيكل التركيبي، والعلاقات الدلالية، والتفاعل الاجتماعي. لم تكن هذه مجرد صور "غنية بصرياً"، بل كانت تلك التي تحتوي على علاقات منظمة ومعقدة بين الوكلاء، والأشياء، والأفعال.
الأهمية والادعاءات يزعم البحث أن القشرة البصرية العليا تمثل معلومات المشهد المهيكلة التي تتجاوز مجرد التواجد المشترك للكيانات أو المحتوى المعجمي وحده. تشير النتائج إلى أن النظام البصري يشفر التنظيم العلاقاتي لعناصر المشهد (الوكلاء، الأفعال، التخطيط المكاني) في كُلٍ متماسك.
علاوة على ذلك، تفترض الدراسة أن الأداء المتفوق لنماذج الرؤية المتوافقة مع اللغة في التنبؤ بنشاط الدماغ ليس مجرد نتاج عرضي لتغطية معجمية أوسع، بل يعكس قدرتها على التقاط معلومات علاقاتية مهيكلة مشابهة لما يتم تمثيله في القشرة البصرية البشرية. إن التقارب بين "ميزة السرد" و"ميزة النموذج المتوافق مع اللغة" يدعم الرأي القائل بأن الإشراف اللغوي يساعد في حث التمثيلات في النماذج الاصطناعية لتتوافق مع الترميز العلاقاتي المهيكل للنظام البصري البيولوجي. ويخلص المؤلفون إلى أن اللغة الطبيعية تعمل كمسبار مفيد لعزل المعلومات العلاقاتية المشفرة بواسطة القشرة البصرية، بدلاً من كونها بديلاً للرؤية.