Seeing Through the Brain: New Insights from Decoding Visual Stimuli with fMRI
تقترح الورقة البحثية إطار عمل PRISM، وهو إطار عمل مبتكر يقوم بإسقاط إشارات التصوير بالرنين المغناطيسي الوظيفي (fMRI) في فضاء نصي مهيكل، ويستخدم الانتشار المرتكز على الكائنات مع البحث عن السمات والعلاقات لتحقيق إعادة بناء رائدة للمحفزات البصرية من خلال التوافق بشكل أفضل مع الطبيعة التركيبية للنشاط العصبي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن دماغك عبارة عن مكتبة مزدحمة، حيث لا يقوم فقط بـ "تخزين" الصورة في كل مرة ترى فيها صورة، بل يكتب بدلاً من ذلك قصة محددة ومعقدة للغاية عما يراه. لسنوات، حاول العلماء قراءة هذه القصص (من خلال مسوحات الرنين المغناطيسي الوظيفي fMRI) وتحويلها مرة أخرى إلى الصور الأصلية التي رأيتها.
ورقة البحث التي تسأل عنها، PRISM، هي بمثابة مترجم جديد وأكثر ذكاءً نجح أخيراً في فك الشفرة للقيام بذلك بشكل أفضل. إليك تفصيل بسيط لما وجدوه وما بنوه:
1. المفاجأة الكبرى: الدماغ يتحدث "نصوصاً"، وليس "صوراً"
حاولت معظم المحاولات السابقة لإعادة بناء الصور من مسوحات الدماغ ترجمة إشارة الدماغ مباشرة إلى "لغة صور" (مثل ملف صورة رقمي). افترضوا أنه بما أنك رأيت صورة، فلا بد أن دماغك يخزنها كصورة.
اكتشف فريق PRISM أن هذا كان خطأً.
وجدوا أن نشاط الدماغ يشبه في الواقع النصوص (مثل الجمل في كتاب) أكثر مما يشبه الصور أو الفيديوهات.
- التشبيه: تخيل أنك تحاول ترجمة لغة أجنبية. حاولت الطرق السابقة ترجمة "لغة" الدماغ مباشرة إلى لغة بصرية أخرى (مثل ترجمة فيلم فرنسي مباشرة إلى فيلم ألماني). أدرك PRISM أن الدماغ يتحدث في الواقع الإنجليزية (نص). لذا، فإن أفضل طريقة لفهمه هي ترجمته إلى الإنجليزية أولاً، ثم استخدام هذه الإنجليزية لوصف الصورة.
2. مشكلة الأوصاف "المبهمة"
حتى عندما استخدم العلماء النصوص، كانوا يرتكبون خطأً غالاً. كانوا يكتبون جملة واحدة طويلة تصف الصورة بأكملها، مثل: "قط رمادي مخطط يجلس على مقعد."
عندما يحاول الكمبيوتر رسم هذه الجملة، فإنه غالباً ما يصاب بالارتباك. قد يرسم "نمراً رمادياً" بدلاً من "قط"، أو يخلط بين الألوان. يُسمى هذا "خطأ ربط الصفات" (attribute binding error)؛ فالكمبيوتر يعرف الكلمات ولكنه ينسى أي كلمة تنتمي لأي كائن.
الدماغ البشري لا يفعل ذلك.
عندما تنظر إلى مشهد ما، فإن دماغك لا يرى كتلة واحدة ضخمة. بل يرى عناصر متميزة: "هناك قط. إنه رمادي. لديه خطوط. وهو يجلس على مقعد." إنه يبني المشهد قطعة قطعة.
3. الحل: PRISM (البنّاء بقطع "الليغو")
قام المؤلفون ببناء نظام جديد يسمى PRISM (مشروع تحويل إشارات الرنين المغناطيسي الوظيفي إلى مساحة نصية مهيكلة). فكر فيه كبناء ماهر يستخدم قطع الليغو بدلاً من قالب واحد ضخم.
إليك كيف يعمل PRISM، خطوة بخوة:
الخطوة 1: المترجم (من الرنين المغناطيسي الوظيفي إلى النص)
يأخذ النظام مسح الدماغ ويترجمه إلى قائمة نصية مهيكلة. بدلاً من فقرة واحدة طويلة، يقوم بتفكيك الصورة إلى أجزاء محددة:- الكائن 1: سيارة.
- الكائن 2: فيل.
- العلاقة: السيارة تتبع الفيل.
- الصفات: السيارة بيضاء؛ الفيل رمادي.
الخطوة 2: البحث الذكي (إيجاد الكلمات المناسبة)
يستخدم النظام "محرك بحث" لمعرفة الكلمات الأكثر أهمية بالضبط. لقد اختبروا آلاف الطرق المختلفة لوصف الأشياء ووجدوا أن الكلمات المكانية (مثل "يسار"، "يمين"، "فوق"، "بجانب") هي الأكثر أهمية لمطابقة نشاط الدماغ. الأمر يشبه إدراك أنه لوصف غرفة لشخص معصوب العينين، فإن إخباره بمكان الأشياء أهم من إخباره بلون الستائر.الخطوة 3: بنّاء الليغو (توليد يعتمد على الكائنات)
بدلاً من مطالبة الذكاء الاصطناعي برسم الصورة بأكملها دفعة واحدة، يطلب منه PRISM رسم السيارة أولاً، ثم الفيل، ثم وضعهما معاً في الأماكن الصحيحة بناءً على الوصف النصي.- لماذا ينجح هذا: إنه يمنع الكمبيوتر من الارتباك. يضمن بقاء السيارة سيارة والفيل فيلاً، وألا يندمجا بالخطأ في "فيل-سيارة".
4. النتائج
عندما اختبروا هذا على أشخاص حقيقيين ينظرون إلى صور، حقق PRISM أداءً أفضل بكثير من الطرق السابقة.
- النتيجة: لقد قلل من "الفقد الإدراكي" (مدى اختلاف الصورة الجديدة عن الأصلية) بنسبة تقارب 6%.
- الدليل: إذا عرضت الصور المعاد بناؤها على ذكاء اصطناعي متطور وسألته: "ماذا يوجد في هذه الصورة؟"، فسيتمكن من الإجابة بشكل صحيح في كثير من الأحيان باستخدام صور PRISM أكثر من الطرق القديمة.
ملخص
تزعم الورقة أنه لقراءة الأفكار البصرية للدماغ، لا ينبغي لنا محاولة إجبار الدماغ على التحدث بلغة "البكسلات". بدلاً من ذلك، يجب أن نستمع إليه كما لو كان يكتب قصة مهيكلة عن الكائنات ومواقعها. ومن خلال ترجمة مسوحات الدماغ إلى هذا النوع المحدد من "النصوص القائمة على الكائنات" ثم بناء الصورة قطعة قطعة، يمكننا رؤية ما كان الشخص ينظر إليه بوضوح أكبر بكثير.
ملاحظة: تركز الورقة حصرياً على الطريقة التقنية لإعادة بناء الصور الثابتة من مسوحات الدماغ. وهي لا تدعي وجود تطبيقات سريرية، أو استخدامات طبية، أو القدرة على قراءة الأفكار في الوقت الفعلي للتواصل في هذه المرحلة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.