← أحدث الأبحاث
💻 computer science

Retrieval-Augmented Visual Prompting: Guiding Foundation Models in Two-Photon Imaging

تقدم هذه الورقة البحثية إطار عمل "التحفيز البصري المعزز بالاسترجاع" (RAVP)، وهو إطار يعزز الكشف عن الخلايا العصبية وتقسيم المثيل في تصوير الكالسيوم ثنائي الفوتون بنمط الصفر (zero-shot) عبر حقن نماذج أمثلة مشروحة مسترجعة كتحفيزات بصرية في النماذج التأسيسية مثل SAM 3، مما يوفر بديلاً فعالاً أثناء وقت الاستدلال لعمليات الضبط الدقيق التقليدية.

المؤلفون الأصليون: Salvatore Calcagno, Marco Finocchiaro, Giovanni Bellitto, Daniela Giordano, Concetto Spampinato, Federica Proietto Salanitri

نُشر 2026-08-25
📖 5 دقيقة قراءة🧠 قراءة متعمّقة
CC BY 4.0

المؤلفون الأصليون: Salvatore Calcagno, Marco Finocchiaro, Giovanni Bellitto, Daniela Giordano, Concetto Spampinato, Federica Proietto Salanitri

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في عالم هادئ ومظلم داخل دماغ حي، يستخدم العلماء مجهراً قوياً لمراقبة الخلايا العصبية وهي تطلق إشاراتها. هذه التقنية، المعروفة باسم "تصوير الكالسيوم ثنائي الفوتون"، تلتقط النشاط الكهربائي للخلايا الدماغية الفردية على شكل بقع مضيئة متوهجة مقابل خلفية مظلمة. وتعد هذه التقنية حجر الزاوية في علوم الأعصاب الحديثة، حيث تسمح للباحثين برؤية كيفية عمل مجموعات من الخلايا معاً لإنتاج الفكر والحركة. ومع ذلك، فإن تحويل مقاطع الفيديو المتوهجة هذه إلى بيانات مفيدة أمر صعب للغاية؛ فالصور غير منظمة؛ فبعض الخلايا تلمع بسطوع بينما تكون أخرى باهتة، كما يتغير مظهر الخلايا بشكل جذري اعتماداً على الحيوان، أو عمق الدماغ الذي يتم تصويره، أو المعدات المستخدمة. ولدراسة هذه الخلايا، يجب على العلماء أولاً رسم تحديد دقيق حول كل خلية، وهي مهمة بطيئة ومكلفة وعرضة للخطأ البشري. ولسنوات، كان الأمل يكمن في أن يتمكن الذكاء الاصطناعي من القيام بذلك تلقائياً، لكن التنوع الهائل في كيفية ظهور هذه الخلايا جعل من الصعب على برامج الكمبيوتر التعميم من تجربة إلى أخرى.

مؤخراً، ظهر جيل جديد من نماذج الذكاء الاصطناعي التي يمكنها فهم الصور بأقل قدر من التعليمات. تُسمى هذه النماذج "نماذج التأسيس" (foundation models)، وقد تم تدريبها على مجموعات ضخمة من الصور اليومية، حيث تعلمت التعرف على الأشكال والأجياء دون الحاجة إلى تعليمها كل تفصيل صغير. وقد أظهر أحد هذه النماذج، المصمم لتجزئة أي شيء في الصورة، نتائج واعدة في التصوير الطبي. ومع ذلك، عندما حاول الباحثون تطبيق هذه الأداة القوية مباشرة على العالم المعقد والمتغير لمقاطع فيديو خلايا الدماغ، واجه النموذج صعوبة. فالنموذج المدرب على القطط والسيارات والأشجار لم يفهم بشكل طبيعي البقع المتوهجة الخافتة للخلية العصبية. لقد كان بحاجة إلى مساعدة، لكن الطريقة التقليدية لمساعدة الذكاء الاصطناعي هي إعادة تدريبه، عبر تغذيته بآلاف الأمثلة الجديدة حتى يتعلم القواعد الجديدة. وهذه العملية بطيئة، وتتطلب كميات هائلة من البيانات المصنفة، وغالباً ما تحصر النموذج في طريقة محددة لرؤية العالم، مما يجعله أقل مرونة للتجارب المستقبلية.

سأل فريق من الباحثين في جامعة كاتانيا في إيطاليا سؤالاً مختلفاً. فبدلاً من محاولة تغيير "دماغ" الذكاء الاصطناعي، تساءلوا عما إذا كان بإمكانهم تغيير "الأعين" التي يرى من خلالها. اقترحوا طريقة تسمى "التلقين البصري المعزز بالاسترجاع" (Retrieval-Augmented Visual Prompting). تخيل أنك تحاول وصف نوع معين من السحب لصديق لم يره من قبل؛ يمكنك محاولة شرح الشكل واللون بالكلمات، أو يمكنك ببساطة أن تريه صورة لتلك السحابة. أدرك الباحثون أن أفضل طريقة لتوجيه الذكاء الاصطناعي هي إظهار صورة له. لقد بنوا نظاماً حيث يتم عرض مثال صغير مختار بعناية لخلية عصبية من مكتبة من الصور المشروحة سابقاً أمام النموذج قبل أن ينظر إلى صورة دماغ جديدة. يوضع هذا المثال بجانب الصورة الجديدة مباشرة، ليعمل كإشارة بصرية تلميحية. ثم يُطلب من النموذج البحث عن جميع الخلايا العصبية الأخرى التي تشبه تلك الموجودة في المثال.

اختبر الباحثون هذه الفكرة على مجموعة بيانات عامة ضخمة من تسجيلات الدماغ لدى الفئران. ووجدوا أن مجرد إظهار مثال واحد جيد الاختيار للنموذج حسن بشكل كبير من قدرته على إيجاد وتحديد الخلايا العصبية، حتى عندما لم يسبق للنموذج رؤية هذا النوع المحدد من تسجيلات الدماغ من قبل. لم يكن المفتاح هو إظهار أي مثال فحسب، بل إظهار المثال الصحيح. فقد طوروا طريقة ذكية لاختيار أفضل مثال من مكتبتهم عبر مطابقة سطوع وملمس المثال مع الصورة المحددة التي يتم تحليلها. وعندما استخدموا هذه الطريقة، قفز أداء النموذج بشكل كبير، مما سد الفجوة بين نموذج جديد تماماً وغير مدرب وبين نموذج تم تدريبه بشكل مكثف على بيانات محددة. وفي الواقع، كان استخدام مثال واحد مثالي المطابقة أكثر فعالية من إظهار عدة أمثلة مختلفة في وقت واحد. وتشير الدراسة إلى أن المسار الأكثر كفاءة للمهام المتخصصة مثل تحليل صور الدماغ قد لا يكون إعادة بناء الذكاء الاصطناعي من الصفر، بل ببساطة تزويده بالسياق البصري المناسب في اللحظة التي يحتاج فيها لاتخاذ قرار.

كانت النتائج واضحة ومتسقة عبر أنواع مختلفة من تسجيلات الدماغ. فعندما كان النموذج يُترك ليخمن بمفرده، كان غالباً ما يفتقد الخلايا الباهتة أو يرسم حدوداً غير دقيقة. ولكن عندما قدم الباحثون له مثالاً واحداً ذا صلة من مكتبتهم، استوعب النموذج فجأة ما يجب أن يبحث عنه. أصبح أفضل بكثير في إيجاد الخلايا الباهتة والخافتة التي عادة ما تمر دون ملاحظة، وفي فصل الخلايا التي تلامس بعضها البعض. كما اكتشف الباحثون أن الطريقة المحددة لاختيار المثال كانت مهمة؛ فالمثال العشوائي ساعد، لكن المثال المختار ليتناسب مع الظروف المحددة للصورة الجديدة كان أكثر نفعاً. لقد دربوا برنامجاً حاسوبياً صغيراً وخفيف الوزن ليعمل كـ "مُنتقي"، يتعلم التنبؤ بالمثال الذي سيكون أكثر فائدة لصورة معينة. سمح هذا المُنتقي للنظام بالتكيف فورياً مع الظروف الجديدة دون تغيير الإعدادات الجوهرية لنموذج الذكاء الاصطناعي الرئيسي.

يقدم هذا النهج بديلاً مقنعاً للطريقة القياسية لإعادة تدريب الذكاء الاصطناعي. تتطلب إعادة التدريب قدرة حوسبية ووقتًا كبيرين، وغالباً ما تؤدي إلى نموذج ممتاز في مهمة واحدة محددة ولكنه ينسى كيفية القيام بمهام أخرى. تحافظ الطريقة الجديدة على النموذج الأصلي ثابتاً وغير متغير، مما يحافظ على معرفته العامة مع السماح له بالتكيف مع مهام جديدة وصعبة من خلال إشارات بصرية بسيطة. وجد الباحثون أن هذه الطريقة استعادت جزءاً كبيراً من مكاسب الأداء التي يتم تحقيقها عادةً من خلال إعادة التدريب الكامل، ولكن بجزء ضئيل من التكلفة. وهذا يشير إلى أنه في المجالات التي تندر فيها البيانات وتتفاوت فيها الظروف بشكل كبير، قد يكمن مستقبل الذكاء الاصطناعي ليس في تعليم الآلة حقائق جديدة، بل في تعليمها كيفية النظر إلى العالم من خلال العدسة الصحيحة. ومن خلال حقن الذاكرة البصرية مباشرة في المدخلات، أظهر الباحثون أنه يمكن توجيه نموذج التأسيس لأداء مهام خبيرة في التصوير البيوطبي المتخصص دون العبء الثقيل لتعديل المعلمات.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💻 cs →