🤖 machine learning

Contrastive Image-Metadata Pre-Training for Materials Transmission Electron Microscopy

تقدم هذه الورقة نهج تدريب مسبق تبايني باستخدام 7,330 صورة من صور مجهر المجهر الإلكتروني الماسح المقطعي ذي الحقل المظلم ذي الزاوية العالية (HAADF-STEM) والبيانات الوصفية الخاصة بها لتعلم فضاء تضمين مشترك، مما يتيح شبكة نقل أسلوب توليدية تقوم بتحويل الصور التجريبية إلى أساليب استحواذ مختلفة وتسهل إزالة الضجيج الفيزيائي.

المؤلفون الأصليون: Georgia Channing, Debora Keller, Marta D. Rossell, Philip Torr, Rolf Erni, Stig Helveg, Henrik Eliasson

نُشر 2026-04-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Georgia Channing, Debora Keller, Marta D. Rossell, Philip Torr, Rolf Erni, Stig Helveg, Henrik Eliasson

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل مكتبة ضخمة حيث يلتقط العلماء ملايين الصور للمواد الدقيقة باستخدام مجهر فائق القوة يسمى المجهر الإلكتروني النافذ (TEM). ومع ذلك، مقابل كل صورة واحدة تُنشر في مجلة علمية، هناك المئات من الصور "المتبقية" الملقاة على قرص صلب، بانتظار الحذف لتوفير المساحة.

عادةً ما يتم التخلص من هذه المتبقيات لأنها لم تكن اللقطة "المثالية". لكن هذه الورقة البحثية تجادل بأن هذه الصور المستبعدة هي في الواقع كنز دفين. فهي تأتي مع ملصق سري (بيانات وصفية - metadata) يخبرك بالضبط كيف تم ضبط الكاميرا عند التقاط الصورة — مثل مستوى الزووم، أو السطوع، أو مدة فتح الغالق.

إليك تفصيل بسيط لما قام به الباحثون:

١. المشكلة: مكتبة من الكتب غير المقروءة

معظم صور المجهر هذه لا تُستخدم أبداً. إنها تشبه الكتب في المكتبة التي لا يقرؤها أحد. المشكلة هي أن "الضجيج" (الحبيبات) في هذه الصور يتغير اعتماداً على إعدادات الكاميرا. إذا أردت تعليم كمبيوتر كيفية تنظيف صورة مشوشة، فعادةً ما يتعين عليك تدريبه من الصفر لكل نوع من إعدادات الكاميرا. الأمر يشبه محاولة تعلم لغة جديدة في كل مرة تغير فيها لهجتك.

٢. الحل: "مترجم" لإعدادات الكاميرا

جمع الباحثون ٧,٣٣٠ من هذه الصور "المتبقية" وملصقاتها السرية. وبنوا نظام ذكاء اصطناعي جديداً يسمى CIMP (التدريب المسبق للصور والبيانات الوصفية التبايني).

فكر في CIMP كمترجم عالمي.

المدخلات: ينظر إلى صورة وإعدادات الكاميرا الخاصة بها في نفس الوقت.
التعلم: يتعلم الربط بين مظهر الصورة المحببة وبين الأرقام الخاصة بإعدادات الكاميرا.
النتيجة: ينشئ "خريطة ذهنية" حيث يفهم أن "الإعداد أ" يبدو دائماً مثل "النمط أ"، و"الإعداد ب" يبدو مثل "النمط ب".

٣. ما اكتشفوه

اختبر الفريق هذا المترجم بثلاث طرق رائعة:

اختبار "الأشعة السينية": سألوا الذكاء الاصطناعي: "إذا نظرت فقط إلى هذه الصورة، هل يمكنك تخمين إعدادات الكاميرا؟" ومن المثير للدهشة أن الذكاء الاصطناعي استطاع تخمين الإعدادات (مثل تيار الشعاع أو كسب الكاشف) بمجرد النظر إلى الصورة، رغم أنه لم يُعلم صراحةً القيام بعمليات حسابية على تلك الأرقام. لقد تعلم الربط بشكل طبيعي.
سحر "تغيير النمط": بنوا أداة يمكنها أخذ صورة التُقطت بمجموعة معينة من الإعدادات، ثم "إعادة طلائها" فوراً لتبدو وكأنها التُقطت بإعدادات مختلفة.
- تشبيه: تخيل التقاط صورة ليوم ممطر واستخدام فرشاة سحرية لجعلها تبدو فوراً وكأنها ليوم مشمس، دون تغيير المباني أو الأشخاص في الصورة، فقط بتغيير الإضاءة والمزاج العام.
- استخدموا هذا لتغيير أشياء مثل "زمن المكوث" (dwell time) (أي المدة التي نظرت فيها الكاميرا إلى العينة). إذا أخبروا الذكاء الاصطناعي أن يتظاهر بأن الكاميرا نظرت لفترة أطول، فسيقوم الذكاء الاصطناعي بجعل الصورة أكثر نعومة وأقل ضجيجاً.
قوة "إزالة الضجيج" الخارقة: بما أن الذكاء الاصطناعي يفهم كيف تخلق إعدادات الكاميرا الضجيج، فقد استخدموه كأداة تنظيف. من خلال إخبار الذكاء الاصطناعي أن "يتظاهر بأن هذه الصورة التُقطت بتعرض أطول"، يمكن للذكاء الاصطناعي إزالة الحبيبات من الصور الحقيقية المشوشة.
- قارنوا هذا بأدوات التنظيف الشهيرة الأخرى (مثل Noise2Void). الأدوات الأخرى غالباً ما ترتكب أخطاء، مثل إنشاء أنماط تشبه رقعة الشطرنج أو اختراع تفاصيل وهمية. أما الذكاء الاصطناعي الجديد فقد حافظ على حقيقة التفاصيل وقام فقط بإزالة الضجيج.

٤. العقبة (القيود)

تشير الورقة إلى بعض الأمور التي لا يستطيع الذكاء الاصطناعي القيام بها بعد:

لا توجد ظروف قصوى: تعلم الذكاء الاصطناعي فقط من الصور "الطبيعية". هو لا يعرف ماذا يحدث عندما تكون إعدادات الكاميرا معطلة أو قصوى (مثل عندما تكون الصورة ساطعة جداً وتصبح "مقطوعة" أو clipped). إنه يشبه طباخاً يعرف فقط كيفية طهي شريحة لحم متوسطة الاستواء؛ إذا طلبت منه طهي لحم ناضج جداً أو نيء، فقد يرتبك.
حجم البيانات: رغم أن ٧,٣٣٠ صورة تعتبر كمية ضخمة لهذا النوع المحدد من العلوم، إلا أنها صغيرة جداً مقارنة بالملايين من الصور المستخدمة لتدريب نماذج الذكاء الاصطناعي العامة (مثل تلك التي تتعرف على القطط أو السيارات).

الخلاصة الكبرى

النقطة الرئيسية لهذه الورقة ليست مجرد أنهم صنعوا محرراً رائعاً للصور. بل إنهم أثبتوا أن البيانات غير المستخدمة ذات قيمة. من خلال تعليم الذكاء الاصطناعي فهم العلاقة بين الصورة وإعدادات الآلة التي أنشأتها، خلقوا أداة مرنة يمكنها تنظيف الصور والترجمة بين الظروف التجريبية المختلفة دون الحاجة إلى إعادة التدريب في كل مرة.

إنهم يقومون أساساً بتحويل "نفايات" مختبر المجهر إلى "خريطة كنز" لعلم أفضل.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "التدريب المسبق التبايني للصور والبيانات الوصفية للمواد في المجهر الإلكتروني النافذ".

1. بيان المشكلة

تنتج المجهرية الإلكترونية النافذة (TEM) كميات هائلة من البيانات، ومع ذلك يظل أكثر من 90% منها غير منشور وغير مستخدم، وغالباً ما يتم التخلص منها لتوفير مساحة التخزين. هذه البيانات "المتبقية" غنية بالتفاصيل والتباينات ولكن نادراً ما تُستغل بسبب:

تباين البيانات: تتضمن مجهرية المواد (TEM) عينات، وأنماط تشغيل، وإعدادات استحواذ متنوعة، مما يجعل من الصعب تدريب نماذج يمكنها التعميم عبر ظروف مختلفة.
الضجيج وكفاءة الجرعة: تعطي المجهرية الإلكترونية النافذة الحديثة الأولوية لكفاءة الجرعة (تقليل تلف الإلكترونات)، مما ينتج عنه بيانات شديدة الضجيج. نماذج تعلم الآلة (ML) الحالية لإزالة الضجيج تُدرب عادةً من الصفر لنماذج ضجيج أو عينات محددة، وتفتقر إلى القوة في مواجهة التغيرات في معايير الجهاز (مثل التكبير، زمن البقاء، تيار الشعاع).
نقص البيانات المقترنة: مجموعات البيانات مفتوحة المصدر الحالية إما صغيرة، أو اصطناعية، أو تفتقر إلى البيانات الوصفية (Metadata) الغنية والمقترنة اللازمة لتدريب النماذج التي تفهم العلاقة بين مظهر الصورة وحالة الجهاز.

التحدي الجوهري هو الاستفادة من هذه الأرشيفات الغنية بالبيانات الوصفية وغير المستخدمة لإنشاء سير عمل لتعلم الآلة قابل للتعميم، يمكنه فهم حالات الجهاز، ونقل الأسلوب (Style Transfer)، وإزالة الضجيج من الصور دون الحاجة إلى بيانات تدريب مقترنة جديدة لكل تغيير في المعلمات.

2. المنهجية

يقترح المؤلفون التدريب المسبق التبايني للصور والبيانات الوصفية (CIMP)، وهو إطار عمل مستوحى من نموذج CLIP (التدريب المسبق التبايني للغة والصور)، تم تكييفه خصيصاً لمجال المجهرية الإلكترونية الماسحة ذات الزاوية العالية (HAADF-STEM).

أ. بناء مجموعة البيانات

المصدر: 7,330 صورة HAADA-STEM تم جمعها من مجهر واحد من طراز Titan في مختبر أبحاث مواد مجهول الهوية.
المحتوى: تغطي أكثر من 30 نظاماً مادياً مختلفاً (بشكل أساسي المحفزات غير المتجانسة مثل Pt/CeO2 و Pd/ZrO2) مع أكثر من 130 عينة.
البيانات الوصفية: كل صورة مقترنة بسبعة معلمات استحواذ:
1. حجم البكسل (Pixel size)
2. زمن البقاء (Dwell time)
3. زاوية تقارب الشعاع (Beam convergence angle)
4. تيار الشعاع (Beam current)
5. كسب الكاشف (Detector gain)
6. إزاحة الكاشف (Detector offset)
7. زاوية الجمع الداخلية (Inner collection angle)
مجموعات التقييم: تم حجز سلاسل محددة من الصور المأخوذة لنفس العينة مع تغيير معلمة واحدة (زمن البقاء، الكسب، الإزاحة) للتقييم النوعي، لضمان عدم تسرب البيانات أثناء التدريب.

ب. بنية CIMP

الهدف: تعلم فضاء تضمين مشترك حيث يتم محاذاة صور HAADF-STEM مع ناقلات البيانات الوصفية الخاصة بها عبر فقد تبايني (Contrastive Loss).
المشفرات (Encoders):
- مشفر الصور: وُجد أن شبكة ResNet-18 (المدربة من الصفر) تتفوق على أو تضاهي نماذج Vision Transformers (ViT) المدربة مسبقاً على ImageNet، ويرجع ذلك على الأرجوة إلى الفجوة الكبيرة في المجال بين الصور الطبيعية وصور STEM.
- مشفر البيانات الوصفية: شبكة MLP تعالج معلمات الاستحواذ السبعة.
التدريب: يستخدم فقد InfoNCE التبايني. يتعلم النموذج مطابقة الصورة مع ناقل البيانات الوصفية الصحيح الخاص بها من بين عينة من العينات السلبية.

ج. التطبيقات اللاحقة

تُستخدم التضمينات المتعلمة كأساس لمهمتين رئيسيتين:

استعادة الاختبار الخطي (Linear Probe Recovery): اختبار ما إذا كان يمكن فك تشفير معلمات استحواذ محددة خطياً من التضمينات البصرية المجمدة.
نقل الأسلوب التوليدي (Generative Style Transfer): يستخدم مولد يعتمد على GAN (بنية U-Net مع شرط FiLM) التضمينات المستمدة من CIMP لترجمة صورة تجريبية إلى الأسلوب الذي ستكون عليه تحت معلمات استحواذ مختلفة.
- الاشتراط (Conditioning): يأخذ المولد صورة مصدر وتضمينين (بيانات المصدر $e_{id}$ وبيانات الهدف $e_{tgt}$ ).
- دوال الفقد: فقد تنافسي ( $L_{LSGAN}$ )، فقد الاتساق الدوري ( $L_{cyc}$ )، فقد الهوية ( $L_{id}$ )، وفقد التضمين الإدراكي ( $L_{emb}$ ) لضمان مطابقة المخرج لأسلوب الهدف في فضاء CIMP.

3. المساهمات الرئيسية

إطلاق مجموعة بيانات: أول مجموعة بيانات كبيرة (7,330 صورة) مقترنة بالصور والبيانات الوصفية لـ HAADF-STEM التجريبية، تغطي مواد وإعدادات أجهزة متنوعة.
إطار عمل CIMP: طريقة تدريب مسبق مبتكرة تتعلم فضاء تضمين مشترك لصور TEM وبياناتها الوصفية، وتتعامل مع هذه التضمينات كطبقة تأسيسية لمهام لاحقة بدلاً من كونها نموذجاً مخصصاً لمهمة واحدة.
إزالة الضجيج القائمة على الفيزياء: إثبات أن شبكة نقل الأسلوب، عند اشتراطها بزيادات افتراضية في زمن البقاء وتيار الشعاع، تعمل كمزيل ضجيج متفوق مقارنة بالنماذج ذاتية الإشراف مثل Noise2Void.
القابلية للفك الخطي: إثبات أن الهدف التبايني، دون إشراف مباشر على قيم البيانات الوصفية، يؤدي إلى تضمينات يمكن فيها استعادة سبع معلمات فيزيائية متميزة بشكل فردي.

4. النتائج

أ. تعلم التضمين والاسترجاع

المعلمات الفائقة: تم تحقيق الأداء الأمثل باستخدام قصاصات صور بحجم 512×512، وظهير (backbone) من نوع ResNet-18، وحجم دفعة فعال قدره 512.
دقة الاسترجاع: حقق النموذج دقة استرجاع (Top-1) بلغت 0.844 (مطابقة الصورة مع ناقل البيانات الوصفية الصحيح).
مقارنة الظهير: تفوقت ResNet-18 (المدربة من الصفر) على ViT المدرب مسبقاً على ImageNet (84.4% مقابل 82.8% في دقة Top-1)، مما يسلط الضوء على خصوصية مجال بيانات STEM.

ب. استعادة البيانات الوصفية (الاختبار الخطي)

باستخدام انحدار Ridge على التضمينات المجمدة، نجح النموذج في استعادة جميع المعلمات السبعة.
الأداء:
- كسب الكاشف (Detector Gain): كان الأفضل استعادة (SMAPE ≈ 5.3%، $R^2 > 0.82$ ).
- المعلمات المحولة لوغاريتمياً (حجم البكسل، زمن البقاء، تيار الشعاع): أظهرت قيم $R^2$ أقل (0.66–0.78) وSMAPE أعلى (28–47%) بسبب الطبيعة الضربيه للأخطاء بعد إعادة الأس، لكنها كانت لا تزال قابلة للفك خطياً.
الأهمية: يؤكد هذا أن التضمينات تلتقط تمثيلاً "مجزأً" للمعلمات الفيزيائية بدلاً من الانهيار في محور واحد "ضجيج مقابل نظيف".

ج. نقل الأسلوب وإزالة الضجيج

الاتجاهات النوعية: نجح المولد في محاكاة الاتجاهات الفيزيائية (مثلاً: زمن بقاء أعلى = صورة أنعم/أقل ضجيجاً؛ تيار شعاع أعلى = صورة أكثر سطوعاً).
- ملاحظة: تعلم النموذج تحيزات مجموعة البيانات (مثل ارتباط زاوية التقارب بتيار الشعاع بسبب تغييرات الفتحة) بدلاً من الفيزياء البحتة في بعض الحالات.
المقاييس الكمية: تفوق CIMP GAN على خط الأساس "بدون تعديل" في نقل الكسب (SSIM, PSNR, LPIPS) وطابق خط الأساس في حالة زمن البقاء.
أداء إزالة الضجيج:
- مقارنة بـ Noise2Void، أنتج CIMP GAN صوراً أكثر واقعية.
- عانى Noise2Void من آثار "النمط الشطرنجي" (checkerboard artifacts) وتخيلات في محتوى الخلفية.
- حافظ CIMP GAN على التفاصيل الهيكلية مع تقليل الضجيج بفعالية عبر زيادة جرعة الإلكترونات افتراضياً.

5. الأهمية والتأثير

تحول في النموذج: ينقل تحليل بيانات TEM من "التدريب من الصفر لكل حالة محددة" إلى "التدريب المسبق على الأرشيفات لتعلم فيزياء الجهاز القابلة للتعميم".
استغلال البيانات: يثبت أن البيانات التجريبية "المتبقية" هي مورد قيم لتدريب نماذج تعلم آلة قوية، مما قد يفتح المجال لـ 90% من بيانات TEM غير المستخدمة.
القدرة على التعميم: يمكن أن تعمل تضمينات CIMP كإشارات اشتراط لمهام التجزئة (segmentation)، التحليل، أو الاسترجاع، مما يجعل سير عمل تعلم الآلة قوياً تجاه التغيرات في إعدادات المجهر.
مورد للمجتمع العلمي: إن إصدار مجموعة البيانات والبرمجيات يقلل من الحواجز أمام المختبرات الأخرى لتبني الطرق القائمة على البيانات، مما يشجع ثقافة مشاركة البيانات في المجهرية الإلكترونية.

6. القيود

الظروف الحدية: يواجه النموذج صعوبة في قيم المعلمات المتطرفة (مثل تشبع الصورة/القص) لأن هذه "البيانات السيئة" يتم استبعادها عادة من قبل المشغلين وهي غائبة عن مجموعة التدريب.
حجم مجموعة البيانات: رغم أنها الأكبر من نوعها في مجهرية المواد، إلا أن 7,330 صورة تعتبر صغيرة مقارنة بمجموعات بيانات الرؤية الحاسوبية (مثل 1.28 مليون صورة في ImageNet)، مما يحد من حجم تدريب النموذج.
تحيز مجموعة البيانات: يتعلم النموذج أحياناً الارتباطات الموجودة في مجموعة البيانات المحددة (مثل تأثير حجم الفتحة على كل من زاوية التقارب وتيار الشعاع) بدلاً من القوانين الفيزيائية البحتة.

في الختام، يضع هذا العمل أساساً جديداً لمجهرية المواد (TEM) من خلال إثبات أن التدريب المسبق التبايني على الأرشيفات الغنية بالبيانات الوصفية يخلق تمثيلات قوية واعية بالفيزياء، تمكن من تنفيذ مهام توليدية متقدمة وإزالة ضجيج قوية.