LAMP: LLM-Augmented Multi-Task Spectral Prediction for Au-GaN Metasurfaces
تقترح هذه الورقة إطار عمل LAMP، وهو إطار ثنائي الفروع يدمج مشفر تسلسل طيفي مع نموذج لغوي كبير مجمد عبر وحدة "المحاذاة ثم الدمج" لتحقيق تنبؤ طيفي فائق المهام لأسطح Au-GaN الميتاسطحية من خلال الاستفادة من التمثيلات السياقية المتكاملة.
تخيل عالماً يمكن فيه ثني الضوء، وتقسيمه، وتشكيله ليس بواسطة عدسات زجاجية ثقيلة، بل عبر أسطح مسطحة فائقة الرقة منقوشة بهياكل مجهرية أصغر من طول موجة الضب الواحد. هذه الأسطح، المعروفة باسم "الأسطح الميتا-سطحية" (metasurfaces)، تعمل كنوع جديد من المواد البصرية، قادرة على أداء مهام معقدة مثل تركيز الضوء أو تغيير لونه بدقة مذهلة. ولتصميمها، يجب على المهندسين فهم كيفية تفاعل ترتيب معين من الأعمدة والثقوب الصغيرة مع الضوء عبر نطاق واسع من الألوان. إن هذه العلاقة بين الشكل الفيزيائي للهيكل والسلوك الناتج للضوء معقدة للغاية وغير خطية، مما يعني أن تغييراً طفيفاً في التصميم يمكن أن يؤدي إلى تحول هائل وغير متوقع في كيفية سلوك الضوء. تقليدياً، كان تحديد ذلك يتطلب تشغيل عمليات محاكاة حاسوبية بطيئة ومكثفة لكل تغيير في التصميم، وهي عملية جعلت استكشاف أفكار جديدة وتحسين الأداء مسعىً بطيئاً ومضنياً.
لقد طور باحثون في جامعة نانجينغ للاتصالات وعلوم البريد نهجاً جديداً لتسريع هذه العملية مع تحسين الدقة. فقد أنشأوا نظاماً يسمى LAMP، وهو اختصار لـ "التنبؤ الطيفي متعدد المهام المعزز بالنماذج اللغوية الكبيرة" (LLM-Augmented Multi-Task Spectral Prediction). ركز الفريق على نوع محدد من الأسطح الميتا-سطحية المصنوعة من الذهب ومادة تسمى "نيتريك الغاليوم"، واختبروا طريقتهم على مجموعة بيانات ضخمة تحتوي على أكثر من 56,000 تكوين هيكلي مختلف. وبدلاً من الاعتماد على نوع واحد من النماذج الحاسوبية، قاموا بدمج طريقتين مختلفتين للتفكير في المشكلة. جزء من نظامهم هو شبكة عصبية تقليدية، وهي نوع من الذكاء الاصطناعي المتفوق في تعلم الأنماط الرقمية الدقيقة والتنبؤ بالقيم المحددة. أما الجزء الآخر فيستخدم نموذجاً لغوياً كبيراً، وهي تقنية ترتبط عادةً بالقراءة والكتابة النصية، والتي طوعها الباحثون لفهم "السياق" أو القصة العامة للتصميم الهيكلي عبر التعامل مع معاملاته كأنها جملة.
يكمن الابتكار الجوهري في كيفية تواصل هذين النظامين المختلفين مع بعضهما البعض. لم يكتفِ الباحثون بجعل النموذج اللغوي يخمن الإجابة بمفرده، كما لم يتركوا النموذج الرقمي يعمل بمعزل عن غيره. بدلاً من ذلك، بنوا جسراً بينهما. يقرأ النموذج اللغوي أولاً وصف الهيكل المعدني ويخلق فهماً سياقياً غنياً لما يمثله ذلك الشكل. ثم يتم محاذاة هذا الفهم بعناية مع معالجة البيانات الرقمية للأطوال الموجية الضوئية المحددة. ويضمن وجود وحدة خاصة أن السياق الواسع المستمد من النموذج اللغوي يساعد في صقل الحسابات الدقيقة للنموذج الرقمي عند كل نقطة على طول طيف الضوء. وهذا يسمح للنظام بالتنبؤ بست خصائص مختلفة للضوء في آن واحد: مقدار الضوء الذي يمر عبر السطح، ومقدار الضوء الذي يرتد عنه، بالإضافة إلى التوقيت والقوة المحددين لكل من الموجات النافذة والمنعكسة.
وعند اختبار هذا النهج المدمج مقابل الطرق القياسية، أثبت أنه أكثر دقة بشكل ملحوظ. وجد الباحثون أنه من خلال دمج الرؤى السياقية من النموذج اللغوي، قلل النظام من أخطاء التنبؤ عبر جميع الخصائص البصرية الست مقارنة باستخدام أي من الطريقتين بمفرده. وفي الواقع، فإن النسخة الأفضل من نظامهم، والتي استخدمت نوعاً معيناً من مشفر اللغة إلى جانب شبكة عصبية قائمة على التسلسل، خفضت متوسط الخطأ بأكثر من ديسيبل واحد عبر جميع المجالات. هذا التحسن ليس مجرد تعديل طفيف؛ بل يمثل طريقة أكثر موثوقية للتنبؤ بكيفية سلوك الضوء، وهو أمر بالغ الأهمية لتصميم أجهزة بصرية أفضل. كما أظهرت الدراسة أن النظام يتمتع بالمتانة، حيث حافظ على أدائه العالي حتى عند استخدام أنواع مختلفة من النماذج اللغوية أو هياكل الشبكات العصبية الأساسية المختلفة.
يوضح هذا العمل أن الطريقة التي تفهم بها النماذج اللغوية الكبيرة السياق يمكن أن تكون أداة قوية لحل المشكلات الصعبة في الفيزياء والهندسة، بشرط دمجها بشكل صحيح مع الطرق الرقمية التقليدية. فمن خلال التعامل مع تصميم السطح الميتا-سطحي كقصة يمكن للنموذج اللغوي قراءتها، ثم استخدام هذا الفهم لتوجيه آلة حاسبة تعرف الرياضيات، حقق الباحثون مستوى من الدقة لم يستطع أي من الأداتين الوصول إليه بمفرده. وهذا يشير إلى مسار واعد لتصميم الجيل القادم من البصريات المسطحة، حيث يلتقي سرعة الذكاء الاصطنا Artificial Intelligence مع صرامة القوانين الفيزيائية لإنشاء أجهزة تتحكم في الضوء بقدرة غير مسبوقة. وتشير النتائج إلى أنه بينما لا تستطيع النماذج اللغوية وحدها استبدال أدوات المحاكاة التقليدية لهذه المهمة المحددة بعد، إلا أنها تعمل كشريك فعال للغاية، حيث تقدم منظوراً تكميلياً يشحذ النتيجة النهائية.
ملخص تقني: LAMP – التنبؤ الطيفي متعدد المهام المعزز بالنماذج اللغوية الكبيرة (LLM) لأسطح الميتا المعدنية من الذهب والنيتريد الغاليوم (Au–GaN)
بيان المشكلة يعد النمذجة الأمامية الدقيقة لأسطح الميتا (metasurfaces) أمراً بالغ الأهمية لتقييم الأداء، واستكشاف فضاء التصميم، وتحسين الهيكل. ومع ذلك، فإن الربط بين المعلمات الهيكلية والاستجابات الطيفية هو عملية غير خطية وضمنية للغاية؛ حيث تتطلب التنبؤ المشترك بعدة استجابات بصرية (سعة النفاذ/الانعكاس، الطور، النفاذية، والانعكاسية) عبر نطاق عريض من الأطوال الموجية. الحلول العددية التقليدية (مثل FDTD، FEM، RCWA) دقيقة ولكنها مكلفة حوسبياً بالنسبة لفضاءات التصميم واسعة النطاق. وبينما توفر النماذج البديلة العصبية التقليدية (MLPs، CNNs، RNNs) بدائل فعالة لتعلم خرائط الربط الكمي بين الهيكل والطيف، وتم مؤخراً استكشاف النماذج اللغوية الكبيرة (LLMs) لتمثيل التكوينات الهيكلية كنصوص، إلا أن هذين النموذجين قد تم بحثهما بشكل مستقل إلى حد كبير. عادةً ما تعمل النهج القائمة على النماذج اللغوية الكبيرة كمولدات طيف مستقلة أو كأدوات تحكم في التصميم العكسي، مما يترك إمكانية استخدام التمثيلات السياقية المستمدة من هذه النماذج لتعزيز المتنبئات العددية التقليدية غير مستغلة بشكل كافٍ.
المنهجية يقترح المؤلفون إطار عمل LAMP (التنبؤ الطيفي متعدد المهام المعزز بالنماذج اللغوية الكبيرة)، وهو إطار ثنائي المسار مصمم لدمج نقاط القوة للشبكات العصبية التقليدية والنماذج اللغوية الكبيرة للتنبؤ الطيفي متعدد الاستجابات لأسطح الميتا (Au–GaN) الدورية.
تعلم التمثيل ثنائي المسار:
مسار ترميز التسلسل الطيفي: يتعلم هذا المسار الميزات العددية المعتمدة على الطول الموجي. يتم رسم خرائط للمعلمات الهيكلية (الاستقطاب، الفترة، ارتفاعات الطبقات، دورة العمل) إلى تمثيل كامن، يتم توسيعه على طول بُعد الطول الموجي باستخدام تضمينات قابلة للتعلم، ويتم معالجته بواسطة هيكل تسلسلي (مثل BiLSTM، GRU، TCN) لالتقاط التبعيات الطيفية.
مسار ترميز المطالبة المدفوع بالنماذج اللغوية الكبيرة: يتم تحويل المعلمات الهيكلية إلى مطالبات (prompts) باللغة الطبيعية باستخدام قالب ثابت. تُعالج هذه المطالبات بواسطة مشفر لغوي مسبق التدريب و"مجمد" (مثل GPT-2، MiniLM، MPNet، Qwen3) لاستخراج تمثيل سياقي عالمي للتكوين الهيكلي. يتم حساب تمثيلات هذه المطالبات مسبقاً وتخزينها مؤقتاً لتجنب عمليات التمرير الأمامي المتكررة للنموذج اللغوي أثناء التدريب.
وحدة المحاذاة ثم الدمج (ATF): لدمج التمثيلات الطيفية (المعتمدة على الطول الموجي) والتمثيلات المطالبة (السياقية العالمية) غير المتجانسة بفعالية، قدم المؤلفون وحدة ATF:
المحاذاة التفاعلية: يتم إسقاط التمثيل العالمي للمطالبة إلى رموز كامنة (latent tokens). تسمسة آلية الانتباه متعدد الرؤوس الميزات الطيفية المعتمدة على الطول الموجي (الاستعلامات/queries) لاسترجاع المعلومات من رموز المطالبة (المفاتيح/القيم/keys/values) بشكل انتقائي. وهذا يؤسس تفاعلات مدركة للطول الموجي، يتم التحكم فيها بواسطة بوابة قياسية قابلة للتعلم.
الدمج المتبقي: يتم دمج ميزات المطالبة المحاذية مع الميزات الطيفية الأصلية عبر بوابة قناة قابلة للتعلم. يحافظ هذا الدمج المتبقي على الميزات العددية التي تعلمها المسار الطيفي مع دمج معلومات المطالبة التكميلية.
المخرجات متعددة المهام المقيدة بالفيزياء: يتم فك تشفير التمثيل المدمج إلى ثماني قنوات مخرجات تقابل سعة النفاذ/الانعكاس، ومكونات الجيب/جيب التمام للطور، والنفاذية، والانعكاسية. يستخدم النموذج قيوداً محددة: وظائف "sigmoid" لمخرجات السعة/القدرة لضمان بقاء القيم ضمن النطاق [0, 1]، والتطبيع إلى الدائرة الوحدة لمكونات الطور للتعامل مع الدورية. تهدف دالة الهدف إلى تقليل متوسط مربع الخطأ (MSE) للسعة/القدرة، والمسافة الجيبية التمام (cosine distance) للطور عبر جميع الاستجابات البصرية الستة.
المساهمات الرئيسية
اقتراح إطار العمل: تقديم LAMP، وهو إطار عمل موحد ثنائي المسار يستفيد من النماذج اللغوية الكبيرة المجمدة لتوفال تمثيلات هيكلية سياقية تكميلية للمتنبئات الطيفية العصبية التقليدية.
آلية ATF: تطوير وحدة "المحاذاة ثم الدمج" التي تستخدم المحاذاة التفاعلية والدمج المتبقي القابل للتعلم لدمج التمثيلات الطيفية والمطالبة غير المتجانسة بفعالية.
النمذجة الموحدة متعددة المهام: صياغة مهمة تنبؤ مشتركة لست استجابات بصرية مترابطة (السعة، الطور، النفاذية، الانعكاسية) مع مخرجات مقيدة بالفيزياء، مما يعالج الفجوة في نمذجة الاستجابة الموحدة.
المتانة والمرونة: إثبات فعالية الإطار عبر هياكل تسلسلية مختلفة (BiLSTM، TCN، GRU) ومختلف المشفرات اللغوية مسبقة التدريب.
النتائج التجريبية أُجريت التجارب على مجموعة بيانات مكونة من 56,576 تكويناً لأسطح الميتا (Au–GaN) مع استجابات طيفية تم أخذ عينات منها من 400 نانومتر إلى 600 نانومتر.
مكاسب الأداء: تفوق LAMP باستمرار على كل من المتنبئات التسلسلية التقليدية والمتنبئات المباشرة للنماذج اللغوية الكبيرة. وتحديداً، أدى استخدام LAMP مع هيكل BiLSTM ومشفر GPT-2 إلى تقليل متوسط مربع الخطأ (MSE) بمقدار 1.09–1.74 ديسيبل عبر الاستجابات الست مقارنة بالمتنبئ المستقل القائم على BiLSTM.
المقارنة مع النماذج المرجعية: أظهرت المتنبئات المباشرة لـ GPT-2 (بدون المسار الطيفي) أخطاءً أعلى بكثير، مما يؤكد أن النماذج اللغوية الكبيرة وحدها غير كافية للانحدار الكمي الدقيق في هذا المجال. ومع ذلك، عند استخدامها كمصدر تمثيل تكميلي، فقد حسنت الأداء بشكل كبير.
دراسات الاستئصال (Ablation Studies): أدى إزالة أي من مكونات المحاذاة التفاعلية أو الدمج المتبقي إلى تدهور الأداء، مما أكد ضرورة كلتا الخطوتين في وحدة ATF. كانت المحاذاة التفاعلية حاسمة بشكل خاص لهيكل BiLSTM.
تباين المشفرات: ظل الإطار فعالاً مع مشفرات لغوية مختلفة (MiniLM، MPNet، Qwen3)، حيث أظهر MiniLM تحسينات متسقة فوق GPT-2 عبر جميع الهياكل.
التصور المرئي: أظهر التحليل النوعي أن LAMP أنتج تنبؤات أقرب إلى الحقيقة الأرضية (ground truth)، لا سيما في المناطق ذات الميزات الطيفية الحادة وتحولات الطور السريعة، حيث غالباً ما انحرفت النماذج المستقلة.
الأهمية تزعم الورقة أن التمثيلات السياقية المستمدة من النماذج اللغوية الكبيرة يمكن أن توفر معلومات تكميلية قيمة للمتنبئات العصبية التقليدية في النمذجة الطيفية لأسطح الميتا متعددة الاستجابات. ومن خلال سد الفجوة بين الفهم الدلالي على مستوى التسلسل (النماذج اللغية الكبيرة) والانحدار الطيفي الكمي (الشبكات العصبية)، يقدم LAMP نهجاً أكثر دقة وكفاءة للتحليل الأمامي. ويشير المؤلفون إلى أن هذا الاتجاه يحمل وعداً بالتوسع المستقبلي في التصميم العكسي لأسطح الميتا، وكذلك التحسين الهيكلي، بالإضافة إلى إمكانية التطبيق على أنظمة مواد وأنطاق طيفية أكثر تعقيداً.