🔬 optics

Integrated electro-optic attention nonlinearities for transformers

تُثبت هذه الورقة أن مُعدِّلات ماش-زندر المصنوعة من نيوبات الليثيوم ذات الغشاء الرقيق (TFLN) يمكن أن تعمل كوحدات تناظرية غير خطية عالية السرعة وموفرة للطاقة لاستبدال دالات "Softmax" و"Sigmoid" الرقمية في نماذج المحولات (Transformers)، مع الحفاظ على دقة تنافسية حتى في ظل ظروف التكميم والضجيج الشديدة.

المؤلفون الأصليون: Luis Mickeler, Kai Lion, Alfonso Nardi, Jost Kellner, Pierre Didier, Bhavin J. Shastri, Niao He, Rachel Grange

نُشر 2026-04-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Luis Mickeler, Kai Lion, Alfonso Nardi, Jost Kellner, Pierre Didier, Bhavin J. Shastri, Niao He, Rachel Grange

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدير مكتبة ضخمة وعالية السرعة، حيث يتم قراءة الكتب (البيانات) ومقارنتها وتنظيمها باستمرار للإجابة على الأسئلة. هذه المكتبة مدعومة بأمين مكتبة فائق الذكاء يسمى Transformer (وهو نموذج الذكاء الاصطناعي الذي يقف وراء أدوات مثل ChatGPT).

وظيفة أمين المكتبة الأكثر أهمية هي الانتباه (Attention). فعندما تطرح سؤالاً، يتعين على أمين المكتبة النظر في كل كلمة في جملتك، ومعرفة الكلمات المرتبطة ببعضها البعض، وتحديد مقدار الأهمية التي يجب إعطاؤها لكل كلمة.

المشكلة: عنق زجاجة "الرياضيات البطيئة"

في أجهزة الكمبيوتر الحالية (GPUs)، يشبه القيام بمهمة "الانتباه" هذه وجود فريق من العدائين فائق السرعة (الذين يقومون بالعمل الشاق لنقل البيانات) ومحاسب واحد بطيء ودقيق للغاية.

العداؤون (الرياضيات الخطية): هؤلاء سريعون للغاية. يمكنهم ضرب قوائم ضخمة من الأرقام في لمح البصر.
المحاسب (الرياضيات غير الخطية): لكي يقرر مدى أهمية كلمة ما، يتعين على أمين المكتبة إجراء عملية حسابية محددة ومعقدة تسمى Softmax. وهي تشبه أخذ قائمة من الدرجات وتحويلها إلى نسب مئوية مجموعها 100%.

إليك المشكلة: على الرغم من أن المحاسب يقوم بهذا الحساب لجزء ضئيل جداً من إجمالي العمل (أقل من 1%)، إلا أنه بطيء جداً لدرجة أنه يعطل الفريق بأكمله. العداؤون ينتظرون انتهاء المحاسب من عمله، مما يتسبب في توقف المكتبة بأكملها. هذا هو "عنق زجاجة Softmax".

الحل: أمين المكتبة "فائق السرعة"

سأل الباحثون في هذه الورقة البحثية: "ماذا لو لم نستخدم محاسباً رقمياً على الإطلاق؟ ماذا لو استخدمنا الفيزياء؟"

لقد بنوا نوعاً جديداً من أمناء المكتبة باستخدام الضوء والكهرباء بدلاً من مجرد رقائق السيليكون. استخدموا مادة خاصة تسمى Thin-Film Lithium Niobate (تخيلها كبلورة شديدة الاستجابة) لإنشاء جهاز يسمى Mach-Zehnder Modulator (MZM).

التشبيه الإبداعي: المنزلق المائي

تخيل أن عملية حساب "Softmax" تشبه محاولة فرز كومة من بالونات الماء بناءً على مدى امتلاء كل منها.

الطريقة القديمة (الرقمية): عليك التقاط كل بالون، وقياس وزنه بميزان رقمي، وكتابة الرقم، ثم إجراء عمليات حسابية على آلة حاسبة، ثم كتابة النتيجة. هذا يستغرق وقتاً.
الطريقة الجديدة (البصرية/الكهرو-بصرية): تقوم بسكب جميع البالونات عبر منزلق مائي منحني ومتموج (الـ MZM).
- شكل المنزلق منحني طبيعياً مثل الموجة.
- إذا دفعت بالوناً بقوة قليلة (جهد كهربائي منخفض)، فسينزلق للأسفل عبر منحدر لطيف (يمثل رقماً صغيراً).
- إذا دفعت بقوة كبيرة (جهد كهربائي عالٍ)، فسينطلق بسرعة عبر جزء شديد الانحدار من المنحنى (يمثل رقماً كبيراً).
- المنزلق فيزيائياً يحول قوة دفعتك إلى "النسبة المئوية" المخرجة الصحيحة بمجرد طريقة تدفق الماء.

أنت لا تحتاج للقيام بالحسابات؛ الفيزياء الخاصة بالمنزلق تقوم بالرياضيات نيابة عنك فوراً.

ماذا بنوا؟

لقد ابتكروا "منزلقين" جديدين لاستبدال المحاسب الرقمي البطيء:

Optmax: نظام يستخدم المنزلق لمحاكاة عملية حساب "Softmax" القياسية. يأخذ المدخلات، ويمررها عبر منزلق الضوء، ويحصل على الإجابة بشكل فوري تقريباً.
Optmoid: منزلق أبسط يحاكي نوعاً آخر من الحسابات يسمى "Sigmoid"، وهو أسرع حتى.

النتائج: سريع، رخيص، ودقيق

اختبر الفريق هذه "المكتبات الضوئية" الجديدة في مهام واقعية:

التعرف على الصور: هل يمكنه التمييز بين القطة والكلب؟ نعم، بنفس كفاءة النسخة الرقمية البطيئة.
كتابة النصوص: هل يمكنه التنبؤ بالكلمة التالية في الجملة؟ نعم، بدقة تقارب النسخة الرقمية.

الأرقام السحرية:

السرعة: نظامهم الجديد أسرع بـ 10 إلى 100 مرة من أفضل الطرق الرقمية الحالية. الأمر يشبه أن المحاسب تعلم فجأة القيام بالرياضيات في ذهنه بينما كان العداؤون لا يزالون يربطون أحذيتهم.
الدقة: حتى عندما أجبروا النظام على العمل بدقة منخفضة جداً (مثل استخدام 4 بت فقط من البيانات، وهو ما يشبه التحدث بلغة خشنة جداً)، إلا أنه ظل يعمل بشكل جيد بشكل مفاجئ.
الضجيج: يمكن لأنظمة الضوء في العالم الحقيقي أن تصبح "مشوشة" (مثل التشويش في الراديو). وجد الباحثون أنه بينما يمكن للضجيج أن يسبب أخطاء، إلا أن النظام قوي بشكل مدهش، خاصة إذا "دربت" أمين المكتبة على توقع وجود القليل من التشويش.

لماذا يهم هذا؟

حالياً، يزداد الذكاء الاصطناي ضخامة وبطئاً بسبب عوائق الرياضيات هذه. نحن نصطدم بجدار حيث لا يؤدي إضافة المزيد من الطاقة إلى جعل الذكاء الاصطناعي أكثر ذكاءً، بل يجعله فقط أكثر حرارة وبطئاً.

تشير هذه الورقة البحثية إلى طريقة لكسر هذا الجدار. من خلال استخدام الضوء والكهرباء للقيام بالأجزاء "الرياضية الصعبة" من الذكاء الاصطناعي، يمكننا بناء أجهزة كمبيوتر تكون:

أسرع بكثير (زمن استجابة أقل).
أكثر كفاءة في استهلاك الطاقة (حرارة أقل).
جاهزة للمستقبل لنماذج الذكاء الاصطناعي الضخمة.

باختصار، لقد استبدلوا آلة حاسبة رقمية بطيئة بمنزلق ضوئي فيزيائي سريع، مما يثبت أن أفضل طريقة لحل مشكلة حاسوبية هي التوقف عن التفكير ككمبيوتر والبدء في التفكير كالفيزياء.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "التفاعلات غير الخطية للانتباه الكهرو-بصرية المتكاملة للنماذج المحولة (Transformers)."

1. بيان المشكلة

تعتمد نماذج الـ Transformer، التي تهيمن على معالجة اللغات الطبيعية (NLP) والرؤية الحاسوبية، بشكل كبير على آلية الانتباه الذاتي (self-attention mechanism). ويتضمن جوهر هذه الآلية دالة تنشيط غير خطية (عادةً ما تكون Softmax أو Sigmoid) لحساب أوزان الانتباه.

عنق الزجاجة: بينما لا تشكل العمليات غير الخطية سوى أقل من 1% من إجمالي عمليات الفاصلة العائمة (FLOPs) في نموذج الـ Transformer، إلا أنها تسبب اختناقاً غير متناسب في زمن استجابة الاستدلال (inference latency).
القيود العتادية: في وحدات معالجة الرسوميات (GPUs) الحديثة، يتم التعامل مع العمليات الخطية (ضرب المصفوفات) بواسطة أنوية Tensor عالية الإنتاجية. أما العمليات غير الخطية (الأسس والقسمة المطلوبة لعملية Softmax) فتعتمد على وحدات الدوال الخاصة (SFUs).
- تتميز وحدات SFUs بإنتاجية أقل بكثير (أقل بنحو 256 ضعفاً من الوحدات الخطية).
- تعتمد على تقريبات متعددة الحدود الجزئية أو جداول البحث (lookup tables)، وهي مكلفة حوسبياً ومرتبطة بسعة الذاكرة.
- لطول تسلسل قدره $n=8192$ ، يمكن أن تستهلك عملية Softmax ما يصل إلى 22% من إجمالي وقت التنفيذ على وحدة NVIDIA H100، رغم انخفاض عدد عملياتها الحسابية (FLOP count).

2. المنهجية

يقترح المؤلفون استبدال حسابات Softmax و Sigmoid الرقمية بـ تفاعلات كهرو-بصرية غير خطية باستخدام معدلات ماش-زيندر (MZMs) المصنوعة من نيوبات الليثيوم رقيقة الغشاء (TFLN). يعمل النظام في بنية عتادية هجينة متكاملة (co-packaged)، حيث تظل العمليات الخطية رقمية، ولكن يتم نقل التنشيط غير الخطي إلى المجال البصري.

المكونات الأساسية

الجهاز: تُستخدم معدلات TFLN MZMs ليس كمفاتيح ثنائية، بل كعناصر حوسبة تناظرية. يتبع دالة النقل الخاصة بها استجابة جيبية: $P_{out} \propto 1 + \sin(\frac{V}{V_\pi}\pi + \phi)$ .
الـ Optmax (الـ Softmax الكهرو-بصري):
- المفهوم: يقرب دالة Softmax $Softmax(x)_j = \frac{e^{x_j}}{\sum e^{x_i}}$ .
- التنفيذ:
  1. الرفع لأس (Exponentiation): يتم تحويل القيم الرقمية المدخلة إلى جهود تناظرية (عبر DAC) لتشغيل المنحدر الصاعد للاستجابة الجيبية لـ MZM لمحاكاة $e^x$ .
  2. التطبيع (Normalization): يتم جمع (تكامل) الشدات الضوئية بواسطة صمام ثنائي ضوئي (photodiode) منخفض النطاق الترددي. هذا المجموع يدفع MZM ثانٍ يعمل على المنحدر الهابط لمحاكاة المقلوب ( $1/z$ ).
  3. يتم اكتشاف الإشارة النهائية وتحويلها إلى رقمية (عبر ADC).
الـ Optmoid (الـ Sigmoid الكهرو-بصري):
- المفهوم: يقرب دالة Sigmoid العنصرية $Sigmoid(x) = \frac{1}{1+e^{-(x+b)}}$ .
- التنفيذ: يستخدم MZM واحد يتم تشغيله عبر كامل نطاق التأرجح من الحد الأدنى إلى الأقصى ( $V_\pi$ ) لرسم دالة Sigmoid مباشرة. هذا يتجنب الحاجة إلى خطوة تطبيع منفصلة.

الإعداد التجريبي

المنصة: تم تصنيع TFLN MZMs على غشاء نيوبات ليثيوم بسمك 300 نانومتر ومطعّم بـ MgO.
السرعة: تم الاختبار عند معدلات رموز (symbol rates) تبلغ 10 GBaud، و 1 GBaud، و 100 MBaud.
الكمية (Quantization): تم تقييم النظام تحت قيود كمية صارمة للمدخلات والمخرجات بمقدار 4-bit (عبر DAC/ADC) لمحاكاة قيود الأجهزة منخفضة الدقة.
توصيف الضوضاء: تم توصيف ضوضاء النظام عند السرعات العالية، مع تحديد الضوضاء المضافة من مضخمات التردد اللاسلكي (RF) والكواشف الضوئية كعامل التدهور الرئيسي.

3. المساهمات الرئيسية

بنية عتادية مبتكرة: أظهر لأول مرة استخدام TFLN MZMs المتكاملة كـ وحدات حوسبة غير خطية لآلية الانتباه في الـ Transformer، متجاوزة دورها التقليدي كمعدلات خطية.
تقليل زمن الاستجابة (Latency): اقترح بديلاً "جاهزاً للاستخدام" (drop-in replacement) لـ Softmax/Sigmoid يلغي الحاجة إلى وحدات SFU الرقمية، مستفيداً من عدم الخطية الفيزيائية المتأصلة في البصريات.
المتانة تجاه الكمية: أظهر أن الطبيعة التناظرية للحوسبة تسمح للنظام بالحفاظ على دقة عالية حتى مع كمية 4-bit، متفوقة على Softmax الرقمي في هذا النطاق.
تحليل الضوضاء: قدم توصيفاً دقيقاً لضوضاء النظام عند 10 GBaud، وأثبت أن التدريب الواعي بالضوضاء (تدريب مع حقن الضوضاء) يحسن بشكل كبير من متانة النموذج ضد الضوضاء المضافة.

4. النتائج

قيم المؤلفون النظام على مهام الرؤية المحولة (ViT) ونموذج GPT-2 (نموذج لغوي كبير).

تصنيف الصور (ViT):
- مجموعات البيانات: MNIST، CIFCIF-10، SVHN.
- الأداء: حققت Optmax و Optmoid دقة تنافسية مقابل Softmax و Sigmoid الرقميين.
- الكمية: عند كمية 4-bit، حققت Optmax دقة بنسبة 74.6% على CIFAR-10 (مقابل 76.3% لـ Softmax الرقمي). أظهرت Optmoid حساسية أعلى لتقليل عمق البت بسبب بتر الانحياز (bias truncation) لكنها ظلت قابلة للاستخدام.
نمذجة اللغة السببية (GPT-2):
- مجموعة البيانات: FineWeb-Edu.
- الأداء: حققت Optmax خسارة اختبار قدرها 4.08 (مقابل 4.07 لـ Softmax). حققت Optmoid خسارة 4.22 (مقابل 4.18 لـ Sigmoid).
- المتانة تجاه الكمية: بشكل لافت، تحت كمية 4-bit، تفوقت Optmax و Optmoid على نظيراتها الرقمية (على سبيل المثال، خسارة Optmax بلغت 5.85 مقابل 5.97 لـ Softmax عند 4-bit). يُعزى ذلك إلى أن المجال التناظري يقوم بعمليات الجمع بدقة فعالة أعلى من الحسابات الرقمية ذات النقطة الثابتة.
زمن الاستجابة والطاقة:
- زمن الاستجابة: يُقدر بحوالي ~410 نانو ثانية لـ Optmax و ~205 نانو ثانية لـ Optmoid لكل تسلسل (عند 10 GBaud). يمثل هذا تحسناً بمقدار 10 إلى 100 ضعف مقارنة بالمسرعات الإلكترونية والبصرية المخصصة المسجلة.
- الطاقة: ~154 بيكوجول/تسلسل لـ Optmax و ~73 بيكوجول/تسلسل لـ Optmoid.
المتانة تجاه الضوضاء:
- النماذج التي تم تدريبها بدون ضوضاء تدهورت بشكل كبير تحت كمية 4-bit عند وجود ضوضاء مضافة أثناء الاستدلال.
- النتيجة الرئيسية: التدريب مع الضوضاء (noise-aware training) استعاد المتانة، مما سمح للنموذج بالحفاظ على دقة عالية حتى عند مستويات الضوضاء ( $\sigma \approx 0.1$ ) الملحوظة في تجارب 10 GBaud.

5. الأهمية والخاتمة

يؤسس هذا العمل مساراً قابلاً للتطبيق لـ الحوسبة الكهرو-بصرية الهجينة المتكاملة لحل "عنق زجاجة Softmax" في عتاد الذكاء الاصطناعي.

تحول في النموذج: ينتقل العمل بعيداً عن التقريبات الرقمية البحتة لعدم الخطية نحو الحوسبة التناظرية الفيزيائية، مستفيداً من سرعة الضوء والتأثيرات الكهرو-بصرية.
القابلية للتوسع: على عكس الشبكات العصبية البصرية بالكامل التي تعاني من مشاكل القابلية للتوسع وتفاوتات التصنيع (مثل الرنانات الدقيقة)، يستخدم هذا النهج أجهزة فوتونية جاهزة كعناصر غير خطية ضمن إطار رقمي قياسي، مما يوفر طريقاً أكثر عملية للنشر.
التأثير المستقبلي: تشير النتائج إلى أن مسرعات الذكاء الاصطناعي المستقبلية يجب أن تركز على تقليل الضوضاء المضافة ودمج بروتوكولات التدريب الواعية بالضوضاء لتحقيق الإمكانات الكاملة لآليات الانتباه الكهرو-بصرية عالية السرعة ومنخفضة زمن الاستجابة.

باختصار، تثبت الورقة أن المعدلات الكهرو-بصرية المتكاملة يمكن أن تعمل كوحدات دالة غير خطية عالية الكفاءة والسرعة، مما قد يقلل زمن استجابة الاستدلال بعدة مراتب عشرية مع الحفاظ على دقة النماذج المتطورة.