🤖 machine learning

Sutra: Tensor-Op RNNs as a Compilation Target for Vector Symbolic Architectures

تقدم الورقة البحثية لغة "Sutra"، وهي لغة برمجة وظيفية بحتة تقوم بتجميع عمليات بنية المتجهات الرمزية (Vector Symbolic Architecture) إلى رسوم بيانية مدمجة من تنسورات "PyTorch"، مما يمكّن البرامج من تحقيق دقة فك تشفير مثالية عبر ركائز تضمين ثابتة ومتنوعة، وإمكانية تدريبها عبر الانتشار العكسي مع بقائها مقروءة بالكامل وقابلة لإعادة التجميع ككود مصدري.

المؤلفون الأصليون: Emma Leonhart

نُشر 2026-05-21✓ Author reviewed ⓘ

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Emma Leonhart

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة ومجمدة من المعرفة. في هذه المكتبة، كل مفهوم (مثل "تفاحة"، أو "عدالة"، أو "بروتين") ليس مجرد كلمة على صفحة، بل هو لون أو شكل فريد متعدد الأبعاد. هذه المكتبة بناها ذكاء اصطناعي عملاق قرأ الإنترنت بأكمله، وهي "مجمدة"، مما يعني أن الألوان والأشكال لا تتغير أبدًا بمجرد بناء المكتبة.

المشكلة هي: كيف يمكنك إجراء عمليات رياضية أو منطقية بهذه الألوان؟ إذا حاولت خلطها باستخدام القواعد القياسية (مثل "حاصل الضرب هادامارد" المذكور في الورقة البحثية)، ستصبح الألوان باهتة ولا يمكنك التمييز بينها بعد الآن. الأمر يشبه محاولة خلط الطلاء الأحمر والأزرق للحصول على اللون الأرجواني، ولكن بدلاً من ذلك، تحصل فقط على لون بني باهت يشبه كل الألوان الأخرى في الغرفة.

Sutra هي أداة جديدة تحل هذه المشكلة. إنها لغة برمجة تتيح لك كتابة قواعد منطقية، ولكن بدلاً من تشغيلها على معالج كمبيوتر عادي، يتم تجميع تلك القواعد (compile) لتصبح آلة واحدة فائقة الكفاءة تعمل مباشرة على هذه "الألوان" (المتجهات) داخل المكتبة المجمدة.

إليك كيف يعمل Sutra، مقسماً إلى مفاهومات بسيطة:

1. "الدوران السحري" (الربط - Binding)

في الطريقة القدة، كان خلط مفهومين يشبه سحقهم معاً، مما يسبب فوضى. يستخدم Sutra حيلة تسمى الربط بالدوران (Rotation Binding).

التشبيه: تخيل أن لكل مفهوم "مفتاحاً" فريداً (دوراً). لربط تفصيل محدد (مُعبئ) بهذا المفتاح، لا يقوم Sutra بسحقهم؛ بل يقوم بـ تدوير التفصيل مثل دوران المفتاح في القفل.
لماذا ينجح هذا: لأن المكتبة مجمدة والدوران دقيق رياضياً، يمكنك دائماً تدوير المفتاح للخلف لاستعادة التفصيل الأصلي، حتى لو خلطته مع تفاصيل أخرى. تثبت الورقة البحثية أن هذا يعمل بشكل مثالي على النصوص وحتى على تسلسلات البروتينات (الأحياء)، بينما فشلت طريقة "السحق" القديمة تماماً.

2. "المنطق الناعم" (الرياضيات الضبابية - Fuzzy Math)

عادةً، تفكر أجهزة الكمبيوتر بمنطق صارم "نعم/لا" أو "تشغيل/إيقاف". لكن "الألوان" في المكتبة ليست مثالية؛ فهي ضبابية بعض الشيء.

التشبيه: تخيل مفتاح تعتيم (dimmer switch) بدلاً من مفتاح إضاءة عادي. يستخدم Sutra نوعاً خاصاً من الرياضيات (كثيرات الحدود) يعامل المنطق كمنزلق ناعم. يمكنه التعامل مع "ربما" (0)، و"صحيح" (+1)، و"خطأ" (-1) دون أن ينكسر.
السحر: تُظهر الورقة البحثية أن Sutra يحول قواعد المنطق الضبابية هذه إلى صيغة رياضية واحدة سلسة. وهذا يعني أن الكمبيوتر لا يمكنه فقط تشغيل المنطق، بل يمكنه أيضاً التعلم منه.

3. "الآلة ذات الخطوة الواحدة" (التجميع - Compilation)

عادةً، إذا كتبت برنامجاً يحتوي على حلقات (تكرار خطوات) أو قرارات "إذا-إذن"، يجب على الكمبيوتر التحقق من تلك القواعد واحدة تلو الأخرى، وهو أمر بطيء.

التشبيه: Sutra يشبه طباخاً ماهراً يأخذ وصفتك (البرنامج) ويقوم بطهي الوجبة بأكملها مسبقاً لتصبح وجبة جاهزة للأكل قبل أن تجلس حتى.
النتيجة: عند تشغيل البرنامج، لا توجد فحوصات "إذا" أو حلقات "بينما" تحدث في الوقت الفعلي. يقوم الكمبيوتر فقط بعملية تدفق رياضي واحد ضخم ومستمر. إنه يشبه قطاراً لا يتوقف أبداً في المحطات؛ بل ينزلق فقط من البداية إلى النهاية.

4. التعلم و"الكود المفهوم" (Legible Code)

أحد أكثر الأشياء إثارة للدهشة التي يقوم بها Sutra هو التعلم.

التشبيه: عادةً، عندما يتعلم الشبكة العصبية، تصبح "صندوقاً أسود" — كتلة من الأرقام التي لا يستطيع أي بشري قراءتها. Sutra مختلف. يمكنه ضبط رقم واحد (نسبة "الربح" أو مستوى الصوت) لجعل المنطق يعمل بشكل أفضل.
التحول: بعد أن يتعلم الكمبيوتر الإعداد المثالي لذلك الزر، يأخذ Sutra ذلك الرقم ويعيد كتابته في الكود الأصلي كرقم بسيط.
لماذا يهم هذا: أنت لا تحصل على صندوق أسود غامض؛ بل تحصل على برنامج نظيف وقابل للقراءة يقول: "افعل هذا المنطق، ولكن اضرب النتيجة في 1.43". النموذج المدرب لا يزال قطعة من النص القابل للقراءة من قبل البشر.

5. "القاموس" (Codebook)

بما أن الكمبيوتر يفهم فقط "الألوان" (المتجهات)، فكيف يتحدث مع البشر؟

التشبيه: يحمل Sutra قاموساً مدمجاً (Codebook). عندما تكتب كلمة مثل "تفاحة"، يقوم المجمع (compiler) فوراً بترجمتها إلى "لونها" قبل أن يبدأ البرنامج. وعندما ينتهي البرنامج، يبحث عن أقرب كلمة في القاموس للون الناتج ليعطيك إجابة مفهومة للبشر.

ما أثبتته الورقة البحثية بالفعل

لا تدعي الورقة البحثية أن Sutra يمكنه علاج الأمراض أو التنبؤ بسوق الأسهم بعد. إنها تثبت ثلاثة أشياء محددة:

إنه يعمل على مكتبات مختلفة: لقد نجح في تشغيل نفس البرنامج المنطقي على النصوص (مثل الكتب) والأحياء (مثل البروتينات) دون تغيير الكود.
إنه يتفوق على الطرق القديمة: في هذه المكتبات المجمدة، استطاعت طريقة "الدوران" الخاصة بـ Sutra استرجاع المعلومات بدقة 100%، بينما فشلت طريقة "السحق" القديمة فشلاً ذريعاً (وهبطت إلى مستوى التخمين العشوائي تقريباً).
يمكنه التعلم والبقاء قابلاً للقراءة: قاموا بتدريب مصنف بسيط (برنامج يصنف الكلمات إلى فئات) من الصفر. بدأ بتخمينات عشوائية، وتعلم ليصل إلى دقة 100%، وكانت النتيجة النهائية عبارة عن كود نظيف وقابل للقراءة مع رقم محدد مدمج فيه.

باختاً، Sutra هو جسر يسمح لنا بكتابة قواعد منطقية تعمل مباشرة داخل "الأدمغة المجمدة" للذكاء الاصطناعي الحديث، محولاً إياها إلى آلات سريعة، قابلة للتعلم، وقابلة للقراءة من قبل البشر.

ملخص تقني: Sutra: نماذج RNN ذات العمليات التنسورية كهدف للترجمة البرمجية في البنى الرمزية المتجهية

بيان المشكلة

تعتمد البنى الرمزية المتجهية (VSA) تقليديًا على متجهات عالية الأبعاد مستمدة من توزيعات عشوائية محكومة، باستخدام عمليات مثل الضرب الهاماردي (الضرب العنصري) أو الالتفاف الدائري لربط العناصر. ومع ذلك، فإن تضمينات النماذج اللغوية الكبيرة (LLM) "المجمدة" الحديثة لا تتوافق مع هذه الافتراضات؛ فهي غير متجانسة اتجاهيًا (Anisotropic)، حيث تتركز في مخاريط ضيقة داخل الفضاء المتجهي، مما يضغط التشابه الجيبي (Cosine Similarity) ويؤدي إلى فشل عمليات الربط القياسية (مثل ضرب هامارد) بسبب التداخل المدمر عند تجميع عدة عناصر.

علاوة على ذلك، تتبع الأنظمة العصبية-الرمزية الحالية غالبًا بنية ذات مرحلتين: نموذج عصبي يستخرج رموزًا منفصلة، ثم يعالجها مستنتج رمزي منفصل. وهذا يخلق انفصالًا بين فضاء التضمين المستمر وطبقة المنطق المنفصلة. هناك نقص في الأنظمة التي تعامل فضاء التضمين المستمر كركيزة أساسية للغة برمجة كاملة، حيث يتم ترجمة تدفق التحكم، والمنطق، والإدخال/الإخراج إلى رسم بياني واحد للعمليات التنسورية القابلة للاشتقاق.

المنهجية

تقدم ورقة البحث Sutra، وهي لغة برمجة وظيفية نمطية مصممة خصيصًا للترجمة البرمجية (Compilation) إلى شبكة عصبية تعمل بنظام PyTorch فوق ركيزة تضمين مجمدة. تتضمن المنهجية الأساسية أربعة بدائيات موحدة تحل محل عمليات VSA وآليات تدفق التحكم القياسية:

المنطق الضبابي متعدد الحدود (Polynomial Fuzzy Logic): بدلاً من معاملات min/max غير القابلة للاشتقاق (Gödel t-norms) المستخدمة في المنطق الضبابي القياسي، تستخدم Sutra متعددات حدود استكمال لاجرانج (Lagrange-interpolated polynomials) لمنطق كليين ثلاثي القيم (قيم الحقيقة: $+1, 0, -1$ ). هذه المتعددات دقيقة تمامًا على الشبكة المنفصلة $\{-1, 0, +1\}$ ولكنها من الفئة $C^\infty$ (سلسة) في أي مكان آخر، مما يسمح بمرور الاشتقاق عبر الروابط المنطقية (AND, OR, NOT) داخل الرسم البياني التنسوري.
اختزال بيتا إلى رسوم بيانية تنسورية (Beta-Reduction to Tensor Graphs): يقوم مترجم Sutra بإجراء اختزال بيتا مكثف، حيث يدمج تعريفات المكتبة القياسية ويبسط التعبيرات الجبرية. والنتيجة هي رسم بياني للعمليات التنسورية نقي الركيزة لا يحتوي على أي روابط مسمى، أو استدعاءات دوال، أو تدفق تحكم بلغة Python. يتم تحويل الجمل الشرطية إلى متعددات حدود (soft-mux)، وتُترجم الحلقات التكرارية إلى خلايا RNN ذات توقف ناعم (soft-halt).
ربط الدوران (Rotation Binding): لمعالجة عدم التجانس الاتجاهي لتضمينات LLM المجمدة، تستبدل Sutra ضرب هامارد بـ ربط دوران هير-أرثوغونال (Haar-orthogonal rotation binding). يتم توليد مصفوفة دورانية خاصة بالدور $R_{role}$ عبر هاش للمحتوى (content hash) وتُطبق على متجه المحتوى ( $bind(role, filler) = R_{role} \times filler$ ). هذه العملية قابلة للعكس ومنضبطة جيدًا حتى على الركائز غير المتجانسة اتجاهيًا.
الحلقات التكرارية ذات الاستدعاء الذاتي في نهاية التكرار كـ RNNs: يتم التعبير عن الحلقات عبر إعلانات دوال استدعاء ذاتي في نهاية التكرار (tail-recursive). يقوم المترجم بتحويلها إلى خلايا RNN ذات توقف ناعم حيث يكون متجه الحالة ثابت العرض. يتم حساب إشارة "التوقف" عبر مجموع تراكمي رتيب لشرط Heaviside، مما يسمح للحلقة بتجميد الحالة دون الحاجة إلى تفرع على مستوى لغة Python.

يستخدم النظام كتاب رموز (codebook) يتم تخزينه وقت الترجمة (على شكل ملف .sdb) لربط النصوص الصريحة بالتضمينات وفك تشفير أقرب السلاسل النصية عند المخرجات، مما يغلق الحلقة على الإدخال/الإخراج النصي دون الحاجة إلى عمليات بحث في القواميس من جانب المضيف أثناء عملية التمرير الأمامي (forward pass).

المساهمات الرئيسية

تقدم الورقة أربع مساهمات تقنية محددة:

المنطق القابل للاشتقاق عبر استكمال لاجرانج: اشتقاق الروابط متعددة الحدود التي تكون دقيقة على شبكة كليين ولكنها قابلة للاشتقاق في كل مكان آخر، مما يحل مشكلات تدفق الاشتقاق المرتبطة بمعاملات المنطق الضبابي القياسية في السياقات العصبية-الرمزية.
الترجمة البرمجية النقية للركيزة: مسار المترجم الذي يختزل لغة وظيفية عالية المستوى إلى رسم بياني واحد مدمج للعمليات التنسورية (matmul، عمليات عنصرية، عمليات غير خطية) دون أي تدفق تحكم من جانب المضيف، مما يضمن أن البرنامج بأكمله هو دالة قابلة للاشتقاق من مدخلاته والمعاملات القابلة للتعلم.
ربط الدوران للركائز غير المتجانسة اتجاهيًا: التحقق التجريبي من أن الربط القائم على الدوران يتفوق على ربط هامارد على تضمينات LLM المجمدة (نماذج النصوص والبروتينات)، حيث يحافظ على دقة فك تشفير بنسبة 100% عند عرض الحزم $k=8$ ، بينما ينهار ربط هامارد إلى مستوى التخمين العشوائي.
النماذج المدربة الواضحة والقابلة لإعادة الترجمة: عرض لكيفية إمكانية "خبز" المعاملات المدربة (تحديدًا الأوزان القياسية) مرة أخرى في الكود المصدري كقيم عددية ثابتة. هذا يسمح بتمثيل النموذج المدرب ليس كملف أوزان غامض، بل كبرنامج Sutra قابل لإعادة الترجمة، يعيد إنتاج السلوك المدرب بدقة عالية.

النتائج

تتحقق الورقة من النهج عبر محورين تجريبيين رئيسيين:

السعة عبر الركائز المختلفة: أُجريت التجارب على أربع ركائز مجمدة: ثلاثة مشفرات نصية (nomic-embed-text, all-minilm, mxbai-embed-large) ونموذج لغة بروتيني (ESM-2).
- ربط الدوران: حقق دقة بنسبة 100% في فك تشفير السجلات المجمعة عند العرض $k=8$ عبر جميع الركائز.
- ربط هامارد: انهار بشكل كبير، حيث انخفضت الدقة إلى 2.5% على mxbai-embed-large و 7.5% على all-minilm عند نفس العرض.
- تراكم الضجيج: ظلت الدقة عند 100% للسجلات أحادية الدورة، لكنها تدهورت إلى مستويات التخمين العشوائي عند طول السلسلة $L=8$ ، مما حدد النطاق المتحقق منه للتنفيذ الحالي.
التدريب القابل للاشتقاق من البداية إلى النهاية:
- تم تدريب مصنف قواعد ضبابي مكتوب بلغة Sutra من تهيئة عشوائية (الدقة $\approx 18.7\%$ ، التخمين $= 20\%$ ) ليصل إلى دقة 100.0% خلال 30 دورة باستخدام backpropagation القياسي في PyTorch.
- تم التحقق من تدفق الاشتقاقات عبر الرسم البياني التنسوري المترجم (التشابه $\to$ روابط لاجرانج-كليين $\to$ cross-entropy) دون الحاجة لإعادة التنفيذ.
- قام متغير موزون بتدريب وزن قياسي $w$ لمواجهة عدم التجانس الاتجاهي للتضمين. تم "خبز" هذا النموذج المدرب بنجاح وإعادته إلى الكود المصدر (مثال: 1.431431 * similarity(...))، وأدت إعادة ترجمة هذا المصدر إلى إعادة إنتاج النتائج (logits) المدربة بفرق أقصى قدره $\approx 2 \times 10^{-7}$ .

الأهمية والادعاءات

تزعم الورقة أن Sutra تمثل موقعًا جديدًا في مشهد الحوسبة العصبية-الرمزية. تكمن أهميتها في توحيد المنطق والتعلم داخل أثر واحد:

شكل الأثر (Artifact Shape): على عكس المكتبات (مثل TorchHD) التي تعرض بدائيات لسكربتات Python، أو اللغات العصبية-الرمزية (مثل Scallop, DeepProbLog) التي تفصل الإدراك عن الاستنتاج، تقوم Sutra بترجمة البرنامج بأكمله — بما في ذلك تدفق التحكم والإدخال/الإخراج النصي — إلى رسم بياني واحد مدمج للعمليات التنسورية.
استقلالية الركيزة: لا ترتبط البنية بنموذج تضمين محدد؛ إذ يمكنها استهداف أي شبكة تنتج تمثيلات متجهية كثيفة، كما ثبت من خلال النجاح في نقل نفس الكود المصدر إلى كل من نماذج النصوص والبروتينات.
الوضوح (Legibility): من خلال تدريب معاملات يمكن كتابتها كقيم ثابتة في الكود المصدر، يجسّر النظام الفجوة بين الأوزان العصبية "الصندوق الأسود" والبرامج المنطقية القابلة للتفسير. النموذج المدرب ليس مجرد "كتلة بيانات"، بل هو برنامج قابل لإعادة الترجمة.

يصرح المؤلفون صراحةً أن هذا العمل هو عملية تحقق من "دورة التدريب من المصدر" وتدفق الاشتقاق عبر الرسم البياني المترجم، وليس اختبارًا للتعميم مقابل الأنظمة الأخرى. النظام حاليًا محدود بالسجلات أحادية الدورة والركائز المجمدة المحددة، وقد تم تحديد السجلات العميقة والمتداخلة ونماذج التضمين التعسفية كأعمال مستقبلية.