← أحدث الأبحاث
🤖 machine learning

TANGO: Token-Aggregated Nonlinear Gating Operators for Natural and Formal Language Modeling

تقدم هذه الورقة البحثية TANGO، وهي بنية نموذج لغوي مبتكرة تستبدل الطبقات الفرعية القياسية لنموذج Transformer بتحديث متبقٍ بوابي عبر الرموز (cross-token gated residual update) لتحقيق أداء فائق في مجموعات البيانات الرياضية والتعليمية، إلى جانب متغيرها ذي التعقيد الخطي WANGO الذي يتفوق على النماذج الحالية ذات الوقت الخطي.

المؤلفون الأصليون: Joshua Nunley

نُشر 2026-08-25
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Joshua Nunley

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في عالم الذكاء الاصطناعي، تعتمد أقوى الأدوات لفهم اللغة على بنية تسمى "المحول" (Transformer). تخيل قارئاً يمسح وثيقة طويلة؛ لفهم كلمة معينة، يجب عليه العودة بالنظر إلى الكلمات التي سبقتها لاستيعاب السياق. تقوم نماذج الذكاء الاصطناعي القياسية بذلك عبر خطوتين متمايزتين. أولاً، تمسح التاريخ الكامل للنص لجمع المعلومات ذات الصلة من الكلمات الماضية، وهي عملية تشبه أميناً للمكتبة يحدد بسرعة كل كتاب قد يكون ذا صلة بموضوع ما. ثانياً، تأخذ تلك المعلومات المجموعة وتجري معالجتها من خلال مرشح منفصل ومستقل عند كل موضع في الجملة لصقل المعنى. لقد خدمت هذه "الرقصة الثنائية" المجال بشكل جيد، لكنها ثقيلة حسابياً، إذ تتطلب من النموذج إجراء كمية هائلة من الحسابات لكل كلمة جديدة ينتجها، خاصة عندما يصبح النص أطول. لطالما سعى الباحثون لإيجان طريقة لدمج هذه الخطوات أو تبسيطها، آملين في بناء نماذج تكون أكثر ذكاءً وكفاءة، وقادرة على التعامل مع كميات هائلة من المعلومات دون أن تغرق في وطأة الرياضيات المطلوبة لمعالجتها.

قدم باحث من جامعة إنديانا بلومنجتون نهجاً جديداً يعيد تشكيل كيفية تفاعل هذه النماذج مع اللغة بشكل جذري. أطلقوا على ابتكارهم اسم TANGO، وهو اختصار لـ "مشغلات البوابات غير الخطية المجمعة للرموز" (Token-Aggregated Nonlinear Gating Operators). وبدلاً من إبقاء خطوات جمع المعلومات وصقل المعلومات منفصلة، يقوم TANGO بدمجهما في إجراء واحد موحد. في هذا التصميم الجديد، تعمل كل كلمة في الجملة كمصدر للتحكم. وبينما يقرأ النموذج، تولد كل كلمة مجموعة محددة من التعليمات، أو "البوابات"، التي تحدد مقدار الأهمية التي يجب وضعها لميزات مختلفة من النص. وعندما يصل النموذج إلى كلمة جديدة، فإنه لا ينظر إلى الوراء فقط للعثور على الكلمات الماضية الأكثر صلة؛ بل ينظر إلى الوراء ليرى ما هي التعليمات التي أعدتها تلك الكلمات الماضية. ثم يقوم بتوسيط هذه التعليمات ويستخدمها لضبط، أو موازنة، ميزات الكلمة الحالية قبل إضافتها إلى ذاكرة النموذج. وهذا يعني أن تأثير الكلمة الماضية لا يتعلق فقط بما تقوله، بل بكيفية توجيهها للكلمة الحالية لتفسير نفسها.

طور الباحث نسختين من هذا النظام لاختبار مقايضات مختلفة بين الدقة والسرعة. النسخة الأولى، TANGO، تنظر في كل كلمة سبقت الكلمة الحالية، بغض النظر عن مدى بُعدها في النص. يسمح هذا النهج "ذي البادئة الكاملة" (full-prefix) للنموذج بالاستفادة من التاريخ الكامل للمحادثة أو الوثيقة، مما يؤدي إلى فهم عالي الدقة للسياق. ومع ذلك، ولأنه يجب عليه مقارنة الكلمة الحالية بكل كلمة سابقة، فإن حجم العمل الذي يتعين عليه القيام به ينمو بسرعة مع طول النص. أما النسخة الثانية، المسماة WANGO، فتتبع نهجاً أكثر عملية للنصوص الطويلة جداً. فهي تولي اهتماماً وثيقاً للكلمات الأخيرة، وتتعامل معها بنفس العناية التفصيلية والكاملة للتاريخ كما في النموذج الأول. أما بالنسبة للكلمات الأقدم التي تقع خارج نافذة زمنية حديثة، فإن WANGO تستخدم طريقة مختلفة وأكثر كفاءة لتلخيص تأثيرها؛ حيث تحتفظ بسجل مستمر للتعليمات التي ولدتها تلك الكلمات القديمة، مما يسمح لها بدمج حكمتها دون الحاجة إلى إعادة حساب العلاقة مع كل واحدة منها. هذا التعديل يجعل عبء العمل في نموذج Wango ينمو في خط مستقيم مع طول النص، بدلاً من الانفجار في التعقيد، مما يجعله أسرع بكثير في المتواليات الطويلة.

ولرؤية كيف صمدت هذه التصاميم الجديدة أمام التكنولوجيا الحالية، قام الباحث بتدريب ستة نماذج مختلفة باستخدام نفس كمية البيانات، ونفس عدد المعلمات، ونفس جدول التدريب. واختبر هذه النماذج على ثلاثة تحديات مختلفة تماماً: مجموعة كبيرة من النصوص التعليمية من الويب، ومكتبة من البراهين الرياضية الرسمية المكتوبة بلغة برمجة تسمى "لين" (Lean)، ومجموعة من المسائل الرياضية من "ديب مايند" (DeepMind). أظهرت النتائج أن نموذج TANGO، برؤيته الكاملة للتاريخ، حقق أعلى دقة عبر الاختبارات الثلاثة، منتجاً التنبؤات الأكثر موثوقية للكلمة التالية في المتوالية. لقد تفوق على جميع النماذج الأخرى، بما في ذلك تلك التي تستخدم الطرق التقليدية لمشاركة المعلمات عبر الطبقات. كما قدم نموذج Wango أداءً استثنائياً، لا سيما في فئة النماذج المصممة لتكون كفؤة. فمن بين البنيات التي يمكنها التعامل مع النصوص الطويلة دون أن تتصاعد تكلفتها الحسابية بشكل خارج عن السيطرة، أنتج Wango النتائج الأكثر دقة. بل إنه تفوق على نموذج يستخدم مقداراً مشابهاً من الحسابات ولكنه يعتمد على تقنيات قديمة ومعيارية.

تسلط الدراسة الضوء على تحول كبير في كيفية بناء هذه الأنظمة. فمن خلال السماح للكلمات بالتحكم في معالجة الكلمات الأخرى عبر هذه البوابات المجمعة، وجد الباحث طريقة لإنشاء نماذج تكون قوية، وفي حالة Wango، كفؤة أيضاً. أثبت نموذج TANGO أن خطوة واحدة موحدة لجمع المعلومات وصقلها يمكن أن تتفوق على عملية الخطوتين التقليدية، حتى عندما يُجبر النموذج على القيام بمزيد من العمل الرياضي. وفي الوقت نفسه، أثبت نموذج Wango أن هذا المستوى العالي من الأداء لا يجب أن يأتي على حساب السرعة؛ فمن خلال تلخيص المعلومات القديمة بذكاء، حافظ على دقة عالية مع إبقاء التكلفة الحسابية تحت السيطرة. وقد حرص الباحث على ملاحظة أن هذه النتائج تستند إلى قدرة النماذج على التنبؤ بالكلمة التالية في المتوالية، وهو معيار قياسي لفهم اللغة، ولم يدّعِ أن هذه النماذج يمكنها بالضرورة حل المسائل الرياضية أو كتابة البراهين بشكل مثالي بمفردها. ومع ذلك، تشير النتائج إلى أن هذه الطريقة الجديدة في بوابات المعلومات تقدم مساراً واعداً لبناء ذكاء اصطناعي يمكنه فهم اللغة المعقدة والسياقات الطويلة بدقة وكفاءة أكبر.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 🤖 cs.LG →