💬 NLP

Avey-B

تقدم هذه الورقة البحثية Avey-B، وهو بنية معيد صياغتها، خالية من آلية الانتباه، وتعتمد على المشفر فقط، تدمج ابتكارات مثل البارامترية المنفصلة والضغط العصبي لتتفوق على المشفرات القياسية القائمة على المحولات في تصنيف الرموز واسترجاع المعلومات مع التوسع بكفاءة أكبر في السياقات الطويلة.

المؤلفون الأصليون: Devang Acharya, Mohammad Hammoud

نُشر 2026-02-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Devang Acharya, Mohammad Hammoud

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول فهم رواية غموض ضخمة مكونة من 100 صفحة.

الطريقة القديمة (Transformers/BERT):
النماذج التقليدية للذكاء الاصطنا์، مثل نموذج BERT الشهير، تحاول قراءة الكتاب بأكمِله دفعة واحدة لفهم أي جملة. إنها تنظر إلى كل كلمة في الكتاب وتقارنها بكل كلمة أخرى لتجد الروابط.

المشكلة: هذا يشبه محاولة قراءة مكتبة كاملة وأنت تمسك بعدسة مكبرة. إذا كان الكتاب قصيراً، فالأمر يسير بشكل جيد. ولكن إذا كان الكتاب بطول 100 صفحة، فإن الجهد المبذول لمقارنة كل كلمة بكل كلمة أخرى ينفجر بشكل هائل. يصبح الأمر بطيئاً، ومكلفاً، وتنفد ذاكرة الكمبيوتر. إنه يشبه محاولة العث/ لإبرة معينة في كومة قش عن طريق قياس المسافة بين كل قطعة قش وكل قطعة أخرى.

الطالطريقة الجديدة (Avey-B):
يقدم البحث Avey-B، وهو نوع جديد من أدمغة الذكاء الاصطناعي التي تقرأ بشكل مختلف. بدلاً من التحديق في الكتاب بأكمله في وقت واحد، فإنه يستخدم نظام "أمين مكتبة" ذكي.

إليك كيف يعمل Avey-B، مقسماً بتبسيط عبر التشبيهات:

1. أمين المكتبة الذكي (المصنف - The Ranker)

تخيل أنك تقرأ فصلاً ما. بدلاً من محاولة تذكر الكتاب بأكمله، تسأل أمين المكتبة: "مهلاً، ما هي الفصول الثلاثة الأخرى في هذا الكتاب الأكثر صلة بما أقرأه الآن؟"

يقوم أمين المكتبة (الذي يسمى المصنف) بمسح الكتاب بسرعة، ويختار أهم 3 فصول ذات صلة، ويسلمها لك.
أنت تتجاهل الـ 97 فصلاً الأخرى في الوقت الحالي. هذا يوفر قدراً هائلاً من الوقت والطاقة.

2. عملية التفكير ذات الخطوتين (المعاملات المنفصلة - Decoupled Parameters)

بمجرد حصولك على الفصل الحالي والفصول الثلاثة ذات الصلة، تحتاج إلى فهمها. حاول الذكاء الاصطنا_ي القديم (Avey) دمج "القواعد المتعلمة بصعوبة" مع "ما يراه الآن" في آن واحد.

الخلل: الأمر يشبه محاولة قيادة سيارة بينما تجادل نظام الملاحة (GPS) في نفس الوقت. أحياناً تتصارع القواعد مع الواقع، فتتحرك السيارة في دوائر.
الإصلاح (Avey-B): يقوم Avey-B بفصل هذه المهام.
- الخطوة أ (الثابتة): يطبق معرفته العامة (مثل قواعد النحو).
- الخطوة ب (الديناميكية): ينظر إلى الكلمات المحددة أمامه ويتكيف بناءً على التشابه.
- النتيجة: إنه يشبه امتلاك مساعد طيار. شخص يقود السيارة (القواعد)، والآخر يوجه المسار (السياق). لا يتصارعان؛ بل يتبادلان الأدوار، مما يجعل الرحلة أكثر سلاسة ومنطقية.

3. آلة الضغط (الضغط العصبي - Neural Compression)

هذا هو الجزء الصعب. إذا أخذت فصلك الحالي وأضفت إليه 3 فصول كاملة أخرى، فقد أصبح لديك الآن 4 أضعاف النص للقراءة. لا يزال هذا كثيراً جداً!

الابتكار: يمتلك Avey-B "ملخصاً" (المُكبِّس - Compressor). قبل أن تبدأ في قراءة الفصول الأربعة، يقوم المُكبِّس فوراً بتكثيفها لتعود إلى حجم فصل واحد فقط، لكنه يحتفظ بجميع التفاصيل المهمة.
التشبيه: إنه يشبه أخذ فيلم مدته 4 ساعات، وضغطه في ملخص لأفضل اللقطات لمدة ساعة واحدة، ومع ذلك لا يزال يحكي القصة كاملة وبشكل مثالي. هذا يسمح للذكاء الاصطناعي بمعالجة المستندات الطويلة دون أن يشعر بالإرهاق.

4. لماذا يعد هذا أمراً هاماً؟

اختبر المؤلفون Avey-B مقابل الأبطال الحاليين (مثل ModernBERT و NeoBERT) في شيئين رئيسيين: الدقة و السرعة.

الدقة: كان Avey-B أفضل في فهم النصوص، خاصة في العثور على تفاصيل محددة (تصنيف الرموز/Tokens) والعث وث المعلومات ذات الصلة (استرجاع المعلومات). لقد تفوق على الآخرين رغم أنه تدرب على بيانات أقل بـ 11 مرة من أحد منافسيه.
السرعة (السياق الطويل): هذا هو الإنجاز الحقيقي.
- تخيل أن طول النص بحجم مدينة.
- الذكاء الاصطناعي التقليدي يصبح أبطأ فأبطأ كلما كبرت المدينة. وبحلول الوقت الذي تصبح فيه المدينة ضخمة (96,000 كلمة)، يتحرك الذكاء الاصطناعي التقليدي بسرعة السلحفاة.
- Avey-B يظل سريعاً. سواء كان النص ملاحظة قصيرة أو رواية ضخمة، فإنه يمر عبرها بسرعة فائقة. عند أطول الأطوال التي تم اختبارها، كان Avey-B أسرع من المنافسين بمعدل 3 إلى 11 مرة.

الخلاصة

فكر في الذكاء الاصطناعي التقليدي كـ مصور فوتوغرافي يحاول التقاط صورة لاستاد كامل عن طريق قياس وجه كل مشجع مقابل كل مشجع آخر. إنه دقيق ولكنه مستحيل في حال وجود حشد ضخم.

أما Avey-B فهو كشاف ذكي. يمسح الاستاد، ويجد مجموعات المشجعين المحددة التي تهم السؤال، ثم يركز عليهم، ويلخص الحشد، ويعطيك الإجابة فوراً. إنه أسرع، وأقل تكلفة، وأكثر ذكاءً بشكل مفاجئ، خاصة عند التعامل مع كميات ضخمة من النصوص.

يثبت البحث أنك لست بحاجة إلى آلية "الانتباه الذاتي" الثقيلة (الطريقة القديمة) لبناء ذكاء اصطناعي عظيم. أحياناً، يكون نظام استرجاع ذكي مع مُكبِّس جيد هو المفتاح للمستقبل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "AVEY-B: مشفر ثنائي الاتجاه وخالٍ من آلية الانتباه لمعالجة اللغات الطبيعية بكفاءة للسياقات الطويلة" (المنشورة كبحث في مؤتمر ICLR 2026).

1. بيان المشكلة

تُعد المشفرات مسبقة التدريب ثنائية الاتجاه والمدمجة (مثل BERT) هي العمود الفقري للغات الطبيعية في القطاع الصناعي نظرًا لقدرتها على توفير تمثيلات سياقية عالية الجودة. ومع ذلك، فهي تواجه عقبتين حرجتين:

عنق زجاجة القابلية للتوسع: تسبب آليات الانتباه الذاتي القياسية في نماذج Transformer تعقيدًا تربيعيًا ( $O(N^2)$ ) من حيث الوقت والذاكرة بالنسبة لطول التسلسل $N$ . وهذا يجعل توسيع نوافذ السياق إلى تسلسلات طويلة (مثل 10 آلاف إلى 100 ألف توكن) أمرًا باهظ التكلفة من الناحية الحسابية في عمليات النشر ذات التكلفة المحدودة.
الجمود المعماري: بينما أظهرت البنى الحديثة غير المعتمدة على الانتباه (مثل Avey) وعودًا في بيئات التوليد التلقائي (decoder-only) للسياقات الطويلة، إلا أنها لم تُكيف بنجاح مع نموذج المشفر ثنائي الاتجاه فقط (encoder-only)، وهو أمر ضروري للمهام التمييزية مثل تصنيف الرموز (token classification)، واسترجاع المعلومات، والأسئلة والأجوبة الاستخراجية.

غالبًا ما تعاني البدائل الحالية (الانتباه الخطي، الشبكات العصبية المتكررة RNNs، ونماذج حالة الفضاء SSMs) في مضاهاة جودة السياق ثنائي الاتجاه لنماذج Transformer أو تفشل في التكيف بفعالية مع إعدادات المشفر فقط.

2. المنهجية: بنية Avey-B

يقترح المؤلفون Avey-B، وهو إعادة صياغة لبنية Avey التوليدية (autoregressive) والخالية من الانتباه لتصبح مشفرًا ثنائي الاتجاه. تحافظ Avey-B على الآلية الأساسية المتمثلة في تقسيم التسلسلات إلى أجزاء (splits) واسترجاع السياق ذي الصلة عبر مصنف (Ranker)، ولكنها تقدم ثلاثة ابتكارات معمارية رئيسية لتمكين المعالجة ثنائية الاتجاه وتحسين الاستقرار والكفاءة.

أ. السياق ثنائي الاتجاه

على عكس Avey الأصلية التي تستخدم قناعًا سببيًا (causal mask)، تقوم Avey-B بإزالة القيد السببي في المعالج العصبي (Neural Processor). يسمح هذا لكل "توكن" داخل الجزء الواحد بالانتباه إلى السياقات اليمنى واليسرى معًا، مما يتيح تعلم تمثيل ثنائي الاتجاه كامل مع الحفاظ على آلية الاسترجاء القائمة على الأجزاء.

ب. فصل المعلمات الثابتة والديناميكية

في Avey الأصلية، يقوم المخصص السياقي بضرب الأوزان الثابتة المتعلمة مع درجات تشابه جيب التمام المعتمدة على المدخلات ضربًا عنصريًا. حدد المؤلفون هذا كصدر لعدم الاستقرار، حيث يمكن للأوزان المتعلمة أن تعكس درجات التشابه العالية، مما ينتهك مبدأ الرتابة (monotonicity) للأهمية (أي أن الرمز الأكثر صلة قد يساهم بشكل أقل من رمز أقل صلة).

الحل: تقوم Avey-B بـ فصل هذه العمليات عبر تبادل الطبقات:
- الطبقات الثابتة (Static Layers): تطبق تحويلًا خطيًا متعلمًا (مصفوفة التضمين المتقاطع) مستقلًا عن تشابه المدخلات.
- **الطبقات الديناميكية (Dynamic Layers): تحسب السياق بناءً فقط على درجات تشابه جيب التمام المعتمدة على المدخلات (المطبعة/normalized).
الفائدة: يحافظ هذا على ضمان الرتابة داخل الطبقات الديناميكية (تشابه أعلى $\leftarrow$ وزن أعلى) مع السماح للطبقات الثابتة بتشكيل التمثيلات وإدخال أنماط تثبيط دون تعطيل الترتيب القائم على التشابه.

ج. درجات التشابه الموحدة صفّيًا

لتحقيق استقرار التدريب في الطبقات الديناميكية، تقوم Avey-B بتوحيد درجات تشابه جيب التمام عن طريق المجموع الصفّي (قسمة كل درجة على مجموع الدرجات في ذلك الصف).

الفائدة: يخلق هذا مؤثرًا ستوكاستيًا (احتماليًا) صفّيًا يحد من كسب الربح لكل صف، ويمنع انفجار القيم المفردة مع زيادة العمق، ويحسن التكييف العددي مقارنة بطرق Softmax أو الطرق غير الموحدة.

د. الضغط العصبي

في الاستدلال ثنائي الاتجاه، يجب سياقة كل جزء مع أفضل $k$ من الأجزاء المسترجعة. إن دمج هذه الأجزاء مباشرة سيؤدي إلى تضخم طول التسلسل بمعامل قدره $k+1$ ، مما يلغي مكاسب الكفاءة.

الحل: تقدم Avey-B ضاغطًا عصبيًا (Neural Compressor) داخل المصنف (Ranker). يقوم بخرائط الكتلة المدمجة من $(k+1)$ جزء إلى حجم الجزء الأصلي $S$ عبر إسقاط خطي متعلم.
الفائدة: يعمل المعالج العصبي بميزانية ثابتة من الرموز ( $S$ ) بغض النظر عن قيمة $k$ . يسمح هذا للنموذج باسترجاع سياق كبير ( $k$ ) من أجل الصلة دون تحمل التكلفة الحسابية لمعالجة كل تلك الرموز، مما يحقق مقياسًا خطيًا $O(N)$ في الممارسة العملية.

3. المساهمات الرئيسية

بنية Avey-B: أول مشفر ثنائي الاتجاه ناجح وخالٍ من الانتباه يفصل بين المعلمات الثابتة والديناميكية لضمان تحديثات صلة رتيبة ومستقرة.
مخطط الضغط العصبي: آلية مبتكرة لضغط السياق المسترجع، مما يتيح معالجة فعالة للسياق الطويل في الإعدادات ثنائية الاتجاه دون التضحية بفوائد نوافذ الاسترجاع الكبيرة.
التقييم الشامل: دراسات استقصائية واسعة النطاق ومقارنات مع مشفرات Transformer الرائدة (BERT, RoBERTa, ModernBERT, NeoBERT).
المصدر المفتوح: إصدار التنفيذ الكامل ونقاط التحقق المدربة مسبقةً لتعزيز قابلية التكرار.

4. النتائج التجريبية

الفعالية (الدقة)

تم تقييم Avey-B على معايم قياسية عبر أربع فئات: تصنيف التسلسل (SC)، تصنيف الرموز (TC)، الأسئلة والأجوبة (QA)، واسترجاع المعلومات (IR).

الأداء: تتفوق Avey-B باستمرار على BERT و NeoBERT عبر جميع المعايك.
TC & IR: تحقق نتائج هي الأفضل في فئتها (SOTA) في مهام تصنيف الرموز واسترجاع المعلومات، متجاوزة حتى نماذج Transformer الضخمة (ModernBERT, RoBERTa). ومن الملاحظ أن نموذج Avey-B الأساسي يتفوق على مشفرات Transformer الكبيرة في مهام TC و IR رغم تدريبه على عدد رموز أقل بنحو 11 ضعفًا من ModernBERT.
المتانة: تظهر Avey-B تباينًا أقل عبر البذور العشوائية (random seeds) مقارنة بالعديد من خطوط أساس Transformer، مما يشير إلى استقرار أعلى في التحسين.

الكفاءة (القابلية للتوسع)

قاس المؤلفون معدل الإنتاجية وزمن الاستجابة على وحدات NVIDIA H200 عبر أطوال تسلسل من 128 إلى 96 ألف توكن.

سلوك التوسع: تظهر Avey-B توسعًا خطيًا ( $O(N)$ ) في الإنتاجية، بينما تظهر نماذج Transformer تدهورًا تربيعيًا.
اضمحلال قانون القوة: عند ملاءمة نموذج قانون القوة $T(N) \propto N^{-\alpha}$ $T (N) \propto N^{- α}$ :
- Avey-B: $\alpha \approx 0.44$ (محسن) / $0.33$ (غير محسن).
- ModernBERT: $\alpha \approx 0.77$ (محسن).
- NeoBERT: $\alpha \approx 0.81$ (محسن).
**ميزة زمن الاستج: عند 96 ألف توكن، تعد Avey-B أسرع بـ 3.38 مرة من ModernBERT و أسرع بـ 11.63 مرة من NeoBERT.
استرجاع السياق الطويل (NIAH): في اختبارات "الإبرة في كومة القش" (Needle-in-a-Haystack) حتى 96 ألف توكن، تحافظ Avey-B على دقة عالية (تنخفض بنسبة ~3-4 نقاط فقط من 1 ألف إلى 96 ألف)، بينما تفشل نماذج Transformer في التوسع خارج نوافذ التدريب الخاصة بها (4k–8k) أو تنهار بسبب خطأ نفاذ الذاكرة (OOM).

5. الأهمية

ما وراء الانتباه: تتحدى الورقة العقيدة القائلة بأن الانتباه الذاتي هو المسار الوحيد الممكن لمشفرات ثنائية الاتجاه عالية الأداء. فهي تثبت أن البنى المعتمدة على الاسترجاء والخالية من الانتباه يمكن أن تضاهي أو تتجاوز أداء Transformer.
الجدوى الصناعية: تقدم Avey-B حلاً عمليًا للصناعات التي تتطلب معالجة عالية الإنتاجية ومنخفضة زمن الاستجابة للوثائق الطويلة (مثل النصوص القانونية أو الطبية أو المالية) حيث تصبح تكاليف Transformer باهظة.
الرؤى المعمارية: توفر النتائج المتعلقة بـ البارامترية المفصولة و التوحيد الصفّي مبادئ تصميم جديدة لبناء شبكات عميقة مستقرة وغير معتمدة على الانتباه تتجنب التفاعلات المرضية بين الأوزان المتعلمة والدرجات المعتمدة على المدخلات.

باختصار، تمثل Avey-B خطوة كبيرة للأمام في مجال معالجة اللغات الطبيعية الفعالة، حيث تقدم بديلًا ثنائي الاتجاه وقابلًا للتوسع لـ Transformers، يتفوق في كل من الدقة وكفاءة السياق الطويل.