💬 NLP

CoFrGeNet: Continued Fraction Architectures for Language Generation

تقدم هذه الورقة البحثية CoFrGeNets، وهي عائلة معمارية مبتكرة مستوحاة من الكسور المستمرة تستبدل مكونات المحولات (Transformer) القياسية ببدائل كفؤة من حيث المعلمات، محققةً أداءً تنافسيًا أو متفوقًا في النماذج اللغوية واسعة النطاق بعدد أقل بكثير من المعلمات وأوقات تدريب مسبق أقصر.

المؤلفون الأصليون: Amit Dhurandhar, Vijil Chenthamarakshan, Dennis Wei, Tejaswini Pedapati, Karthikeyan Natesan Ramamurthy, Rahul Nair

نُشر 2026-05-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Amit Dhurandhar, Vijil Chenthamarakshan, Dennis Wei, Tejaswini Pedapati, Karthikeyan Natesan Ramamurthy, Rahul Nair

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوتًا عملاقًا وذكيًا للغاية، يكتب القصص، ويجيب على الأسئلة، ويحل المشكلات. هذا الروبوت مبني باستخدام مخطط هندسي محدد يسمى Transformer (المحول). لسنوات، كان هذا المخطط هو المعيار الذهبي، لكنه ثقيل، ومكلف في التشغيل، ويتطلب قدرًا هائلًا من "قوة الدماغ" (المعلمات/Parameters).

تقدم هذه الورقة البحثية مخططًا جديدًا يسمى CoFrGeNet. فكر في الأمر كطريقة لإعادة بناء دماغ الروبوت باستخدام خدعة رياضية أكثر كفاءة تسمى الكسور المستمرة (Continued Fractions).

إليك تفصيل اكتشافهم، مشروحًا ببساطة:

١. المشكلة: الروبوت ثقيل جدًا

تعتمد نماذج الذكاء الاصطناعي الحالية (مثل GPT-2 أو Llama الشهيرين) على محركين رئيسيين للتفكير:

محرك الانتباه (Attention Engine): يساعد الروبوت على النظر إلى الكلمات السابقة لفهم السياق (مثل تذكر ما قلته قبل خمس جمل).
محرك التغذية الأمامية (Feed-Forward Engine): حيث يقوم الروبوت فعليًا بمعالجة المعلومات واتخاذ القرارات.

هذه المحركات قوية ولكنها ثقيلة. فهي تتطلب ملايين التروس (المعلمات) لتدور، مما يجعل بناء الروبوت بطيئًا ومكلفًا.

٢. الحل: "سلم" بدلاً من "جدار"

نظر المؤلفون إلى مفهوم رياضي قديم يسمى الكسر المستمر (Continued Fraction). تخيل كسرًا لا يتوقف فحسب، بل يستمر في النزول مثل السلم:
$a_0 + \frac{1}{a_1 + \frac{1}{a_2 + \dots}}$

في الماضي، حاول الناس استخدام فكرة هذا "السلم" للمسائل الرياضية البسيطة. لكن هذه الورقة تسأل: هل يمكننا استخدام هذا السلم لبناء دماغ روبوت كامل؟

لقد أنشأوا CoFrGeNets (شبكات توليدية ذات كسور مستمرة). بدلاً من استخدام المحركات الثقيلة والمعيارية، استبدلوها بهذه السلالم الرياضية.

السحر: يمكن لهذه السلالم القيام بنفس وظيفة المحركات الثقيلة ولكن بـ تروس أقل.
النتيجة: لقد بنوا نماذج أصغر بنسبة ٣٣٪ إلى ٥٠٪ (معلمات أقل) من العمالقة الأصليين، ومع ذلك لا تزال تعمل بنفس الكفاءة، أو حتى بشكل أفضل أحيانًا.

٣. عنق زجاجة "القسمة" (وكيف قاموا بإصلاحه)

كان هناك عقبة. حساب هذه السلالم يتضمن الكثير من عمليات القسمة (تقسيم الأرقام). في الأجهزة الحاسوبية، القسمة تشبه محاولة دفع صخرة ثقيلة إلى أعلى التل — فهي بطيئة ومستهلكة للطاقة مقارًا بالضرب.

إذا كان لديك سلم عميق مكون من ١٠٠ درجة، فإن إجراء عملية قسمة عند كل درجة سيجعل الروبوت بطيئًا للغاية.

الابتكار:
أدرك المؤلفون أنه يمكنهم استخدام اختصار رياضي (يسمى Continuants) لحساب السلم بأكمله دفعة واحدة.

الطريقة القديمة: إجراء ١٠٠ عملية قسمة للحصول على الإجابة.
الطريقة الجديدة: القيام بالعملية الحسابية مرة واحدة، وإجراء عملية قسمة واحدة فقط في النهاية.

هذا يشبه إدراك أنك لست بحاجة لتسلق كل درجة في السلم للوصول إلى القمة؛ يمكنك فقط اتخاذ قفزة عملاقة باستخدام اختصار محسوب. جعل هذا النماذج الخاصة بهم أسرع بكثير في التدريب والتشغيل.

٤. كيف اختبروا ذلك

لم يكتفوا ببنائه فح' بل وضعوه تحت الاختبار ضد العمالقة:

نماذج الاختبار: استبدلوا أجزاءً من GPT-2-xl (نموذج بـ ١.٥ مليار معلمة) و Llama3 (نموذج بـ ٣.٢ مليار معلمة).
التدريب: علموا هذه النماذج الجديدة كميات هائلة من النصوص من الإنترنت (OpenWebText، وGneissWeb، ومزيج من المستندات).
النتائج:
- أصغر: كانت النماذج الجديدة أصغر حجمًا بشكل ملحوظ.
- أسرع: تدربت بشكل أسرع وعملت بشكل أسرع.
- أذكى (أو مساوية): عند اختبارهم على مهام فهم القراءة، والإجابة على الأسئلة، والاستنتاج، طابقت نماذج CoFrGeNet الأصغر النماذج الأصلية الأكبر بكثير أو تفوقت عليها.

٥. خدعة "جدول التدريب"

اكتشفوا أيضًا أنه لا يمكنك ضبط جميع الأزرار في الروبوت في وقت واحد. فقد ابتكروا "جدول تدريب" خاصًا (خطة تعلم خطوة بخوة).

التشبيه: تخيل تعليم طفل ركوب الدراجة. أنت لا تجعله يبدل الدواسات، ويوجه المقود، ويحافظ على التوازن جميعًا في اليوم الأول. تبدأ بعجلات التدريب، ثم تسمح له بالتوجيه، ثم تسمح له بتبديل الدواسات.
النتيجة: من خلال تحديث الأجزاء "الأعمق" من سلمهم أولاً ثم فتح الأجزاء الأخرى ببطء، تعلمت النماذج بشكل أكثر استقرارًا وأداءً أفضل.

الملخص

تزعم الورقة أنه من خلال استبدال الأجزاء "الثقيلة" القياسية لنماذج الذكاء الاصطناعي بهذا الهيكل الرياضي الذكي القائم على "السلم"، يمكننا بناء نماذج ذكاء اصطناعي أصغر، وأسرع، وأرخص، وتكون بنفس جودة النماذج الضخمة التي نستخدمها اليوم في الكتابة والتفكير.

ما لم يزعموه:

لم يزعموا أن هذا يعمل للتشخيص الطبي أو الاستخدامات السريرية.
لم يزعموا أن هذا يحل مشكلات سلامة الذكاء الاصطناعي (في الواقع، أشاروا إلى أن هذه النماذج لا تزال يمكن أن "تهلوس" أو ترتكب أخطاء تمامًا مثل النماذج الأخرى).
لم يزعموا أن هذا جاهز للاستخدام التجاري الفوري، بل إنه هيكل واعد للأبحاث المستقبلية وسير العمل الصناعي.

ملخص تقني: CoFrGeNet – بنيات الكسور المستمرة لتوليد اللغة

بيان المشكلة

أصبحت نماذج المحولات (Transformers) هي البنية المهيمنة في توليد اللغة، حيث تعتمد على الانتباه متعدد الرؤوس (Multi-head Attention) والشبكات التغذية الأمامية (FFNs) ذات الطبقات الخفية الكبيرة. ومع ذلك، تفرض هذه المكونات عبئاً حسابياً كبيراً، لا سيما من حيث عدد المعلمات ووقت التدريب. وبينما تم اقتراح تقريبات متنوعة (مثل الانتباه المتفرق أو الانتباه الخطي) لتحسين الكفاءة، لا تزال هناك حاجة إلى فئات وظيفية مختلفة جوهرياً يمكنها استبدال هذه المكونات الأساسية مع الحفاظ على الأداء أو تحسينه.

قدمت الأعمال السابقة CoFrNets (شبكات الكسور المستمرة) للتعلم الخاضع للإشراف، مستخدمةً بنية تشبه السلم مستوحاة من الكسور المستمرة. ومع ذلك، فإن تكييف هذه البنية للنمذجة التوليدية يطرح ثلاثة تحديات محددة:

المخرجات متعددة الأبعاد: تتطلب النماذج التوليدية إنتاج مخرجات عالية الأبعاد، على عكس المخرجات القياسية (scalar) التي تُرى غالباً في الإعدادات الخاضعة للإشراف.
تعلم وظائف أغنى: يجب أن تتعلم البنية تمثيلات معقدة مناسبة لنمذجة التسلسل.
القيود السببية: يجب أن يتعلم النموذج معاملات تعتمد فقط على الرموز (tokens) السابقة لضمان التوليد المتماسك.
عدم الكفاءة الحسابية: يتطلب تطبيق $1/x$ غير الخطي في الكسور المستمرة عمليات قسمة قدرها $d$ لدرجة سلم تبلغ $d$ . وبما أن عملية القسمة أبطأ بك la بشكل ملحوظ من الضرب على الأجهزة الحديثة، فإن هذا يخلق عنق زجاجة لكل من التدريب والاستدلال، خاصة مع زيادة العمق ( $d$ ) وعدد السلالم ( $L$ ).

المنهجية

1. شبكات توليد الكسور المستمرة (CoFrGeNets)

يقترح المؤلفون CoFrGeNets، وهي عائلة من البنيات التي تستبدل طبقات المحولات (Attention و FFN) بمكونات تعتمد على الكسور المستمرة. تُعرف الفئة الوظيفية الأساسية كما يلي:
$w_0x + \frac{1}{w_1x + \frac{1}{w_2x + \dots}}$
حيث $x$ هو المدخل و $w_k$ هي ناقلات المعلمات القابلة للتعلم.

2. المكونات المعمارية

تقدم الورقة تصميمات محددة لاستبدال مكونات المحولات مع الحفاظ على القيود السببية:

بديل الانتباه السببي (CAttnU و CAttnM):
- CAttnU: يستخدم سلالم CoFrNet أحادية المتغير، حيث يتم تدوير المدخلات لخلط الأبعاد عبر الرموز. لفرض السببية (منع تسرب الرموز المستقبلية)، تستخدم البنية طبقات خطية مثلثية علوية داخل المجموعات. يعمل الضرب العنصري لمخرجات مجموعتين على توليد حدود مشتركة، مما يعزز قوة التمثيل دون انتهاك التدفق السببي.
- CAttnM: يستخدم $L$ من سلالم CoFrNet لتعيين المدخلات إلى تضمينات طول التسلسل، والتي تعمل كأوزان انتباه. يتم الحفاظ على السببية من خلال تطبيق "softmax" سببي (تركيب محدب للرموز السابقة فقط) قبل وزن مصفوفة القيم.
بديل التغذية الأمامية (Cffn):
- بما أن الـ FFNs تتطلب خلط الميزات بدلاً من خلط الرموز، تستخدم البنية مجموعات من سلالم متعددة المتغيرات (حيث $p$ هو بُعد التضمين) دون تدوير المدخلات.
- تقوم طبقة خطية في النهاية بإسقاط المخرج للعودة إلى البُعد المستهدف.
- من المهم ملاحظة أن المدخل لهذه السلالم هو تمثيل مبواب وموسع غير مسبق ( $\alpha=1$ )، مما يتجنب انفجار المعلمات المعتاد في FFNs التقليدية التي غالباً ما تستخدم عامل توسيع $\alpha \gg 1$ .

3. التنفيذ الفعال عبر "المستمرات" (Continuants)

لمعالجة عدم الكفاءة الحسابية للقسمات المتكررة، اشتق المؤلفون تنفيذاً مخصصاً يعتمد على المستمرات (الحدوديات $K_k$ ).

التمرير الأمامي (Forward Pass): بدلاً من حساب الكسر طبقة تلو أخرى بعمليات قسمة $d$ ، يتم حساب الكسر المستمر كنسبة بين حدوتين (polynomials) $\tilde{f}(a) = K_{d-1} / K_d$ . يتطلب هذا حساب الحدوديات بشكل تكراري باستخدام الضرب والجمع فقط، متبوعاً بـ عملية قسمة واحدة ( $1/K_d$ ).
التمرير الخلفي (Backward Pass): اشتق المؤلفون تعبيرات مغلقة للتدرجات باستخدام خصائص المستمرات. يُعبر عن التدرج $\frac{\partial \tilde{f}}{\partial a_k}$ كنسبة من مربعات المستمرات.
التحسين: من خلال حساب $K_d$ مرة واحدة وإعادة استخدام $1/K_d$ لجميع حسابات التدرج، يتم تقليل عدد عمليات القسمة من $d$ إلى 1. وهذا يسرع بشكل كبير كلاً من التدريب والاستدلال.

4. جدول تدريب مخصص

يقترح المؤلفون جدول تحديث بارامتر ثنائي (dyadic) لاستقرار التدريب. بدلاً من تحديث جميع المعلمات في وقت واحد:

يتم تحديث المكونات الخطية من البداية.
يتم تجميد المعلمات في الأعماق الأعلى في البداية.
تبدأ التحديثات لمعلمات العمق $i$ فقط بعد $t/2^i$ من التكرارات (حيث $t$ هو إجمالي التكرارات).
هذا النهج التدريجي يمنع عدم الاستقرار خلال المراحل المبكرة من التدريب.

المساهمات الرئيسية

بنيات مبتكرة: تقديم مكونات CoFrGeNet كبدائل جاهزة للاستخدام (plug-in) لطبقات الانتباه و FFN في المحولات، مما يوفر فئة وظيفية جديدة للنمذجة التوليدية.
صياغة تدرج فعالة: اشتقاق صيغ تدرج مخصصة باستخدام المستمرات التي تقلل عدد عمليات القسمة من $d$ إلى 1 لكل سلم، مما يحسن الكفاءة العتادية بشكل جذري.
استقرار التدريب: تطوير جدول تدريب ثنائي مخصص يعمل على استقرار تدريب بنيات الكسور المستمرة العميقة.
التحقق التجريبي: التدريب المسبق والتقييم على نماذج واسعة النطاق (GPT2-xl و Llama3) لإظهار أداء تنافسي مع تقليل عدد المعلمات.

النتائج التجريبية

الإعداد

النماذج: أُجريت التجارب على GPT2-xl (1.5B) المدرب مسبقاً على OpenWebText و GneissWeb، و Llama3 (3.2B) المدرب مسبقاً على مزيج بيانات docling (2 تريليون توكن).
النماذج المرجعية (Baselines): شملت المقارنات المحولات الأصلية، و Dense Synthesizer، و Sparse Attention.
المتغيرات: CoFrGeNet-F (استبدال FFN)، CoFrGeNet-A (استبدال Attention)، و CoFrGeNet (استبدال كليهما).

الأداء

المهام اللاحقة (GLUE): حققت نماذج CoFrGeNet، رغم امتلاكها ثلثي إلى نصف عدد معلمات النماذج الأصلية، دقة تنافسية أو متفوقة في مهام التصنيف، والأسئلة والأجوبة، والاستنتاج. على سبيل المثال، تفوق CoFrGeNet-F (985M) على GPT2-xl (1.5B) في معظم معايير GLUE.
الارتباك (Perplexity): في اختبارات نمذجة اللغة (PTB, Wikitext, Lambada)، حققت متغيرات CoFrGeNet عموماً ارتباكاً أقل من المحولات المرجعية وغيرها من نماذج الانتباه الفعالة.
الكفاءة:
- وقت التدريب: قلل التنفيذ القائم على المستمر (continuant) وقت التدريب بشكل كبير مقارنة بالتنفيذ "الحرفي" (CoFrGeNetB) الذي لم يستخدم المستمرات. بالنسبة لـ GPT2-xl، انخفض وقت التدريب من حوالي 203 ساعة (B) إلى حوالي 178 ساعة (CoFrGeNet).
- وقت الاستدلال: تحسنت سرعة الاستدلال بمقدار عشرة أضعاف تقريباً للنسخة القائمة على المستمر مقارنة بالتنفيذ الحرفي.
- الإنتاجية (Throughput): في Llama3، أظهرت متغيرات CoFrGeNet إنتاجية أعلى للرموز/اليوم وقللت إجمالي وقت التدريب (على سبيل المثال، تدرب CoFrGeNet-F في 6.6 يوم مقابل 8.5 يوم للنموذج المرجعي).

الأهمية والادعاءات

يدعي البحث أن CoFrGeNets تمثل بديلاً قابلاً للتطبيق وفعالاً من حيث المعلمات لمكونات المحولات القياسية. ومن خلال الاستفادة من الخصائص الرياضية للكسور المستمرة وتحسين تنفيذها عبر المستمرات، يوضح المؤلفون أن:

يمكن بناء نماذج لغوية عالية الأداء بعدد أقل بكثير من المعلمات.
يمكن التخفيف من العائق الحسابي لعمليات القسمة في الكسور المستمرة، مما يجعل البنية عملية لتدفقات العمل الصناعية واسعة النط scale.
النهج هو "جاهز للتشغيل" (plug-and-play)، ويتطلب تغييرات طفيفة في مسارات التدريب والاستدلال الحالية.

يخلص المؤلفون إلى أن هذا العمل يضع حجر الأساس لبنيات توليد مستوحاة من الكسور المستمرة، مما قد يساهم في دمقرطة الذكاء الاصطناعي من خلال تمكين الكيانات ذات الموارد المحدودة من تدريب نماذج عالية الجودة. ومع ذلك، يشيرون إلى أن هذه النماذج لا تمتلك بطبيعتها ضمانات سلامة وتظل عرضة للهلوسة والهجمات العدائية، مما يقترح أن الأبحاث المستقبلية يجب أن تركز على معالجة هذه التحديات ضمن الشكل الوظيفي المحدد.