🤖 machine learning

Scaling Categorical Flow Maps

تُظهر هذه الورقة البحثية قابلية التوسع لخرائط التدفق الفئوي (Categorical Flow Maps) من خلال تدريب نموذج بـ 1.7 مليار معلمة على 2.1 تريليون توكن لتوليد نصوص عالية الجودة في أربع خطوات فقط، مع وضع حد احتمالي للتقييم وتقديم رؤى رئيسية حول تحديات التدريب مثل وزن الخسارة وجدولة الوقت.

المؤلفون الأصليون: Oscar Davis, Anastasiia Filippova, Pierre Ablin, Victor Turrisi, Amitis Shidani, Marco Cuturi, Louis Béthune

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Oscar Davis, Anastasiia Filippova, Pierre Ablin, Victor Turrisi, Amitis Shidani, Marco Cuturi, Louis Béthune

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: طريقة جديدة لكتابة النصوص

لفترة طويلة، كانت الطريقة الأفضل للكمبيوترات لكتابة النصوص (مثل روبوتات الدردشة أو مولدات القصص) هي النماذج التتابعية (Autoregressive - AR). تخيل كاتباً يبني الجملة كلمة بكلمة، مثل وضع الطوب؛ يكتب الكلمة الأولى، ثم الثانية، ثم الثالثة. هذه الطريقة موثوقة، لكنها بطيئة لأن الكاتب يجب أن ينتظر جفاف كل طوبة قبل وضع التالية.

مؤخراً، حاول العلماء نهجاً مختلفاً يسمى الانتشار (Diffusion). تخيل نحاتاً يبدأ بكتلة من الرخام مغطاة بالضجيج (التشويش) ثم يقوم ببطء بنحت الضجيج ليكشف عن التمثال. هذا النهج رائع للصور، لكن بالنسبة للنصوص، كان الأمر صعباً لأن النصوص تتكون من "كتل" متميزة (كلمات)، وليس من طين ناعم.

تقدم هذه الورقة البحثية طريقة جديدة تسمى خرائط التدفق الفئوي (Categorical Flow Maps - CFMs). فكر في هذا كأنه قطار فائق السرعة يسافر من محطة فوضوية وصاخبة مباشرة إلى وجهة محددة وجميلة (جملة مثالية) في عدد ق few من المحطات فقط، بدلاً من النحت ببطء أو وضع الطوب واحداً تلو الآخر.

المشكلة: التوسع (Scaling Up)

نجحت التجارب السابقة مع طريقة "القطار" هذه في النماذج الصغيرة (مثل سيارة لعبة)، لكن لم يكن أحد يعرف ما إذا كان بإمكانها التعامل مع قطار ضخم وحقيقي (نموذج بمليارات المعلمات). كان الخوف هو أن الرياضيات المطلوبة لتشغيل هذا القطار ستصبح ثقيلة جداً وتؤدي إلى انهيار النظام.

ادعاء الورقة البحثية: قام المؤلفون ببناء نموذج ضخم يحتوي على 1.7 مليار معلمة، وأثبتوا أن طريقة "القطار" هذه تعمل على نطاق واسع جداً. لقد تمكنوا من توليد نصوص عالية الجودة في 4 خطوات (محطات) فقط، بينما قد تحتاج الطرق الأخرى إلى مئات الخطوات.

كيف فعلوا ذلك (الوصفة)

لم يقم المؤلفون بمجرد تشغيل الآلة؛ بل كان عليهم ضبط المحرك بعناًية. استخدموا عملية مكونة من مرحلتين:

1. المرحلة الأولى: المعلم (التدريب المسبق)
أولاً، قاموا بتدريب نموذج قياسي لفهم كيفية الانتقال من الضجيج إلى النص. فكر في هذا كمعلم يتعلم الخريطة. لقد اختبروا أكثر من 350 إعداداً مختلفاً (مثل تغيير مزيج الوقود أو سرعة القطار) للعثور على الوصفة المثالية. وجدوا أن خلط جداول زمنية مختلفة وتعديل مدى "استماع" النموذج لأخطائه كان أمراً حاسماً.

2. المرحلة الثانية: الطالب (التقطير الذاتي)
بمجرد أن يصبح المعلم جاهزاً، استخدموا تقنية تسمى التقطير الذاتي (Self-Distillation). تخيل المعلم وهو يظهر للطالب طريقاً مختصراً: "لا تمشِ الطريق كاملاً؛ فقط اقفز من البداية إلى النهاية".

يتعلم الطالب التنبؤ بالوجهة النهائية مباشرة من الضجيج، متجاوزاً الرحلة البطيئة خطوة بخطوة.
وجدت الورقة أن هذا "الطريق المختصر" يسمح للنموذج بتوليد نصوص متنوعة وعالية الجودة في 4 خطوات فقط، مع الحفاظ على تنوع الكلمات (الاعتلاج/الإنتروبي) عالياً، حتى لا يبدو الكلام آلياً أو مكرراً.

النتائج: السرعة مقابل الجودة

تقارن الورقة بين ثلاث طرق رئيسية لتوليد النصوص:

التتابعي (باني الطوب): بطيء، لكنه دقيق جداً.
الانتشار القياسي (النحات): يمكن أن يكون سريعاً، لكنه غالباً ما يعاني من جودة النصوص.
خرائط التدفق الفئوي (القطار فائق السرعة): تظهر الورقة أن هذه الطريقة تصل إلى "النقطة المثالية".

النتائج الرئيسية:

السرعة: مع تدريب "الطريق المختصر"، يمكن للنموذج إنتاج نصوص في 4 خطوات تكون بجودة تقارب طريقة "باني الطوب" البطيئة.
الجودة: النصوص التي يتم توليدها متنوعة ولا تنهار في حالة من الهراء (وهي مشكلة شائعة حيث تكرر النماذج نفس الكلمة مراراً وتكراراً).
التقييم: أنشأوا طريقة رياضية جديدة لـ "تقدير" ثقة النموذج (الاحتمالية)، مما أظهر أنه ينافس الطرق الأخرى غير التتابعية.

التحديات (العقبات في الطريق)

كان المؤلفون صريحين بشأن الصعوبات:

الجوع للذاكرة: لتشغيل هذا "القطار"، يحتاج الكمبيوتر إلى الاحتفاظ بخريطة ضخمة لكل كلمة ممكنة في كل موضع من مواضع الجملة. بالنسبة لنموذج كبير، يتطلب هذا الكثير من الذاكرة (لقد استخدموا 256 وحدة معالجة رسومية قوية للقيام بذلك).
الضبط صعب: حاولوا استخدام طريقة "Zero-shot" (نسخ الإعدادات من نموذج صغير إلى نموذج كبير تلقائياً)، لكنها لم تعمل بشكل جيد. كان عليهم لاحقاً ضبط النموذج الكبير يدوياً، وهو أمر مكلف ويستغرق وقتاً طويلاً.

الملخص

تثبت هذه الورقة أن خرائط التدفق الفئوي هي بديل قابل للتوسع والعمل لأسلوب "بناء الطوب" التقليدي في كتابة النصوص. من خلال تدريب نموذج ضخم لأخذ "طرق مختصرة" من الضجيج إلى النص، حققوا توليد نصوص عالية الجودة في خطوات قليلة فقط، مما يفتح آفاقاً لنماذج لغوية أسرع وأكثر مرونة.

ملخص تقني: توسيع نطاق خرائط التدفق الفئوية (Scaling Categorical Flow Maps)

بيان المشكلة

بينما تهيمن النماذج ذات الترتيب الذاتي (Autoregressive - AR) على نمذجة اللغات، أظهرت نماذج مطابقة التدفق (Flow Matching) والانتشار المستمر (Continuous Diffusion) مزايا كبيرة في الوسائط المستمرة، بما في ذلك تسريع أخذ العينات وإمالة التوزيع (Distribution Tilting). ويعد توسيع هذه المزايا لتشمل البيانات المنفصلة هدفاً رئيسياً للأبحاث الحديثة. فالنهج السابق، مثل الانتشار المنفصل (Discrete Diffusion)، يعمل على شبكات منفصلة، مما يحد من تطبيق التقنيات المستمرة الراسخة. وفي المقابل، تقوم عمليات الحالة المستمرة (مثل خرائط التدفق الفئوية أو CFMs) بتوليد بيانات منفصلة عبر تطوير توزيع احتمالي فوق "سيمبلكس" (Simplex) مستمر أو $\mathbb{R}^d$ .

وعلى الرغم من التجارب الأخيرة التي أثبتت قدرة نماذج CFMs على تحقيق جودة عينات تنافسية في أنظمة الخطوات القليلة، إلا أن قابليتها للتوسع ظلت غير مثبتة. فقد كان من غير الواضح ما إذا كانت نماذج CFMs قادرة على التوسع إلى نطاق المليارات من المعلمات (Parameters) والتريليونات من الرموز (Tokens) المطلوبة لنماذج اللغات الكبيرة (LLMs) الحديثة. وتتمثل العقبة التقنية الرئيسية في التكاليف الحسابية والذاكرة: فبالنسبة لحجم مفردات $|V|$ وطول سياق $L$ ، تتطلب نماذج CFMs تجسيد مصفوفات "اللوجيت" (Logit Matrices) بحجم $L \times |V|$ عند كل خطوة، وهو أمر قد يكون باهظ التكلفة عندما يكون $|V| \approx 200,000$ و $L$ كبيراً.

المنهجية

يقترح المؤلفون خط تدريب مكون من مرحلتين لتوسيع نطاق CFMs إلى نموذج بـ 1.7 مليار معلمة مدرب على 2.1 تريليون رمز.

1. التدريب المسبق لنموذج التدفق (Pretraining a Flow Model)

تتضمن المرحلة الأولى تدريب نموذج مطابقة تدفق قياسي (Denoiser) لتقريب تدفق الاحتمالات.

البنية (Architecture): نموذج محول (Transformer) بـ 1.7 مليار معلمة مع تعديل AdaLN-Zero، وتضمينات موضع دورانية (Rotary Position Embeddings)، وMLPs من نوع SwiGLU، مع اتباع قيود "ليبشيتز" (Lipschitz) لضمان الاستقرار.
الهدف (Objective): يتم تدريب النموذج لتقليل خسارة الإنتروبيا المتقاطعة (Cross-Entropy Loss) (المعادلة 2.10) بين النهاية المتوقعة والبيانات الحقيقية، مما يؤدي فعلياً إلى تعلم حقل المتجهات $v_\theta$ .
استكشاف فضاء التصميم (Design Space Exploration): قبل التوسع، أجرى المؤلفون مسحاً شاملاً للمتغيرات الفائقة (350+ تكوين) على نموذج وسيط بقدر 400 مليون معلمة. وشملت النتائج الرئيسية ما يلي:
- جدولة الوقت (Time Scheduling): أدى استخدام مزيج من الجدولة الخطية وجدولة "فك التشفير بالخطأ" ( $\alpha_t = (1-\lambda)t + \lambda\gamma_t$ ) مع $\lambda \approx 0.75$ إلى أداء مثالي. بينما تسبب استخدام "فك التشفير بالخطأ" الصرف ( $\lambda=1$ ) في انهيار الأداء.
- وزن الخسارة التكيفي (Adaptive Loss Weighting): أدى إعادة وزن الخسارة بناءً على خطأ التنبؤ ( $w(x) = \text{sg}((\Delta(x) + c)^{-r})$ ) إلى تحسين الارتباك التوليدي (Gen PPL) ولكنها تطلبت ضبطاً دقيقاً للحفاظ على الأمانة التوزيعية (MAUVE*).
- إزالة القناع العشوائي (Random Unmasking): كان التدريب باستخدام احتمالية $p > 0$ لإزالة القناع عن بادئة عشوائية أمراً ضرورياً لتوليد نصوص شرطية متماسكة؛ فبدون ذلك، أنتجت النماذج مخرجات خارج نطاق التوزيع (Out-of-distribution).

2. التقطير الذاتي إلى خريطة تدفق فئوية (Self-Distillation into a CFM)

تحول المرحلة الثانية نموذج التدفق المدرب مسبقاً إلى CFM قادر على توليد عينات عالية الجودة في خطوات قليلة.

الآلية (Mechanism): يتعلم النموذج خريطة تدفق $X_{s,t}$ تنقل الكتلة الاحتمالية من الزمن $s$ إلى $t$ في خطوة واحدة، بدلاً من دمج معادلة التفاضل (ODE) عبر خطوات متعددة.
دوال الخسارة (Loss Functions): قيم المؤلفون التقطير الذاتي التقدمي (PSD) والتقطير الذاتي لـ "اللوجيت الإقليدي المستقر" (ESD).
- PSD: يستخدم نهج نموذج الاختصار في الزمن المستمر.
- اختيار التباعد (Divergence Choice): قارن المؤلفون بين "الإنتروبيا المتقاطعة الأمامية" (Forward KL)، و"الإنتروبيا المتقاطعة العكسية" (Reverse KL)، و"تباعد جينسن-شانون" (JSD). ووجدوا أن Forward KL و JSD حسّنا من إنتروبيا الرموز ودرجة MAUVE*، بينما تسبب Reverse KL في عدم الاستقرار وانهيار النمط (Mode Collapse).
- الاستقرار (Stability): ثبت عدم استقرار تدريب ESD عند مقياس 1.7 مليار معلمة بسبب تقديرات "الجاكوبي" (Jacobian) عالية التباين (المحسوبة عبر الفروق المحدودة)، مما دفع المؤلفين للتركيز على نتائج PSD.
أخذ العينات (Sampling): يقوم CFM النهائي بتوليد النصوص عبر أخذ عينات من "المنطلق" (Prior) وتطبيق خريطة التدفق المتعلمة $X_{0,1}$ في تمريرة واحدة (أو تمريرات قليوة)، مما يقلل وقت الاستدلال بشكل كبير.

3. تقدير الاحتمالية (Likelihood Estimation)

لتقييم نماذج CFM على معايير قياسية تعتمد على الاحتمالية (مثل MCQA)، اشتق المؤلفون حد ELBO شبه المنفصل (Semi-discrete ELBO). يسمح هذا الحد بتسجيل خيارات الإجابة دون الحاجة إلى التكامل العكسي المكلف لـ ODE، والذي يعد مكلفاً بشكل خاص في البيئات عالية الأبعاد المنفصلة.

المساهمات الرئيسية

إثبات القابلية للتوسع (Scalability Demonstration): نجح المؤلفون في تدريب نموذج تدفق بـ 1.7 مليار معلمة على 2.1 تريليون رمز وتقطيره ذاتياً إلى CFM، مما يثبت أن نماذاج CFMs يمكن أن تتوسع إلى نطاق المليارات من المعلمات.
اكتشاف المتغيرات الفائقة (Hyperparameter Discovery): من خلال مسح منهجي على نموذج وسيط بـ 400 مليون معلمة، حددوا إعدادات قوية لجدولة الوقت، ووزن الخسارة، وإزالة القناع عن المدخلات، والتي انتقلت بنجاح إلى المقاييس الأكبر.
التوليد في خطوات قليلة (Few-Step Generation): يحقق CFM المقطر ذاتياً توليد نصوص متنوعة وعالية الجودة في 4 خطوات استدلال (NFE) فقط، مع الحفاظ على إنتروبيا الرموز القريبة من مستوى البيانات، متفوقاً على نموذج التدفق غير المقطر في نظام NFE المنخفض.
حد الاحتمالية (Likelihood Bound): يتيح تقديم حد ELBO شبه المنفصل تقييم نماذج CFM على معايير نمذجة اللغة القياسية، مما يضع أداءها في نفس نطاق الطرق الأخرى غير التكرارية (Non-autoregressive).
تحليل القيود (Limitations Analysis): يتناول البحث صراحةً مشكلة اختناق الذاكرة الناتجة عن تجسيد مصفوفات $L \times |V|$ وتحديات انتقال المتغيرات الفائقة الصفري (Zero-shot transfer) للهياكل المشروطة زمنياً.

النتائج

الجودة مقابل الخطوات (Quality vs. Steps): يحقق CFM المقطر ذاتياً ارتباكاً توليدياً (Gen PPL) يبلغ حوالي 58.66 عند 1024 خطوة (وهو منافس لـ 45.33 الخاص بأساس AR)، ودرجة MAUVE* تبلغ حوالي 0.94. والأهم من ذلك، عند 4 خطوات فقط، يحقق CFM درجة MAUVE* تبلغ حوالي 0.88، متفوقاً بشكل كبير على أساس AR (0.7) في نظام الخطوات القليلة.
إنتروبيا الرموز (Token Entropy): يحافظ التقطير الذاتي على إنتروبيا الرموز العالية (التنوع) حتى في NFE المنخفض، بينما تميل النماذج غير المقطرة إلى الانهيار (إنتروبيا منخفضة) في نظام 1-2 خطوة.
أداء الاختبارات المعيارية (Benchmark Performance): في اختبارات MCQA (مثل ARC-E، BoolQ، OBQA، إلخ)، يحقق CFM دقة مقاربة للطرق الأخرى غير التكرارية (مثل Eso-LM)، ولكنه يظل دون طرق الانتشار المنفصلة المدربة مباشرة على تعظيم ELBO.
التوليد الشرطي (Conditional Generation): تُظهر النماذج المقطرة ذاتياً تحسناً ملحوظاً في $\Delta$ PPL (الارتباك الشرطي) في نظام الخطوات القليلة مقارنة بالنموذج غير المقطر.

الأهمية والادعاءات

يدعي البحث أن خرائط التدفق الفئوية (Categorical Flow Maps) هي مسار قابل للتطبيق لتوليد البيانات المنفصلة بمقياس نماذج اللغات الكبيرة الحديثة. ومن خلال النجاح في التوسع إلى 1.7 مليار معلمة، يثبت المؤلفون أن "أدوات خريطة التدفق" (Flow map toolbox) — بما في ذلك التوجيه (Guidance)، وإمالة التوزيع (Distribution Tilting)، وضبط المكافأة (Reward Fine-tuning) — أصبحت الآن متاحة لنمذجة اللغة.

ويشير العمل إلى أن التوليد في الحالة المستمرة يمكن أن يقايض الحوسبة بجودة العينات، مما يتيح توليد نصوص عالية الجودة في عدد أقل بكثير من تقييمات الدالة (Function Evaluations) مقارنة بنماذج الانتشار أو النماذج ذات الترتيب الذاتي التقليدية. وبينما يشير المؤلفون إلى أن تقدير الاحتمالية لا يزال مجالاً مفتوحاً للتحسين (حيث أن ELBO المستمد هو حد فقط)، فإن النتائج تشير إلى أن نماذج CFMs يمكن أن تحقق أداءً تنافسياً مع نماذج الانتشار المنفصلة، مع فتح آفاق جديدة لتوجيه وضبط نماذج اللغات بما يتجاه مجرد توليد مخرجات معقولة.