🤖 machine learning

Latent-Kernel Discrete Flow Maps for Few-Step Generation

تقدم هذه الورقة خرائط التدفق الكامنة ذات النواة المنفصلة (LKF)، وهي نواة خرائط تدفق مبتكرة تُبنى من الصفر تتيح توليد نصوص منفصلة عالية الجودة في خطوات قليلة، وذلك من خلال نمذجة تحديثات الرموز المترابطة عبر متغير كامن مشترك، مما يتغلب على قيود الاستقلال في النماذج المعاملة (factorized models) القياسية ويتفوق على أجهزة أخذ العينات الحالية المقطرة أو المصححة ذات الخطوات القليلة.

المؤلفون الأصليون: Mansoor Ahmed, Yue-Tsz Fan, Hemanth Venkateswara, Murray Patterson

نُشر 2026-07-31

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Mansoor Ahmed, Yue-Tsz Fan, Hemanth Venkateswara, Murray Patterson

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كتابة قصة. في الأيام الخوالي، كان الروبوت يكتب كلمة واحدة في كل مرة، مثل شخص يطبع على لوحة مفاتيح. ولكن ظهرت طريقة جديدة أسرع حيث ينظر الروبوت إلى جملة كاملة مليئة بالمساحات الفارغة (الأقنعة) ويحاول ملء جميعها دفعة واحدة. هذا يشبه رساماً لا يرسم ضربة فرشاة تلو الأخرى، بل يلقي بدلو من الطلاء على اللوحة ويأمل أن تستقر الألوان في أماكنها الصحيحة. المشكلة هي أنه إذا حاول الروبوت ملء "الـ [فراغ] [فراغ] بصوت عالٍ" دفعة واحدة، فقد يكتب بالخطأ "الكلب ينبح بصوت عالٍ" (بصيغة خاطئة لغوياً). لقد أصاب في كلمة "الكلب" وأصاب في كلمة "ينبح"، لكنه نسي أن "الكلب" و"ينبح" يجب أن يتفقا على ما إذا كانا في صيغة المفرد أو الجمع. ولأن الروبوت يقرر كل كلمة بشكل مستقل، فإنه غالباً ما يرتكب هذه الأخطاء الطفيفة، مما يضطره للعودة وإصلاحها مراراً وتكراراً، وهو أمر بطيء.

لقد حاول العلماء تسريع ذلك من خلال تعليم روبوت "طالب" أن ينسخ روبوتاً "معلماً" يجيد الكتابة بالفعل. لكن هناك عقبة: لا يمكن للطالب أبداً أن يكون أفضل من المعلم الذي ينسخه. إذا ارتكب المعلم أخطاءً، سيرتكبها الطالب أيضاً. يسأل هذا البحث سؤالاً جريئاً: هل يمكننا بناء روبوت يتعلم كتابة هذه الكلمات المترابطة والمراوغة بشكل صحيح من الصفر، دون الحاجة إلى معلم ليرشده؟ يقدم المؤلفون طريقة جديدة تسمى خرائط التدفق ذات النواة الكامنة (LKF). فكر في الأمر كأنك تعطي الروبوت "اختبار نبض" سري قبل أن يبدأ الكتابة. فبدلاً من تخمين كل كلمة بمفردها، يختار الروبوت أولاً موضوعاً سرياً واحداً (مثل "المفرد" أو "الجمع") ثم يستخدم نفس الموضوع لتحديد كل كلمة في الجملة. بهذه الطريقة، إذا اختار موضوع "الجمع"، فإنه سيكتب طبيعياً "الكلاب تنبح" بدلاً من "الكلب تنبح"، مما يجعل القواعد صحيحة في قفزة واحدة ضخمة.

المشكلة: الفخ "المستقل"

تعمل معظم مولدات النصوص السريعة اليوم مثل غرفة مليئة بالناس يحاولون تخمين جملة، لكنهم جميعاً يرتدون سماعات عازلة للضوضاء. لا يمكنهم سماع بعضهم البعض. إذا كانت الجملة هي "الـ [فاعل] [فعل] بصوت عالٍ"، فإن شخصاً واحداً يخمن الفاعل وشخصاً آخر يخمن الفعل. قد يصيب كلاهما في تخميناته بشكل منفرد، ولكن لأنهما لا يتحدثان، قد يخمنان "الكلب ينبح بصوت عالٍ" (بصيغة غير متوافقة). الفاعل مفرد، لكن الفعل بصيغة الجمع. إنه عدم توافق.

لإصلاح ذلك، عادة ما يضطر الروبوت لاتخاذ خطوات صغيرة عديدة، يفحص ويعيد فحص عمله، مثل طالب يمسح ويعيد كتابة جملة خمس مرات لضبط القواعد. هذا يستغرق الكثير من الوقت وقوة الحوسبة. حاول بعض الباحثين تسريع ذلك بجعل روبوت سريع ينسخ روبوتاً بطيئاً وذكياً ("معلماً"). ولكن تماماً كما في المدرسة، لا يمكن للروبوت السريع أن يتعلم أي شيء لا يعرفه المعلم بالفعل. إذا كان المعلم عالقاً عند مستوى معين من الجودة، فسيظل الطالب عالقاً هناك أيضاً.

الحل: "الموضوع السري" (LKF)

قرر مؤلفو هذا البحث، منصور أحمد وفريقه، التوقف عن نسخ المعلمين وبناء روبوت يفهم كيفية ترابط الكلمات ببعضها بشكل طبيعي. لقد أنشأوا نظاماً يسمى خرائط التدفّق ذات النواة الكامنة (LKF).

إليك كيف يعمل، باستخدام تشبيه بسيط: تخيل أنك تحل لغز كلمات متقاطعة حيث ترتبط كلمتان ببعضهما. إذا حللت اللغز الأول، يصبح الثاني أسهل بكثير. في طريقة "الاستقلال" القديمة، يحاول الروبوت حل كل لغز دون النظر إلى الآخرين. أما في طريقة LKF الجديدة، فيختار الروبوت أولاً موضوعاً سرياً (يسمى "كامناً") للجملة بأكملها.

لنفترض أن الجملة هي "الـ [فراغ] [فراغ] بصوت عالٍ".

الطريقة القديمة: يرمي الروبوت عملة معدنية للفراغ الأول (احتمال 50% لـ "كلب"، 50% لـ "كلاب") ويرمي عملة أخرى للفراغ الثاني (50% لـ "ينبح"، 50% "ينبحون")، وقد ينتهي به الأمر بـ "الكلب ينبح" (خطأ) أو "الكلاب ينبحون" (خطأ) بنفس قدر احتمالية الإجابة الصحيحة.
طريقة LKF: قبل الكتابة، يختار الروبوت موضوعاً سرياً: "مفرد" أو "جمع".
- إذا اختار "مفرد"، فإنه مجبر على كتابة "الكلب" و"ينبح" (ليتطابق الفاعل المفرد مع الفعل).
- إذا اختار "جمع"، فإنه مجبر على كتابة "الكلاب" و"ينبحون" (ليتطابق فاعل الجمع مع فعل الجمع).
- من خلال اختيار الموضوع أولاً، يضمن الروبوت أن الفاعل والفعل يتطابقان تماماً في خطوة واحدة. ليس عليه العودة لإصلاح الأخطاء لأن "الجو العام" تم ضبطه بشكل صحيح منذ البداية.

ما وجدوه

اختبر الفريق هذه الطريقة الجديدة على مجموعتين كبيرتين من النصوص: LM1B (مجموعة تضم مليار كلمة) و WikiText-103 (مجموعة من مقالات ويكيبيديا). وقارنوا روبوتهم الجديد بالروبوتات "المستقلة" القديمة والروبوتات التي "تنسخ المعلم".

السرعة والجودة: عندما طلبوا من الروبوت توليد نصوص في خطوات قلي-لة فقط (مثل 8 خطوات بدلاً من 32)، كان روبوت LKF أفضل بكثير. في مجموعة بيانات LM1B، ومع 8 خطوات، حقق روبوت LKF "ارتباكاً توليدياً" (درجة حيث الأقل أفضل) قدره 105. كانت الطرق القديمة أعلى بكثير، حوالي 199 إلى 304. وهذا يعني أن روبوت LKF كتب نصوصاً أقرب بك-ثير إلى الكتابة البشرية، حتى وهو في عجلة من أمره.
عامل "M": يمكن للروبوت استخدام أكثر من موضوع سري واحد في المرة الواحدة. اختبر المؤلفون استخدام M=1 (موضوع واحد)، M=4 (أربعة مواضيع)، و M=8 (ثمانية مواضيع). ووجدوا أنه كلما أضافوا المزيد من المواضيع، أصبح الروبوت أفضل. عند M=8، كان الروبوت أفضل بمقدار 2.1 إلى 3.3 مرة من الطرق القياسية.
لا حا de لـ معلم: على عكس الطرق السريعة الأخرى، لم يحتج LKF إلى "معلم" ليتعلم منه. لقد تعلم الروابط بين الكلمات من تلقاء نفسه. وهذا يعني أنه لم يكن محدوداً بجودة المعلم؛ بل يمكنه أن يصبح أفضل مع زيادة تعلمه.

اختبار "الاتفاق الخفي"

لإثبات أن روبوتهم يتعلم بالفعل الروابط وليس مجرد التخمين، أنشأ المؤلفون اختباراً خاصاً يسمى "الاتفاق الخفي". تخيل لعبة حيث يتعين على الروبوت اختيار رقم سري (مثل 1 أو 2 أو 3) ثم كتابة جملة تتوافق فيها كل كلمة مع ذلك الرقم.

عندما استخدموا M=1 (موضوع واحد)، لم يستطع الروبوت القيام بذلك جيداً.
عندما رفعوا M إلى 8 أو 16، أصبح الروبوت بارعاً تقريباً في مطابقة الرقم السري.
اختبروا أيضاً لعبة "التكافؤ" (لغز رياضي تعتمد إجابته على قاعدة معقدة). هنا، أدرك الروبوت بشكل صحيح أنه لا يمكن لأي عدد من المواضيع السرية حل اللغز في خطوة واحدة، مما أثبت أن الروبوت ذكي بما يكفي ليعرف متى لا يستطيع "الغش".

لماذا هذا مهم؟

يشير هذا البحث إلى أننا لسنا بحاجة للاعتماد على معلمين بطيئين ومكلفين لجعل الذكاء الاصطناعي يكتب بسرعة وجودة عالية. من خلال منح الذكاء الاصطناعي طريقة لاختيار "موضوع سري" يربط جميع الكلمات ببعضها، يمكننا جعله يولد نصوصاً عالية الجودة في خطوات قليلة. أظهر المؤلفون أنه مع 8 خطوات، كانت طريقتهم أفضل من الطرق التي تستغرق 32 خطوة أو التي تعتمد على استخلاص المعرفة من معلم.

النتائج واعدة، لكن المؤلفين يشيرون إلى أن الروبوت لا يزال يعاني قليلاً إذا كانت الجملة طويلة جداً أو معقدة، وأن "الموجه" (الجزء الذي يختار الموضوع) ليس مثالياً دائماً. ومع ذلك، فإن الفكرة الجوهرية — وهي أن موضوعاً سرياً واحداً مشتركاً يمكن أن يربط جملة كاملة — تعمل. إنها طريقة جديدة لتعليم الآلات التفكير في الجمل ككل، بدلاً من مجرد كومة من الكلمات المنفصلة، مما يسمح لها بالكتابة بشكل أسرع وأذكى دون الحاجة إلى معلم بشري يمسك بيدها.

ملخص تقني: خرائط التدفق المنفصلة ذات النواة الكامنة (Latent-Kernel Discrete Flow Maps) لتوليد الخطوات القليلة

بيان المشكلة

تقوم نماذج الانتشار المنفصل (Discrete diffusion) ومطابقة التدفق (Flow-matching) بتوليد النصوص عبر إزالة الضجيج عن تسلسل ما خلال خطوات عديدة. وللحفاظ على الكفاءة الحسابية، تقوم هذه النماذج عادةً بتحليل احتمالية الانتقال عبر مواضع الرموز (tokens)، حيث تقرر كل رمز بشكل مستقل بناءً على حالة التسلسل الحالية. وبينما يجعل هذا التحليل الخطوات الفردية رخيصة التكلفة، إلا أنه يخلق عائقاً جوهرياً أمام التوليد في خطوات قليلة.

عندما يتطلب التسلسل المستهدف ارتباطات قوية بين المواضع (مثل توافق الفاعل والفعل أو الأقواس المتطابقة)، فإن التحديثات المستقلة تلتزم بالرموز بشكل منفصل. وغالباً ما يؤدي هذا إلى تركيبات متسقة محلياً ولكنها غير متسقة عالمياً (مثل "dog barks" مقابل "dogs bark"). ويتطلب تصحيح هذه عدمات التطابق العديد من خطوات إزالة الضجيج الإضافية، مما يلغي مكاسب الكفاءة في التوليد ذي الخطوات القليلة.

تنقسم الحلول الحالية لتسريع التوليد إلى فئتين:

نماذج الاحتمالية (Likelihood models) (مثل MDLM وSEDD): تدرب نماذج إزالة ضجيج تحليلية قوية من الصفر ولكنها تتطلب خطوات عديدة عند الاستدلال لحل الارتباطات.
مسرعات الخطوات القليلة (Few-step accelerators) (مثل Di4C وSDTT وReDi): تقوم بتقطير (Distill) أو تصحيح (Rectify) نموذج "معلم" مدرب إلى نموذج "طالب" ذي خطوات قليلة. ومع ذلك، ترث هذه الطرق سقف جودة النموذج المعلم ولا يمكنها تجاوز أداء النموذج الذي تحاكيه.

التحدي الجوهري هو ما إذا كان بإمكان النموذج التعبير عن خطوات مترابطة أصيلة دون الاعتماد على معلم، وبالتالي كسر فرضية التحليل (factorization) من جذورها مع الحفاظ على تكلفة حسابية منخفضة.

المنهجية: خرائط التدفق المنفصلة ذات النواة الكامنة (LKF)

يقترح المؤلفون خرائط التدفق المنفلقة ذات النواة الكامنة (LKF)، وهي نموذج خريطة تدفق يُبنى من الصفر ويقدم ارتباطاً داخل الخطوة عبر خليط من المكونات التحليلية المرتبطة بمتغير كامن واحد مشترك.

بنية النموذج

يتم تعريف نواة الانتقال في زمن محدد $\Psi_{t \to s}(x_s | x_t)$ كخليط من $M$ مكون تحليلي:
$\Psi_{t \to s}(x_s | x_t) = \sum_{k=1}^{M} w_k(x_t, t, s) \prod_{i=1}^{L} P_i(x_s^i | x_t, k, t, s)$
حيث أن:

$k \in [M]$ هو مؤشر المكون الكامن المشترك الذي يتم أخذ عينة منه مرة واحدة لكل تسلسل.
$w_k$ هي أوزان الموجه (router weights) التي تتنبأ باحتمالية المكون $k$ .
$P_i$ هي توزيعات الرموز التحليلية للموضع $i$ المشروطة بالكمن $k$ .

الآلية الرئيسية:

الكمن المشترك: في بداية مسار إزالة الضجيج (أو في كل خطوة)، يتم سحب كمن واحد $k$ من الموجه $w(\cdot | x_t)$ .
الاستقلال الشرطي: بالنظر إلى $k$ ، لا تزال الرموز تُسحب بشكل مستقل عبر المواضع. ومع ذلك، نظرًا لأن $k$ مشترك عبر التسلسل بأكمله، فإن الهامش (marginalizing) فوق $k$ يستحث ارتباطات بين المواضع.
الكفاءة: يستخدم النموذج بنية حقن الكمن المتأخر (late latent injection). يقوم جذع ترانسفورمر (transformer trunk) مشترك بمعالجة المدخلات لإنشاء تمثيل مستقل عن الكمن. فقط كتل $L_k$ النهائية يتم تكرارها لكل من المكونات $M$ ، وتكون مشروطة بـ $k$ . وهذا يحافظ على انخفاض التكلفة الحسابية لعملية الهامش ( $O(M \cdot L_k)$ بدلاً من $O(M \cdot \text{depth})$ ).

التدريب والاستدلال

التريب: يتم تدريب النموذج عن طريق حساب الهامش للكمن $k$ بدقة. الهدف هو لوغاريتم الاحتمالية للخليط:
$\log \Psi = \log \sum_{k} \exp(\log w_k + \ell_k)$
حيث $\ell_k$ هو لوغاريتم الاحتمالية الذي يخصصه المكون $k$ للرموز المستهدفة. وهذا يجبر الموجه على تعلم خليط حيث يلتقط الكمن الارتباطات على مستوى التسلسل. ويضمن منظم الموجه (router regularizer) استخدام مكونات الخليط (لمنع الانهيار إلى مكون واحد) وأن الكمن يحمل معلومات كافية.
الاستدلال (Best-of-M): للاستفيد من عدم التجانس في الخليط، يستخدم المؤلفون استراتيجية فك تشفير Best-of-M. يتم توليد $M$ من عمليات التشغيل المتوازية، حيث يتم تجميد مكون مختلف $k$ في كل منها. يتم اختيار المخرج النهائي بناءً على الحد الأدنى من الـ ELBO الخاص بالتسلسل (NELBO) للنموذج نفسه. لا يتطلب هذا الاختيار نموذج مكافأة خارجي أو معلماً.

المساهمات الرئيسية

خطوات مترابطة أصيلة: تقديم LKF، وهو نواة خريطة تدفق تعبر عن خطوات مترابطة أصيلة عبر خليط من $M$ مكونات تحليلية مرتبطة بكمن واحد مشترك، مما يلغي الحاجة إلى نموذج معلم.
التحليل النظري: تحليل دقيق للمعلومات يوضح أن الارتباط الكلي (Total Correlation - TC) الذي يمكن أن تحمله خطوة برتبة $M$ محدود بـ $(L-1)H(k|xt)$. يثبت المؤلفون أن خطأ التقريب للنموذج محكوم بحد أدنى من الارتباط الكلي غير الملتقط للتوزيع المستهدف.
التحقق الاصطناعي: تظهر التجارب على مجموعات البيانات الاصطناعية (hidden-agreement وparity) أن LKF يلتقط المعلومات ويحسن الاحتمالية بشكل رتيب مع $M$ للارتباطات القابلة للتمثيل، بينما يفشل بشكل صحيح في التقاط الارتباطات التي تتطلب رتبة خليط أسية (parity)، مما يتماشى مع نتائج الصعوبة النظرية.
الأداء التجريبي: في اختبارات LM1B وWikiText-103، يحقق LKF أفضل أداء في إدراك (perplexity) التوليد في خطوات قليلة. عند $M=8$ ، يحسن LKF إدراك التوليد بمقدار 2.1 إلى 3.3 ضعفاً مقارنة بنماذج الاحتمالية (MDLM, SEDD) ويتفوق على مسرعات التصحيح والتقطير (Di4C, ReDi) دون استخدام أي معلم.

النتائج التجريبية

الاختبارات: تم التقييم على LM1B وWikiText-103.
الأداء:
- LM1B: يحقق نموذج LKF عند $M=8$ إدراك توليد (gen-PPL) قدره 105 عند 32 تقييم دالة (NFE)، مقارنة بـ 304 لـ MDLM و117 لأفضل مسرع تصحيح (ReDi).
- WikiText-103: يصل نموذج $M=8$ إلى gen-PPL قدره 75، متفوقاً بشكل كبير على MDLM (228) وSEDD (247).
التنوع: على عكس المسرعات التصحيحية التي تعاني غالباً من انهيار الإنتروبيا (إنتاج نصوص منخفضة التنوع)، يحافظ LKF على إنتروبيا عينات عالية مع تحسين الاحتمالية.
الدراسات الاستقصائية (Ablations):
- تُعزى المكاسب إلى بنية الخليط نفسها، وليس مجرد إعادة الترتيب. استبدال المكونات $M$ بسحبات ضوضاء $M$ لمكون واحد يؤدي إلى انخفاض كبير في الأداء (مثلاً زيادة 35% في PPL عند $M=8$ ).
- Best-of-M ضروري؛ حيث تؤدي سياسة الالتزام الواحد (commit-M) إلى نتائج مشابهة للنموذج الأساسي، مما يؤكد أن الخليط يوفر تنوعاً في المرشحين يستغله الاختيار.
- كفاءة الموجه: يعمل الموجه كوزن خلط بدلاً من إشارة جودة؛ ويكون الاختيار أكثر فعالية عندما يعتمد على احتمالية النموذج نفسه (running evidence) بدلاً من تنبؤ الموجه الأولي.

الأهمية والادعاءات

يزعم البحث أن LKF يمثل تحولاً من "التسريع المعتمد على المعلم" إلى "التوليد في خطوات قليلة من الصفر". من خلال نمذجة نواة الانتقال كخليط منخفض الرتبة، يسمح LKF لخطوة واحدة بوضع الكتلة على إكمالات مترابطة (مثل توافق الفاعل والفعل) بنفس تعقيد العينات لنموذج تحليلي.

يؤكد المؤلفون أن:

الطريقة لا ترث سقف جودة المعلم.
المكاسب تتناسب طردياً مع حجم الخليط $M$ .
النهج مؤصل نظرياً، مع وجود حدود لقدرة الارتباط وخطأ التقريب.
يحقق أفضل إدراك توليد في الخطوات القليلة بين الطرق المرجعية في معايوهات نمذجة اللغة القياسية، مما يوفر مساراً قابلاً للتطبيق لتوليد منفصل عالي الجودة وفعال دون عبء التقطير أو التصحيح.