🤖 machine learning

Support Before Frequency in Discrete Diffusion

تُظهر هذه الورقة أن نماذج الانتشار المنفصلة تتعلم الصلاحية الهيكلية (الدعم) للبيانات قبل تنقية الترددات المحددة ضمن ذلك الدعم، مما يكشف عن عملية تعلم هرمية حيث تبرز معلومات الدعم الخشنة في وقت أبكر من تفاصيل الترددات دقيقة الحبيبات.

المؤلفون الأصليون: Adrian Müller, Antoine Gonon, Zebang Shen, Ya-Ping Hsieh, Niao He

نُشر 2026-05-15

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Adrian Müller, Antoine Gonon, Zebang Shen, Ya-Ping Hsieh, Niao He

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتًا كيفية كتابة القصص. تريد منه أن يتعلم شيئين:

القواعد والصلاحية: معرفة ما هي الجمل الممكنة أصلاً (على سبيل المثال، "القط جلس على الحصيرة" جملة صحيحة؛ بينما "الحصيرة على جلس قط" ليست كذلك).
التكرار والأسلوب: معرفة مدى تكرار جمل صحيحة معينة في العالم الحقيقي (على سبيل المثال، "القط جلس" أكثر شيوعاً من "القط جلس على الحصيرة").

تجادل هذه الورقة البحثية بأن نماذج الانتشار المنفصلة (Discrete Diffusion Models) (وهي نوع من الذكاء الاصطناعي الذي يولد النصوص عن طريق إصلاح فوضى عارمة من الكلمات تدريجياً) تتعلم هذين الأمرين بترتيب محدد للغاية: أولاً، تتعلم ما هو صحيح وصالح. وفقط لاحقاً، تتعلم ما هو شائع.

إليك تفصيل ذلك باستخدام تشبيهات بسيطة:

الفكرة الجوهرية: فرضية "الدعم قبل التكرار"

فكر في "الدعم" (Support) كأنه خريطة لجميع المدن الصالحة للسكن في قارة ما. وفكر في "التكرار" (Frequency) كأنه عدد السكان الذين يعيشون في تلك المدن.

تزعم الورقة أن هذه النماذج من الذكاء الاصطناعي، عندما تكون في مرحلة التعلم، تكتشف أولاً أين تقع المدن (الخريطة). فهي تتعلم كيف تميز بين "المدينة" و"المحيط". وفقط بعد أن تمتلك خريطة جيدة، تبدأ في عدّ الناس لمعرفة أي المدن هي حواضر صاخبة وأيها مجرد قرى صغيرة.

كيف يتعلم الذكاء الاصطناعي: تشبيه "الضجيج"

تعمل هذه النماذج عن طريق أخذ جملة مثالية، ثم بعثرتها بالضجيج (مثل تحويلها إلى هراء)، ثم تحاول إصلاحها مرة أخرى، كلمة بكلمة.

نظر الباحثون إلى الخطوات النهائية من عملية "الإصلاح" هذه، عندما يكون الضجيج منخفضاً جداً (أي أن الجملة أصبحت شبه مثالية، مع وجود بعض الكلمات الخاطئة فقط). واكتشفوا "تسلسلاً هرمياً" رياضياً في كيفية اتخاذ الذكاء الاصطناعي للقرار بشأن اختيار الكلمة التالية:

الإشارة الكبيرة (المقياس/Scale): يسأل الذكاء الاصطناعي أولاً: "إذا غيرت هذه الكلمة، هل ستصبح الجملة أكثر صحة من الناحية القواعدية؟" هذه إشارة ضخمة وعالية جداً. إنها تشبه تحول إشارة المرور من اللون الأحمر إلى الأخضر.
الإشارة الصغيرة (المعامل/Coefficient): فقط بعد أن يعرف الذكاء الاصطناعي أن الجملة صحيحة قواعدياً، يبدأ في السؤال: "أي من هذه الكلمات الصحيحة هي الأكثر شعبية؟" هذه إشارة هادئة وخفية. إنها تشبه الاختيار بين طريقين صالحين بناءً على أيهما يشهد ازدحاماً أقل.

الاكتشاف: نظرًا لأن إشارة "هل هذا صحيح؟" هي أقوى بكثير (رياضياً، هي من رتبة مقدار مختلفة عن إشارة "هل هذا شائع؟")، فإن الذكاء الاصطناعي يتعلم قواعد الصلاحية أولاً. يمكنه إخبارك بأن الجملة خاطئة قبل وقت طويل من قدرته على إخبارك أي جملة صحيحة هي الأكثر شيوعاً.

نوعان من "المُصلحين"

تقارن الورقة بين طريقتين يحاول بهما هذه النماذج إصلاح النص، مثل نوعين مختلفين من المحررين:

المحرر "الموحد" (العام): يمكن لهذا المحرر تغيير أي كلمة إلى أي كلمة أخرى.
- كيف يتعلم: يجب عليه تعلم ثلاثة أشياء في آن واحد: "اجعل الأمر أفضل"، "حافظ على الوضع كما هو"، أو "لا تجعل الأمر أسوأ". إنه أمر فوضوي بعض الشيء. وتظهر الورقة أنه إذا أجبرت هذا المحرر على الاستماع فقط إلى الإشارة الأقوى "اجعل الأمر أفضل"، فإنه يصبح أفضل بكثير في العثور على الجمل الصحيحة.
المحرر "المقنع" (المتخصص): يعمل هذا المحرر فقط على الكلمات التي تم إخفاؤها (مقنّعة) باستخدام رمز [MASK]. لا يمكنه لمس الكلمات الظاهرة بالفعل.
- كيف يتعلم: لأنه لا يمكنه سوى ملء الفراغات، فإنه يتجاهل "التحركات السيئة" بشكل طبيعي. إنه يشبه حلّال الألغاز الذي يضع القطع فقط في الفتحات الفارغة. وجدت الورقة أن هذا المحرر أفضل بطبيعته في العثور على "خريطة المدن الصالحة" لأنه لا يضيع وقته في محاولة إصلاح الكلمات التي هي صحيحة بالفعل.

التجارب: مراقبة عملية التعلم

اختبر الباحثون فرضيتهم بطريقتين:

التجارب الاصطناعية (تدريبات التمهيد): أنشأوا لغة مصطنعة بسيطة لها قواعد صارمة (مثل لعبة فيديو ذات حدود واضحة). وراقبوا الذكاء الاصطناعي وهو يتعلم، ورأوا أن مقياس "هل هذه حركة صحيحة؟" قد تحسن بسرعة أكبر بكثير من مقياس "أي حركة صحيحة هي الأكثر شيوعاً؟".
تجارب العالم الحقيقي (اختبار FineWeb): قاموا بتدريب نموذج على نصوص حقيقية من الإنترنت (FineWeb). وبما أنه ليس لدينا قائمة مثالية لجميع الجمل الإنجليزية الصحيحة، فقد استخدموا حيلة ذكية: نظروا في عدد مرات ظهور الكلمات في سياقات معينة في بيانات التدريب.
- النتيجة: تعلم النموذج التمييز بين اختيارات الكلمات "الصحيحة" والكلمات "غير الصحيحة" بعد معالجة حوالي 116 مليون كلمة.
- النتيجة: استغرق الأمر حتى معالجة 234 مليون كلمة ليبدأ النموذج في اختيار الخيار الصحي الأكثر شيوعاً بشكل موثوق بدلاً من الخيار الصحي الأقل شيوعاً.

الخلاصة

تخلص الورقة إلى أن نماذج الذكاء الاصطناعي هذه لا تتعلم "بشكل مثالي" دفعة واحدة. بل تبني أساساً أولاً.

المرحلة الأولى: يتعلم النموذج البنية. يتعلم تجنب الهراء وإيجاد المسار "الصالح".
المرحلة الثانية: يقوم النموذج بصقل التفاصيل. يتعلم الفروق الدقيقة في التكرار والأسلوب.

وهذا يفسر لماذا قد تنتج هذه النماذج، في المراحل الأولى من التدريب، جملًا صحيحة قواعدياً ولكنها تبدو غريبة أو مكررة (لأن لديها الخريطة، لكنها لم تتعلم بعد كثافة السكان). إنها تحتاج إلى مزيد من الوقت لصقل الجزء المتعلق بـ "التكرار" من معرفتها.

باختصار: يتعلم الذكاء الاصطناعي التحدث "بشكل صحيح" قبل أن يتعلم التحدث "بشكل طبيعي".

ملخص تقني: الدعم يسبق التردد في الانتشار المنفصل

بيان المشكلة

برزت نماذج اللغة ذات الانتشار المنفصل (DLMs) كبديل تنافسي للنماذج ذات التوليد الذاتي (Autoregressive)، حيث توفر فوائد محتملة في الاستدلال المتوازي والقدرة على التحكم في التوليد. ومع ذلك، لا تزال ديناميكيات التعلم الداخلية لهذه النماذج غير مفهومة بشكل جيد. وتحديداً، من غير الواضح كيف تنظم أهداف إزالة الضجيج (denoising) في الانتشار المنفصل عملية تعلم توزيع البيانات. وبينما تستهدف أهداف التدريب القياسية توزيع البيانات الكامل $p_{data}$ ، يبحث هذا البحث في الهيكل الهرمي للمعلومات التي يتم استردادها خلال عملية إزالة الضجيج العكسية. والسؤال المركزي هو ما إذا كانت نماذج DLM تتعلم دعم (support) البيانات (مجموعة المتواليات المقبولة، مثل الجمل الصحيحة نحوياً) وترددات (frequencies) تلك البيانات (الاحتمالات النسبية للمتواليات الصحيحة) في آن واحد، أم أن أحدهما يسبق الآخر.

المنهجية

يستخدم المؤلفون تحليلاً نظرياً يعتمد على توسع الضجيج الصغير (small-noise expansion) لـنواة العكس الدقيقة، وهو ما يقابل خطوات إزالة الضجيج النهائية في عملية الانتشار. تم اختيار هذا النظام لأن نواة العكس هي الكائن السكاني المستهدف بأهداف التدريب القياسية.

الإطار النظري

توسع الضجيء الصغير: يحلل المؤلفون احتمالية الانتقال العكسي لتعديل رمز واحد (single-token edit) في الحد الذي يؤول فيه مستوى الضجيج $\sigma \to 0$ . ويستنتجون أن احتمالية التعديل العكسية تتفكك إلى مكونين متميزين:
- مكون المقياس (scale component): (الرتبة المهيمنة) والذي تحدده التغير في مسافة هامينج (Hamming distance) بالنسبة لدعم البيانات $D = \text{supp}(p_{data})$ .
- مكون المعامل (coefficient component): (رتبة أدق) والذي تحدده الترددات النسبية للبيانات داخل الدعم.
آليات الفساد (Corruption Mechanisms): يميز التحليل بين آليتي فساد رئيسيتين تُستخدمان في نماذج DLM:
- الانتشار الموحد (Uniform Diffusion): يمكن للتعديلات أن تحرك السلسلة نحو الدعم، أو تحافظ على المسافة، أو تبعدها عن الدعم. ويكشف التوسع عن ثلاثية في المقاييس: $\sigma^{-1}$ (تحسين الدعم)، و$1 $(الحفاظ على الدعم)، و$ \sigma$ (تدهور الدعم).
- الانتشار الامتصاصي/القناع (Absorbing/Masking Diffusion): تقوم التعديلات باستبدال الرموز المقنعة برموز نظيفة فقط. وبما أن رمز القناع ليس موجوداً في الدعم، فلا يمكن للحركات أن تزيد المسافة عن الدعم. ويظهر التوسع فصلاً أكثر حدة: فقط الحركات المحسنة للدعم تنجو عند الرتبة المهيمنة ( $\sigma^{-1}$ )، بينما تتلاشى الحركات غير المحسنة في حد الضجيج الصغير.
الآثار المترتبة على الدقة الخشنة: يثبت المؤلفون (الاستنتاج 2.1) أن استعادة الاتجاهات المحسنة للدعم تتطلب فقط دقة ضربية خشنة (الحفاظ على الترتيب الصحيح للقدر/الرتبة، $O(\sigma^{-1})$ ). في المقابل، تتطلب استعادة الترددات دقيقة التفاصيل تقدير المعاملات بدقة ضمن رتبة ثابتة. وهذا يعني أن النموذج يمكنه تحديد المتواليات الصحيحة حتى لو كانت تقديرات الاحتمالية بعيدة عن التوزيع الحقيقي في المقاييس الجمعية (مثل المسافة الكلية للتباين أو تباعد KL).

التحقق التجريبي

تم اختبار التنبؤات النظرية باستخدام بيانات اصطناعية وواقعية:

التجارب الاصطناعية: تم استخدام لغة منتظمة (نموذج يشبه الـ bigram محكوم) حيث يُعرف دعمها وتردداتها الحقيقية. تقيس المجسات قدرة النموذج على التمييز بين الرموز الصحيحة وغير الصحيحة (تحديد موقع الدعم) وترتيب الرموز الصحيحة حسب ترددها (ترتيب التردد).
تجارب البيانات الواقعية: تم تدريب نموذج DLM مقنع على مجموعة بيانات FineWeb. ونظراً لأن الدعم اللغوي الحقيقي غير معروف، فقد صمم المؤلفون مجسات غير مباشرة باستخدام بيانات محجوزة لتحديد "المرشحين التجريبيين" (الرموز الملاحظة في سياقات معينة) مقابل "غير المرشحين".
- مجس الدعم (Support Probe): يقيس دقة ترتيب المرشحين التجريبيين فوق غير المرشحين.
- مجسات التردد (Frequency Probes): تقيس دقة ترتيب المرشحين مقابل بعضهم البعض (استعادة المركز الأول والترتيب الزوجي).

النتائج الرئيسية

الدعم يسبق التردد:
- في كل من التجارب الاصطناعية وتجارب البيانات الواقعية، يصل مجس تحديد موقع الدعم إلى ذروة أدائه في وقت أبكر بكثير من مجسات ترتيب التردد.
- في FineWeb، وصل مجس الدعم إلى 90% من ذروة مكاسبه عند حوالي 116 مليون رمز، بينما وصلت مجسات المركز الأول والترتيب الزوجي للتردد إلى نفس المستوى عند 234 مليون و247 مليون رمز على التوالي. يشير هذا إلى فجوة زمنية تبلغ حوالي 118-131 مليون رمز حيث يتعلم النموذج تحديد المتواليات الصحيحة قبل صقل احتمالاتها النسبية.
الارتباط المعتمد على الآلية:
- الانتشار الامتصاصي: تعمل ديناميكيات العكس كمسقط (projector) شبه مثالي على الدعم عند الضجيج المنخفض. وتتلاشى الحركات غير المسقطة طبيعياً عند الرتبة المهيمنة. وبالتالي، فإن تدخلات وقت الاستدلال (مثل العتبة/thresholding) تقدم فائدة ضئيلة لتحديد الدعم، لأن النموذج يثبط بالفعل الحركات غير الصحيحة بفعالية.
- الانتشار الموحد: تحتفظ نواة العكس بمكونات غير مسقطة ذات مقياس أدنى. إن تطبيق إجراء عتبة موجه نظرياً لعزل مقياس $\sigma^{-1}$ المهيمن يحسن بشكل كبير نسبة المتواليات المولدة التي تقع في الدعم الحقيقي. وهذا يؤكد أن الانتشار الموحد يحتفظ بـ "ضجيج" فيما يتعلق بالصحة يجب تصفيته صراحة، بينما يقوم الانتشار الامتصاصي بتثبيته بنيوياً.
التعميم مقابل الحفظ:
- يحدث انفصال الدعم-التردد الملاحظ خلال مرحلة مبكرة من التدريب حيث تظل الفجوة بين خسارة التدريب وخسارة التحقق صغيرة، مما يشير إلى أن هذه ظاهرة تعميم وليست نتاج حفظ (memorization).

الأهمية والادعاءات

يدعي البحث تقديم نظير منفصل للملاحظات الأخيرة في مطابقة الدرجة المستمرة (continuous score matching)، حيث يتم استرداد المعلومات الهندسية (بنية المانيفولد) قبل الكثافة الكاملة. ومع ذلك، وعلى عكس الإعدادات المستمرة التي تفترض وجود مانيفولد كامن، يعمل هذا العمل على رسم هامينج البياني (Hamming graph) مع مجموعة دعم تعسفية.

تكمن الأهمية الأساسية في فرضية "الدعم قبل التردد": تتعلم نماذج DLM أولاً أين توجد المتواليات المقبولة (بنية الدعم) ثم تقوم لاحقاً بصقل الاحتمالات النسبية بينها. ولهذا عدة تبعات:

ديناميكيات التعلم: يفسر هذا سبب قدرة النماذج على توليد نصوص صحيحة تركيبياً أو بنيوياً قبل تحقيق معايرة توزيعية عالية الجودة.
استراتيجيات الاستدلال: يشير الفصل الواضح في المقاييس إلى أن تدخلات وقت الاستدلال (مثل العتبة) يمكن أن تكون فعالة بشكل خاص للانتشار الموحد لفرض الصحة، في حين أن الانتشار الامتصاضي أقرب بنيوياً إلى مسقط الدعم.
نظرية التدريب: يشير هذا إلى أن "رتبة مقدار" درجات العكس هي هدف تعلم أكثر جوهرية من المعايرة الدقيقة للمعاملات في المراحل المبكرة من التدريب.

يظل المؤلفون متواضعين في طرحهم، مشيرين إلى أن تحليلهم يركز على عملية العكس الدقيقة في نظام الضجيج الصغير، وأن مدى استعادة النماذج المدربة لهذه الحدود يعتمد على خيارات معمارية وتحسينية محددة. وهم لا يدعون إلى تفضيل آلية فساد على أخرى، بل يسلطون الضيأ على انحيازاتهما البنيوية المتميزة.