💬 NLP

Focus on the Core: Empowering Diffusion Large Language Models by Self-Contrast

تقدم الورقة البحثية FoCore، وهي استراتيجية فك تشفير خالية من التدريب لنماذج اللغات الكبيرة القائمة على الانتشار، والتي تستفيد من التقارب المبكر للرموز ذات كثافة المعلومات العالية من خلال التباين الذاتي لتحسين جودة التوليد وتسريع سرعة الاستنتاج في آن واحد.

المؤلفون الأصليون: Jinyuan Feng, Xin Yu, Yiqun Chen, Xiaochi Wei, Yan Gao, Yi Wu, Yao Hu, Zhiqiang Pu

نُشر 2026-05-05

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Jinyuan Feng, Xin Yu, Yiqun Chen, Xiaochi Wei, Yan Gao, Yi Wu, Yao Hu, Zhiqiang Pu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز معقد، مثل مسألة رياضية أو كتابة قطعة من الكود البرمجي. لديك مساعد ذكي جداً (نموذج لغوي ضخم يعتمد على الانتشار - Diffusion LLM) يمكنه رؤية الصورة الكاملة دفعة واحدة، بدلاً من بناءها لبنة تلو الأخرى مثل الروبوت التقليدي. هذه هي القوة الخارقة: القدرة على رؤية "الصورة الكبيرة" وفهم كيف تتناسب جميع القطع معاً بشكل عالمي.

ومع ذلك، هناك عقبة. عندما يحاول هذا المساعد ملء الفراغات، فإنه يميل إلى التشتت بالكلمات المحيطة به مباشرة. إنه يركز كثيراً على الكلمات الموجودة بجوار المساحة الفارغة ويفقد الأدلة الحاسمة المختبئة في مكان آخر من الجملة. الأمر يشبه محاولة حل لغز من خلال النظر فقط إلى آثار الأقدام بجانب الضحية، بينما تتجاهل الملحوظة المهمة التي عُثر عليها في الغرفة الأخرى والتي تشرح سبب وقوع الجريمة.

اكتشف مؤلفو هذه الورقة البحثية، FoCore (التركيز على الجوهر)، أن ليس كل الكلمات في الجملة متساوية في الأهمية.

الرموز "عالية الكثافة" مقابل "منخفضة الكثافة"

تخيل الجملة كأنها مشهد طبيعي.

الرموز منخفضة الك كثافة (LD Tokens): هي "المناظر الطبيعية". كلمات مثل "الـ"، "هو"، "و"، أو "في". هي مهمة للقواعد، ولكن إذا قمت بإزالتها، فإن المعنى الجوهري للمنطق يظل كما هو عادةً. إنها مثل العشب والأشجار في الغابة؛ تملأ الفضاء لكنها ليست الوجهة.
الرموز عالية الكثافة (HD Tokens): هي "المعالم البارزة". هذه هي الأرقام، الأسماء المحددة، الأفعال الرئيسية، أو كلمات المنطق الحاسمة (مثل "خلال 4 سنوات" في مسألة زمنية). إذا فاتتك هذه الكلمات، فإن الإجابة بأكملها ستكون خاطئة. إنها مثل قمم الجبال أو المنارة؛ هي التي توجه الرحلة بأكملها.

وجدت الورقة أن نماذج الذكاء الاصطناعي الحالية غالباً ما تتجاهل هذه المعالم لأنها مشغولة جداً بالنظر إلى العشب الموجود بجانبها مباشرة.

المشكلة: الضياع في التفاصيل

عندما يحاول الذكاء الاصطناعي توليد إجابة، فإنه عادة ما يختار الكلمة التالية "الأكثر أماناً" بناءً على ما يحيط به مباشرة. توضح الورقة أن هذا يتسبب في جعل الذكاء الاصطناعي يفقد الرموز عالية الكثافة (HD tokens).

مثال: في جملة "سارة ستكون في سن العشرين خلال 4 سنوات"، كلمة "خلال" هي رمز عالي الكثافة (HD). فهي تخبرك أن المسألة تتعلق بـ المستقبل. إذا تجاهلها الذكاء الاصطناعي واكتفى بالنظر إلى "20" و "4"، فقد يعتقد أن عليك جمعهما (20 + 4 = 24) بدلاً من طرحهما لمعرفة عمرها الحالي. يقع الذكاء الاصطناعي في فخ محلي ويفقد الحقيقة العالمية.

الحل: FoCore (التركيز على الجوهر)

ابتكر المؤلفون طريقة جديدة لتفكير الذكاء الاصطناعي تسمى FoCore. هي لا تتطلب إعادة تدريب الذك_الاصطناعي، بل تغير فقط طريقة "تفكيره" أثناء العمل.

إليك التشبيه: لعبة "التباين الذاتي" (Self-Contrast).

تخيل أن الذكاء الاصطناعي يحاول حل لغز.

الطريقة العادية: يخمن الذكاء الاصطناعي الكلمة التالية بناءً على ما يراه.
طريقة FoCore: يلعب الذكاء الاصطناعي لعبة "ماذا لو؟"
- يحدد أهم الكلمات (الرموز عالية الكثافة - HD tokens) التي استنتجها بالفعل.
- يقوم بـ إخفاء (masking) تلك الكلمات المهمة مؤقتاً، متظاهراً بأنه لا يعرفها.
- يسأل نفسه: "إذا لم أكن أعرف هذا الدليل الرئيسي، فماذا سأخمن؟" (هذا هو التخمين "السلبي").
- ثم، يقارن ذلك التخمين الخاطئ بتخمينه الأصلي.
- النتيجة: من خلال رؤية الفرق بين "معرفة الدليل" و "عدم معرفة الدليل"، يدرك الذكاء الاصطناعي: "أوه! هذا الدليل مهم للغاية. يجب أن أتأكد من الالتزام بهذا المسار."

هذه العملية تجبر الذكاء الاصطناعي على تركيز انتباهه على المنطق الحرج (الرموز عالية الكثافة) بدلاً من الانجراف بعيداً في الضجيج.

الإضافة: FoCore_A (المسرّع)

لاحظت الورقة أيضاً شيئاً رائعاً: بمجرد أن يكتشف الذكاء الاصطناعي "الرموز عالية الكثافة" (المعالم)، فإنه يعرفها بسرعة وثقة كبيرة. أما "الرموز منخفضة الكثافة" (المناظر الطبيعية) المحيطة بها فتستغرق وقتاً أطول للتقرير بشأنها.

FoCore_A يستخدم هذا لتسريع العملية.

تشبيه: تخيل أنك تسير في غابة. سرعان ما تلمح قمة الجبل (رمز عالي الكثافة). بمجرد رؤية القمة، تعرف بالضبط الاتجاه الذي يجب أن تسلكه. لست بحاجة للتوقف وفحص كل شجرة (رمز منخفض الكثافة) على طول الطريق.
كيف يعمل: بمجرد أن يكتشف الذكاء الاصطناعي أن "المعالم" أصبحت مستقرة، يتوقف عن فحصها واحدة تلو الأخرى. بدلاً من ذلك، يقوم بملء بقية كلمات "المناظر الطبيعية" بشكل متوازٍ (كلها معاً).
الفائدة: هذا يجعل الذكاء الاصطناعي أسرع بشكل ملحوظ. تزعم الورقة أنه يمكنه تقليل الوقت المستغرق لتوليد الإجابة بأكثر من النصف (من حوالي 20 ثانية إلى حوالي 8 ثوانٍ) دون ارتكاب أخطاء.

ماذا أثبتوا؟

اختبر المؤلفون هذا على:

المسائل الرياضية: حل المسائل اللفظية حيث يهم المنطق.
البرمجة: كتابة كود برمجي حيث يجب أن تكون القواعد والمنطق مثاليين.
الاستنتاج: حل الألغاز المنطقية.

النتائج:

جودة أفضل: ارتكب الذكاء الاصطناعي أخطاء أقل وحل مسائل أصعب بشكل صحيح. على سبيل المثال، في اختبار البرمجة (HumanEval)، ارتفع معدل النجاح من حوالي 39% إلى 42%.
سرعة أكبر: النسخة المسرعة (FoCore_A) كانت أسرع بكثير، حيث قللت وقت توليد الإجابات بنسبة 58% تقريباً.

الملخص

تجادل الورقة بأن نماذج الذكاء الاصطناعي بالانتشار تمتلك قوة خارقة (رؤية الصورة الكاملة)، لكنها حالياً تستخدم استراتيجية تجعلها عمياء عن الأجزاء الأكثر أهمية في تلك الصورة. FoCore يصلح هذا من خلال تعليم الذكاء الاصطناعي التحقق باستمرار من: "هل أركز على الأدلة الحاسمة؟" عن طريق مقارنة تخميناته مع وبدون تلك الأدلة. يؤدي هذا إلى إجابات أذكى، أكثر دقة، وأسرع.

ملخص تقني: التركيز على الجوهر (FoCore)

1. بيان المشكلة

تقدم نماذج الانتشار اللغوية الكبيرة (DLMs) ميزة متميزة عن النماذج ذات الترتيب الذاتي (Autoregressive) من خلال تمكين نمذجة السياق العالمي عبر نموذج إزالة الضجيج التكراري. ومع ذلك، فإن استراتيجيات فك التشفير الحالية غالبًا ما تفشل في الاستفيد من هذه القدرة، حيث تظهر تفضيلًا "منحازًا محليًا" حيث تتلقى الرموز (tokens) الأقرب إلى المواضع التي تمت إزالة الضجيج منها بالفعل درجات ثقة أعلى بشكل غير متناسب. هذا الانحياز المحلي يتجاهل كثافة المعلومات غير المتجانسة المتأصلة في اللغة الطبيعية.

تجادل الورقة بأن سياقات اللغة الطبيعية تحتوي على مزيج من:

رموز منخفضة كثافة المعلومات (LD): حشو خلفي زائد عن الحاجة (مثل الكلمات الهيكلية مثل "for"، "she").
رموز عالية كثافة المعلومات (HD): وحدات استدلال جوهرية أو ركائز منطقية (مثل الكيانات، الأرقام، القيود المحددة) التي توجه مسار التوليد.

تغفل الاستراتيجيات الحالية غالبًا هذه الرموز عالية كثافة المعلومات (HD)، مما يؤدي إلى تدهور جودة التوليد، لا سيما في مهام الاستدلال المعقدة مثل الرياضيات وتوليد الكود البرمجي. علاوة على ذلك، لا تستغل عمليات فك التشفير القياسية بشكل كامل الملاحظة القائلة بأن رموز HD تميل إلى التقارب (الاستقرار) في وقت أبكر من الرموز المحيطة بها، مما يضيع فرصًا لتسريع الاستدلال.

2. المنهجية

تقترح الورقة FoCore (التركيز على الجوهر)، وهي استراتيجية لفك التشفير لا تتطلب إعادة تدريب، ونسختها الفعالة FoCore_A. تعتمد المنهجية على ثلاثة نتائج تجريبية رئيسية تتعلق برموز HD:

الاشتراط الصريح على رموز HD يحسن جودة المخرجات بشكل كبير.
تظهر رموز HD نزعة للفك المبكر، حيث تتقارب إلى حالاتها النهائية في وقت أبكر من الرموز المحيطة بها.
رموز HD حساسة للغاية لتغطية السياق العالمي (global context masking)، حيث تعاني من انخفاض كبير في الثقة عندما يتم حجب سياقها، على عكس رموز LD القوية.

أ. تحديد رموز HD

لتجنب الاستدلالات القائمة على مجالات محددة (والتي تفشل في توليد الكود)، يقترح المؤلفون آلية تحديد تلقائية تعتمد على استقرار التوزيع:

المقياس: يستخدمون تباعد جينسن-شانون (JS) المقطوع لـ Top-K لقياس عدم استقرار توزيع الاحتمالات المتوقع للرمز بين خطوات فك التشفير المتتالية ( $t$ و $t-1$ ).
المنطق: تسبب رموز HD تحولات توزيعية كبيرة عبر التكرارات، بينما تحافظ رموز LD على توزيعات مستقرة.
التحسين: يتم تطبيق المتوسط المتحرك الأسي (EMA) على درجات التباعد لكل خطوة لتتبع عدم الاستقرار التاريخي، مما يعمل على تصفية التقلبات العابرة وتحديد الرموز ذات عدم الاستقرار التراكمي العالي ( $S^{(i)}_t$ ).

ب. آلية FoCore (التباين الذاتي)

تستخدم FoCore رموز HD المحددة بطريقة التباين الذاتي لتوجيه التوليد دون إعادة تدريب:

بناء العينات السلبية: في كل تكرار، يتم إعادة قناع (استبدال بـ [MASK]) أكثر رموز HD عدم استقرارًا (المتقاربة) مؤقتًا لإنشاء تسلسل مدخل "غير مشروط" ( $\tilde{X}_t$ ).
التوجيه التبايني: يقوم النموذج بعمليتين تمرير أمامي (forward passes): واحدة على التسلسل الأصلي ( $X_t$ ) والأخرى على التسلسل المعاد قناعه ( $\tilde{X}_t$ ).
تعديل اللوجيت (Logit Adjustment): يتم حساب اللوجيت النهائي عن طريق مباينة المخرجات الشرطية وغير الشرطية:
$\hat{L}_t = L_{cond} + \omega \cdot (L_{cond} - L_{uncond})$
هذا يجبر النموذج على تركيز انتباهه بصرامة على رموز HD الجوهرية من خلال معاقبة الانحرافات عن المسار الذي توجد فيه هذه الركائز الحرجة.

ج. FoCore_A (النسخة المتسارعة)

بالاستفادة من حقيقة أن رموز HD تتقارب مبكرًا، تقدم FoCore_A آلية فك تشفير متوازية:

المراقبة: تقوم بمراقبة مستمرة لمتوسط درجة عدم الاستقرار للمواضع غير المفككة.
الخروج المبكر: بمجرد أن ينخفض متوسط درجة عدم الاستقرار تحت عتبة معينة ( $\tau$ )، مما يشير إلى أن رموز HD الجوهرية قد تقاربت بشكل كافٍ، يقوم النظام بتفعيل فك التشفير المتوازي.
التنفيذ: تقوم بفك تشفير $m$ من الرموز الإضافية عالية الثقة (عادةً رموز LD في نافذة السياق المحلي) في خطوة واحدة، مما يقلل بشكل كبير من إجمالي عمليات التمرير الأمامي وخطوات فك التشفير.

3. المساهمات الرئيسية

التحليل التجريبي لرموز HD: تبحث الورقة بشكل منهجي في الخصائص السلوكية لرموز HD، كاشفة عن فوائدها المزدوجة: فهي حاسمة للتوجيه الدلالي (الجودة) وتظهر تقاربًا مبكرًا (الكفاءة).
استراتيجية فك تشفير FoCore: طريقة تباينية ذاتية لا تتطلب تدريبًا، تقوم بإعادة قناع رموز HD المتقاربة ديناميكيًا كعينات سلبية لتعزيز جودة التوليد.
تسريع FoCore_A: نسخة فعالة تستغل نزعة التفك المبكر لرموز HD لتمكين فك التشفير المتوازي، مما يقلل زمن الاستجابة (latency) بشكل كبير.
التقييم الشامل: أظهرت التجار𝓷 الواسعة عبر معايير الرياضيات، الكود، والاستدلال المنطقي تحسينات متسقة مقارنة بالنماذج المرجعية المتطورة.

4. النتائج التجريبية

تم تقييم الطرق على هياكل LLaDA 8B و Dream 7B عبر ستة معايير: GSM8K، MATH500، HumanEval، MBPP، SVAMP، و Countdown.

تحسينات الجودة:
- في HumanEval، حسنت FoCore قيمة pass@1 من 39.02 (Standard CFG) إلى 42.68.
- في MBPP، حققت FoCore درجات 38.40/40.40/40.00 عبر أطوال التوليد، متفوقة على المنافسين مثل Prophet و KLASS.
- في MATH500، وصلت FoCore إلى 43.80، متجاوزة أفضل نموذج مرجعي (Confidence) الذي سجل 42.60.
- أظهرت الطريقة تدرجًا رتيبًا مع طول التوليد (128 إلى 512)، بينما أظهرت العديد من النماذج المرجعية انخفاضًا في الأداء عند الأطوال الأكبر.
مكاسب الكفاءة (FoCore_A):
- خطوات فك التشفير: انخفضت بمقدار 2.07× في HumanEval مقارنة بـ CFG القياسي.
- زمن الاستجابة (Latency): انخفض زمن الاستجابة لكل عينة في HumanEval من 20.76 ثانية إلى 8.64 ثانية (انخفاض بنسبة 58.4%).
- التسريع: حققت تسريعات تتراوح بين 1.45× إلى 2.29× عبر المعايير المختلفة مع الحفاظ على دقة المهام أو تحسينها مقارنة بالطرق الفعالة الأخرى مثل Prophet و KLASS.

5. الأهمية والادعاءات

تدعي الورقة أن التركيز على الجوهر (Focus on the Core) يعالج اختناقًا جوهريًا في فك تشفير DLM: وهو الفشل في التمييز بين المعلومات الخلفية الزائدة والركائز الاستدلالية الحرجة.

الرؤية النظرية: يوفر العمل إطارًا نظريًا يربط بين الاعتلاج الشرطي (conditional entropy) وعدم استقرار التوزيع، مما يثبت أن رموز HD تعمل كعنق زجاجة للمعلومات تهيمن على مسار فك التشفير. ومن خلال ضغط عدم اليقين لهذه الرموز عبر التباين الذاتي، تعمل FoCore على تثبيت مسار التوليد.
الأثر العملي: يقدم الإطار المقترح حلاً لا يتطلب إعادة تدريب يعزز في آن واحد جودة الاستدلال وسرعة الاستنتاج. ويظهر أن نماذج DLM يمكن جعلها أكثر كفاءة ليس فقط عبر التغييرات الهيكلية، ولكن من خلال استراتيجيات فك تشفير أذكى تحترم الطبيعة غير المتجانسة لكثافة المعلومات في النص.
الاتجاه المستقبلي: يشير المؤلفون إلى أن دمج هذا الوعي بـ "التركيز على الجوهر" في التدريب على مستوى المعلمات (على سبيل المثال، عبر التدريب اللاحق القائم على التعلم المعزز - RL) يعد اتجاهًا مستقبليًا واعدًا، رغم أن عملهم الحالي يركز حصريًا على فك التشفير في وقت الاستدلال.