💬 NLP

LaDiR: Latent Diffusion Enhances LLMs for Text Reasoning

تقترح الورقة البحثية إطار عمل LaDiR، وهو إطار عمل استدلالي مبتكر يعزز النماذج اللغوية الكبيرة عبر ترميز الاستدلال النصي في فضاء كامن مهيكل واستخدام نموذج انتشار كامن مع انتباه ثنائي الاتجاه لتمكين الصقل الشمولي والتكراري والتوليد المتوازي لمسارات استدلال متنوعة، متفوقاً بذلك على الأساليب الحالية القائمة على التوليد الذاتي التراجعي والانتشار في اختبارات التقييم الخاصة بالرياضيات والتخطيط.

المؤلفون الأصليون: Haoqiang Kang, Yizhe Zhang, Nikki Lijing Kuang, Nicklas Majamaki, Navdeep Jaitly, Yi-An Ma, Lianhui Qin

نُشر 2026-03-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Haoqiang Kang, Yizhe Zhang, Nikki Lijing Kuang, Nicklas Majamaki, Navdeep Jaitly, Yi-An Ma, Lianhui Qin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة LaDiR البحثية، مترجمًا إلى لغة بسيطة مع استخدام تشبيهات إبداعية.

🧠 المشكلة: "الشارع ذو الاتجاه الواحد" للذكاء الاصطناوي الحالي

تخيل نموذج لغة ضخم (LLM) كأنه طالب يؤدي اختبارًا في الرياضيات. حاليًا، يستخدم هؤلاء الطلاب طريقة تسمى سلسلة الأفكار (Chain-of-Thought - CoT). هم يكتبون أفكارهم خطوة بخطوة، من اليسار إلى اليمين، تمامًا كما تكتب جملة.

العائق: بمجرد أن يكتب الطالب كلمة، لا يمكنه العودة ومسحها بسهولة. إذا ارتكب خطأً في الخطوة رقم 3، فعليه الاستمرار في كتابة الخطوات 4 و5 و6 بناءً على تلك الفكرة الخاطئة. الأمر يشبه قيادة سيارة في شارع ذو اتجاه واحد حيث لا يمكنك الالتفاف والعودة. إذا اتخذت منعطفًا خاطئًا، عليك أن تقود حتى نهاية الطريق، ثم تدرك أنك ضللت الطريق، وتبدأ الرحلة بأكملها من جديد.

هذا يجعل من الصعب على الذكاء الاصطناعي:

إصلاح الأخطاء بمجرد وقوعها.
استكشاف حلول مختلفة (فهي تميل للوقوع في نفس "النمط المتكرر").

🚀 الحل: LaDiR (منهج "النحات")

يقترح المؤلفون طريقة جديدة تسمى LaDiR (المستنتج عبر الانتشار الكامن - Latent Diffusion Reasoner). بدلًا من كتابة الكلمات واحدة تلو الأخرى، يفكر LaDiR في المفاهيم والأشكال أولاً، ثم يحولها إلى كلمات.

فكر في الأمر كأنك تنحت تمثالًا من الطين بدلًا من كتابة قصة.

1. الطين (الفضاء الكامن - Latent Space)

أولًا، يقوم الذكاء الاصطناعي بضغط أفكاره في شكل "طين". في الورقة البحثية، يُطلق على هذا اسم الرموز الكامنة (Latent Tokens).

الطريقة القديمة: كتابة "القط يجلس على الحصيرة" (كلمات منفصلة).
طريقة LaDiR: الإمساك بكتلة من الطين "تشعر" بأنها "قط يجلس على حصيرة". إنها كتلة ناعمة ومستمرة من المعنى، وليست مجرد سلسلة من الحروف.

2. عملية النحت (الانتشار - Diffusion)

هنا يحدث السحر. يبدأ الذكاء الاصطناعي بكتلة من الضجيج العشوائي (مثل كومة فوضوية من الطين). ثم يقوم بعد ذلك بـ "إزالة الضجيج" تدريجيًا، وتدقيق الشكل خطوة بختوة حتى يبدو مثل تمثال مثالي.

التشبيه: تخيل أنك تحاول رسم دائرة مثالية.
- الذكاء الاصطناعي القديم (التوليد التتابعي - Autoregressive): ترسم نقطة، ثم نقطة أخرى، ثم أخرى. إذا أخطأت في النقطة الأولى، ستكون الدائرة بأكملها مائلة. لا يمكنك إصلاح النقطة الأولى دون مسح الصفحة بأكملها.
- LaDiR (الانتشار - Diffusion): تبدأ بخربشة فوضوية وغير منتظمة. تنظر إلى الخربشة بأكملها وتقول: "همم، هذا الجزء مرتفع جدًا، دعونا ندفعه للأسفل. هذا الجزء منخفض جدًا، دعونا نرفعه للأعلى". يمكنك إصلاح أي جزء من الرسم في أي وقت أثناء العمل عليه.

3. استراتيجية "الكتل" (The Block Strategy)

لجعل هذا يعمل في مهام الاستنتاج الطويلة، يقسم LaDiR المشكلة إلى كتل (مثل الفقرات).

يقوم بتدقيق "كتلة فكرية" واحدة في كل مرة.
داخل الكتلة الواحدة، يمكنه النظر ذهابًا وإيابًا (ثنائي الاتجاه) لإصلاح الأخطاء.
بمجرد أن تصبح الكتلة مثالية، ينتقل إلى الكتلة التالية.

🎨 لماذا هذا أفضل؟ (القوى الخارقة)

1. زر "إعادة المحاولة" (التنقيح التكراري)

بما أن LaDiR يعمل على "الطين" (المفاهيم) وليس على "الكلمات"، فإنه يستطيع إصلاح خطأ في منتصف الفكرة دون حذف كل ما جاء بعدها.

التشبيه: إذا كنت تكتب وصفة طعام وأدركت أنك نسيت الملح، يمكنك فقط إضافته. إذا كنت تستخدم LaDi R، يمكنك "تنعيم" مفهوم "الحساء المالح" في عقلك قبل أن تكتب كلمة "ملح" حتى.

2. مستكشف "الأكوان المتعددة" (التنوع)

غالبًا ما تعطي نماذج الذكاء الاصطناعي الحالية نفس الإجابة في كل مرة لأنها تتبع المسار الأكثر وضوحًا.

خدعة LaDiR: تستخدم الورقة البحثية "قوة التنافر". تخيل أنك في غرفة مع 10 أشخاص آخرين يحاولون العثور على مخرج. إذا تجمع الجميع في مكان واحد، فقد تعلقون جميعًا. يقوم LaDiR بدفع "مسارات الأفكار" المختلفة بعيدًا عن بعضها، مما يجبرها على استكشاف زوايا مختلفة من الغرفة.
النتيجة: إنه يولد العديد من الحلول المختلفة والمتنوعة لنفس المشكلة، مما يزيد من فرصة أن يكون أحدها هو الإجابة الصحيحة.

3. "المترجم" (قابلية التفسير)

بما أن الذكاء الاصطناعي يفكر في "الطين" (الفضاء الكامن) ولكنه يحتاج للتواصل مع البشر، فإنه يستخدم مشفر تلقائي متغير (VAE) كمترجم.

يأخذ شكل الطين الناعم، ويترجمه مرة أخرى إلى نص مقروء بشري، ويعرض لك الخطوات. هذا يجعل "عملية التفكير" لدى الذكاء الاصطناعي مرئية ومفهومة، على عكس بعض الطرق التي تعمل كـ "صندوق أسود".

🏆 النتائج: هل نجح الأمر؟

اختبر المؤلفون LaDiR في ثلاثة تحديات صعبة:

المسائل الرياضية: حل مسائل رياضية أكثر تعقيدًا من الذكاء الاصطناعي القياسي، خاصة عند السماح له بـ "التفكير لفترة أطول" (خطوات تنقيح أكثر).
البرمجة: كتب كودًا أفضل، وقام بإصلاح أخطاء منطقية فاتتها النماذج الأخرى.
تخطيط الألغاز (لعبة Countdown): في لعبة تتطلب دمج الأرقات للوصول إلى هدف معين، كان LaDiR أفضل بنسبة 30% في إيجاد الحلول ووجد طرقًا مختلفة كثيرة لحل نفس اللغز.

📝 الخلا ملخص

يغير LaDiR طريقة تفكير الذكاء الاصطناعي. بدلًا من الاندفاع لكتابة الكلمة التالية (مثل كاتب سريع ومضطرب)، يتوقف لـ ينحت أفكاره (مثل فنان متأني). إنه يسم يسمح للذكاء الاصطناعي برؤية الصورة الكاملة، وإصلاح الأخطاء في المنتصف، واستكشاف مسارات عديدة للوصول إلى الحل، مما يؤدي إلى استنتاج أكثر ذكاءً وإبداعًا ودقة.

إليك ملخص تقني مفصل لورقة البحث "LaDiR: Latent Diffusion Enhances LLMs for Text Reasoning" (المقبولة في ICLR 2026).

1. بيان المشكلة

تعتمد النماذج اللغوية الكبيرة (LLMs) حاليًا على فك التشفير التوليدي التكراري (Autoregressive - AR) لسلاسل التفكير (Chain-of-Thought - CoT). هذا النموذج يواجه قيودين جوهريين:

عدم القدرة على التصحيح الذاتي: تقوم نماذج AR بتوليد الرموز (tokens) بالتتابع من اليسار إلى اليمين. وبمجرد توليد الرمز، لا يمكن مراجعته بشكل شمولي. وهذا يجعل التصحيح الذاتي غير فعال وصعبًا، مما يؤدي غالبًا إلى انتشار الأخطاء.
القدرة المحدودة على التنوع: يميل أخذ العينات في نماذج AR إلى الانهيار في مسارات تفكير متكررة أو متشابهة، مما يحد من استكشاف الحلول الصحيحة والمتنوعة.

بينما توفر نماذج الانتشار (Diffusion Models) صقلًا تكراريًا وتماسكًا عالميًا، فإن تطبيقها مباشرة على النصوص (الرموز المنفصلة/discrete tokens) يعد أمرًا صعبًا. غالبًا ما تركز مناهج الانتشار الكامن الحالية لتوليد النصوص على السلاسة بدلاً من التبعيات السببية المعقدة المطلوبة للتفكير متعدد الخطوات.

2. المنهجية: LaDiR (المُفكر بالانتشار الكامن - Latent Diffusion Reasoner)

يقترح LaDiR إطار عمل مبتكر يوحد بين قدرة التعبير للتمثيلات الكامنة المستمرة وقدرات الصقل التكراري لنماذج الانتشار الكامن. وهو يفصل عملية التفكير عن توليد الإجابة النهائية.

أ. البنية الأساسية

بناء الفضاء الكامن (VAE):
- يتم استخدام المشفر التلقائي التبايني (Variational Autoencoder - VAE) لترميز خطوات التفكير الوسيطة (CoT) إلى فضاء كامن مستمر.
- التقسيم إلى كتل (Blockization): يتم تقسيم سلسلة التفكير إلى جمل، حيث تُعامل كل جملة كـ "كتلة" من الرموز الكامنة ( $Z^{(b)}$ ).
- المُشفر (Encoder): يتم تهيئته من نموذج لغوي كبير مدرب مسبقًا، ويقوم برسم خرائط لكتل النصوص إلى توزيعات كامنة ( $\mu, \sigma$ ).
- المُفكك (Decoder): نموذج لغوي كبير مدرب مسبقًا ومجمد، يقوم بإعادة بناء النص من الكتل الكامنة.
- المتانة (Robustness): يتم تدريب الـ VAE باستخدام عمليات تعزيز (حقن الضوضاء الغاوسية واستبدال الرموز) لضمان أن يكون الفضاء الكامن متينًا تجاه الاضطرابات ويلتقط المحتوى الدلالي بدلاً من الأشكال المعجمية الدقيقة.
نموذج التفكير (الانتشار الكامن):
- بدلاً من توليد رموز نصية مباشرة، يقوم النموذج بتوليد رموز تفكير كامنة باستخدام هدف مطابقة التدفق (Flow Matching) (وهو نوع من أنواع الانتشار).
- الانتشار على مستوى الكتل (Blockwise Diffusion): يحدث الانتشار على مستوى الكتلة. داخل الكتلة الواحدة، تنتبه الرموز لبعضها البعض ثنائي الاتجاه (مما يسمد الصقل الداخلي)؛ أما عبر الكتل، فيكون الانتباه سببيًا صارمًا (للحفاظ على ترتيب خطوات التفكير).
- الانتباه الهجين (Hybrid Attention): يستخدم النموذج رموزًا خاصة مثل <BOT> (بداية التفكير) و <EOT> (نهاية التفكير) لتحديد الكتل، و <SOA> (بداية الإجابة) للإشارة إلى نهاية التفكير.
مسار التدريب:
- المرحلة 1 (التدريس بالإجبار - Teacher-Forcing): يتم تدريب النموذج على التنبؤ بالكتل الكامنة بناءً على الكتل "المثالية" (oracle) المقدمة من مُشفر الـ VAE. ويقوم بتحسين دالة خسارة مشتركة: مطابقة التدفق (للكوامن) + الإنتروبيا المتقاطعة (للإجابة النهائية) + تصنيف الرموز الخاصة (للتنبؤ بـ <SOA> أو <BOT>).
- المرحلة 2 (تدريب المسار - Rollout Training): لمعالجة عدم التطابق بين التدريب والاختبار (حيث يجب على النموذج استخدام الكوامن الخاصة به)، يقوم النموذج بتوليد الكوامن من الضوضاء بعدد أقل من خطوات إزالة الضجيج. يتم تمرير الاشتقاقات (Gradiats) عبر المسار، مما يسمح لإشراف الإجابة بتشكيل التنبؤات الكامنة مباشرة وتقليل تراكم الأخطاء.
الاستدلال والتنوع:
- إزالة الضجيج التكراري: يبدأ النموذج من ضوضاء غاوسية ويقوم بصقل الكتل الكامنة تكراريًا حتى يتم التنبؤ برمز <SOA>.
- توجيه التنوع (Diversity Guidance): لاستكشاف حلول متعددة، يستخدم الإطار:
  - زيادة الضوضاء الأولية: لتوسيع التوزيع الابتدائي.
  - قوة التنافر (Repulsion Force): يعمل حد التنافر القائم على الاشتقاق على دفع مسارات الكوامن بعيدًا عن بعضها البعض ضمن الدفعة الواحدة (batch)، مما يمنع انهيار النمط ويشجع على الاستكشاف.

3. المساهمات الرئيسية

التفكير على المستوى الدلالي: ينقل LaDiR التفكير من مستوى الرموز المنفصلة إلى فضاء دلالي كامن مستمر، مما يسمح للنموذج بصقل خطوات التفكير بأكملها (مثل تصحيح منطق حسابي) بدلاً من مجرد كلمات فردية.
التصحيح الذاتي التكراري: على عكس نماذج AR، يسمح LaDiR بصقل شمولي لسلاسل التفكير أثناء عملية إزالة الضجيج، مما يحسن الدقة بشكل كبير في المهام المعقدة.
الحوسبة التكيفية: يوفر الإطار مقايضة مرنة بين الدقة وحوسبة وقت الاختبار، حيث يؤدي إضافة المزيد من خطوات إزالة الضجيج إلى تحسين الأداء باستمرار، مما يقدم نموذجًا جديدًا لـ "توسيع وقت الاختبار" (test-time scaling).
تعزيز التنوع: تمكن آلية التنافر النموذج من توليد مسارات تفكير متنوعة وصحيحة بالتوازي، متفوقة على نماذج AR التي غالبًا ما تنهار إلى حلول متشابهة.
القابلية للتفسير: من خلال فك تشفير الكتل الكامنة إلى نص عبر الـ VAE، تظل عملية التفكير شفافة وقابلة للقراءة من قبل البشر، على عكس طرق التفكير المستمر التي تعمل كـ "صندوق أسود".

4. النتائج التجريبية

قام المؤلفون بتقييم LaDiR في مهام الاستدلال الرياضي، وتوليد الكود، وتخطيط الألغاز، مقارنة بنماذج AR المرجعية، ونماذج الانتشار المقنعة (masked diffusion)، وطرق التفكير الكامن الأخرى.

الاستدلال الرياضي (7 معايير):
- باستخدام LLaMA 3.1 8B، حقق LaDiR أعلى متوسط دقة، متفوقًا على أفضل طريقة سابقة للتفكير الكامن (TaH+) بنسبة 1.5% في Pass@1.
- أظهر زيادة مطلقة قدرها 6.1% في Pass@100 مقارنة بـ AR CoT SFT، مما يثبت التنوع المتفوق.
- تفوق بشكل كبير على الطرق الكامنة المتخصصة مثل Coconut و CODI، خاصة في المعايير خارج النطاق (مثل College-Math و DM-Math).
توليد الكود (4 معايير):
- في HumanEval+، تفوق LaDiR على نموذج AR SFT بنسبة تقارب 8% وعلى طريقة Soft Thinking (التي لا تتطلب تدريبًا) بفارق كبير.
- حقق نتائج قياسية جديدة في HumanEval و HumanEval+، متفوقًا على نماذج الكود المتخصصة مثل Ouro 2.6B بأكثر من 10%.
تخطيط الألغاز (Countdown):
- في مهمة Countdown، أظهر LaDiR تحسنًا مطلقًا يزيد عن 30% في Pass@1 و Pass@100 مقارنة بنماذج AR المرجعية.
- أظهر القدرة على استكشاف مسارات تخطيط عالمية متنوعة، حيث ارتفعت منحنيات Pass@k بشكل حاد مع زيادة قيمة $k$ .
دراسات الاستئصال (Ablation Studies):
- وُجد أن مطابقة التدفق (Flow Matching) تتفوق على أهداف DDIM القياسية ( $\epsilon$ , $x_0$ , $v$ prediction).
- حجم الكتلة: قدم حجم (جملة واحدة لكل كتلة مع 4 رموز كامنة) أفضل توازن.
- التنوع: وفرت قوة التنافر المتوسطة ( $\gamma_{max} \approx 0.3-0.5$ ) أفضل مقايضة بين التنوع والدقة.

5. الأهمية

يمثل LaDiR تحولًا جذريًا في نموذج التفكير للنماذج اللغوية الكبيرة. من خلال فصل التفكير عن توليد الرموز واستخدام الانتشار الكامن، يتغلب النموذج على القيود التسلسلية لنماذج التوليد التكراري (AR).

الأثر العملي: يوفر طريقة منهجية للموازنة بين الدقة والتنوع، وهو أمر بالغ الأهمية للتطبيقات التي تتطلب حل مشكلات قوي (مثل الرياضيات، البرمجة، والتخطيط).
الرؤية النظرية: تشير النتائج إلى أن نمذجة التفكير على المستوى الدلالي (عبر الكوامن المستمرة) ينتج خطوات وسيطة أكثر دقة من معالجة الرموز، مما يؤدي إلى إجابات نهائية أقوى.
الاتجاه المستقبلي: تفتح القدرة على تخصيص حوسبة وقت الاختبار بمرونة عبر خطوات إزالة الضجيج آفاقًا جديدة لسياسات الاستدلال التكيفية، مما قد يجعل النماذج اللغوية الكبيرة أكثر قدرة على التفكير من "النظام 2" (التفكير المتأني والمنظم).