💬 NLP

Attention-Aligned Reasoning for Large Language Models

تقدم الورقة البحثية ATAR، وهي طريقة استدلال مبتكرة توجه انتباه النماذج اللغوية الكبيرة لمنع دفن المعلومات الحرجة في سلاسل الاستدلال الطويلة، مما يحقق أداءً رائدًا عبر معايسات متعددة ويُمكّن النماذج غير المستدلة من التفوق على نماذج الاستدلال من نفس الحجم.

المؤلفون الأصليون: Hongxiang Zhang, Yuan Tian, Tianyi Zhang

نُشر 2026-03-30

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hongxiang Zhang, Yuan Tian, Tianyi Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز معقد للغاية، مثل أحجية صور مقطوعة (jigsaw) ضخمة مكونة من 1,000 قطعة، بينما تجلس في غرفة تستمر في الاتساع والكبر أكثر فأكثر.

المشكلة: "الضياع في المنتصف"
عندما تحاول النماذج اللغوية الكبيرة (LLMs) حل المشكلات الصعبة، فإنها عادة ما تتحدث مع نفسها خطوة بخطوة، مما ينشئ "سلسلة من الأفكار" طويلة. فكر في هذا كأنه قصة طويلة يكتبها النموذج.

تكمن المشكلة في أنه كلما طالت القصة، بدأ النموذج ينسى البداية. الأمر يشبه قراءة رواية غموض من 50 صفحة حيث تُدفن الأدلة الموجودة في الصفحة الأولى تحت الصفحات من 2 إلى 49. وبحلول الوقت الذي يصل فيه النموذج إلى النهاية، قد ينسى السؤال الأصلي أو يفقد تتبع تفصيل حاسم استنتجه في الخطوة رقم 3. وهذا ما يسمى بـ "انحراف الانتباه" (attention drift). يصبح النموذج شديد التركيز على الكلمة التالية مباشرة التي يكتبها، لدرجة أنه يتجاهل الصورة الكاملة.

الحل: ATAR (نظام "الـ GPS" للتفكير)
ابتكر مؤلفو هذه الورقة طريقة جديدة تسمى ATAR (التفكير المتوافق مع الانتباه - Attention-Aligned Reasoning).

فكر في ATAR كـ نظام ملاحة (GPS) لعقل النموذج.

الهدف العام (الوجهة): هو السؤال الأصلي الذي طرحته (على سبيل المثال: "كم يدفع مارك مقابل 12 سيارة؟"). في المحادثة العادية، هذه هي "الوجهة" في نظام الـ GPS الخاص بك.
الهدف المحلي (المنعطف التالي): هو الخطوة المحددة التي يعمل عليها النموذج الآن (على سبيل المثال: "احسب الضريبة"). هذا هو "المنعطف التالي" في نظام الـ GPS الخاص بك.

كيف يعمل ATAT:
معظم النماذج تكتفي بالقيادة للأمام، آملةً ألا تفوت أي منعطف. أما ATAR، فهو يتحقق باستمرار من شيئين في آن واحد:

"إلى أين أنا ذاهب؟" (السؤال الأصلي).
"أين أنا الآن؟" (الخطوة الحالية).

إنه يجبر النموذج على إبقاء عينيه على الوجهة مع النظر أيضاً إلى المنعطف التالي. وهو يفعل ذلك من خلال دمج (خلط) الخطة مع الفعل. فبدلاً من كتابة خطة كاملة في البداية ثم نسيانها، يقول ATAR: "الخطة الخطوة 1: احسب التكلفة. الفعل 1: قم بالحساب. الخطة الخطوة 2: احسب الضريبة. الفعل 2: قم بالحساب."

الميزة "الديناميكية": مفتاح التحكم في الصوت
هذا هو الجزء الذكي. ATAR لا يكتفي بملاحقة النموذج باستمرار؛ بل يستمع إلى مدى ثقة النموذج.

وضع الثقة: إذا كان النموذج متأكداً من إجابته (مثل "2 + 2 = 4")، فإن ATAR يخفض مستوى "الملاحقة" أو "الإلحاح" إلى حد منخفض. إنه يترك النموذج يتدفق بشكل طبيعي.
وضع عدم اليقين: إذا بدأ النموذج في التعثر أو بدا غير متأكد (مثل "انتظر، هل الضريبة 10% أم 12%؟")، يقوم ATAR برفع "مستوى الصوت". إنه يجذب انتباه النموذج ويوجهه مجدداً نحو السؤال الأصلي والخطة الحالية لضمان عدم انحرافه عن المسار.

لماذا يعد هذا أمراً هاماً

إنه "قوة خارقة" للنماذج "العادية": عادةً، تحتاج إلى نماذج ضخمة ومكلفة ومتخصصة في التفكير (مثل طالب عبقري درس لسنوات) لحل المشكلات الصعبة. ATAR يسمح لنموذج قياسي "غير مخصص للتفكير" (مثل طالب ثانوي ذكي) بأن يؤدي بنفس كفاءة، أو حتى أفضل من، تلك النماذج العبقرية. الأمر يشبه إعطاء طالب عادي دليل دراسة مثالي ومدرب تركيز خاص.
إنه يوفر الوقت والمال: تدريب تلك النماذج "العبقرية" يكلف ملايين الدولات ويستغرق وقتاً طويلاً جداً. ATAR هو خدعة برمجية؛ فهو لا يتطلب إعادة تدريب النموذج. أنت فقط تغير طريقة تفكير النموذج، وليس طريقة بنائه.
إنه يعمل في كل مكان: اختبرت الورقة هذا الأسلوب في مسائل الرياضيات، والألغاز المنطقية، وأسئلة المنطق العام. وقد عمل بشكل أفضل من جميع الطرق السابقة (مثل "شجرة الأفكار" - Tree of Thoughts، والتي تشبه محاولة حل متاهة عبر استكشاف كل مسار فيها في وقت واحد).

باختصار
ATAT يشبه دليل سياحي ذكي لعقل الروبوت. بدلاً من ترك الروبوت يتجول في ممر طويل وينسى من أين بدأ، يهمس الدليل باستمرار: "تذكر، نحن نحاول الوصول إلى المطبخ (الإجابة)، وحالياً نحن فقط نفتح الثلاجة (الخطوة الحالية)". هذا يبقي الروبوت على المسار الصحيح، ويمنعه من الضياع، ويساعده على حل أصعب الألغاز دون الحاجة إلى الحصول على درجة الدكتوراه في الأصل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "الاستدلال المتوافق مع الانتباه لنماذج اللغات الكبيرة" (ATAR).

1. بيان المشكلة

غالبًا ما تعاني نماذج اللغات الكبيرة (LLMs) في مهام الاستدلال المعقدة متعددة الخطوات. وبينما تميل هذه النماذج إلى توليد سلاسل استدلال طويلة (مثل سلسلة الأفك‏ - Chain-of-Thought)، فإن هذه السياقات الممتدة تؤدي إلى مشكلتين حرجتين:

تخفيف السياق ("الضياع في المنتصف"): مع نمو سلسلة الاستدلال، تصبح الخطوات الوسيطة الحرجة والطلب الأصلي مدفونة في السياق، مما يجعلها تتلقى انتباهًا غير كافٍ من النموذج.
تشتت الانتباه و"بالوعة الانتباه" (Attention Sink & Drift): تظهر نماذج اللغات الكبيرة انحيازًا للتركيز على الرموز الأولية ("بالوعة الانتباه") والمقدمات الثابتة. وهذا يمنع النموذج من التركيز بشكل كافٍ على القيود الديناميكية الخاصة بالمهمة والتي تظهر لاحقًا في عملية التوليد، مما يتسبب في انحراف النموذج عن القصد الأصلي أو إغفال القيود الوسيطة.

تحاول طرق توجيه الانتباه الحالية (مثل SPA وPASTA) التخفيف من حدة ذلك، لكنها تعاني من قيود: فهي غالبًا ما تعتمد على اختيار بشري ثابت للرموز المهمة (وهو ما يفشل مع تغير السياق ديناميكيًا) أو تطبق قوة توجيه ثابتة تكون إما ضعيفة جدًا لمنع الانحراف أو قوية جدًا لدرجة تعطل سلاسة الاستدلال.

2. المنهجية: ATAR

يقترح المؤلفون ATAR (الاستدلال المتوافق مع الانتباه)، وهي طريقة لا تتطلب تدريبًا تستفيد من البنية المتأصلة لسلسلة الاستدلال لتوجيه الانتباه ديناميكيًا.

الآلية الجوهرية

تقوم ATAR بالتداخل بين خطوات التخطيط ( $s_t$ ) وخطوات التنفيذ ( $a_t$ ) ضمن مسار الاستدلال $\tau$ .

الهدف العالمي: السؤال الأصلي للمستخدم ( $Q$ ).
الهدف المحلي: خطوة التخطيط الحالية ( $s_t$ )، والتي تحدد الهدف الفرعي المباشر.

تقوم الطريقة بتوجيه انتباه النموذج صراحةً لموازنة هذين الهدفين أثناء التوليد:

توليد التنفيذ (Action Generation): عند توليد فعل ( $a_t$ )، ينتبه النموذج لكل من الهدف العالمي ( $Q$ ) والهدف المحلي ( $s_t$ ).
$a_t = f(H_0 \oplus \tau_{t-1} \oplus s_t, \{Q, s_t\})$
توليد التخطيط (Plan Generation): عند توليد خطوة التخطيط التالية ( $s_t$ )، ينتبه النموذج بشكل أساسي إلى الهدف العالمي ( $Q$ ) لضمان بقاء الأهداف الفرعية الجديدة وفية للسؤال الأصلي.
$s_t = f(H_0 \oplus \tau_{t-1}, \{Q\})$

توجيه الانتباه الديناميكي

الابتكار الرئيسي هو التعديل الدينامي لقوة التوجيه ( $\omega_j$ ) بناءً على ثقة النموذج في كل خطوة.

مقياس الثقة: يستخدم المؤلفون المتوسط التوافقي لاحتمالات الرموز ( $P_j$ ) للخطوة. تم اختيار المتوسط التوافقي لأنه حساس للغاية للرموز ذات الاحتمالية المنخفضة (عدم اليقين)، مما يضمن أن أي توقع غير مؤكد واحد سيؤدي إلى تصحيح قوي.
$\text{conf}(P_j) = \frac{m}{\sum_{k=1}^m \frac{1}{p_{j,k}}}$
القوة الديناميكية: تتناسب قوة التوجيه $\omega_j$ $ω_{j}$ عكسيًا مع الثقة.
$\omega_j = \omega \cdot \frac{\sum_{k=1}^m \frac{1}{p_{j,k}}}{m}$
- عدم اليقين العالي: إذا كان النموذج غير متأكد (ثقة منخفضة)، تزداد قوة التوجيه لإعادة محاذاة الانتباه مع الأهداف العالمية/المحلية.
- الثقة العالية: إذا كان النموذج واثقًا، يتم تخفيف التوجيه للسماح بتوليد طبيعي وسلس.

يستخدم التنفيذ تثبيت المطالبة الانتقائي (SPA) كخلفية خفيفة الوزن لتعديل احتمالات الـ "logit"، رغم أن المؤلفين أظهروا توافقها مع خلفيات أخرى مثل PASTA.

3. المساهمات الرئيسية

إطار عمل استدلال مبتكر: تقدم ATAR آلية تداخل "خطط ثم نفذ" (Plan-then-Act) مهيكلة تُعرف بوضوح الأهداف المحلية والعالمية لتوجيه الانتباه.
التوجيه الديناميكي: على عكس الطرق الثابتة، تكيف ATAR شدة توجيه الانتباه بناءً على ثقة النموذج في الوقت الفعلي، مما يمنع التصحيح الزائد ويعالج الانحراف أثناء الخطوات غير المؤكدة.
كفاءة لا تتطلب تدريبًا: لا تتطلب ATAR أي تحديثات للمعلمات أو تعلم تعزيزي (RL). فهي تعمل بالكامل في وقت الاستدلال عبر هندسة المطالبات والتلاعب بالانتباه.
سد الفجوة: تمكن النماذج القياسية "غير المستدلة" من تحقيق أداء يضاهي أو يتفوق على النماذج المتخصصة في "الاستدلال" (مثل تلك التي تم ضبطها باستخدام التعلم التعزيزي) من نفس الحجم.

4. النتائج التجريبية

قيم المؤلفون ATAR على ستة اختبارات مرجعية (GSM8K, AQuA, MATH-500, StrategyQA, T4D, و BIG-Bench Hard) باستخدام ستة نماذج لغات أساسية تتراوح أحجامها من 3 مليار إلى 30 مليار معلمة.

مكاسب الأداء: تفوقت ATAR باستمرار على النماذج المرجعية المتطورة (SOTA) (مثل CoT و Plan-and-Solve+ و Re-Reading و Tree-of-Thought).
- حققت تحسنًا مطلقًا يصل إلى 15.39% فوق النماذج المرجعية.
- أظهرت مكاسب كبيرة في الاستدلال الرياضي (حتى 8.4% في MATH-500) وفي الاستدلال القائم على المنطق العام (حتى 12% في T4D).
المقارنة مع نماذج الاستدلال: عند تطبيق ATAR على النماذج غير المستدلة (مثل Llama-3.1-8B و Phi-4)، سمحت لها ATAR بمطابقة أو تجاوز أداء نظيراتها "المستدلة" المعززة بالتعلم التعزيزي (مثل Phi-4-reasoning و Qwen3-30B-A3B-Thinking) عبر معظم الاختبارات المرجعية.
المتانة:
- الطول: تحافظ ATAR على دقة عالية حتى مع امتداد سلاسل الاستدلال، بينما تتدهور النماذج المرجعية بشكل كبير مع السياقات الطويلة.
- التعقيد: تشجع الطريقة على توليد سلاسل استدلال أطول للمهام المعقدة، وهو ما يرتبط بارتفاع معدلات النجاح.
دراسات الاستبعاد (Ablation Studies):
- أدى إزالة توجيه الانتباه إلى تدهور الأداء بشكل كبير، مما يثبت أن الهيكل وحده غير كافٍ.
- كما أدى إزالة الآلية الديناميكية (باستخدام توجيه ثابت) إلى نتائج أقل أداءً أيضًا، مما يؤكد ضرورة التكيف القائم على الثقة.
- تعممت الطريقة عبر خلفيات توجيه انتباه مختلفة (SPA و PASTA).

5. الأهمية والخاتمة

تعالج ATAR قصورًا جوهريًا في استدلال نماذج اللغات الكبيرة الحالي: وهو عدم القدرة على الحفاظ على التركيز على السياق ذي الصلة عبر عمليات التوليد الطويلة. من خلال مواءمة الانتباه ديناميكيًا بين الهدف العالمي والأهداف الفرعية المحلية، تقدم ATAR بديلًا فعالًا من حيث الحوسبة لخطوط أنابيب تدريب التعلم التعزيزي (RL) المكلفة.

النقاط الرئيسية:

الكفاءة: تحقق أداء استدلال عالي دون تكلفة الضبط الدقيق أو مجموعات بيانات التعلم التعزيزي الضخمة.
القابلية للتوسع: تعمل بفعالية عبر أحجام ونماذج معمارية مختلفة (من 3 مليار إلى 30 مليار معلمة).
الموثوقية: تخفف من "انحراف الانتباه"، مما يجعل نماذج اللغات الكبيرة أكثر موثوقية للمهام المعقدة متعددة الخطوات دون الحاجة إلى تغييرات في البنية المعمارية.

تخلص الورقة إلى أن الاستفيد من البنية المتأصلة لسلاسل الاستدلال من أجل مواءمة الانتباه الديناميكية يعد خطوة حاسمة نحو بناء نماذج لغات كبيرة أكثر موثوقية وقدرة.