💬 NLP

Echoes as Anchors: Probabilistic Costs and Attention Refocusing in LLM Reasoning

تقدم هذه الورقة إطار عمل يستفيد من ظاهرة "صدى المطالبة" (Echo of Prompt) العفوية في نماذج الاستدلال الكبيرة كمرتكز احتمالي، مع صياغة تكلفتها وتطوير استراتيجيات للتدريب والتحفيز لتسخير هذا التكرار من أجل إعادة تركيز الانتباه، مما يؤدي إلى تحسين دقة الاستدلال عبر المعايير الرياضية.

المؤلفون الأصليون: Zhuoyuan Hao, Zhuo Li, Wu Li, Fangming Liu, Min Zhang, Jing Li

نُشر 2026-02-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhuoyuan Hao, Zhuo Li, Wu Li, Fangming Liu, Min Zhang, Jing Li

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الفكرة الكبرى: لماذا يكرر الذكاء الاصطناعي نفسه أحياناً؟

تخيل أنك طالب عبقري تخوض اختباراً صعباً جداً في الرياضيات. قبل أن تبدأ في حل المسألة، تقول لنفسك تلقائياً: "حسناً، دعني أرى. المسألة تطلب نصف قطر علبة، وقد أعطوني المساحة..."

أنت لا تضيع الوقت بمجرد تكرار السؤال؛ بل أنت تثبّت تركيزك. أنت تتأكد من أن عقلك قد انغمس تماماً في تفاصيل المسألة المحددة قبل أن تبدأ العمل الشاق في التفكير.

تدرس هذه الورقة البحثية نماذج الاستدلال الكبيرة (الذكاء الاصطناعي المتفوق في الرياضيات والمنطق)، وتكتشف أنها تفعل الشيء نفسه تماماً. فهي غالباً ما تبدأ "عملية التفكير" الخاصة بها بتكرار سؤال المستخدم. ويطلق المؤلفون على هذا الأمر اسم "صدى المطالبة" (Echo of Prompt - EOP).

وبينما قد يعتقد البعض أن هذا التكرار هو خلل أو إضاعة للوقت، تجادل هذه الورقة بأنه في الواقع قوة خارقة. إنه استراتيجية مدمجة يستخدمها الذكاء الاصطناعي لتركيز انتباهه.

المشكلة: هل الصدى عيب أم ميزة؟

في الماضي، لاحظ الباحثون أن نماذج الذكاء الاصطناعي قد تقع أحياناً في حلقات مفرغة من تكرار نفسها (ما يسمى بـ "لعنة التكرار"). ولإصلاح ذلك، حاولوا إجبار الذكاء الاصطناعي على التوقف عن التكرار أو إضافة "رموز تفكير" عامة (مثل قول "فكر بعمق أكثر" باستخدام كلمة عشوائية).

ومع ذلك، وجدت هذه الورقة أنه عندما يقوم الذكاء الاصطناعي بتكرار السؤال تلقائياً من تلقاء نفسه، فإنه عادة ما يؤدي إلى إجابات أفضل. وكان السؤال الذي طرحه المؤلفون هو: هل هذا التكرار مجرد عادة عديمة الفائدة، أم أنه خدعة ذكية تعلمها الذكاء الاصطناعي لحل المشكلات الصعبة؟

الاكتشاف: "فجوة احتمالية الصدى"

لتحديد ذلك، ابتكر المؤلفون طريقة رياضية لقياس "تكلفة" الصدى. فقد قارنوا بين نسختين من تفكير الذكاء الاصطناعي:

النسخة الخام: يكرر الذكاء الاصطناعي السؤال، ثم يحل المسألة.
النسخة المختصرة: يتخطى الذكاء الاصطناعي التكرار ويذهب مباشرة إلى الحل.

وجدوا أن الذكاء الاصطناعي "يفضل" النسخة التي تحتوي على التكرار. في الواقع، كلما "استثمر" الذكاء الاصطناعي أكثر في تكرار السؤال (أي كلما زادت فجوة احتمالية الصدى)، زاد احتمال حصوله على الإجابة الصحيحة.

التشبيه: فكر في الصدى كأنه حزام أمان. ارتداء الحزام يستغرق بضع ثوانٍ إضافية (تكلفة صغيرة)، لكنه يجعل التسلق أكثر أماناً ونجاحاً. إذا تخليت عن الحزام لتوفير الوقت، فمن المرجح أن تسقط.

كيف يعمل الأمر: آلية "إعادة تركيز الانتباه"

تتعمق الورقة في "دماغ" الذكاء الاصطناعي (طبقاته الداخلية) لترى ما يحدث أثناء هذا الصدى. واكتشفوا آلية تسمى إعادة تركيز الانتباه (Attention Refocusing).

الانجراف (The Drift): عند حل مسألة طويلة ومعقدة، يمكن لانتباه الذكاء الاصطناعي أن يبدأ في التشتت. قد ينسى الأرقام الأصلية أو القيود، مثل الطالب الذي يبدأ في أحلام اليقظة في منتصف مسألة لفظية.
المرساة (The Anchor): يعمل الصدى كـ مرساة ثقيلة. من خلال إعادة صياغة السؤال، يقوم الذكال الاصطناعي بـ "إعادة تثبيت" نفسه. إنه يسحب انتباهه مرة أخرى إلى التفاصيل الأكثر أهمية.

قصة الطبقات (طبقة تلو الأخرى):
وجد الباحثون أن عملية "إعادة التركيز" هذه تحدث غالباً في الطبقات الوسطى من دماغ الذكاء الاصطناعي (الطبقات من 7 إلى 18).

الطبقات المبكرة: مجرد معالجة للكلمات.
الطبقات الوسطى: هنا يحدث السحر. يستخدم الذكاء الاصطناعي الصدى لتركيز انتباهه على تفاصيل المسألة.
الطبقات المتأخرة: توليد الإجابة النهائية.

إذا حصل الذكاء الاصطناعي على الإجابة الصحيحة، فإن انتباهه في الطبقات الوسطى يكون ملتصقاً بقوة بـ "الصدى" (المسألة المعاد صياغتها). وإذا أخطأ، يكون هذا الالتصاق أضعف.

الحلول: كيف تستخدم هذا؟

لم يكتف المؤلفون بالملاحظة فحسب، بل بنوا أداتين للمساعدة في استخدام هذه الاستراتيجية بشكل أفضل:

1. التعلم بالإشراف الموزون بصدى المطالبة (ED-SFT): "تعليم العادة"

ما هو: أخذوا مجموعة بيانات من المسائل الرياضية وعلموا الذكاء الاصطناعي أن يبدأ دائماً بتكرار السؤال قبل الحل.
النتيجة: النماذج التي تم تدريبها بهذه الطريقة أصبحت أفضل بكثير في الرياضيات، حتى في المسائل التي لم ترها من قبل. إنه يشبه تعليم طالب عادة دراسية محددة تعمل في كل الاختبارات.

2. المطالبة بالصدى (EP): "الوكزة في منتصف اللعبة"

ما هو: هذه حيلة يمكنك استخدامها دون إعادة تدريب الذكاء الاصطناعي. إذا بدأ الذكاء الاصطناعي في حل مسألة وأردت مساعدته، يمكنك مقاطعة عملية تفكيره وقول: "مهلاً، دعنا ننظر إلى السؤال مرة أخرى،" متبوعاً بالسؤال الأصلي.
النتيجة: هذه "الوكزة" تجبر الذكاء الاصطناعي على إعادة تثبيت مرساته، وغالباً ما تصحح الأخطاء أو تحسن الإجابة النهائية. وهي تعمل بشكل أفضل من مجرد قول "فكر بعمق أكثر" باستخدام كلمات عامة.

الملخص

الملاحظة: تميل نماذج الذكاء الاصطناعي طبيعياً إلى تكرار السؤال قبل حل المسائل الصعبة.
النتيجة: هذا ليس خطأً؛ بل هو ميزة. فهو يعمل كـ "مرساة تركيز" تمنع الذكاء الاصطناعي من الضياع في أفكاره الخاصة.
الدليل: النماذج التي تكرر السؤال بشكل أكبر (وبوزن احتمالي أكبر) تحصل على درجات أفضل.
التطبيق: يمكننا جعل الذكاء الاصطناعي أكثر ذكاءً عبر تدريبه على تكرار السؤال (ED-SFT) أو من خلال تذكيره يدوياً بالنظر إلى السؤال أثناء عملية التفكير الطويلة (المطالبة بالصدى).

تخلص الورقة إلى أن هذا "الصدى للمطالبة" هو أداة معرفية أساسية تساعد الذكاء الاصطناعي على مواءمة تفكيره مع المهمة المطلوبة، محولةً هذه العادة التي تبدو تكرارية إلى استراتيجية تفكير قوية.

ملخص تقني: الأصداء كمرتكزات: التكاليف الاحتمالية وإعادة تركيز الانتباه في استدلال النماذج اللغوية الكبيرة (LLMs)

بيان المشكلة

تخصص نماذج الاستدلال الكبيرة (LRMs) قدرًا كبيرًا من الحوسبة أثناء وقت الاختبار لتوليد مسارات "سلسلة الأفكار" (Chain-of-Thought - CoT) قبل الإجابة. ومن الظواهر الشائعة، وإن كانت غير مدروسة بعمق، في هذه المسارات هي التكرار العفوي لنص مستخدم السؤال في بداية عملية الاستدلال مباشرة، وهو ما يُسمى بـ "صدى المطالبة" (Echo of Prompt - EOP). وبينما يُنظر غالبًا إلى التكرار غير المنضبط على أنه نمط فشل (لعنة التكرار)، ومن المعروف أن التعليمات الصريحة بإعادة قراءة الأسئلة تساعد في تحسين الأداء، إلا أن الدور الوظيفي لهذا الصدى الأولي "العفوي" لا يزال غير واضح. السؤال الجوهي الذي تعالجه هذه الورقة هو ما إذا كان هذا السلوك مجرد أثر زائد ناتج عن التدريب أم أنه استراتيجية إدراكية وظيفية تساعد في عملية الاستدلال.

المنهجية

1. الإطار الاحتمالي: فجوة احتمالية الصدى

قام المؤلفون بصياغة ظاهرة (EOP) باستخدام إطار عمل أخذ العينات بالرفض (rejection sampling). لقد حددوا توزيعًا "مُقلمًا" (trimmed) حيث تكون المخرجات مشروطة بأن تكون خالية من الصدى. وبما أن حساب دالة التقسيم (partition function) لهذا التوزيع أمر مستعصٍ حسابيًا، فقد استحدثوا "فجوة احتمالية الصدى" ( $\Delta L$ ) كبديل قابل للحساب.

التعريف: $\Delta L$ هي الفرق في متوسط احتمالية الـ (log-likelihood) لكل رمز (token) بين المسار الخام الذي يحتوي على صدى ( $y_{raw}$ ) ونظيره المقلم من الصدى ( $y_{trim}$ ).
المقياس: $\Delta L = L(y_{raw}) - L(y_{trim})$ . تشير القيمة الموجبة لـ $\Delta L$ إلى أن النموذج يمنح احتمالية أعلى للتسلسل الذي يحتوي على الصدى.
فجوة اللاحقة فقط (Suffix-only Gap): لعزل تأثير الصدى على الاستدلال اللاحق، قاموا أيضًا بقياس فرق الاحتمالية لللاحقة الاستدلالية بشرط وجود أو عدم وجود بادئة الصدى.

2. التحليل الآلي: إعادة تركيز الانتباه

لفهم سبب كون الصدى مفيدًا، أجرى المؤلفون تحليلًا لمستويات الانتباه (attention weights) على مسارات مجموعة بيانات GSM8K.

المقاييس: قاموا بقياس أوزان الانتباه من رموز الإجابة إلى (أ) رموز السؤال الأصلي و (ب) بادئة الإجابة (الصدى الأولي).
الفرضية: يعمل الصدى كآلية داخلية لإعادة تركيز الانتباه، مما يرسخ خطوات الاستدلال اللاحقة في التفاصيل الجوهرية للاستعلام الأصلي.

3. التدخلات التجريبية

تقترح الورقة وتقيم طريقتين للاستفادة من (EOP):

الضبط الدقيق المستند إلى استخلاص الصدى (ED-SFT): وهو نهج ضبط دقيق تحت الإشراف. قام المؤلفون ببناء مجموعة بيانات حيث يتم تعديل مسارات المعلم (من نموذج قادر) لتشمل صراحةً بادئة صدى (نمط "الصدى ثم الاستدلال"). يتم تعديل المسارات التي تفتقر إلى الصدى بواسطة نموذج معلم لإدراج صدى أدنى يعيد صياغة السؤال، مع الحفاظ على الاستدلال والإجابة النهائية.
التلقين الصدوي (Echoic Prompting - EP): وهي استراتيجية استدلال خالية من التدريب. بعد توليد سلسلة استدلال أولية، يتم توجيه النموذج لـ "النظر مجددًا إلى السؤال" متبوعًا بنص السؤال الأصلي، مما يؤدي فعليًا إلى إعادة إدراج السياق في منتصف المسار.

النتائج الرئيسية

الارتباط الاحتمالي مع الصحة (Correctness)

ارتباط إيجابي: في مجموعة بيانات GSM8K، أظهرت المسارات التي تؤدي إلى إجابات صحيحة فجوة احتمالية للصدى أكبر بكثير ( $\Delta L = 2.5231$ ) مقارلة بالمسارات الخاطئة ( $\Delta L = 2.4421$ ).
الاستقلال عن الطول: هذا الارتباط ظل ثابتًا عبر أطوال الصدى المختلفة (معظمها يتراوح بين 200-240 رمزًا)، مما يشير إلى أن الفائدة ليست مجرد أثر ناتج عن طول النص.
التحقق السببي: أظهرت دراسة تدخلية على المسارات الفاشلة أن إعادة إدراج بادئة الصدى في عملية التوليد لنماذج قادرة على الاستدلال (DeepSeek-R1-Distill-Llama-8B, Qwen3-8B) أدت إلى تحسين ملحوظ في دقة التطابق التام (Exact Match - EM) بمقدار (+10.4 و +7.9 نقطة، على التوالي). أما النماذج الأساسية غير القادرة على الاستدلال فلم تظهر أي تحسن، مما يشيد بأن الفائدة تعتمد على الأوليات الاستدلالية الموجودة مسبقًا.

نتائج آلية الانتباه

هيمنة الطبقات الوسطى: يظهر تأثير إعادة تركيز الانتباه بشكل أوضح في الطبقات من 7 إلى 18. تُظهر المسارات الصحيحة وزن انتباه أعلى بكثير من رموز الإجابة إلى بادئة الإجابة (الصدى) مقارنة بالمسارات غير الصحيحة (ذروة الفرق $\approx 3\%$ ).
الخصوصية: الإشارة التمييزية محددة بـ انتباه بادئة الإجابة، وليس بانتباه السؤال الأصلي (الذي أظهر فرقًا ضئيلًا بين المجموعتين الصحيحة والخاطئة). هذا يشير إلى أن الصدى يعمل كـ "مرتكز للذاكرة العاملة" بدلاً من مجرد إعادة قراءة للمطالبة.

مكاسب الأداء

ED-SFT: حقق الضبط الدقيق للنماذج (Qwen3-8B و DeepSeek-Distill-Llama-8B) على مجموعة البيانات المعززة بالصدى مكاسب متسقة مقارنة بالضبط الدقيق القياسي لـ CoT.
- Qwen3-8B-Base: +3.4 نقطة في GSM8K.
- Qwen3-8B (Instruct): +2.8 نقطة في GSM8K.
- تعممت المكاسب على MathQA و Hendrycks-MATH، حتى عند التدريب على GSM8K فقط.
التلقين الصدوي (EP): في وقت الاستدلال، تفوق (EP) على خط الأساس "توسيع وقت الاختبار القائم على رموز التفكير" (TTTS) (الذي يدرج رموزًا عامة مثل "So" أو "Hmm") في AIME24 و MATH-500، مما يثبت أن إعادة الربط المرتبطة بالمهمة أكثر فعالية من المحفزات العامة.

المساهمات والأهمية

تقدم هذه الورقة ثلاث مساهمات رئيسية:

الإطار الاحتمالي: قدمت إطار عمل يعتمد على أخذ العينات بالرفض لقياس تكلفة الصدى عبر "فجوة احتمالية الصدى" ( $\Delta L$ )، مما يوفر رابطًا نظريًا بين التكرار المبكر والدقة اللاحقة.
الأساليب العملية: اقترحت ED-SFT (لغرس السلوك عبر التدريب) و التلقين الصدوي (للاستفادة منه عند الاستدلال)، وكلاهما أظهر تحسينات مستمرة في الأداء مقارنة بالنماذج القوية.
التفسير الآلي: قدمت دليلًا على أن (EOP) يعمل كآلية داخلية لإعادة تركيز الانتباه، وتحديدًا عبر تثبيت الانتباه في الطبقات الوسطى (7-18) في نص المشكلة، مما يمنع انحراف الانتباه.

الأهمية: تعيد هذه الورقة صياغة "صدى المطالبة" من كونه خللًا سطحيًا أو أثرًا زائدًا إلى بدائية إدراكية وظيفية. إنها تشير إلى أن التكرار العفوي للمطالبة هو استراتيجية متعلمة للضبط الذاتي الإدراكي. ومن خلال فهم وتسخير هذا السلوك الناشئ، يربط المؤلفون بين الظواهر الناشئة الملحوظة والتصميم الإدراكي المتعمد، مما يقدم رؤى جديدة حول كيفية هيكلة النماذج لعمليات تفكيرها الخاصة للمهام المعقدة.