💬 NLP

CopT: Contrastive On-Policy Thinking with Continuous Spaces for General and Agentic Reasoning

يُعد CopT إطار عمل استدلالي لا يتطلب تدريباً، حيث يعكس نموذج "سلسلة الأفكو" التقليدي عبر توليد إجابة مسودة أولاً، ثم توظيف أدوات تحقق تباينية في الفضاء المستمر لتفعيل التأمل الذاتي المعتمد على السياسة (on-policy reflection) ديناميكياً عند الضرورة فقط، مما يؤدي إلى تحسين الدقة بشكل كبير وتقليل تكاليف الرموز (tokens) عبر مهام استدلالية متنوعة.

المؤلفون الأصليون: Dachuan Shi, Hanlin Zhu, Xiangchi Yuan, Wanjia Zhao, Kejing Xia, Wen Xiao, Wenke Lee

نُشر 2026-05-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Dachuan Shi, Hanlin Zhu, Xiangchi Yuan, Wanjia Zhao, Kejing Xia, Wen Xiao, Wenke Lee

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق بارع تحاول حل لغز ما.

الطريقة القديمة (سلسلة الأفكار - Chain-of-Thought):
تقليدياً، عندما تحاول النماذج اللغوية الكبيرة (LLMs) حل مشكلة ما، فإنها تتصرف مثل محقق يصر على كتابة تقرير شرطة مكون من 10 صفحات قبل أن يُسمح له بقول من هو الجاني. إنهم يفكرون، ويفكرون، ويفكرون، ويكتبون كل خطوة، ثم يعطون الإجابة.

المشكلة: في بعض الأحيان، يكون المحقق قد عرف الإجابة بالفعل في الثانية الأولى. ولكن لأن القواعد تفرض "التفكير أولاً"، يستمرون في كتابة التقرير على أي حال. هذا يهدر الوقت (الرموز/Tokens) والطاقة، حتى لو كانت الإجابة بديهية. وهذا ما يسمى بـ "التفكير الاستعراضي" (performative reasoning) — أي التفكير لمجرد التفكير.

الطريقة الجديدة (CopT):
تقدم ورقة البحث CopT (التفكير التبايني أثناء التنفيذ - Contrastive On-Policy Thinking). وهي تقلب السيناريو؛ فبدلاً من التفكير قبل الإجابة، تعمل CopT مثل محقق يصرخ بـ إجابة مسودة فوراً.

الخطوة 1: فحص الحدس. يقول النموذج: "أعتقد أن الإجابة هي X".
الخطوة 2: المرآة السحرية. قبل قبول هذه الإجابة، تستخدم CopT "مرآة سحرية" خاصة (آلية تباينية) للتحقق مما إذا كانت الإجابة جديرة بالثقة.
- تنظر إلى الإجابة من منظور قياسي (رموز منفصلة/discrete tokens).
- تنظر إلى الإجابة من منظور "ضبابي وغير مؤكد" (تمثيلات مستمرة/continuous embeddings تحمل كل احتمالات الـ "ربما" التي فكر فيها النموذج).
- إذا كان النموذج واثقاً، فإن المنظورين يتطابقان تماماً. أما إذا كان النموذج في حالة تخمين أو ارتباك، فإن المنظورين سيتصادمان.
الخطوة 3: القرار.
- إذا قالت المرآة "يبدو جيداً": يقبل المحقق الإجابة فوراً. لا داعي لكتابة التقرير الطويل. النتيجة: توفير هائل في الوقت والمال.
- إذا قالت المرآة "يبدو مهزوزاً": يقول المحقق: "حسناً، أحتاج للتفكير أكثر". ولكن الجزء الذكي هنا هو أنهم لا ينسون تخمينهم الأول فحسب؛ بل يستخدمون "مفتاح الرؤية". قد يخفون التخمين الأول المهزوز إذا كان يسبب لهم الارتباك، أو يبقونه مرئياً إذا كان بمثابة تلميح مفيد، بينما يقومون بالتفكير العميق لتصحيحه.

الاستعارة الجوهرية: "العدسة الضبابية" مقابل "العدسة الحادة"

لفهم "المرآة السحرية" (المتحقق التبايني)، تخيل النظر إلى لوحة فنية من خلال عدستين مختلفتين:

العدسة الحادة (المدخل المنفصل/Discrete Input): ترى ضربات الفرشاة النهائية والواضحة التي قرر النموذج رسمها. هذه هي "إجابة المسودة".
العدسة الضبابية (المدخل المستمر/Continuous Input): ترى كامل لوحة الألوان التي كان النموذج يفكر فيها قبل أن يختار الضربة النهائية. وهذا يشمل كل احتمالات الـ "ماذا لو" وعدم اليقين.

كيف تستخدم CopT هذا:
تسأل CopT: "هل تبدو العدسة الحادة مثل العدسة الضبابية؟"

نعم: كان النموذج متأكداً. الإجابة من المرجح أن تكون صحيحة. توقف عن التفكير، ووفر الرموز.
لا: العدسة الضبابية تظهر أن النموذج كان في الواقع مرتبكاً جداً أو كان يفكر في احتمالات عديدة مختلفة، رغم أنه اختار لوناً محدداً. الإجابة من المرجح أن تكون خاطئة. ابدأ التفكير (التفكير أثناء التنفيذ) لتصحيح ذلك.

لماذا يهم هذا (وفقاً لورقة البحث)

تدعي ورقة البحث أن هذه الطريقة تعد تغييراً جذرياً لأنها تمنع النموذج من "استعراض" التفكير غير الضروري.

السرعة والتكلفة: في المشكلات السهلة حيث يعرف النموذج الإجابة فوراً، تتخطى CopT عملية التفكير الطويلة تماماً. وتظهر الورقة أن هذا يقلل من "التكلفة" (عدد الكلمات/الرموز المولدة) بنسبة تقارب النصف في بعض الحالات.
تفكير أذكى: في المشكلات الصعبة حيث يكون التخمين الأول خاطئاً، لا تستسلم CopT فحسب. بل تستخدم "المرآة السحرية" لتدرك: "مهلاً، أنا مرتبك"، ومن ثم تشارك في تفكير عميق (أثناء التنفيذ) فقط عند الضرورة.
لا حاجة للتدريب: هذه ليست نموذجاً جديداً يحتاج لسنوات من التدريب. إنها طريقة جديدة لاستخدام النماذج الموجودة. الأمر يشبه إعطاء محقق ذكي قواعد جديدة ليتبعها، بدلاً من تعليمه لغة جديدة.

"مفتاح الرؤية" (The Visibility Switch)

عندما يدرك النموذج أنه بحاجة للتفكير أكثر، يجب عليه أن يقرر ما إذا كان سيستمر في النظر إلى تخمينه الأول (الذي قد يكون خاطئاً) أم لا.

إذا أصبح التفكير فوضوياً، يمكن لـ CopT إخفاء التخمين الأول حتى لا يرتبك النموذج بسبب خطئه.
إذا كان التخمين الأول يحتوي على تلميح جيد، فإن CopT تظهره للمساعدة في توجيه التصحيح.
ويتم التحكم في ذلك من خلال فحص "مرآة سحرية" ثانية أثناء عملية التفكير.

الملخص

CopT هي طريقة أذكى لاستخدام استدلال الذكاء الاصطناعي. بدلاً من إجبار الذكاء الاصطناعي على التفكير لفترة طويلة قبل التحدث، تسمح له بالتحدث أولاً، ثم تتحقق مما إذا كان كلامه جديراً بالثقة باستخدام "كاشف عدم يقين" خاص، وتجبره فقط على التفكير بعمق إذا قال الكاشف: "مهلاً، هذا لا يبدو صحيحاً". هذا يجعل الذكاء الاصطناعي أسرع، وأرخص، وبنفس القدر من الذكاء (أو أكثر ذكاءً) في المشكلات الصعبة.

ملخص تقني: CopT: التفكير التبايني داخل السياسة مع المساحات المستمرة للاستدلال العام والوكيل

بيان المشكلة

أصبح التلقين عبر "سلسلة الأفكار" (Chain-of-Thought - CoT) هو المعيار لاستخراج قدرات الاستدلال في النماذج اللغوية الكبيرة (LLMs). ومع ذلك، فإن نموذج CoT السائد يعامل التفكير كمتطلب سابق صارم للإجابة، مما يجبر النماذج على توليد مسار استدلال كامل قبل إنتاج الإجابة النهائية. وتشير الملاحظات الأخيرة إلى أن النماذج اللغوية الكبيرة غالبًا ما تظهر "استدلالًا أدائيًا"، حيث تستمر في توليد خطوات الاستدلال حتى بعد تحديد إجابة محتملة داخليًا. هذا السلوك يؤخر الوصول إلى الإجابات الصحيحة ويتسبب في تكاليف غير ضرورية للرموز (tokens). علاوة على ذلك، فإن الطرق الحالية التي تستخدم التضمينات المستمرة (Latent CoT) غالبًا ما تضحي بقابلية قراءة الاستدلال الصريح أو تتسبب في مشكلات مثل التمثيلات غير المرئية أو الانجراف نحو الضجيج عند استخدامها مباشرة للتوليد.

المنهجية: CopT

يقترح المؤلفون CopT (التفكير التبايني داخل السياسة)، وهو مسار عمل للاستدلال لا يتطلب تدريبًا يعكس ترتيب العمليات القياسي: الإجابة أولاً، ثم التفكير. تتكون المنهجية من مرحلتين أساسيتين وآلية تحقق تباينية مبتكرة.

1. مسار الاستدلال المعكوس

استثارة مسودة الإجابة: بدلاً من التفكير أولاً، يُجبر النموذج على إخراج رمز <answer> فورًا وتوليد مسودة إجابة ( $a$ ) بناءً على السؤال المدخل ( $q$ ).
التفكير داخل السياسة: إذا اعتُبرت مسودة الإجابة غير موثوقة، يقوم النموذج بتفعيل مرحلة تفكير لاحقة مشروطة بالمسودة. يتيح ذلك التأمل والتصحيح فقط عند الضرورة.

2. تقدير الموثوقية التبايني

لتحديد ما إذا كان يجب الوثوق بمسودة الإجابة أو ما إذا كانت هناك حاجة لمزيد من التفكير، يقدم CopT مقدر KL العكسي المتسلسل الموحد ( $\kappa$ ). تستفيد هذه الآلية من التضمينات المستمرة كمحققات وقت الاستدلال دون استخدامها للتوليد.

المدخلات المنفصلة مقابل المستمرة: أثناء التوليد، يقوم النموذج بتخزين تمثيلين لكل خطوة:
1. البادئة المنفصلة (Discrete Prefix): الاحتمال القياسي $p_t$ للرمز المختار بناءً على تاريخ الرموز المنفصلة.
2. البادئة المستمرة (Continuous Prefix): تضمين مستمر $e_t$ يتم حسابه كمتوسط مرجح باحتمالية جميع تضمينات المفردات، مما يحافظ على معلومات عدم اليقين.
المقدر: بعد توليد مسودة بطول $T_a$ ، يقارن النموذج بين احتمال الرموز المولدة تحت البادئة المنفصلة ( $p_\theta(a_t | q, a_{<t})$ ) مقابل الاحتمال تحت البادئة المستمرة ( $p_\theta(a_t | q, e_{<t})$ ).
$\kappa_a = \frac{1}{T_a} \sum_{t=1}^{T_a} \left[ \log p_\theta(a_t | q, a_{<t}) - \log p_\theta(a_t | q, e_{<t}) \right]$
التفسير: تشير قيمة $\kappa_a$ العالية إلى أن الإجابة أقل دعمًا بشكل كبير عند أخذ معلومات عدم اليقين (التضمينات المستمرة) في الاعتبار، مما يشير إلى أن المسودة غير موثوقة. إذا تجاوزت $\kappa_a$ عتبة $\tau_a$ ، يدخل النموذج مرحلة التفكير داخل السياسة.

3. التحكم الديناميكي في الرؤية

خلال مرحلة التفكير داخل السياسة، قد لا تزال مسودة الإجابة تحتوي على معلومات جزئية مفيدة، ولكنها قد تضلل النموذج أيضًا إذا كانت معيبة جوهريًا. يعالج CopT ذلك من خلال التحكم الديناميكي في رؤية مسودة الإجابة أثناء كتل التفكير اللاحقة.

يتم تقسيم مسار التفكير إلى كتل (chunks).
يتم حساب مقدر KL ثانٍ ( $\kappa_r$ ) لكل كتلة لتقييم استقرار عملية التفكير الحالية.
إذا أشار $\kappa_r$ إلى عدم الاستقرار (اختلاف عالٍ)، يتم إخفاء مسودة الإجابة ( $m_k=0$ ) للكتلة التالية لمنع تضليل النموذج. إذا كانت مستقرة، تظل المسودة مرئية ( $m_k=1$ ).

4. الأساس النظري

تقدم الورقة تحليلًا نظريًا يوضح أنه تحت افتراض "الخليط الخطي" (mixture-linear)، فإن القيمة المتوقعة لمقدر KL العكسي تساوي المعلومات المتبادلة $I(S; A)$ بين حالة الاستدلال الكامنة غير المحلولة $S$ ورمز الإجابة المنبعث $A$ . يثبت هذا أن المقدر يقيس عدم اليقين المتعلق بالإجابة بدلاً من عدم اليقين التعسفي في الحالة الكامنة. وبناءً على ذلك، تزدل الدرجة فقط عندما يغير عدم اليقين المحفوظ في التضمينات المستمرة دعم النموذج للرموز المولدة فعليًا.

المساهمات الرئيسية

النموذج المعكوس: يقترح مسار عمل لا يتطلب تدريبًا حيث تولد النماذج اللغوية الكبيرة مسودة إجابة أولاً وتستدعي التفكير داخل السياسة فقط عندما تُعتبر المسودة غير موثوقة، مما يتيح الوصول المبكر للإجابات والتصحيح الانتقائي.
التحقق التبايني: يقدم آلية تعيد صياغة التضمينات المستمرة (التي كانت تُستخدم سابقًا للتوليد في Latent CoT) كمحققات وقت الاستدلال. من خلال المقارنة بين المدخلات المنفصلة والمستمرة، فإنه يقدر موثوقية المسودة وينظم رؤية المسودة دون التضحية بقابلية قراءة CoT الصريح.
الرؤية النظرية: يوضح أن المقدر المقترح يقيس المعلومات المتبادلة بين الحالات الكامنة والإجابات، مما يفسر سبب كونه فعالًا في التقاط عدم اليقين المتعلق بالإجابة.
التحقق التجريبي: يتحقق من منهجية CopT بشكل مكثف عبر مهام الرياضيات، البرمجة، والاستدلال الوكيل (agentic reasoning) باستخدام نماذج Qwen3 و Qwen3.5 (بأحجام 2B، 8B، و 35B) عبر 10 اختبارات مرجعية، بما في ذلك GSM8K، Math500، AIME، HumanEval، LeetCode-Contest، والاختبارات الوكيلية (BFCL v4، ZebraArena).

النتائج التجريبية

الدقة والكفاءة: يحسن CopT ذروة الدقة بنسبة تصل إلى 23% (مثل ZebraArena large split) ويقلل من استخدام الرموز بنسبة تصل إلى 57% عند مستويات دقة مماثلة أو أعلى مقارنة بـ CoT القياسي.
الرياضيات والبرمجة: في GSM8K، حقق CopT زيادة في الدقة قدرها +0.23% مع تقليل بنسبة 55.1% في الرموز. وفي اختبارات AIME الصعبة، حسن الدقة بمقدار +3.34% (AIME24) و +2.92% (AIME25).
الاستدلال الوكيل: في المهام الوكيلية متعددة الأدوار (ZebraArena)، حسن CopT الدقة بنسبة +23.03% في الجزء الكبير (large split) مع تقليل استخدام الرموز بنسبة 19.6%.
المقارنة مع الطرق الكامنة: على عكس الطرق التي لا تتطلب تدريبًا والتي تستخدم التضمينات المستمرة للتوليد (مثل Soft-Thinking، SwiReasoning)، يحافظ CopT على استدلال صريح وقابل للقراءة بالكامل مع تحقيق دقة أعلى باستخدام رموز أقل.
زمن الاستجابة (Latency): تترجم وفورات الرموز مباشرة إلى تقليل في زمن الاستجابة، حيث قلل CopT متوسط زمن الاستجابة لكل عينة بنسبة تصل إلى 69% في HumanEval.

الأهمية والادعاءات

تدعي الورقة أن CopT يوفر مسارًا عمليًا نحو استدلال أكثر كفاءة من حيث التكلفة للنماذج اللغوية الكبيرة في وقت الاستدلال دون الحاجة إلى تدريب إضافي. من خلال عكس ترتيب التفكير والإجابة واستخدام التضمينات المستمرة كمحققات تباينية، ينجح CopT في موازنة المقايضة بين الدقة، الكفاءة، وشفافية الاستدلال. يؤكد المؤلفون أن هذا النهج يتجنب عيوب التوليد المستمر المباشر (مثل فقدان التنوع والضجيج) مع الاستفيد من معلومات عدم اليقين المتأصلة في المساحات المستمرة لاتخاذ قرارات أذكى بشأن متى يفكر ومتى يتوقف. ويُقدم المنهج كإطار عمل قابل للتعميم يمكن تطبيقه على مختلف بنيات النماذج ومجالات الاستدلال.