💻 computer science

OpenDeepThink: Parallel Reasoning via Bradley--Terry Aggregation

يُعد OpenDeepThink إطار عمل للحوسبة في وقت الاختبار قائم على المجموعات السكانية، يعمل على تعزيز قدرات الاستنتاج لدى النماذج اللغوية الكبيرة عبر تجميع مقارنات "برادلي-تيري" الثنائية لاختيار الحلول المرشحة وطفراتها وتطويرها، مما يحقق مكاسب أداء كبيرة في الاختبارات المعيارية الموضوعية مثل Codeforces دون الحاجة إلى إعادة ضبط النموذج.

المؤلفون الأصليون: Shang Zhou, Wenhao Chai, Kaiyuan Liu, Huanzhi Mao, Qiuyang Mang, Jingbo Shang

نُشر 2026-05-15

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shang Zhou, Wenhao Chai, Kaiyuan Liu, Huanzhi Mao, Qiuyang Mang, Jingbo Shang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز صعب للغاية، مثل مسألة رياضية معقدة أو تحدٍ برمجي شائك. عادةً، عندما تطلب من الذكاء الاصطناعي حل مسألة ما، يحاول الذكاء الاصطناعي التفكير في المسألة عبر خط مستقيم واحد طويل. وإذا ارتكب خطأً صغيراً في البداية، فإن الإجابة بأكملها تنهار، ويضطر للبدء من الصفر.

تقدم الورقة البحثية طريقة جديدة تسمى OpenDeepThink. بدلاً من مطالبة الذكاء الاصطناعي بالتفكير في خط واحد، تطلب منه OpenDeepThink أن يفكر في هيئة حشد.

إليك كيف يعمل ذلك، مقسماً إلى خطوات بسيطة باستخدام التشبيهات:

1. "حفلة العصف الذهني" (أخذ العينات المتوازي - Parallel Sampling)

بدلاً من طلب إجابة واحدة من الذكاء الاصطناعي، تطلب منه OpenDeepThink توليد 20 إجابة مختلفة في نفس الوقت.

التشبيه: تخيل أنك معلم تسأل 20 طالباً لحل مسألة رياضية. أنت لا تنتظر الطالب الأذكى فحسب؛ بل تترك الجميع يكتبون حلولهم فوراً. سيكون بعضهم عبقرياً، وبعضهم جيداً، وبعضهم الآخر سيكون خاطئاً تماماً.

2. "البطولة" (المقارنة الثنائية - Pairwise Comparison)

الآن لديك 20 حلاً، ولكن كيف تختار الأفضل بينها؟ عادةً، قد تسأل الذكاء الاصطناعي: "هل هذه الإجابة جيدة؟". لكن الورقة تقول إن الذكاء الاصطناعي سيء في تقييم عمله بمفرده (فهو يميل إلى الثقة المفرطة أو الانحياز).

الحل: بدلاً من سؤال "هل هذا جيد؟"، يُطلب من الذكاء الاصطناعي مقارنة إجابتين جنباً إلى جنب: "بين الحل (أ) والحل (ب)، أيهما أفضل، ولماذا؟".
التشبيه: فكر في الأمر كبطولة رياضية. من الصعب القول من هو "أفضل لاعب في العالم" بمجرد النظر إليه. ولكن إذا وضعت اللاعب (أ) ضد اللاعب (ب) في مباراة، فمن السهل جداً رؤية من سيفوز. هنا يعمل الذكاء الاصطناعي كحكم، يشاهد أزواج الحلول وهي تتواجه ويعلن الفائز لكل زوج.

3. "لوحة النتائج" (تجميع برادلي-تيري - Bradley–Terry Aggregation)

بعد أن يقارن الذكاء الاصطناعي بين العديد من الأزواج، فإنه لا يكتفي بعدّ الانتصارات فقط. بل يستخدم صيغة رياضية خاصة (تسمى برادلي-تيري) لإنشاء تصنيف عالمي.

التشبيه: تخيل جدول دوري كرة القدم. إذا فاز الفريق (أ) على الفريق (ب)، وفاز الفريق (ب) على الفريق (ج)، فإن الرياضيات تعرف أن الفريق (أ) من المرجح أن يكون أقوى من الفريق (ج)، حتى لو لم يلعبا ضد بعضهما البعض بعد. هذا يخلق "لوحة صدارة" موثوقة للحلول العشرين.

4. "التطور" (الطفرة والاختيار - Mutation and Selection)

هنا يحدث السحر. النظام لا يكتفي باختيار الفائز والتوقف؛ بل يطور الحلول عبر عدة جولات (أجيال).

الـ 25% الأدنى (الخاسرون): يتم التخلص من أسوأ الحلول.
الـ 25% الأعلى (النخبة): يتم الحفاظ على أفضل الحلول بأمان، ولكن تتاح لها أيضاً فرصة للتحسن.
الـ 75% الوسطى (المُعدِّلون): يأخذ الذكاء الاصطناعي "الانتقادات" (الأسباب التي جعلت حلاً يتفوق على آخر) ويستخدمها لإعادة كتابة الحلول.
- التشبيه: تخيل مدرباً يتحدث إلى اللاعبين. بدلاً من مجرد قول "لقد أبليتم بلاءً حسناً"، يقول المدرب: "لقد خسرت لأن سرعتك في الجري كانت بطيئة جداً". ثم يستخدم اللاعبون هذا التعليق المحدد لتغيير استراتيجيتهم. قد يعيد الذكاء الاصطناعي كتابة الحل بالكامل إذا كان التعليق يشير إلى الحاجة لنهج جديد تماماً.

5. "المواجهة النهائية"

بعد بضع جولات من حلقة "البطولة والتدريب" هذه، يقوم النظام بإجراء مقارنة نهائية مفصلة للغاية بين أفضل الحل‌های المتبقية لاختيار الإجابة الأفضل والوحيدة لتقديمها.

لماذا يعد هذا أمراً هاماً؟

لا حاجة لـ "ورقة غش": عادةً، لمعرفة ما إذا كان الذكاء الاصطناعي مصيباً، تحتاج إلى إنسان أو برنامج كمبيوتر للتحقق من الإجابة (مُحقِّق). OpenDeepThink لا يحتاج إلى ذلك؛ فهو يجد الإجابة الأفضل بمجرد جعل الذكاء الاصطناعي يقارن نفسه بنفسه.
أفضل في المسائل الصعبة: اختبرت الورقة البحثية هذه الطريقة على مسائل برمجية صعبة للغاية (مثل تلك الموجودة في البرمجة التنافسية). وجدوا أن هذه الطريقة جعلت ذكاءً اصطناعياً رفيع المستوى (Gemini 3.1 Pro) يؤدي كما لو كان خبيراً بمستوى أعلى بكثير، مما رفع "تصنيفه المهاري" بأكثر من 400 نقطة.
يعرف حدوده: تعمل هذه الطريقة بشكل رائع في المواضيع التي لها إجابات واضحة (صواب/خطأ) مثل الرياضيات أو البرمجة. ومع ذلك، في المواضيع الذاتية (مثل كتابة مقال أو مناقشة التاريخ)، قد تسوء النتائج أحياناً. وذلك لأن مقارنة "الآراء" أصعب من مقارنة "الحقائق". فإذا لم يستطع الحكم (الذكاء الاصطناعي) التمييز بين الرأي الجيد والرأي السيئ، فإن النظام بأكائه سيصاب بالارتباك.

التكلفة

المقايضة هي السرعة والتكلفة. نظرًا لأن الذكاء الاصطناعي يجب أن يولد 20 إجابة، ويقارن بينها في أزواج، ويعيد كتابتها عدة مرات، فإن الأمر يتطلب الكثير من قوة الحوسبة والوقت (حوالي 27 دقيقة لكل مسألة في اختبارهم). الأمر يشبه توظيف فريق كامل من الخبراء ولجنة من الحكام لحل مسألة واحدة، بدلاً من مجرد سؤال شخص واحد.

باخت-اختصار: يحول OpenDeepThink التفكير في الذكاء الاصطناعي من "عدو سريع منفرد" إلى "بطولة فريق". من خلال جعل الذكاء الاصطناعي يتنافس ضد نفسه ويتعلم من أخطائه من خلال المقارنة، فإنه يحل المسائل الصعبة بشكل أفضل بكثير مما يمكنه فعله بمفرده.

ملخص تقني: OpenDeepThink

بيان المشكلة

تركز النماذج السائدة حاليًا لتوسيع نطاق الحوسبة في وقت الاختبار (test-time compute) للنماذج اللغوية الكبيرة (LLMs) بشكل أساسي على تمديد عمق مسار استدلال واحد (مثل سلاسل التفكير الطويلة أو البحث في الأشجار). ورغم فعاليتها، تعاني هذه النهج المتسلسلة من هشاشة حرجة: حيث يمكن لخطأ مبكر واحد أن يؤدي إلى انحراف المسار بأكلية. ومن ناحية أخرى، تواجه النهج المتوازية مثل "أخذ العينات من أفضل N" (Best-of-N sampling)، التي تولد عدة مرشحات، "عنق زجاجة في الاختيار". فعملية اختيار المرشح الأفضل من مجموعة ما تتطلب عادةً مبرهنات تحقق تعتمد على الحقيقة الأرضية (وهي غير متوفرة في المهام مفتوحة النهايات)، أو نماذج مكافأة مدربة، أو حكامًا من النماذج اللغوية الكبيرة يعملون بنظام التقييم النقطي (pointwise). وتشير الورقة إلى أن التحكيم النقطي للنماذج اللغوية الكبيرة هو بطبيعته مشوب بالضجيج ويميل نحو الانحياز الإيجابي، مما يجعله غير موثوق للتمييز بين الحلول الصحيحة والخاطئة في غياب التحقق الخارجي.

المنهجية: OpenDeepThink

يقدم المؤلفون OpenDeepThink، وهو إطار عمل للحوسبة في وقت الاختبار قائم على المجموعات (population-based)، مصمم لتوسيع نطاق اتساع الاستدلال دون الحاجة إلى مبرهنات خارجية أو بنية تحتية خاصة بمجال معين. يحافظ النظام على مجموعة من $n$ من الحلول المرشحة ويطورها عبر $T$ من الأجيال باستخدام نموذج لغوي كبير واحد ( $\pi$ ) يعمل كمولد وحكم في آن واحد.

يعمل خط الإنتاج في ثلاث مراحل متميزة لكل جيل:

أخذ العينات المتوازي والمقارنة الثنائية:
- يبدأ النظام بـ $n$ من الحلول المرشحة.
- في كل جيل، يتم إقران المرشحين عشوائيًا ( $K$ من الأقران لكل مرشح).
- يقوم الحكم (النموذج اللغوي) بإجراء مقارنات ثنائية، محددًا أي الحلول من المرجح أن يتم قبوله من قبل حكم عبر الإنترنت افتراضي. والأهم من ذلك، ينتج الحكم أيضًا مبررات باللغة الطبيعية (انتقادات) تشرح الحكم الصادر.
- للتخفيف من انحياز الموقع، يتم تغيير ترتيب عرض المرشحين عشوائيًا.
تجميع برادلي-تيري (Bradley–Terry Aggregation):
- بدلاً من الاعتماد على معدلات الفوز الخام، يقوم النظام بتجميع النتائج الثنائية باستخدام نموذج برادلي-تيري (BT).
- يقدر نموذج BT درجة مهارة عالمية ( $s_i$ ) لكل مرشح من خلال تعظيم احتمالية (log-likelihood) المقارنات المرصودة، مع مراعاة قوة الخصوم الذين تمت مواجهتهم. هذا "المبرهن الناعم" (soft verifier) يحول الأصوات الثنائية المشوبة بالضجيج إلى تصنيف عالمي متماسك.
- الاختيار: يتم الحفاظ على أعلى 25% من المرشحين كـ "نخبة" (elites). ويتم استبعاد أدنى 25%. أما الـ 50% الوسطى والنخبة (إجمالي 75% من المرشحين) فينتقلون إلى مرحلة الطفرة (mutation).
الطفرة المدفوعة بالتغذية الراجعة:
- يتم تعديل المرشحين في أعلى 75% بناءً على الانتقادات المجمعة باللغة الطبيعية الناتجة عن مقارناتهم الثنائية.
- يسمح أمر الطفرة (mutation prompt) للنموذج صراحةً إما بتحسين الحل الحالي أو التخلي عنه تمامًا لصالح نهج مختلف جذريًا. صُمم هذا لمنع النموذج من مجرد "ترقيع" استراتيجية معيبة.
- تتكرر العملية لـ $T$ من الأجيال.
الاختيار النهائي:
- بعد الجيل النهائي، يتم إجراء جولة أكثر كثافة من المقارنات الثنائية ( $M$ من الأقران) على المجموعة المتبقية.
- يقوم تصنيف برادلي-تيري النهائي باختيار الحل المقدم.

خط الإنتاج بأكمله مصمم ليكون "متوازيًا بشكل بسيط" (embarrassingly parallel) ضمن كل جولة، حيث يتطلب تسلسلًا بعمق ثماني استدعاءات فقط للنموذج اللغوي الكبير (استدعاء أولي، جولتان لكل جيل لـ $T=3$ ، وجولة اختيار نهائية واحدة).

المساهمات الرئيسية

إطار عمل خالٍ من المبرهنات: يلغي OpenDeepThink الحاجة إلى حالات اختبار قائمة على الحقيقة الأرضية أو نماذج مكافأة مدربة من خلال استخدام أحكام ثنائية للنماذج اللغية الكبيرة يتم تجميعها عبر برادلي-تيري كـ "مبرهن ناعم".
التطور القائم على المجموعات: على عكس طرق التحسين الذاتي التي تكرر مسارًا واحدًا، يحافظ OpenDeepThink على تنوع في المجموعات، مما يسمح بظهور الأخطاء من خلال المقارنة المباشرة (رأس لـ رأس) بدلاً من التقييم الذاتي.
قابلية النقل بين النماذج: يثبت الإطار أن مجموعة واحدة من المعلمات الفائقة (hyperparameters) يمكنها توسيع نطاق الاستدلال بفعالية عبر نماذج ذات قدرات متفاوتة (Gemini 3.1 Pro, 3 Flash, 2.5 Pro) دون الحاجة لإعادة ضبط.
مجموعة بيانات CF-73: أصدر المؤلفون CF-73، وهي مجموعة منتقاة من 73 مسألة من Codeforces تم تصنيفها من قبل خبراء (بتقييم 2000–3100) مع اتفاق بنسبة 99% بين التقييم المحلي والنتائج الرسمية، وهي مصممة خصيصًا لتجنب تلوث بيانات التدريب المسبق.

النتائج التجريبية

تم تقييم الإطار على 192 مسألة من البرمجة التنافسية (CF-73 و NOI-119) و82 سؤالاً من اختبار HLE متعدد المجالات، باستخدام Gemini 3.1 Pro كنموذج أساسي.

البرمجة التنافسية (Codeforces):
- رفع OpenDeepThink تصنيف Elo الفعال لـ Gemini 3.1 Pro بمقدار +405 نقطة (من ~~2851 إلى ~3256) عبر ثماني جولات متسلسلة (~~27 دقيقة من وقت الجدار/wall-clock time).
- هذه الزيادة تضاهي التحسن البالغ +411 نقطة الذي حققه "Gemini 3 Deep Think" على النموذج الأساسي في LiveCodeBench Pro.
- في المسائل "الصعبة" (حيث own pass@1 هو ~11%)، حسن الإطار معدل النجاح إلى 36% عبر التطور و50% عبر الاختيار.
- انتقل الإطار بنجاح إلى النماذج الأضعف (Gemini 3 Flash) والأقوى (Gemini 2.5 Pro) دون الحاجة لضبط المعلمات الفائقة.
عبر المجالات (اختبار HLE):
- كانت النتائج متباينة وتعتمد على المجال. في المجالات القابلة للتحقق موضوعيًا (الرياضيات، الأحياء، الفيزياء)، أظهر الإطار مكاسب (مثل +17 نقطة في الفيزياء).
- في المجالات الذاتية (العلوم الإنسانية، العلوم الاجتماعية)، انخفض الأداء بشكل ملحوظ (مثل -25 نقطة في العلوم الإنسانية).
- يعزو المؤلفون ذلك إلى موثوقية الحكم الثنائي: حيث يمكن للحكم التمييز بين الصحة من عدمها، يقوم تجميع BT بتضخيم الإشارة؛ وحيث يكون الحكم غامضًا، فإن الاختيار التكراري يضخم الضجيج.
دراسات الاستئصال (Ablation Studies):
- الثنائي مقابل النقطي: حقق الحكم الثنائي دقة بنسبة 86% في مجموعة تشخيصية مقارلة بـ 59% للحكم النقطي، مما يؤكد تفوق المقارنة النسبية على التقييم المطلق.
- إشارة التغذية الراجعة: قادت التغذية الراجعة السلبية (الانتقادات لما ساء) جميع التحسينات في الطفرة تقريبًا؛ بينما قدمت التغذية الراجعة الإيجابية فائدة ضئيلة.
- التطور مقابل الاختيار: في المسائل السهلة، كان الاختيار (تجميع BT) هو العامل المهيمن. أما في المسائل الصعبة، فقد كانت عملية الطفرة التطورية هي المحرك الرئيسي للتحسين.

الأهمية والادعاءات

تفترض الورقة أن OpenDeepThink يعالج عقبة أساسية في توسيع نطاق الحوسبة في وقت الاختبار: وهي عدم القدرة على اختيار المرشح الأفضل من مجموعة موازية دون تحقق خارجي. ومن خلال الجمع بين تجميع برادلي-تيري الثنائي والطفرة المدفوعة بالتغذية الراجعة، يُمكّن الإطار النماذج اللغوية من تحسين جودة الاستدلال بشكل تكراري في المجالات مفتوحة النهايات.

يدعي المؤلفون أن فعالية الإطار مرتبطة ارتباطًا وثيقًا بموثوقية الحكم الثنائي. فهو يعمل كـ "مبرهن ناعم" يمكنه تعزيز الأداء بشكل كبير في المجالات ذات معايير الصحة الموضوعية (مثل البرمجة التنافسية)، ولكنه قد يؤدي إلى تدهور الأداء في المجالات الذاتية حيث لا يستطيع الحكم التمييز بشكل موثوق بين الاستدلال الصحيح والخاطئ. يشير العمل إلى أن جهود التوسيع المستقبلية يجب أن تركز على التصميمات القائمة على المجموعات التي تستفيد من المقارنة النسبية بدلاً من التقييم الذاتي المطلق، بشرط أن تكون آلية الحكم الأساسية قوية.