💬 NLP

Scaling Test-Time Compute to Achieve IOI Gold Medal with Open-Weight Models

تقدم هذه الورقة GenCluster، وهو إطار عمل قابل للتوسع للحوسبة أثناء وقت الاختبار يُمكّن النماذج ذات الأوزان المفتوحة من تحقيق أداء الميدالية الذهبية في الأولمبياد الدولي للمعلوماتية (IOI) لأول مرة، مما يقلص الفجوة بين الأنظمة الذكية المفتوحة والمملوكة من خلال استراتيجية قابلة لإعادة الإنتاج تعتمد على التوليد واسع النطاق، والتجميع السلوكي، والتقديم بنظام التدوير.

المؤلفون الأصليون: Mehrzad Samadi, Aleksander Ficek, Sean Narenthiran, Siddhartha Jain, Wasi Uddin Ahmad, Somshubra Majumdar, Vahid Noroozi, Boris Ginsburg

نُشر 2026-04-16

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Mehrzad Samadi, Aleksander Ficek, Sean Narenthiran, Siddhartha Jain, Wasi Uddin Ahmad, Somshubra Majumdar, Vahid Noroozi, Boris Ginsburg

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل مسابقة طبخ ضخمة وعالية المخاطر، حيث يكون الهدف هو ابتكار الطبق المثالي (برنامج حاسوبي) لحل لغز معقد للغاية. لدى الحكام (منظمو المسابقة) قاعدة صارمة: لا يمكنك تقديم طبقك سوى 50 مرة فقط. إذا قدمت طبقاً محترقاً أو مالحاً، فستفقد واحدة من فرصك الثمينة.

لفترة طويلة، كان عدد قليل فقط من الطهاة أصحاب "الوصفات السرية" (نماذج الذكاء الاصطعي المملوكة لشركات التكنولوجيا الكبرى) هم من يستطيعون الفوز بالميدالية الذهبية، لأنهم يمتلكون حيلًا سرية وموارد هائلة، لكنهم لم يكونوا يكشفون عن كيفية قيامهم بذلك. وفي الوقت نفسه، كان طهاة "المصادر المفتوحة" (النماذج التي يمكن لأي شخص تحميلها ودراستها) يحاولون قصارى جهدهم، لكنهم ظلوا عاجزين عن الوصول إلى الميدالية الذهبية.

تقدم هذه الورقة البحثية استراتيجية جديدة تسمى GENCLUSTER ساعدت طاهياً من المصادر المفتوحة على الفوز بالميدالية الذهبية لأول مرة. وإليك كيف تعمل، مقسمة إلى خطوات بسيطة:

1. "مباراة الخبز" (التوليد الضخم)

بدلاً من محاولة طهي طبق مثالي واحد، يقرر طاهي الذكاء الاصطناعي خبز آلاف النسخ المختلفة من نفس الطبق في وقت واحد.

التشبيه: تخيل مصنعاً ينتج 5,000 قطعة كعك مختلفة. بعضها محترق، وبعضها نيء، وبعضها لذيذ، وبعضها غريب فحسب.
الهدف: بما أن الطاهي لا يعرف أي منها هو المثالي بعد، فإنه يلقي بشبكة واسعة. إنه يولد "مجموعة" ضخمة من المرشحين.

2. "اختبار التذوق" (التجميع السلوكي)

الآن، لدى الطاهي 5,000 قطعة كعك، لكنه لا يستطيع تذوقها جميعاً بشكل فردي. يحتاج إلى تجميعها.

التشبيه: يضع الطاهي "اختبار تذوق" باستخدام مكونات عشوائية (حالات اختبار). يقوم بإطعام هذه المكونات لجميع قطع الكعك.
- إذا كان الكعك (أ) والكعك (ب) كلاهما بطعم الشوكولاتة عند إعطائهما مكوناً معيناً، فيتم وضعهما في نفس "مجموعة الشوكولاتة".
- إذا كان الكعك (ج) بطعم الملح، فيذهب إلى "مجموعة الملح".
السحر: هذا يجمع الـ 5,000 قطعة كعك في ربما 500 "ملف نكهة" متميز. الآن، بدلاً من النظر في 5,000 قطعة كعك، يحتاج الطاهي فقط إلى النظر في أفضل قطعة كعك من كل مجموعة من المجموعات الـ 500.

3. "البطولة" (التصنيف)

لا يزال لدى الطاهي الكثير من المجموعات ليقدمها. يحتاج إلى اختيار الأفضل منها على الإطلاق.

التشبيه: يقيم الطاهي بطولة ملاكمة بين المجموعات.
- يختار قطعة الكعك "البطلة" من "مجموعة الشوكولاتة" وقطعة الكعك "البطلة" من "مجموعة الكراميل".
- يطلب من حكم فائق الذكاء (ذكاء اصطناعي آخر) النظر في كليهما وتحديد أيهما أفضل.
- يحصل الفائزون في هذه المباريات على نقاط. المجموعات التي تحقق أكبر عدد من الانتصارات ترتقي إلى أعلى لوحة الصدارة.
النتيجة: أصبح لدى الطاهي الآن قائمة مرتبة من أكثر مجموعات الكعك واعدة.

4. "استراتيجية التقديم" (الدوري - Round-Robin)

تذكر القاعدة: يُسمى تقديم 50 مرة فقط. لا يمكن للطاهي تقديم أفضل 50 قطعة كعك من المجموعة الأعلى فقط، لأن المجموعة الثانية قد تكون أفضل، أو قد تحتوي المجموعة الأولى على "جوهرة مخفية".

التشبيه: يستخدم الطاهي استراتيجية الدوري (Round-Robin).
- يأخذ قطعة الكعك رقم 1 من المجموعة (أ)، ثم رقم 1 من المجموعة (ب)، ثم المجموعة (ج)، وهكذا.
- يقوم بالدوران عبر المجموعات، ويقدم واحدة من كل منها، مما يضمن عدم إضاعة جميع فرصه على نوع واحد فقط من الكعك.
- إذا حل تقديم معين اللغز تماماً، يتوقف عن التقديم لهذا اللغز المحدد وينتقل إلى اللغز التالي.

النتيجة الكبرى

باستخدام هذا "الخبز الضخم"، و"التجميع الذكي"، و"البطولة الاستراتيجية"، تمكن النموذج مفتوح المصدر gpt-oss-120b من الفوز بـ الميدالية الذهبية في الأولمبياد الدولي للمعلوماتية (IOI) لعام 2025.

لماذا يعد هذا أمراً هاماً؟

الشفافية: قبل ذلك، كان الفائزون عبارة عن "صناديق سوداء". كنا نعرف أنهم فازوا، لكننا لم نكن نعرف كيف. توضح هذه الورقة الوصفة بأكملها، بحيث يمكن لأي شخص نسخها.
التوسع (Scaling): تثبت الورقة أنه إذا منحت الذكاء الاصطناعي المزيد من قوة الحوسبة (مزيد من الكعك لخبزه)، فإنه يصبح أذكى ويسجل درجات أعلى. الأمر لا يتعلق فقط بامتلاك "عقل أذكى"؛ بل يتعلق بامتلاك "عملية عمل أكثر جدية".
سد الفجوة: يظهر هذا أن النماذج مفتوحة المصدر، عندما تقترن بالاستراتيجية الصحيحة، يمكنها أخيراً منافسة النماذج السرية والمكلفة التي تستخدمها شركات التكنولوجيا الكبرى.

العائق (القيود):
هذا النهج مكلف. إنه يشبه تشغيل مصنع كعك يحرق 7.3 مليار "توكن" من الطاقة لمجرد خبز الكعك وتحكيمه. يتطلب الأمر الكثير من قوة الحاسوب، مما قد يكون صعباً على الفرق الصغيرة لتوفيره. أيضاً، "اختبارات التذوق" يصنعها الذكاء الاصطناعي نفسه، لذا هناك احتمال ضئيل أن يغفل الذكاء الاصطناعي عن حالة استثنائية غريبة أو معقدة.

باختاً: تقول الورقة البحثية: "إذا لم تستطع التفوق على المنافسين بعقل عبقري واحد، فغلّبهم بالعمل الشاق عبر مليون محاولة، وتجميع ذكي، ونظام بطولة عادل". وهذا ما حدث بالفعل!

ملخص تقني لورقة: "توسيع حساب وقت الاختبار لتحقيق الميدالية الذهبية في IOI باستخدام النماذج مفتوحة الأوزان"

1. بيان المشكلة

تعد البرمجة التنافسية، لا سيما على مستوى الأولمبياد الدولي للمعلوماتية (IOI)، معياراً صارماً لتقييم قدرات الاستنتاج وحل المشكلات في النماذج اللغوية الكبيرة (LLMs). وبينما أظهرت النماذج المملوكة (مثل o1-ioi وo3 من OpenAI) أداءً بمستوى الميدالية الذهبية، إلا أن هذه النتائج غالباً ما تعتمد على طرق غير معلنة وأنظمة مغلقة.

التحديات الرئيسية:

فجوة النماذج مفتوحة الأوزان: لا تزال النماذج مفتوحة الأوزان (مثل DeepSeek-R1 وQwen) تتخلف حالياً عن النماذج المملوكة في حل مشكلات IOI المعقدة.
قيود التقديم: يضع نظام IOI قيوداً على المتسابقين بحد أقصى 50 عملية تقديم لكل مشكلة، مما يجعل استراتيجية الاختيار أمراً حاسماً. فعملية توليد العديد من الحلول تصبح بلا جدوى إذا لم يتمكن النظام من تحديد وتقديم الحلول الصحيحة بكفاءة ضمن الميزانية المتاحة.
نقص القابلية لإعادة الإنتاج: تفتقر النتائج عالية الأداء السابقة للأنظمة المملوكة إلى الشفافية فيما يتعلق بمسارات "حساب وقت الاختبار" (TTC) الخاصة بها.

2. المنهجية: إطار عمل GENCLUSTER

يقترح المؤلفون إطار عمل GENCLUSTER، وهو إطار عمل قابل للتوسع وإعادة الإنتاج لتوسيع "حساب وقت الاختبار"، مصمم لتعظيم أداء النماذج مفتوحة الأوزان تحت قيود التقديم الصارمة. يتكون المسار من أربع مراحل متميزة (كما هو موضح في الشكل 1 من الورقة):

أ. التوليد المتوازي للمرشحين

يقوم النظام بتوليد مجموعة ضخمة من الحلول المرشحة ( $K$ ) لكل مهمة فرعية بشكل متوازٍ.
التصفية: يتم استبعاد الحلول التي تفشل في التحليل (Parsing) أو التجميع (Compilation) فوراً.
النطاق: في التجارب، تم توليد ما يصل إلى 5,000 مرشح لكل مهمة فرعية.

ب. التجميع السلوكي

لإدارة المجموعة الكبيرة من المرشحين، يتم تجميع الحلول بناءً على التشابه السلوكي بدلاً من تشابه الكود البرمجي.

توليد الاختبارات: يقوم النموذج اللغوي بتوليد مدخلات اختبار عشوائية ومحققات مستقلة (برامج C++) لضمان استيفاء المدخلات لقيود المهمة الفرعية.
التحقق: تُقبل المدخلات فقط إذا وافق عليها $\ge 75\%$ من المحققات.
التجميع: يتم تنفيذ جميع الحلول المرشحة على حالات الاختبار التي تم التحقق منها. تُجمع الحلول التي تنتج مخرجات متطابقة عبر جميع حالات الاختبار في نفس المجموعة (Cluster).
التقليم: تُزال المجموعات التي تحتوي على حلول تنتج مخرجات فارغة (بسبب أخطاء وقت التشغيل).

ج. التصنيف باستخدام نظام البطولة

بدلاً من التصويت البسيط، يستخدم إطار العمل بطولة بنظام الدوري (Round-robin tournament) لتصنيف المجموعات:

اختيار الممثل: من كل مجموعة، يتم اختيار الحل صاحب أطول أثر استنتاجي (Reasoning trace) ليكون هو الممثل.
المقارنة الثنائية: يتم وضع ممثلين من مجموعتين مختلفتين في مواجهة بعضهما البعض. يقوم نموذج لغوي (يعمل كحكم) بمقارنة الكود وآثار الاستنتاج لاختيار الفائز.
التصنيف: تُصنف المجموعات بناءً على عدد "الانتصارات" التي يحققها ممثلها. وللحد من تحيز الحداثة (Recency bias)، يتم تعشية (Randomize) ترتيب العرض في المقارنات الثنائية.

د. استراتيجية التقديم بنظام الدوري

يجب أن يلتزم النظام بحد الـ 50 تقديم لكل مشكلة:

الترتيب: تبدأ عمليات التقديم بالمهام الفرعية الأكثر صعوبة (المهام النهائية).
الاختيار: يمر النظام عبر المجموعات المصنفة، ويقدم حلاً واحداً من كل مجموعة بأسلوب الدوري.
الإنهاء: بمجرد حل المهمة الفرعية (تحقيق أقصى درجة)، يتخطى النظام المجموعات المتبقية لتلك المهمة وينتقل إلى المهمة التالية.

3. المساهمات الرئيسية

أول ميدالية ذهبية مفتوحة الأوزان: تثبت الورقة، وللمرة الأولى، أن نموذجاً مفتوح الأوزان (gpt-oss-120b) مقترناً باستراتيجية TTC شفافة يمكنه تحقيق أداء الميدالية الذهبية في IOI 2025.
إطار عمل قابل للتوسع: يقدم GENCLUSTER مساراً مبتكراً يجمع بين التجميع السلوكي، والتصنيف القائم على البطولة، واستراتيجيات التقديم المدركة للميزانية، مما يسد الفجوة بين الأنظمة المفتوحة والمغلقة.
القابلية لإعادة الإنتاج: على عكس الادعاءات المتعلقة بالنماذج المملوكة، يقدم المؤلفون منهجية محددة بالكامل وقابلة لإعادة الإنتاج، ويخططون لإصدار الكود علناً.
قوانين القياس (Scaling Laws): توضح الدراسة أن الأداء يتوسع باستمرار مع زيادة الحوسبة (عدد عمليات التوليد)، مما يثبت أن النماذج المفتوحة يمكن أن تتفوق على النماذج المملواكة إذا مُنحت موارد كافية لحساب وقت الاختبار.

4. النتائج التجريبية

قيم المؤلفون أفضل النماذج مفتوحة الأوزان (gpt-oss-120b, gpt-oss-20b, DeepSeek-R1-0528, Qwen3-235B-A22B) على معيار IOI 2025.

أداء النماذج:
- تفوق نموذج gpt-oss-120b بشكل كبير على جميع النماذج الأخرى، مظهرًا أقوى خصائص التوسع مع زيادة عدد عمليات التوليد.
- أظهرت النماذج الأخرى (DeepSeek، Qwen) عوائد متناقصة أو تشبعاً عند أعداد التوليد العالية.
تأثير GENCLUSTER:
- مع 5,000 عملية توليد لكل مهمة فرعية واستخدام مسار GENCLUSTER، حقق gpt-oss-120b درجة قدرها 446.75.
- تتجاوز هذه الدرجة عتبة الميدالية الذهبية (438.3)، مما يمثل أول ميدالية ذهبية مفتوحة الأوزان.
- المقارنة: بينما يُقال إن نماذج OpenAI المملوكة سجلت درجات أعلى (مثلاً ~533)، إلا أن الفجوة تتقلص، والنهج المفتوح شفاف تماماً.
دراسات الاستئصال (Ablation Studies):
- البطولة مقابل النماذج المرجعية: حقق GENCLUSTER (تصنيف البطولة) درجة 446.75، متفوقاً بشكل كبير على النماذج المرجعية مثل الاختيار العشوائي (300.10) أو التصويت بالأغلبية البسيطة (314.22).
- اختيار الممثل: ثبت أن اختيار الحل ذو أطول أثر استنتاجي كممثل للمجموعة يتفوق على الاختيار العشوائي.
- حجم حالات الاختبار: أدى زيادة حالات الاختبار إلى تحسين نقاء المجموعات (F1-score) ولكنه زاد من عدد المجموعات، مما خلق مقايضة في صعوبة الاختيار.
- حدود الرموز (Tokens): استمر gpt-oss-120b في التحسن حتى 120 ألف رمز، بينما تشبعت النماذج الأخرى في وقت أبكر.

5. الأهمية والقيود

الأهمية:

الديمقراطية: تثبت أن قدرات الاستنتاج عالية المستوى ليست حكراً على النماذج المملوكة والمغلقة، بل يمكن تحقيقها من خلال الحوسبة القابلة للتوسع والهندسة الذكية.
المعيارية: تضع معياراً جديداً لتقييم النماذج اللغوية الكبيرة في مهام الاستنتاج المعقدة باستخدام النماذج مفتوحة الأوزان.
التحول المنهجي: تسلط الضوء على أن "حساب وقت الاختبار" (توليد وتصفية العديد من الحلول) هو رافعة أكثر فعالية للمشكلات المعقدة من مجرد زيادة حجم تدريب النموذج.

القيود:

تكلفة الحوسبة: النهج كثيف الاستهلاك للموارد، حيث يتطلب حوالي 7.3 مليار رمز للتوليد و7.3 مليار رمز أخرى لبطولة التصنيف لكل تشغيل للمعيار.
الثغرات في الاختبارات الاصطناعية: الاعتماد على حالات اختبار مولدة بواسطة LLM قد يؤدي إلى تفويت حالات نادرة، مما يؤدي إلى تجميع خاطئ.
ضجيج "النموذج اللغوي كحكم": يعتمد تصنيف البطولة على نموذج لغوي للحكم على صحة الكود، والذي قد يتأثر بالميزات السطحية (الأسلوب، الطول) بدلاً من المنطق الفعلي.
استدلال طول الاستنتاج: رغم أن طول آثار الاستنتاج ارتبط بالصحة في هذه الدراسة، إلا أنه يمكن أن يشير أيضاً إلى الارتباك أو الإطالة، مما يجعل هذا الاستدلال غير مثالي.

الخاتية

تثبت الورقة أن GENCLUSTER يُمكّن النماذج مفتوحة الأوزان من الوصول إلى قمة البرمجة التنافسية (الميدالية الذهبية في IOI). ومن خلال توسيع حساب وقت الاختبار واستخدام مسار اختيار متطور، وضع المؤلفون خط أساساً قابلاً لإعادة الإنتاج يقلص الفجوة في الأداء بين الأنظمة المفتوحة والمملوكة، مما يشير إلى مستقبل تُقاد فيه قدرات الاستنتاج بواسطة استراتيجيات الاستدلال أكثر من مجرد أوزان النماذج.