ملخص تقني: طرح الأسئلة الصحيحة (ARQ)

بيان المشكلة

بينما حققت النماذج اللغوية الكبيرة (LLMs) تقدماً ملحوظاً في حل المهام الاستدلالية المعقدة (الرياضيات، البرمجة) عبر التدريب اللاحق وهياكل وقت الاختبار، تركز النهج الحالية بشكل أساسي على توليد سلاسل طويلة من التفكير (CoT) لحل مشكلة ما مباشرة أو التحقق من الحلول المقترحة. إن القدرة على طرح أسئلة ذات صرافت وتوليد رؤى تعمل على تفكيك المشكلة الصعبة إلى خطوات وسيطة يمكن إدارتها — وهو مكون أساسي للذكاء البشري — قد حظيت باهتمام أقل. غالباً ما تعتمد طرق وقت الاستدلال الموجودة (مثل Self-Ask و Analogical Reasoners) على التلقين لاستخراج أسئلة مساعدة، لكن هذه الطرق تظهر عوائد متناقصة عند تطبيقها على نماذج الاستدلال الحديثة التي تنتج بالفعل سلاسل تفكير (CoT) طويلة. علاوة على ذلك، هناك نقص في الدراسة المنهجية حول ما إذا كان بإمكان النماذج اللغوية الكبيرة توليد "أحجار زاوية" (مشكلات فرعية أبسط ومرتبطة بالمشكلة الأصلية) تساهم حقاً في تحسين معدل نجاح حل المهمة المستهدفة، وما إذا كانت قدرات التوليد هذه يمكن تعلمها عبر التدريب اللاحق.

المنهجية: إطار عمل ARQ

يقترح المؤلفون إطار عمل ARQ (طرح الأسئلة الصحيحة)، والذي يتكون من وحدتين متميزتين: مولد الأسئلة ($\phi$) وحلال المشكلات ($\pi$).

1. إجراء الاستدلال

بدلاً من حل مشكلة مستهدفة $x$ مباشرة لإنتاج حل $y \sim \pi(x)$، يقدم ARQ خط أنابيب استدلال متعدد الخطوات:

1. التوليد: ينتج المولد $\phi$ مشكلة "حجر زاوية" $z$ مشروطة بـ $x$ ($z \sim \phi(x)$). يُعرَّف حجر الزاوية بأنه مشكلة ذات صلة بـ $x$ ولكنها أسهل في الحل (على سبيل المثال، حالة خاصة، نسخة مبسطة، أو مشكلة فرعية ذات صلة).
2. حل حجر الزاوية: يولد الحلال $\pi$ حلاً $y_z$ لحجر الزاوية $z$ ($y_z \sim \pi(z)$).
3. حل الهدف: يتم تلقين الحلال $\pi$ بالمشكلة الأصلية $x$، وحجر الزاوية $z$، وحله $y_z$ لتوليد الحل النهائي $y$ ($y \sim \pi(x; z, y_z)$).

يدعم إطار العمل استراتيجيتين لعدة أحجار زاوية:

• التسلسلي (Sequential): توليد أحجار زاوية $z_i$ مشروطة بـ $x$ وجميع الأحجار السابقة ($z_1, \dots, z_{i-1}$).
• العودي (Recursive): توليد حجر زاوية جديد $z_i$ للمساعدة في حل حجر الزاوية السابق $z_{i-1}$، مما يبني منهجاً تعليمياً بشكل عكسي.

2. التدريب اللاحق وتنسيق البيانات

إدراكاً منهم بأن النماذج اللغوية الكبيرة الجاهزة تولد مزيجاً من أحجار الزاوية المفيدة والضارة، يقترح المؤلفون خط أنابيب للتدريب اللاحق لتحسين المولد $\phi$:

• دالة التقييم (Scoring Function): يتم تقييم جودة حجر الزاوية المولد $z$ من خلال المكافأة المتوقعة للحلال $\pi$ عند حل الهدف $x$ مشروطاً بـ $z$. رسمياً: $S(z, x) = \mathbb{E}_{y_z, y} [R(x, y)]$، ويتم تقديرها عبر تجارب مونت كارلو (Monte Carlo rollouts).
• الضبط الدقيق تحت الإشراف (SFT): يتم ضبط المولد بدقة على أعلى أحجار الزاوية تسجيلاً للدرجات والتي تم توليدها لمجموعة بيانات من المشكلات المستهدفة.
• تحسين التفضيل المباشر (DPO): يتم إنشاء مجموعة بيانات تفضيل عن طريق إقران أحجار الزاوية عالية الدرجات مع أحجار الزاوية منخفضة الدرجات لنفس الهدف. يتم ضبط المولد بدقة أكبر باستخدام DPO لتعظيم احتمالية توليد أحجار زاوية عالية الدرجات بدلاً من المنخفضة.
• البيانات الاصطناعية: يعتمد خط الأنابيب بأكمله على توليد البيانات الاصطناعية باستخدام النماذج الرائدة (مثل GPT-120B) لإنشاء أزواج التدريب، مما يتجنب الحاجة إلى التوسيم البشري المكلف لأحجار الزاوية.

المساهمات الرئيسية

1. وجود وقابلية نقل أحجار الزاوية الجيدة: يثبت البحث أن أحجار الزاوية "الجيدة" موجودة وقابلة للنقل. فالحجارة عالية الجودة التي يولدها نموذج قوي تحسن بشكل كبير معدل نجاح الحلالات ذات القدرات المتفاوتة (بما في ذلك النماذج الأصغر)، مما يشير إلى أن الفائدة ليست ناتجة عن الإفراط في التخصيص (overfitting) لتحيزات حلال معين.
2. إطار عمل ARQ: هيكل استدلال مبتدئ يفصل بين توليد الأسئلة وحل المشكلات، مما يسمح بدراسة توليد أحجار الزاوية بشكل منعزل.
3. وصفة التدريب اللاحق: طريقة لضبط النماذج اللغوية الكبيرة بدقة لتصبح مولدات أفضل لأحجار الزاوية باستخدام البيانات الاصطناعية وإشارة مكافأة مستمدة من أداء الحلال. هذا يوضح أن القدرة على طرح الأسئلة الصحيحة يمكن تعلمها.
4. توسيع نطاق تعدد أحجار الزاوية: تم توسيع إطار العمل لتوليد أحجار زاوية متعددة بشكل تسلسلي أو عودي، مما يظهر أن التوليد التسلسلي يحقق مكاسب إضافية في الأداء.

النتائج التجريبية

قيم المؤلفون ARQ في ثلاث اختبارات رياضية صعبة: AIME 2024، AIME 2025، و BeyondAIME.

• الأداء في وقت الاستدلال: باستخدام نموذج قوي جاهز (GPT-120B) كمولد، حسن ARQ معدل نجاح الحلال بمتوسط 13% عند اختيار أفضل حجر زاوية من بين 20 مرشحاً. ومع ذلك، كان متوسط الأداء عبر جميع الأحجار العشرين أقل بسبب وجود أحجار ضارة، مما يسلط الض الضوء على الحاجة إلى توليد أفضل.
• قابلية النقل: أحجار الزاوية الجيدة التي اختارها حلال مرجعي (GPT-120B) حسنت أداء الحلالات الأضعف (GPT-20B, Qwen3-4B) بدرجة مماثلة للأحجار التي اختارتها الحلالات نفسها.
• تأثير التدريب اللاحق: أدى الضبط الدقيق لـ Qwen3-8B و Qwen2.5-32B على مجموعة بيانات أحجار الزاوية الاصطناعية إلى تحسينات كبيرة. ولدت النماذج المضبوطة بدقة أحجار زاوية حسنت أداء الحلال بنسبة 3.1% و 2.9% على التوالي في المتوسط، متفوقة على خط الأساس "الحلال فقط" (Solver Only) والنسخ ما قبل التدريب.
• توسع تعدد أحجار الزاوية: أدى توسيع ARQ لتوليد 3 أحجار زاوية تسلسلية إلى تحسين الأداء بشكل أكبر. بالنسبة لـ GPT-120B، تحسن أفضل سجل بنسبة 5.2% والمتوسط بنسبة 3.9% مقارنة باستخدام حجر زاوية واحد. أظهر التوليد العودي أداءً متذبذباً أو متراجعاً مقارنة بالنهج التسلسلي.
• المقارنة: تفوق ARQ على طرق الخطوات الوسيطة الأخرى مثل Analogical Reasoning و Least-to-Most و Plan-and-Solve. وقد كان أداؤه أقل قليلاً من Self-Refine (التحسين التكراري للحل) في النماذج اللغوية الكبيرة الموجودة، ويرجع ذلك على الأرجح إلى أن Self-Refine يتوافق بشكل مباشر أكثر مع مسارات تدريب RLVR الحالية، لكن ARQ يظل مكملاً ويمكن دمجه مع Self-Refine لتحقيق مكاسب إضافية.

الأهمية والادعاءات

يزعم البحث أن ARQ يمثل خطوة مشجعة نحو اتجاه بحثي غير مستكشف كفاية: تحديد الأسئلة التي تستحق الطرح وتدريب النماذج اللغوية الكبيرة على توليدها. يؤكد المؤلفون على ما يلي:

• أحجار الزاوية هي قدرة استدلالية متميزة: فهي ليست مجرد سلاسل تفكير (CoT) أطول، بل تتضمن بناء مشكلات ذات صلة وأسهل لبناء الحدس والتحقق من الاستراتيجيات.
• القدرة التوليدية قابلة للتعلم: القدرة على طرح الأسئلة الصحيحة ليست خاصية متأصلة في جميع نماذج الاستدلال، بل يمكن تعزيزها بشكل كبير من خلال التدريب اللاحق المستهدف على البيانات الاصطناعية.
• القابلية للتوسع: يعد النهج واعداً بشكل خاص في المجالات شديدة الصعوبة (مثل رياضيات مستوى IMO، والبحث العلمي) حيث يكون توليد الحل المباشر صعباً، وحيث يستخدم البشر روتينياً نماذج أولية مبسطة للتحقق من الأفكار.

يبقى المؤلفون متواضعين بشأن النطاق الحالي لتجارب التدريب اللاحق الخاصة بهم (المحدودة بالحوسبة ومصادر البيانات) ويقترحون عملاً مستقبلياً لتوسيع النطاق ليشمل مجموعات بيانات أكبر، ومجالات أخرى مثل البرمجة، واستكشاف التعلم التعزيزي عبر الإنترنت (Online RL) لتوليد الأسئلة.