ملخص تقني: الاتساق المشترك (Joint Consistency - JC)

تعريف المشكلة

تتناول الورقة البحثية مشكلة التجميع في وقت الاختبار (Test-Time Aggregation - TTA)، وهي مشكلة اختيار إجابة واحدة موثوقة من بين مجموعة مكونة من $N$ من مسارات الاستدلال المرشحة التي تم إنشاؤها لاستعلام معين. وبينما تنجح طرق توسيع وقت الاختبار (TTS) الحالية في توليد مسارات متعددة، إلا أن استراتيجيات التجميع الخاصة بها تعاني غالبًا من قصورين:

1. العزل (Isolation): تقيم معظم الطرق (مثل الاتساق الذاتي، والاتساق الذاتي الموزون) المسارات بشكل مستقل، معتمدة على درجات الجودة المطلقة أو تردد الإجابات. وهذا يتجاهل المعلومات المقارنة بين المرشحين.
2. صعوبة المعايرة (Calibration Difficulty): يتطلب التقييم المستقل من المُقيّم إنتاج درجات مطلقة جيدة المعايرة، وهو أمر يصعب تحقيقه غالبًا، خاصة عبر النماذج المولدة غير المتجانسة.
3. قابلية التوسع للمقارنات (Scalability of Comparisons): بينما تعتبر الأحكام المقارنة (مثل "المسار A أفضل من المسار B") أكثر موثوقية من الدرجات المطلقة، فإن دمج جميع المقارنات الثنائية بشكل ساذج يؤدي إلى تكلفة حسابية قدرها $O(N^2)$، وهو أمر غير عملي لميزانيات المسارات الكبيرة.

يطرح المؤلفون السؤال التالي: كيف يمكن دمج الأحكام المقارنة الثنائية في تجميع وقت الاختبار بطريقة منهجية وفعالة حسابيًا؟

المنهجية: الاتساق المشترك (JC)

يقترح المؤلفون الاتساق المشترك (JC)، وهو إطار عمل موحد يتم صياغته كـ مسألة تقليل طاقة من نوع Ising مقيدة.

1. دالة الطاقة

الهدف من التجميع هو إيجاد متجه مؤشر $x \in \{0, 1\}^N$ (حيث $x_i=1$ إذا تم اختيار المسار $i$) الذي يقلل دالة الطاقة $H(x)$:
$$\min_{x \in \{1_{I_k} | k \in [K]\}} H(x) := -\mu \langle h, x \rangle - x^\top J x$$
حيث أن:

• $K$ هو عدد الإجابات المتميزة المرشحة.
• القيد (Constraint): تحدد المجموعة الممكنة $x$ بحيث تختار مجموعة إجابة واحدة بالضبط (جميع المسارات التي تؤدي إلى نفس الإجابة).
• $h$ (المجال الخارجي): متجه يرمز لـ إشارات التقييم المستقلة (مثل درجات "النموذج اللغوي الكبير كمُقيّم" للمسارات الفردية).
• $J$ (مصفوفة التفاعل): مصفوفة ترمز لـ إشارات التفضيل الثنائية (مثل احتمالات تفضيل المسار $i$ على المسار $j$).
• $\mu$ (المعيار الفائق): يتحكم في المقايضة بين التقييم المستقل والتفاعلات الثنائية.

2. بناء مصفوفة التفاعل ($J$)

يتم بناء المصفوفة $J$ باستخدام مقارنات النموذج اللغوي الكبير كمُقيّم (LLM-as-a-judge).

• الاحتمالات الثنائية: بالنسبة للمسارات $y_i$ و $y_j$، يقدر المُقيّم $p_\theta(y_i \succeq y_j)$، وهي احتمالية أن يكون $y_i$ أفضل من $y_j$.
• بناء شبه محدد موجب (Positive Semi-Definite): لضمان الاستقرار والقابلية للتفسير، يتم تعريف $J$ كـ $J = CC^\top$، حيث أن المدخل $C_{ij}$ هو نسخة معيرة من احتمالية التفضيل:
  $$C_{ij} := \sqrt{\frac{p_\theta(y_i \succeq y_j)}{n_i^2 n_j}}$$
  هنا، $n_i$ هو عدد المسارات التي تشترك في نفس الإجابة مع $y_i$. يشير هذا البناء إلى أن مسارين يمتلكان تفاعلاً قويًا إذا كان كلاهما مفضلاً على مجموعات مماثلة من المسارات المنافسة.

3. التفسير النظري

بموجب فرضية التجانس على مستوى الإجابة (حيث تمتلك جميع المسارات لإجابة معينة $a^{(k)}$ احتمالات تفضيل ثنائية متطابقة ضد مسارات إجابة أخرى $a^{(k')}$)، تتبسط حد التربيع $x^\top J x$ إلى مجموع تفضيلات مستوى الإجابة. يوفر هذا تبريرًا نظريًا لتحويل المقارنات على مستوى المسار إلى قاعدة تجميع على مستوى الإجابة.

4. استراتيجية التقريب الفعالة

لمعالجة التكلفة $O(N^2)$ لحساب $J$ لجميع أزواج المسارات، يقترح المؤلفون تقريب Top-$\kappa$:

• بدلاً من مقارنة جميع المسارات $N$، يتم تقدير التفاعلات فقط بين أعلى-$\kappa$ من مجموعات الإجابات الأكثر تكرارًا.
• يقلل هذا التعقيد من $O(N^2)$ إلى $O(\kappa^2)$، حيث $\kappa$ هي ميزانية اتساق صغيرة (على سبيل المثال، $\kappa=4$).
• عملية تحسين دالة الطاقة نفسها قابلة للحل ($O(K)$ أو $O(\kappa)$) لأن المجموعة الممكنة مقيدة بـ $K$ (أو $\kappa$) من مجموعات الإجابات المرشحة، مما يتجنب الطبيعة الصعبة (NP-hard) لـ التحسين الثنائي غير المقيد التربيعي (QUBO) العام.

المساهمات الرئيسية

1. دمج الإشارات المقارنة: يقدم JC نموذج تقليل طاقة مقيد يدمج إشارات المقارنة الثنائية عبر مصفوفة التفاعل $J$، جنبًا إلى جنب مع الإشارات المستقلة عبر المجال الخارجي $h$.
2. إطار عمل موحد: يستوعب النموذج الأساليب الحالية كحالات خاصة:
   • الاتساق الذاتي (SC): $J=0, \mu=0$ (أو $h$ محدد).
   • الاتساق الذاتي الموزون (WSC): $J=0, \mu > 0$.
   • التفاعل فقط (Interaction-only): $\mu=0$.
     من خلال تغيير $\mu$، يقوم JC بالانتقال التدريجي بين هذه الاستراتيجيات.
3. القابلية للتوسع: يجعل تقريب Top-$\kappa$ المقترح نمذجة التفاعل عملية لميزانيات التجميع واسعة النطاق، مع الاحتفاظ بفوائد المقارنات الثنائية بتكاليف تقارب طرق التصويت الموزون القياسية.

النتائج التجريبية

قيم المؤلفون JC على اختبارات الاستدلال الرياضي (MathArena: AIME, HMMT, Brumo) و الاستدلال البرمجي (CruxEval-O).

• الإعدادات القائمة على التعهيد الجماعي (المسارات غير المتجانسة):
  • تفوق JC باستمرار على النماذج المرجعية (SC, WSC, Best-of-N, Knockout Tournament) عبر نماذج مُقيّمة متنوعة (Qwen, DeepSeek, متغيرات GPT) وميزانيات مسارات مختلفة.
  • في مجموعة MathArena-C (المجموعة الأكثر صعوبة)، حقق JC مع $\kappa=4$ مكاسب في الدقة تتجاوز 20% مقارنة بـ WSC.
  • ظل JC قويًا حتى عندما تم توليد المسارات بواسطة نماذج من فئة أدنى، حيث كانت الدرجات المستقلة غير موثوقة ولكن التماسك المقارن ظل فعالًا.
• الإعدادات المتجانسة (الإشارات الجوهرية):
  • في الإعدادات التي تتوفر فيها احتمالات الـ log-probabilities على مستوى الـ token (مثل DeepSeek-R1, Qwen3)، لا يزال JC يتفوق على النماذج المرجعية للتقييم الجوهري مثل Self-Certainty و DeepConf.
  • زادت مكاسب الأداء لـ JC مقارنة بأقوى نموذج مرجعي مع زيادة عدد المسارات ($N$)، مما يشير إلى خصائص توسع أفضل.
• كفاءة التكلفة:
  • وُجد أن تكلفة مرحلة تقييم JC (الاستعلام عن المُقيّم للحصول على $h$ و $J$) كانت أقل من 1% من تكلفة توليد مسارات الاستدلال.
  • الطريقة قوية تجاه اختيار $\mu$ (النطاق الأمثل عادةً $[0.5, 1]$) ولا تتطلب ضبطًا دقيقًا لنماذج المُقيّم المحددة.

الأهمية والادعاءات

تدعي الورقة أن الاتساق المشترك (Joint Consistency) يوفر نهجًا موحدًا ومنهجيًا لتجميع وقت الاختبار يجسّر الفجوة بين التقييم المستقل والمقارنة الثنائية.

• الرؤية النظرية: يضع التجميع في إطار مسألة تقليل الطاقة، مما يقدم تفسيرًا نظريًا لكيفية تجميع المقارنات الثنائية عند مستوى الإجابة.
• الأثر العملي: يثبت أن الاستفادة من الإشارات المقارنة عبر استراتيجية تقريب فعالة تحقق مكاسب ثابتة على النماذج المرجعية الحديثة دون تكاليف حسابية باهظة.
• القيود: يشير المؤلفون بتواضع إلى أن العمل الحالي يركز على تجميع الإجابة النهائية في مهام الاستدلال؛ ولم تثبت قابلية التعميم للاستدال مفتوح النهايات أو حل المشكلات البحثية. بالإضافة إلى ذلك، قد لا يكون البناء المحدد لمصفوفة التفاعل $J$ هو الأمثل، وتكتسب الطريقة قيود نماذج التوليد والمُقيّم الأساسية.