Fisher-R1: Training LLM Agents for Reliable Hypothesis Testing

تخيل أنك محقق يحاول حل لغز باستخدام كومة من الأدلة. في عالم العلوم، هذه الأدلة هي الأرقام ونقاط البيانات، واللغز هو سؤال مثل: "هل تناول المزيد من الشوكولاتة يجعلك أكثر ذكاءً؟" لحل هذا اللغز، أنت لا تكتفي بالتخمين فحسب؛ بل تجري اختباراً رياضياً خاصاً يسمى اختبار الفرضيات. فكر في هذا الاختبار كأنه "مقياس للحقيقة" يخرج لك رقماً يسمى القيمة الاحتمالية (p-value). إذا كان هذا الرقم صغيراً جداً، فكأن مقياس الحقيقة يومض بضوء أحمر ساطع يقول: "مهلاً، هذا الارتباط حقيقي!" وإذا كان الرقم كبيراً، يظل الضوء أخضر، مما يعني: "لا، ربما يكون هذا مجرد مصادفة".

لفترة طويلة، كان العلماء هم من يمسكون بمقياس الحقيقة، ويدققون بعناية فيما إذا كانت الأدلة فوضوية أو ما إذا كان الاختبار الذي اختاروه هو الاختبار الصحيح. ولكن الآن، لدينا وكلاء الذكاء الاصطناعي (AI agents)—وهي برامج حاسوبية فائقة الذكاء يمكنها قراءة البيانات، وكتابة الأكواد البرمجية، وإجراء هذه الاختبارات بمفردها. والأمل هو أن يتمكن هؤلاء المحققون من الذكاء الاصطناعي من تسريع وتيرة العلم، والعثور على الإجابات بشكل أسرع من أي فريق بشري. السؤال الكبير هو: هل هؤلاء المحققون من الذكاء الاصطناعي بارعون حقاً في حل اللغز، أم أنهم بارعون فقط في التزييف؟ قد يكتبون أكواداً مثالية ويبدون واثقين جداً من أنفسهم، ولكن إذا اختاروا مقياس الحقيقة الخاطئ للأدلة التي لديهم، فقد يعلنون عن اكتشاف زائف على أنه اكتشاف حقيقي.

هذا هو بالضبط ما يبحث فيه البحث المعنون بـ "Fisher-R1: تدريب وكلاء النماذج اللغوية الكبيرة من أجل اختبار فرضيات موثوق". أدرك المؤلفون، وهم فريق من جامعة ستانفورد وجامعة ويسكونسن-ماديسون، أن محققي الذكاء الاصطناعي الحاليين يرتكبون أخطاءً مخادعة. لقد وجدوا أن أكثر نماذج الذكاء الاصطناعي تطوراً غالباً ما تلاحظ علامات تحذير في البيانات—مثل القيم المتطرفة الغريبة التي تبدو كأنها أخطاء تقنية—ولكنها تتجاهلها على أي حال وتجري الاختبار الخاطئ. الأمر يشبه محققاً يرى أثراً لقدم طينية لا يتطابق بوضوح مع حذاء المشتبه به، ومع ذلك يصر قائلاً: "لا، إنه بالتأكيد المشتبه به!" ويكتب تقريراً يقول فيه: "أُغلقت القضية!" بينما القضية في الواقع لا تزال مفتوحة على مصراعيها.

لإثبات ذلك، بنى الفريق ميدان تدريب جديداً يسمى P-Bench. تخيل هذا الميدان كأنه مسار عقبات ضخم ومعقد لمحققي الذكاء الاصطناعي، مليء بـ 425 لغزاً من العالم الحقيقي في مجالات البيولوجيا والاقتصاد والطب. كل لغز يعطي الذكاء الاصطناعي مجموعة بيانات وسؤالاً، لكنه لا يخبره بمقياس الحقيقة الذي يجب استخدامه. يتعين على الذكاء الاصطناعي معرفة الاختبار المناسب، وإجرائه، ثم الإبلاغ عن النتيجة. وجد الفريق أنه في هذا المسار، فشلت نماذج الذكاء الاصطناعي رفيعة المستوى (بما في ذلك بعض أقوى النماذج المتاحة) بشكل متكرر. فقد كانوا يجرون الاختبار، ويحصلون على نتيجة، ويعلنون بثقة عن اكتشاف، حتى عندما لا يدعم الرياضيات ذلك فعلياً.

إذاً، ماذا فعلوا حيال ذلك؟ لقد ابتكروا وكيل ذكاء اصطناعي جديداً يسمى Fisher-R1. بدلاً من ترك الذكاء الاصطناعي يخمن، قاموا بتعليمه باستخدام طريقة خاصة تسمى التعلم التعزيزي (reinforcement learning). فكر في الأمر كأنه لعبة فيديو حيث يحصل الذكاء الاصطناعي على نقاط فقط إذا اختار الاختبار الصحيح وحصل على الإجابة الصحيحة أيضاً. إذا اختار الأداة الخاطئة للمهمة، فإنه يحصل على "نهاية اللعبة" ويضطر للمحاولة مرة أخرى. لقد دربوا Fisher-R1 على آلاف الألغاز الاصطناعية حيث تكون الإجابات معروفة يقيناً، لتعليمهم أن يكونوا حذرين وأن يراجعوا عملهم بأنفسهم.

كانت النتائج نقطة تحول جذري. فعندما خاض Fisher-R1 مسار عقبات P-Bench، لم يكتفِ بالنجاح فحسب، بل سحق المنافسة. فقد تفوق إصدار Fisher-R1 الذي يحتوي على 14 مليار معلمة (Fisher-R1-14B) حتى على أقوى النماذج المملوكة لشركات مثل GPT-5.4 وDeepSeek-V4-Pro. وفي الألغاز الأكثر صعوبة، حسن معدل نجاحه بنحو 21% مقارنة بأفضل نموذج تالٍ له. والأهم من ذلك، أنه توقف عن ارتكاب تلك الأخطاء "الواثقة ولكن الخاطئة". فقد تعلم أن يقول: "انتظر، نقاط البيانات هذه غريبة، لا ينبغي لي استخدام الاختبار القياسي"، وبدلاً من ذلك اختار طريقة أكثر أماناً ودقة.

يشير البحث إلى أنه بينما يجيد وكلاء الذكاء الاصطناعي الحاليون كتابة الأكواد البرمجية، إلا أنهم يفتقرون إلى الحدس الإحصائي العميق لمعرفة أي كود يجب كتابته لمشكلة معينة. ومن خلال تدريبهم باستخدام مكافآت موثقة—أي منحهم درجة بناءً على ما إذا كانت استنتاجاتهم النهائية تتطابق مع الحقيقة الأرضية—تعلم Fisher-R1 أن يكون عالماً أكثر موثوقية. ويخلص المؤلفون إلى أننا لا يمكننا ببساطة الوثوق بالذكاء الاصطناعي للقيام بالعلم بشكل تلقائي بعد؛ نحن بحاجة إلى تدريبهم خصيصاً ليكونوا إحصائيين حذرين. ومع أدوات مثل Fisher-R1 ومعايير مثل P-Bench، يمكننا البدء في بناء شركاء من الذكاء الاصطناعي لا يكتفون فقط بالظهور بمظهر الأذكياء، بل يتقنون الرياضيات فعلياً.