Retrieval-Augmented Claude Opus 4.7 and GPT-5.5 Surpass Human Performance on the Nuclear Cardiology Board Preparation Exam (and Claude Drafts a Paper About it)

ملخص تقني: نماذج اللغات الكبيرة المعززة بالاسترجاع (RAG) تتفوق على الأداء البشري في امتحانات بورد طب قلبي نووي

بيان المشكلة
كشفت التقييمات السابقة لنماذج اللغات الكبيرة (LLMs) في امتحان التحضير لبورد الجمعية الأمريكية للطب النووي للقلب (ASNC) عن فجوة كبيرة في الأداء بين الذكاء الاصطناعي والمتدربين البشريين. في الدراسات السابقة، حقق أفضل نموذج أداءً بدون سياق متخصص في المجال (GPT-4o) متوسط دقة بلغ 63.1%، وهو ما يقل عن عتبة النجاح المقدرة بـ 65% ومتوسط درجات الزملاء المتدربين (FITs) البالغ 78.0%. وبينما أدى توفير سياق من الكتب المدرسية إلى تحسين أداء GPT-4o القائم على النصوص فقط إلى 73.8%، إلا أنه ظل دون المتوسطات البشرية واقتصر على الأسئلة النصية. المشكلة المركزية التي تعالجها هذه الدراسة هي ما إذا كانت نماذج اللغات الكبيرة من الجيل التالي، والمجهزة بتقنية التوليد المعزز بالاسترجاع (RAG)، يمكنها سد أو تجاوز هذه الفجوة في الأداء عبر الطيف الكامل للامتحان، بما في ذلك الأسئلة المعقدة القائمة على الصور.

المنهجية
أجرى البحث امتحان التحضير لبورد ASNC لعام 2023 كاملاً (168 سؤالاً من نوع الاختيار من متعدد: 141 سؤالاً نصياً فقط و27 سؤالاً قائماً على الصور) على نموذجين من الجيل التالي: Claude Opus 4.7 و GPT-5.5. تم إجراء التقييم على 5 دورات (iterations) لكل نموذج.

• خطوط أنابيب التوليد المعزز بالاسترجاع (RAG): استند كلا النموذجين إلى نفس المتن الموثوق والمتخصص في المجال: كتاب التصوير القلبي النووي: المبادئ والتطبيقات (كتاب مدرسي)، والأطلس المرافق له، وإرشادات الممارسة السريرية لـ ASNC.
  • Claude Opus 4.7: استخدم خط أنابيب استرجاع محلي شفاف يعتمد على FAISS. تم تقسيم مستندات PDF إلى أجزاء مكونة من 3 صفحات، واستخدام all-MiniLM-L6-v2 كنموذج لتمثيل الجمل (sentence-transformer)، وفهرستها عبر IndexFlatIP (البحث بالضرب الداخلي الدقيق). لكل استعلام، تم استرجاع أفضل 5 أجزاء متشابهة دلالياً وإضافتها مسبقاً إلى المطالبة (prompt).
  • GPT-5.5: استخدم مخزن ناقلات سحابي (Azure Vector Store) يتم الوصول إليه عبر واجهة برمجة تطبيقات استجابات Azure OpenAI. كانت آلية الاسترجاع (نموذج التضمين، مقياس التشابه، عدد الأجز "chunks") تُدار بواسطة بنية Azure التحتية ولم تكن قابلة للضبط مباشرة من قبل الباحثين.
• الإعداد التجريبي: تلقى كلا النموذجين مطالبة نظام موحدة توجههما للعمل كطالب في طب القلب النووي واختيار الإجابتين الأكثر احتمالاً مع تقديم التفسيرات. تمت معالجة الأسئلة القائمة على الصور عبر واجهات برمجة تطبيقات الرؤية (عبر ترميز base6-encoded لـ Claude، و data URIs لـ GPT-5.5).
• التسجيل (Scoring): تمت مقارنة الإجابة الأساسية المختارة من قبل النموذج مع الإجابة الصحيحة لـ ASNC. تم احتساب حالات الرفض لأسباب تتعة السلامة (مثل "لا يمكنني المساعدة في هذا الطلب") والاستجابات الفارغة كإجابات خاطئة.
• المقارنات: تمت مقارنة النتائج مع البيانات التاريخية من دراسات سابقة (GPT-4o بدون سياق، و GPT-4o مع سياق) ومع مجموعة مكونة من 13 من الزملاء المتدربين البشريين (FITs) الذين خاضوا الامتحان مع وقت وموارد غير محدودة.

النتائج الرئيسية

• الأداء العام: تفوق كلا النموذجين على متوسط الزملاء المتدربين البشريين (78.0%) وعتبة النجاح المقدرة (65%).
  • Claude Opus 4.7: حقق متوسط دقة قدره 86.3% (انحراف معياري 1.4%).
  • GPT-5.5: حقق متوسط دقة قدره 86.7% (انحراف معياري 2.2%).
  • يمثل هذا تحسناً بنسبة ~23 نقطة مئوية عن أفضل نتيجة سابقة لنماذج LLM (وهي GPT-4o بنسبة 63.1% بدون سياق) في غضون 18 شهراً تقريباً.
• تحليل نوع الأسئلة:
  • النصوص فقط: حقق كلا النموذجين دقة عالية (Claude: 88.8%؛ GPT-5.5: 88.5%).
  • القائمة على الصور: انخفض الأداء بشكل ملحوت لكنه ظل فوق عتبة النجاح (Claude: 73.3%؛ GPT-5.5: 77.0%). يشير هذا إلى وجود فجوة مستمرة حيث لا يزال المتدربون البشريون (81.5% في الصور) يتفوقون على النماذج في التفسير البصري.
• رفض السلامة: لوحظ اختلاف تشغيلي حاسم. رفض GPT-5.5 الإجابة على متوسط 12.2 سؤالاً لكل دورة (7.3%)، وتم احتساب هذه الرفضات كإجابات خاطئة. شملت هذه الرفضات محتوى طبياً مشروعاً (الأدوية المشعة، السلامة الإشعاعية، البروتوكولات السريرية). بينما سجل Claude Opus 4.7 صفر حالات رفض.
• توافق النماذج: أظهر النموذجان توافقاً كبيراً، حيث أجابا على نفس الأسئلة بشكل صحيح في 78.0–83.0% من الحالات لكل دورة. وغالباً ما كانت الخلافات تتعلق بتمييزات دقيقة في التعريفات التقنية.

المساهمات الرئيسية

1. إثبات الكفاءة بمستوى البشر: تعد هذه أول دراسة تظهر أن نماذج LLM المعززة بتقنية RAG يمكنها تجاوز متوسط أداء الزملاء المتدربين البشريين في امتحان تحضيري شامل لطب القلب النووي.
2. تحديد تأثير RAG كمياً: تعزل الدراسة تأثير نماذج الجيل التالي مدمجة مع RAG، مما يظهر قفزة هائلة من 63.1% (بدون سياق) إلى ~86.5% (مع RAG) في فترة زمنية قصيرة.
3. تحديد قيود السلامة: تسلط الورقة الضوء على عائق عملي مهم في GPT-5.5، حيث ترفض مصنفات السلامة شديدة التحفظ الإجابة على أسئلة طبية مشروعة، مما يؤدي إلى خفض الدقة المرصودة اصطناعياً ويحد من فائدتها في السياقات التعليمية.
4. استمرار فجوة الصور: تؤكد الدراسة أنه بينما نضج استرجاع المعرفة النصية، فإن تفسير الصور الطبية (SPECT، PET، وتعدد الوسائط) يظل مجالاً صعباً حيث لا تزال نماذج LLM (73–77%) تتخلف عن المتدربين البشريين (~81.5%).

الأهمية والادعاءات
تدعي الورقة أن نماذج LLM المعززة بـ RAG قد وصلت إلى مستوى من المعرفة في طب القلب النووي يكفي لتعمل كـ وسائل مساعدة تعليمية للتحضير للبورد و أدوات مرجعية معرفية في البيئات السريرية. وتقترح المؤلفة أن هذه النماذج يمكن أن تساعد في التحقق من موارد التدريب وتكملة التدريس.

ومع ذلك، يحافظ المؤلفون على موقف متواضع فيما يتعلق بالنشر السريري. فهم يصرحون بوضوح بأن الأداء في الامتحانات لا يعني الكفاءة السريرية. يتطلب طب القلب النووي في العالم الحقيقي دمج سياق خاص بالمريض، وإدارة عدم اليقين، وممارسة التقدير—وهي قدرات لا يتم تقييمها من خلال أسئلة الاختيار من متعدد. وبناءً على ذلك، تخلص الورقة إلى أن نماذج LLM يجب أن تُعتبر أدوات تكميلية لتعزيز الخبرة البشرية بدلاً من استبدالها. كما تشير الدراسة أيضاً إلى أن الفجوة المستمرة في تفسير الصور توحي بأن هذه النماذج ليست جاهزة بعد لاستبدال الخبرة البشرية في قراءة الصور التشخيصية.