How Response Parsing Manufactures Scaling Laws: A Replication and Measurement-Validity Audit of Constraint-Tracking Capacity in LLMs

تخيل برنامجاً حاسوبياً يمكنه قراءة قائمة من القواعد واتباعها بدقة، مهما طال طول هذه القائمة. هذا هو الوعد الذي تقدمه الذكاء الاصطناعي الحديث، وتحديداً نوع من الأنظمة يسمى "نموذج اللغة الكبير". يتم تدريب هذه البرامج على كميات هائلة من النصوص ويمكنها الإجابة على الأسئلة، أو كتابة القصص، أو حل المشكلات. ومع ازدياد حجم هذه الأنظمة، بزيادة مكوناتها الداخلية وبياناتها، تصبح بشكل عام أفضل في أداء المهام المعقدة. لطالما تساءل العلماء عما إذا كان هناك حد صلب لعدد التعليمات المستقلة التي يمكن لنموذج واحد أن يحملها في "عقله" في آن واحد. إذا أعطيت النموذج عشر قواعد ليتبعها، فهل يمكنه فعل ذلك؟ ماذا عن عشرين؟ هل تنمو القدرة على اتباع القواعد بشكل مطرد مع كبر حجم النموذج، أم أنها تنهار فجأة؟

ادعى دراسة حديثة أنها وجدت إجابة دقيقة لهذا السؤال. اقترحت أن النماذج كلما زاد حجمها، نمت قدرتها على تتبع قواعد متعددة وفقاً لنمط رياضي محدد، مثل منحنى يمكن التنبؤ به. اقترح الباحثون أن النموذج الصغير قد يفشل بعد بضع قواعد فقط، بينما يمكن للنموذج الأكبر التعامل مع قواعد أكثر، وأن هذه العلاقة تتبع قانوناً صارماً. كانت هذه الفكرة مثيرة لأنها قدمت وسيلة للتنبؤ بدقة بمدى قدرة الآلة المستقبلية بناءً على حجمها. ومع ذلك، فقد قامت استقصاء جديد بفحص الأرقام والأساليب المستخدمة للحصول عليها عن كثب، وهي تخبر قصة مختلفة. تجد الدراسة الجديدة أنه بينما كانت الفكرة الأساسية حول وجود حد حقيقية، فإن القانون المحدد الذي يصف كيفية نمو هذا الحد ليس مدعوماً بالأدلة.

بدأ الاستقصاء بإعادة فحص سجلات البيانات الأصلية، وهي السجلات التي دونت فيها النماذج ما كتبته بالفعل استجابة للاختبارات. وضع الباحثون طريقة جديدة وأكثر صرامة لقراءة هذه الاستجابات. في الدراسة الأصلية، كان البرنامج الحاسوبي المستخدم لتصحيح الإجابات يمتلك شبكة أمان؛ فإذا لم يجد عدداً كافياً من الإجابات الواضحة في الاستجابة، فإنه يقوم بمسح النص بأكمله مرة أخرى، بحثاً عن كلمتي "نعم" أو "لا" أينما ظهرا. وإذا وجدهما، فإنه يعتبرهما إجابات صحيحة، حتى لو لم يكن النموذج قد قصدهما فعلياً كإجابات على الأسئلة المحددة. لقد قامت هذه الشبكة بملء الفراغات للنماذج، مما منحها ائتماناً لكلمات كتبتها بالصدفة أو كجزء من جملة، بدلاً من كونها إجابات مباشرة.

وعندما أزال الباحثون الجدد شبكة الأمان هذه وأجبروا الحاسوب على حصر العد في الإجابات التي صيغت بشكل واضح وصحيح، تغيرت النتائج. لا تزال ظاهرة الحد موجودة. فالنموذج الأصغر عانى بالفعل وفشل في نهاية المطاف في اتباع العديد من القواعد، بينما أدى نموذج أكبر من نفس العائلة أداءً أفضل بكثير. وقد أكد هذا أن الملاحظة الجوهرية كانت حقيقية: للنماذج حدود سعة، والحجم مهم. ومع ذلك، فإن المنحنى المحدد الذي وصف كيفية نمو هذه السعة مع الحجم قد اختفى. إن الادعاء الأصلي بأن القدرة على اتباع القواعد تتضاعف أو تتضاعف ثلاث مرات بطريقة يمكن التنبؤ بها مع كبر حجم النموذج كان وهماً ناتجاً عن الطريقة التي تم بها عد الإجابات.

ثم اختبر الباحثون هذه الطريقة المصححة على نطاق أوسع من النماذج، بما في ذلك ثماني عائلات مختلفة من الأنظمة المتاحة عبر الخدمات عبر الإنترنت. ووجدوا أن القانون الرياضي الأصلي لم يصمد. ففي نوع واحد من المهام، لم تظهر النماذج أي نمو متوقع؛ بل اصطدمت بسقف حيث لم تستطع التعامل مع عدد أكبر من القواعد، بغض النظر عن حجمها. وفي مهمة أخرى، بدا أن النماذج تتبع جميع القواعد تماماً، ولكن كان ذلك لأنها كانت ببساطة تعيد التعليمات في فقرة طويلة بدلاً من تتبع كل قاعدة بشكل فردي. وفي عدة حالات، فشلت النماذج ليس لأنها تفتقر إلى الذكاء لاتباع القواعد، بل لأنها لم تتبع التنسيق الصارم المطلوب للحصول على درجة النجاح. لقد كتبوا مقالات طويلة ومدروسة بينما كان الاختبار يتطلب قائمة بسيطة، واعتبر نظام التصحيح هذا فشلاً تاماً.

كما بحث الاستقصاء في النظرية المستخدمة لتفسير سبب سلوك النماذج كما فعلت. اقترحت الدراسة الأصلية أن الحد يتحدد من خلال ميزة معمارية معينة للنماذج، وهو رقم يُحسب من هيكلها الداخلي. وجد التدقيق الجديد أن النموذجين المستخدمين لإثبات هذه النظرية لهما نفس القيمة لهذه الميزة، ومع ذلك أديا بشكل مختلف تماماً. وهذا يعني أن النظرية لا يمكنها في الواقع تفسير الفرق بينهما. كان التفسير المقترح واسعاً جداً بحيث لا يمكن الاستفادة منه؛ إذ سمح بأي نتيجة، وبالتالي لم يكن بإمكانه التنبؤ بالنتيجة المحددة الملحوظة.

الاستنتاج النهائي هو أن قدرة هذه الآلات على تتبع قيود متعددة هي شيء حقيقي وقابل للقياس، ولكن القانون الرياضي الدقيق الذي زُعم أنه يصفها ليس مدعوماً بعد. كان الاكتشاف الأصلي مزيجاً من اكتشاف حقيقي وخطأ في القياس. جاء الخطأ من خيار شائع وغير مرئي في كيفية قراءة الحاسوب للإجابات، وهو خيار ملأ البيانات المفقودة بالخطأ وخلق نمطاً زائفاً. ويؤكد الباحثون أن هذا لا يعني أن النماذج مثالية أو أننا نفهم حدودها تماماً. إنه يعني ببساطة أن الادعاء المحدد بشأن قانون توسع يمكن التنبؤ به بُني على أسس مهتزة. وللمضي قدماً، يجب أن تستخدم الدراسات المستقبلية قواعد أكثر صرامة لقراءة الإجابات، وأن تعتبر كل إجابة مفقودة بمثابة فشل، وأن تختبر نماذج أكثر بكثير قبل إعلان قانون عالمي. إن الطريق لفهم هذه الآلات واضح، لكنه يتطلب النظر إلى البيانات بدون شبكات الأمان التي يمكن أن تخفي الحقيقة.