Inferring the Size of Large Language Models From Popular Text Memorization

تخيل أنك دخلت غرفة حيث يقوم عدة أشخاص بتسميع قصص شهيرة مثل "أليس في بلاد العجائب" أو الكتاب المقدس. لا يمكنك رؤيتهم، ولا يمكنك سؤالهم عن حجم أدمغتهم، ولا يمكنك التلصص على ملاحظاتهم. يمكنك فقط الاستماع إلى ما سيقولونه تالياً عندما توقفهم في منت المنتصف أثناء جملة ما.

هذه هي بالضبط المشكلة التي واجهها الباحثون مع نماذج الذكاء الاصطنا-عي الحديثة (نماذج اللغات الكبيرة). تبني شركات التكنولوجيا الكبرى هذه الأنظمة القوية، لكنها تحتفظ بـ "مخططاتها" سرية. إنهم لا يخبرونك بعدد "الأعصاب" (المعلمات/Parameters) التي يمتلكها النموذج، وهو المعيار القياسي لقياس مدى ذكاء أو تكلفة النموذج.

يقدم هذا البحث طريقة "صندوق أسود" ذكية لعمل محقق، لتخمين حجم أدمغة الذكاء الاصطناعي السرية هذه، فقط من خلال الاستماع إلى مدى جودة إكمالهم للجمل.

الفكرة الجوهرية: "اختبار الذاكرة"

أدرك الباحثون أن كل ذكاء اصطناعي ضخم تقريباً قد تم تدريبه على نفس التلة الهائلة من نصوص الإنترنت. وهذا يعني أنهم جميعاً قرأوا نفس الكتب الشهيرة، والنصوص الدينية، والوثائق الشهيرة.

فكر في الأمر كأنه مسابقة ذاكرة. إذا طلبت من شخص إكمال جملة من كتاب حفظه، فإن الشخص الذي يمتلك دماغاً أكبر (معلمات أكثر) سيتمكن عموماً من القيام بذلك بشكل صحيح أكثر من الشخص الذي يمتلك دماغاً أصغر.

اختبر الباحثون ذلك من خلال:

1. اختيار 37 نصاً شهيراً من الملكية العامة (مثل هاملت، الكتاب المقدس، والدستور الأمريكي).
2. تقطيعها إلى آلاف القطع الصغيرة.
3. سؤال نماذج ذكاء اصطناعي مختلفة للتنبؤ بالكلمة التالية مباشرة في تلك القطع.

وجدوا نمطاً واضحاً: كلما كان الذكاء الاصطناعي أكبر، كان أفضل في تخمين الكلمة التالية في هذه القصص الشهيرة. ورغم أن عوامل أخرى (مثل كيفية تعليم الذكاء الاصطناعي) تلعب دوراً، إلا أن حجم الدماغ كان المحرك الأكبر للنجاح.

أداتا المحقق

لتحويل "درجات الذاكرة" هذه إلى تقدير للحجم، بنى الفريق أداتين مختلفتين:

1. "قانون القياس" (الخريطة)
تخيل أن لديك مجموعة من الأشخاص المعروفين (نماذج الذكاء الاصطناعي مفتوحة المصدر) الذين تعرف أحجام أدمغتهم بالفعل. تقوم برسم درجات ذاكرتهم مقابل أحجامهم المعروفة وترسم منحنىً ناعماً يصل بين النقاط. يبدو الأمر مثل السلم: كلما ارتفعت الدرجة، ارتفع الحجم بشكل أسي.

• كيف يعمل: عندما يخضع نموذج ذكاء اصطنا-عي سري للاختبار، ترى أين يستقر على السلم. إذا سجل درجة تشبه نموذجاً يمتلك 100 مليار معلمة، فتقدر أنه بهذا الحجم تقريباً.
• العقبة: نظراً لأن الذكاء الاصطنا-عي السري قد يكون مبنياً بشكل مختلف (مثل نموذج "خليط الخبراء" حيث يكون جزء فقط من الدماغ نشطاً في آن واحد)، قرر الباحثون أن يكونوا متحفظين للغاية. هم لا يخمنون الحجم بالضبط؛ بل يخمنون حداً أدنى. هم يقولون: "هذا الذكاء الاصطنا-عي حجمه على الأقل كذا".

2. اختبار "المواجهة المباشرة" (السباق)
أحياناً، لا تحتاج إلى رقم دقيق؛ تحتاج فقط إلى معرفة من هو الأكبر.

• كيف يعمل: يضع الباحثون نموذجين سريين من الذكاء الاصطنا-عي في مواجهة بعضهما البعض في اختبار الذاكرة نفسه. يستخدمون "سباقاً" إحصائياً لمعرفة ما إذا كان أحدهما يتفوق باستمرار على الآخر في إكمال الجمل.
• النتيجة: إذا فاز النموذج (أ) على النموذج (ب) في السباق، يمكنهم القول بثقة: "النموذج (أ) أكبر بالتأكيد من النموذج (ب)"، حتى لو لم يعرفوا الأرقام الدقيقة.

ما اكتشفوه

اختبر الفريق طريقتهم على 19 نموذجاً مفتوح المصدر (حيث يعرفون الإجابات) وحصلوا على النتيجة الصحيحة بنسبة 95% من الوقت. ثم وجهوا أنظارهم نحو النماذج "السرية" من شركات مثل OpenAI وGoogle وAnthropic وAlibaba.

إليك ما كشف عنه هذا "العمل التحقيقي" حول استراتيجيات الصناعة المخفية:

• استراتيجية "الدماغ الكبير" (Google وAnthropic): يبدو أن هذه الشركات تبني نماذج ذات أعداد هائلة من المعلمات. على سبيل المثال، أظهرت نماذجهم رفيعة المستوى علامات على امتلاك مئات المليارات من المعلمات، مما يشير إلى أنها تزداد حجماً مع كل جيل جديد.
• استراتيجية "الكفاءة" (OpenAI وAlibaba): من المثير للدهشة أن الباحثين وجدوا أن نماذج OpenAI الأحدث (مثل GPT-4o ومتغيرات GPT-5) لا تبدو أكبر بشكل ملحوظ من حيث عدد المعلمات الخام مقارنة بإصداراتها القديمة. يبدو أنهم يصطدمون بـ "سقف الحجم". بدلاً من جعل الدماغ أكبر، يبدو أنهم يجعلون الدماغ الحالي أكثر ذكاءً من خلال تدريب أفضل أو خوارما أكثر ذكاءً.
• التحقق من التسلسل الهرمي: نجحت الطريقة في تحديد الترتيب الداخلي للمنتجات. على سبيل المثال، خمنت بشكل صحيح أن نموذج "Opus" من Anthropic أكبر من نموذج "Sonnet"، والذي بدوره أكبر من "Haiku"، دون أن تُخبر بترتيبهم مسبقاً.

القيود (التفاصيل الدقيقة)

البحث صريح جداً بشأن ما لا يستطيع فعله:

• إنه حد أدنى: الطريقة مصممة لتكون آمنة. ستخبرك أن الذكاء الاصطنا-عي حجمه على الأقل (س)، ولكن الحجم الحقيقي قد يكون أكبر بكثير. الأمر يشبه قولك: "هذا الصندوق يزن 10 أرطال على الأقل"، بينما قد يزن في الواقع 50 رطلاً.
• مشكلة "خليط الخبراء" (MoE): تستخدم بعض نماذج الذكاء الاصطنا-عي الحديثة بنية "خليط الخبراء". تخيل مكتبة حيث يتم استدعاء عدد قليل فقط من أمناء المكتبة المتخصصين للإجابة على سؤال، بدلاً من طاقم العمل بأكرهم. ولأن الباحثين لا يمكنهم رؤية كم عدد الأمناء الإجماليين مقابل كم منهم نشطون، فلا يمكنهم الحصول على عدد إجمالي دقيق لهذه النماذج، بل يمكنهم فقط الحصول على حد أدنى متحفظ.
• لا يوجد غش: تفترض الطريقة أن الذكاء الاصطنا-عي لا يحاول خداعهم. إذا قامت شركة ببرمجة ذكائها الاصطنا-عي عمداً لكي "ينسى" الكتب الشهيرة لإخفاء حجمه، فإن هذه الطريقة ستفشل.

الخلاصة

يثبت هذا البحث أنه لست بحاجة إلى المخططات السرية للشركات لتعرف كيف يكون حجم ذكائهم الاصطنا-عي. من خلال مجرد اختبار مدى قدرة الذكاء الاصطنا-عي على تذكر القصص الشهيرة، يمكنك استنتاج "حجم أدنى" موثوق به وكشف ما إذا كانت الشركة تنمي نماذجها بجعلها أكبر أو بجعلها أكثر ذكاءً. إنها تحول "الصندوق الأسود" للذكاء الاصطنا-عي إلى شيء يمكنك التلصص عليه، حتى لو لم تتمكن من رؤية كل شيء.