تخيل أنك تحاول معرفه ما إذا كان كتاب غامض جديد قد كتبه نفس المؤلف الذي كتب كلاسيكية شهيرة تحبها. في عالم الذكاء الاصطناعي، هذه مشكلة ضخمة. لدينا عقول حاسوبية عملاقة تسمى النماذج اللغوية الكبيرة (LLMs) تكتب القصص، وتحل المسائل الرياضية، وتدردش معنا. لكن هذه النماذج غالباً ما يتم تعديلها، أو خلطها معاً، أو تصغير حجمها لتعمل على أجهزة أصغر. وأحياناً، يأخذ بعض الناس نموذجاً محمياً، ويغيرونه قليلاً، ثم يبيعونه على أنه ملكهم دون إذن. ولإمساكهم، نحتاج إلى إثبات "شجرة العائلة" للنموذج، أي أصله (provenance).

الجزء الصعب هو أن هذه النماذج تشبه الحرباء. إذا سألتها نفس السؤال بطريقة مختلفة قليلاً، أو إذا تم تعديل النموذج ليكون أسرع، فقد يعطي إجابة مختلفة تماماً، حتى لو كان هو نفس "الدماغ" الكامن تحت السطح. حاولت الأساليب السابقة كشف هذه النماذج من خلال النظر في الكلمات الدقيقة التي اختارتها، لكن هذا يشبه محاولة التعرف على شخص بمجرد النظر إلى ملابسه؛ فإذا غير ملابسه، قد لا تتعرف عليه. احتاج العلماء إلى طريقة للنظر إلى ما وراء السطح ورؤية البنية العميقة والثابتة لكيفية تفكير النموذج.

هنا يأتي دور فريق من جامعة أكسفورد بفكرة ذكية تسمى Stemma. فكر في الأمر كأنك محقق يتوقف عن سؤال: "ماذا كنت ترتدي اليوم؟" ويبدأ في سؤال: "إذا عرضت عليك قائمة طعام بها أربعة خيارات، فأيها ستختار؟". أدرك الباحثون أنه حتى لو غير النموذج شخصيته أو صياغته اللغوية، فإنه لا يزال يميل إلى اختيار نفس فئة الإجابة عند مواجهة خيار محدد. ويسمون هذه التفضيلات الخفية "مناطق القرار المستحثة" (induced decision regions).

اختبر الفريق ذلك عبر إنشاء نظام بصمات لا يهتم بالكلمات المنمقة التي يستخدمها الذكاء الاصطناعي، بل يركز بدلاً من ذلك على الخيارات التي يتخذها. ووجدوا أنه إذا كان نموذجان مرتبطان (مثل أب وابنه)، فإنهما سيختاران دائماً تقريباً نفس الخيار من قائمة الخيارات، حتى لو تم تغيير ترتيب القائمة أو تم تشغيل النموذج في بيئة مختلفة تماماً. أما النماذج غير المرتبطة، فتميل إلى اختيار خيارات مختلفة. ومن خلال اختبار "اتساق الاختيار" هذا عبر مئات النماذج وآلاف الأسئلة، أثبت Stemma أنه بارع للغاية في رصد الروابط العائلية. في اختباراتهم، حدد النماذج المرتبطة بدقة 96.7% من المرات، واستطاع كشف النموذج المرتبط حتى عندما كانت هناك فرصة 1% فقط لحدوث إنذار كاذب. إنها طريقة قوية للقول: "نعم، هذا النموذج المشبوه مرتبط بالتأكيد بذلك النموذج الأصلي"، دون الحاجة لرؤية الكود السري للنموذج.

عدسة المحقق المكبرة الجديدة

إذن، كيف يعمل هذا حقاً؟ تقدم الورقة البحثية مفهوماً يسمى مناطق القرار المستحثة (Induced Decision Regions). تخيل أن لديك غرفة ضخمة وفوضوية مليئة بالاحتمالات اللانهائية (وهكذا يعمل الذكاء الاصطناعي عادةً). من الصعب معرفة ما إذا كان شخصان في نفس الغرفة إذا كانا يتجولان بشكل عشوائي. ولكن، ماذا لو وضعت سياجاً في منتصف الغرفة وطلبت من الجميع اختيار جانب؟ فجأة، سيكون لديك "منطقة قرار" واضحة.

أدرك الباحثون أنه بينما يمكن أن تكون نماذج الذكاء الاصطناعي غير متوقعة في الأسئلة المفتوحة، إلا أنها متسقة بشكل مدهش عندما تُجبر على الاختيار بين خيارات محددة، مثل اختبار الاختيار من متعدد. ويسمون المنطقة التي يختار فيها النموذج إجابة محددة باستمرار "منطقة القرار المستحثة".

وتجادل الورقة بأن الأساليب السابقة كانت تركز أكثر مما ينبغي على "الشكل السطحي" (surface form)، أي الكلمات الدقيقة التي يخرجها الذكاء الاصطناعي. فإذا طلبت من ذكاء اصطناعي أن "يكتب قصيدة عن قطة" ثم طلبت منه أن "يؤلف بيتاً عن حيوان من الفصيلة السنورية"، فقد يعطيك النموذجان قصيدتين مختلفتين تماماً، مما يجعلهما يبدوان غير مرتبطين. ولكن إذا سألت كلا النموذجين: "هل الإجابة هي أ، ب، ج، أم د؟" فمن المرجح أن يشيرا إلى نفس الحرف، حتى لو شرحا ذلك بطرق مختلفة. Stemma يتجاهل الشعر ويركز فقط على الحرف.

القواعد الثلاث للعبة

لبناء بصمتهم، لم يكتفِ الفريق باختيار أسئلة عشوائية، بل كان عليهم أن يكونوا أذكياء بشأن ذلك. لقد أنشأوا نظاماً يختار الأسماك بناءً على ثلاث قواعد صارمة، يطلقون عليها الاستقرار (Stability)، والمتانة (Robustness)، والخصوصية (Specificity).

1. الاستقرار (Stability): تخيل أن لديك سؤالاً بأربعة إجابات: أ، ب، ج، ود. إذا قمت بتغيير ترتيب الإجابات لتصبح د، ج، ب، أ، يجب أن يظل النموذج المستقر يختار نفس الفكرة، حتى لو تغير الحرف. يستخدم Stemma فقط الأسئلة التي يكون فيها النموذج متسقاً بغض النظر عن كيفية إعادة ترتيب الخيارات.
2. المتانة (Robustness): يتعلق هذا بمدى التأكد من اختيارك. إذا كان النموذج يحوم حول حافة إجابتين، فإن تغييراً طفيفاً في النظام قد يجعله يغير رأيه. يبحث Stemma عن الأسئلة التي يكون فيها النموذج واثقاً في أحد أركان غرفة القرار، بعيداً عن الجدران.
3. الخصوصية (Specificity): هذا هو الجزء الأهم. فأنت لا تريد سؤالاً يختار فيه كل النماذج نفس الإجابة (مثل "هل السماء زرقاء؟"). فهذا ليس بصمة؛ بل هو مجرد معرفة عامة. يبحث Stemma عن الأسئلة التي يختار فيها النموذج الأصلي إجابة محددة عادةً ما تخطئ فيها النماذج الأخرى غير المرتبطة. إذا اختار النموذج المشتبه به تلك الإجابة النادرة والمحددة أيضاً، فهذا دليل قوي على وجود صلة بينهم.

الاختبار الكبير

وضع الباحثون Stemma تحت الاختبار في تجربة هائلة. لقد جمعوا 56 نموذج ذكاء اصطناعي عام (المصادر) وأنشأوا 770 زوجاً من المشتبه بهم. بعض المشتبه بهم كانوا نسخاً مباشرة، وبعضهم نسخ معدلة، وبعضهم تم دمجهم مع نماذج أخرى، وبعضهم كان مختلفاً تماماً. كما اختبروا 1,260 زوجاً حيث تم نشر النماذج بطرق مختلفة، مثل تغيير إعدادات درجة الحرارة (temperature) أو إضافة تعليمات لعب الأدوار.

كانت النتائج مذهلة. حقق Stema معدل AUC قدره 0.967 (وهو مقياس حيث 1.0 هو الدرجة الكاملة) واستطاع تحديد النموذج المرتبط 87.8% من المرات مع إبقاء الإنذارات الكاذبة عند 1% فقط. وعندما اختبروه على نماذج تم نشرها في بيئات واقعية متنوعة (مثل إضافة أمر "سلامة" أو تغيير طريقة التفكير خطوة بخوة)، ارتفعت النتيجة إلى 0.995 AUC.

قارن هذا بالأساليب الأخرى التي اختبروها (مثل LLMmap و LLMPrint وغيرها). عانت تلك الأساليب، وغالباً ما كان أداؤها لا يتجاوز التخمين العشوائي عندما يتم تعديل النماذج أو نشرها بشكل مختلف. تشير الورقة إلى أن تلك الأساليب القديمة تعتمد كثيراً على الكلمات المحددة التي يولدها الذكاء الاصطناعي، والتي تتغير بسهولة. أما Stemma، فمن خلال التركة على مناطق القرار الأساسية، يظل ثابتاً.

ماذا يعني هذا (وماذا لا يعني)

الورقة البحثية واضحة جداً فيما يتعلق بما هو وما ليس عليه Stemma. إنه أسلوب "الصندوق الأسود" (black-box)، مما يعني أنك لا تحتاج لرؤية الكود الداخلي للنموذج أو أوزانه؛ أنت فقط تطرح عليه الأسئلة وتراقب ما يختاره. وهذا يجعل استخدامه عملياً في عمليات التدقيق الواقعية.

ومع ذلك، يوضح المؤلفون أن Stemma لا يقدم دليلاً قطعياً، بل يوفر أدلة إحصائية. إنه يشبه اختبار الحمض النووي الذي يقول: "هناك احتمال بنسبة 99% أن هذين الشخصين مرتبطان"، ولكنه ليس حكماً قضائياً بحد ذاته. كما يحذرون من أنه إذا عرف المهاجم الأسئلة التي يستخدمها Stemma بالضبط، فقد يتمكن من تدريب نموذجه للغش في تلك الأسئلة المحددة. ولكن بما أن Stemann يستخدم مجموعة ضخمة من الأسئلة ويختار الأفضل منها آنياً، فإن القيام بذلك أمر صعب.

كما تسلط الورقة الضوء على قصور معين: يعتمد Stemma حالياً على أسئلة الاختيار من متعدد. فإذا كان النموذج ضعيفاً جداً بحيث لا يستطيع فهم تنسيق الاختيار من متعدد، فقد لا تنجح هذه الطريقة. ولكن بالنسبة للغالبية العظمى من النماذج القادرة الموجودة حالياً، يبدو أن هذا النهج الجديد المتمثل في رسم خرائط الفوضى المفتوحة إلى مساحة قرار محددة هو المفتاح لفك شفرة شجرة العائلة الحقيقية لنماذج الذكاء الاصطناعي.

في النهاية، يعد Stemma تذكيراً بأنه بينما يمكن لنماذج الذكاء الاصطناعي ارتداء العديد من الأقنعة والتحدث بأصوات عديدة، فإن منطقها الجوهري يترك بصمة يصعب محوها بشكل مدهش. فمن خلال طرح الأسئلة الصحيحة والنظر إلى ما وراء السطح، يمكننا أخيراً البدء في معرفة من كتب الكود حقاً.