Behavioral Consistency and Transparency Analysis on Large Language Model API Gateways
تقدم هذه الورقة GateScope، وهو إطار عمل للقياس بنظام الصندوق الأسود يقوم بمراجعة بوابات واجهة برمجة تطبيقات النماذج اللغوية الكبيرة (LLM) التجارية عبر أبعاد المحتوى، والمحادثة، والفواتير، وزمن الاستجابة، كاشفاً عن تباينات كبيرة بين السياسات المعلنة والسلوكيات الفعلية مثل الاستبدال الصامت للنماذج، والانحرافات في التسعير، وعدم اتساق الأداء.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تطلب وجبة فاخرة من مطعم راقٍ. تطلب من النادل "طبق الشيف الخاص: ريزوتو الترفل". تدفع السعر المدرج في القائمة لهذا الطبق تحديدًا.
الآن، تخيل أن النادل هو في الواقع وسيط ("بوابة"). يأخذ طلبك، يذهب إلى المطبخ، ثم يعود ومعه طبق. لكن هنا تكمن الخدعة: أنت لا تستطيع رؤية المطبخ. لا تعرف ما إذا كان النادل قد ذهب بالفعل إلى كبير الطهاة، أم أنه اكتفى بإحضار وجبة مجمدة من الخلف، أو أنه استبدل ريزوتو الترفل الخاص بك بطبق معكرونة أرخص مع الاحتفاظ بالباقي في جيبه.
هذه الورقة البحثية، بعنوان "تحليل الاتساق السلوكي والشفافية على بوابات واجهة برمجة تطبيقات النماذج اللغوية الكبيرة (LLM API Gateways)"، تدور حول فريق من الباحثين الذين قرروا التحقيق في هؤلاء "النادلين" (يُطلق عليهم اسم بوابات LLM) ليروا ما إذا كانوا صادقين.
المشكلة: النادلون ذوو "الصندوق الأسود"
النماذج اللغوية الكبيرة (LLMs) مثل GPT-4 أو Claude هي بمثابة كبار الطهاة؛ فهي قوية ومكلفة. ولكن استخدامها مباشرة قد يكون معقدًا للشركات. لذا، قامت شركات خارجية ببناء بوابات (Gateways). تعمل هذه البوابات كباب أمامي واحد؛ تمنحك كلمة مرور واحدة، وتعدك بأنها ستسمح لك بالتحدث مع أي شيف تريده.
المشكلة هي أن هذه البوابات هي صناديق سوداء:
- كذبة القائمة: تطلب "GPT-5"، لكن البوابة قد ترسل طلبك سرًا إلى نموذج أرخص وأقل ذكاءً (مثل GPT-3.5) لتوفير المال.
- القطع الصامت: تطلب قصة طويلة، لكن البوابة قد تقطع نهاية القصة بصمت دون إخبارك بذلك.
- الفاتورة المزيفة: قد يتم محاسبتك على 1,000 كلمة بينما استخدمت 800 فقط، أو تُحاسب على كلمات "مخزنة مسبقًا" (cached) لم تكن بحاجة إليها فعليًا.
- الخدمة البطيئة: أحيانًا يصل الطعام في ثانيتين، وأحيانًا في دقيقتين، ولا أحد يعرف السبب.
الحل: "GateScope" (ناقد الطعام)
قام الباحثون ببناء أداة تسمى GateScope. فكر في GateScope كأنه ناقد طعام ذكي وغير مرئي يطلب من هذه البوابات آلاف المرات ليرى ما يحدث حقًا. هم لا يملكون مفتاحًا للمطبخ؛ بل يتصرفون فقط كزبائن عاديين ويحللون النتائج.
لقد فحصوا البوابات من خلال أربع طرق محددة:
1. "اختبار المذاق" (محتوى الاستجابة)
- التشبيه: إذا طلبت من شيف ماهر حل مسألة رياضية معقدة، فسيفعل ذلك بطريقة معينة. أما إذا طلبت من طباخ بسيط، فقد يخطئ في الإجابة أو يشرحها بشكل مختلف.
- ماذا فعلوا: طرحت GateScope على البوابات أسئلة صعبة (مثل الألغاز الرياضية أو الألغاز الجغرافية) التي تتطلب تفكيرًا عميقًا. وحللوا أسلوب الإجابة.
- النتائج: كانت بعض البوابات صادقة، بينما كانت أخرى "محتالة". فعندما طُلب منها نموذج من الفئة العليا، قامت بعض البوابات سرًا بتقديم نموذج أرخص. "مذاق" الإجابة كشف أمرهم.
2. "لعبة الذاكرة" (المحادثة متعددة الأدوار)
- التشبيه: تخيل أنك تجري محادثة عشاء طويلة. تخبر النادل أن لونك المفضل هو "الأزرق". ثم تتحدث عن الطقس لمدة 20 دقيقة. أخيرًا، تسأله: "ما هو لوني المفضل؟". النادل الجيد يتذكر. أما النادل السيئ فينسى أو يغير الموضوع.
- ماذا فعلوا: أجرت GateScope محادثات طويلة مع البوابات، حيث زرعت تلميحات سرية في وقت مبكر وتحققت مما إذا كانت البوابة ستتذكرها لاحقًا.
- النتائج: كانت بعض البوابات رائعة في التذكر، بينما كانت أخرى سيئة للغاية. بعضها كان "ينسى" تفضيلاتك لأنها كانت تبدل النموذج سرًا بنموذج ذاكرته أصغر، أو لأنها تقطع بداية محادثتك لتوفير المساحة.
3. "فحص الإيصال" (دقة الفواتير)
- التشبيه: تطلب برجر وبطاطس مقلية، لكن الإيصال يقول إنك أكلت شريحة لحم وكافيار.
- ماذا فعلوا: قاموا بعدّ عدد "الرموز" (tokens) -أي الكلمات أو قطع المعلومات- التي أرسلوها واستقبلوها بدقة، ثم قارنوها بالفاتورة التي أرسلتها البوابة.
- النتائج: معظم البوابات كانت عادلة، لكن القليل منها كان يبالغ في الأسعار. بعضها حاسب على كلمات كانت "مخزنة مسبقًا" (cached)، أو أضافت رسومًا إضافية لا تتطابق مع قائمة أسعارها المعلنة.
4. "اختبار ساعة الإيقاف" (زمن الاستجابة/الكمون)
- التشبيه: تطلب قهوة. أحيانًا تصل في 10 ثوانٍ، وأحيانًا في 5 دقائق. إذا كان مقهى مزدحمًا، فهذا طبيعي. ولكن إذا كان وقت الانتظار يتفاوت بشكل جنوني بين 10 ثوانٍ و5 دقائق لنفس الطلب، فهناك خطب ما. رب maybe (ربما) هم يرسلون طلبك إلى مطابخ مختلفة.
- ماذا فعلوا: قاموا بتوقيت الوقت المستغرق للحصول على الإجابات.
- النتائج: كانت بعض البوابات متسقة جدًا، بينما كانت أخرى فوضوية. التباين العالي في الوقت يعني غالبًا أن البوابة تقوم بالتبديل بين نماذج مختلفة أو تعاني من ضغط حركة المرور الداخلية لديها.
الكشف الكبير
بعد اختبار 10 بوابات تجارية مختلفة، وجد الباحثون أن "النادلين" ليسوا دائمًا جديرين بالثقة.
- تبديل النماذج: بعض البوابات كانت تبدل باستمرار النموذج الغالي الذي دفعته مقابل نموذج أرخص.
- القطع الصامت: بعض البوابات كانت تقطع سجل محادثتك دون إخبارك.
- فجوات الفواتير: بعض البوابات بالغت في الأسعار بهوامش كبيرة (إحدى البوابات كانت خاطئة بنسبة تقارب 63%!).
- سرعة غير مستقرة: بعض البوابات كانت غير متوقعة، مما يجعل من الصعب الاعتماد عليها في المهام التي تتطلب توقيتاً دقيقاً.
لماذا يهم هذا الأمر؟
هذه الورقة البحثية هي بمثابة جرس إنذار. فمع اعتماد المزيد من الشركات والأفراد على هذه البوابات "الشاملة" للوصول إلى الذكاء الاصطناعي، فإنهم يأتمنون هؤلاء الوسطاء على بياناتهم، وأموالهم، وجودة عملهم.
لقد أثبتت GateScope أنه ليس بالضرورة أن يكون النموذج الذي تستخدمه هو نفسه الذي تدفع ثمنه، حتى لو ادعت البوابة ذلك. إنه مثل طلب شريحة لحم والحصول على برجر، بينما يصر النادل على أنه "برجر فاخر". لقد جعل الباحثون أدواتهم متاحة للجميع ليتأكد كل شخص مما إذا كان "نادله" صادقًا أم لا.
باخت مختصر: إذا كنت تدفع مقابل خدمة ذكاء اصطناعي مميزة عبر بوابة طرف ثالث، فقد لا تحصل على ما دفعته ثمنه. تقدم لك هذه الورقة الأدوات اللاختبار: فحص الإيصال، وتذوق الطعام، والتأكد من أن المطبخ لا يمارس الحيل عليك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.