🤖 AI

Auditing Pay-Per-Token in Large Language Models

تقترح هذه الورقة إطار عمل للتدقيق قائماً على المارتينجال (martingale) يُمكّن طرفاً ثالثاً موثوقاً من اكتشاف وإثبات سوء إبلاغ الرموز (token misreporting) من قبل مزودي النماذج اللغوية الكبيرة بموثوقية عالية وثقة إحصائية كبيرة، مع تقليل الاتهامات الزائفة ضد المزودين الأمناء إلى أدنى حد.

المؤلفون الأصليون: Ander Artola Velasco, Stratis Tsirtsis, Manuel Gomez-Rodriguez

نُشر 2026-03-24

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ander Artola Velasco, Stratis Tsirtsis, Manuel Gomez-Rodriguez

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تطلب بيتزا من تطبيق توصيل. أنت تدفع بناءً على عدد القطع التي تتلقاها. يقوم محل البيتزا (مزود نموذج اللغة الكبير - LLM Provider) بخبز البيتزا، وتقطيعها إلى قطع، ثم يسلمك الصندوق. ويقول لك: "هذه 8 قطع، ثمنها 8 دولارات".

لكن هنا تكمن الخدعة: لا يمكنك رؤية ما بداخل الصندوق حتى تفتحه. المحل يعرف تماماً كيف قام بتقطيع البيتزا. يمكنهم سراً تقسيم قطعة واحدة إلى شريحتين صغيرتين لا فائدة منهما، ثم يخبرونك: "أصبحت الآن 9 قطع، ادفع لي 9 دولارات!"

في عالم نماذج اللغة الكبيرة (LLLLMs)، هذا هو بالضبط ما يحدث. الشركات تتقاضى منك رسوماً بناءً على "الرمز" (token) (وهو جزء من كلمة أو جزء من كلمة). ولأن طريقة تقطيع النص إلى رموز ليست فريدة من نوعها، يمكن لمزود غير أمين تقسيم رمز واحد إلى اثنين لتقاضي المزيد منك، رغم أن النص الذي تقرأه يبدو متطابقاً تماماً.

تقدم هذه الورقة البحثية نظام "شرطة الرموز" (Token Police) — وهي طريقة لمدقق موثوق لكشف هؤلاء المخادعين دون الحاجة للتواجد داخل مطبخ المزود.

المشكلة: "الخطر الأخلاقي" في الصندوق الأسود

في الاقتصاد، يُسمى هذا "الخطر الأخلاقي" (Moral Hazard). المزود يرى كل شيء (عملية تقطيع البيتزا بالكامل)، بينما أنت لا ترى سوى النتيجة النهائية. وبما أن المزود يرغب في كسب المزيد من المال، فلديه حافز مالي لـ "الإفراط في تقطيع" النص الخاص بك.

الحل: المحقق "المارتينجال" (Martingale)

ابتكر المؤلفون إطاراً رياضياً لكشف هؤلاء المخادعين. إنهم يستخدمون مفهوماً من نظرية الاحتمالات يسمى "المارتينجال" (Martingale).

فكر في المارتينجال كأنه "مقياس للعدالة" أو "درجة اشتباه".

إذا كان المزود أميناً: يظل مقياس الاشتباه مستقراً، ويحوم حول الصفر. يشبه الأمر بحراً هادئاً؛ الأمواج ترتفع وتنخفض قليلاً، لكن مستوى سطح الماء لا يرتفع.
إذا كان المزود غاشاً: يبدأ مقياس الاشتباه في التصاعد. في كل مرة يحاول فيها المزود المبالغة في التكلفة، يرتفع المقياس. وفي النهاية، يصل المقر إلى "حالة الإنذار الأحمر"، ويقول المدقق: "أمسكت بك! أنت تغش!"

كيف يعمل المحقق (الخدعة السحرية)

يحتاج المدقق إلى معرفة السعر "العادل" الذي يجب أن يكون، لكي يتمكن من رصد الفرق. لكن المدلق لا يملك الوصفة السرية للمزود. لذا، يستخدمون خدعة ذكية:

محاكاة "ماذا لو": يأخذ المدقق النص الذي قدمه المزود (مثلاً: "The cat sat on the mat") ويسأل نموذج الذكاء الاصطناعي: "إذا كان عليك توليد هذه الجملة بدقة، فكم رمزاً ستستخدم في المتوسط عادةً؟"
المُقدِّر (The Estimator): تقدم الورقة طريقة جديدة وعالية الكفاءة لحساب هذا المتوسط. الأمر يشبه قيام المدقق بإجراء آلاف عمليات المحاكاة الصغيرة في ذهنه لمعرفة عدد الرموز "العادل" لتلك الجملة المحددة.
المقارنة: يقارن المدقق بين عدد الرموز الذي أبلغ عنه المزود (مثلاً: "10 رموز") مع عدد الرموز العادل الذي حسبه (مثلاً: "7 رموز").
- إذا قال المزود 10، بينما تقول الرياضيات 7، فإن "درجة الاشتباه" ترتفع.
- إذا كان المزود أميناً، يظل المقياس منخفضاً.

النتائج: كشف المخادعين بسرعة

اختبر الباحثون هذا النظام باستخدام نماذج ذكاء اصطناٍعي حقيقية (مثل Llama و Gemma) ومزودين "مخادعين" وهميين.

الأخبار الجيدة: النظام سريع للغاية. لم يحتج إلا لفحص حوالي 70 مثالاً فقط لكشف المخادع بثقة عالية.
شبكة الأمان: النظام أيضاً حذر جداً من اتهام المزودين الأمناء. تم الحفاظ على فرصة اتهام شخص نزيه بالخطأ عند أقل من 5% (وفي الواقع، كانت أقل من ذلك بككثير).

لماذا هذا مهم؟

حالياً، سوق الذكاء الاصطناعي يشبه "الغرب المتوحش". يمكن للمزودين التلاعب بالقواعد لجني المزيد من المال، ولا يملك المستخدمون وسيلة لمعرفة ذلك. توفر هذه الورقة البحثية المخطط الأساسي لأداة رقابية.

تخيل مستقبلاً حيث تستخدم وكالة حكومية أو جهة رقابية مستقلة "محقق المارتينجال" هذا للتدقيق في شركات الذكاء الاصطناعي. إذا حاولت شركة المبالغة في التكلفة عبر تقسيم الرموز، سيقوم النظام بتمييزهم فوراً. هذا يجبر الشركات على الأمانة، مما يضمن أنك تدفع فقط مقابل ما تحصل عليه بالفعل.

باختدصار

الشرير: مزودو الذكاء الاصطناٍعي الذين يقسمون الكلمات إلى قطع صغيرة جداً لزيادة التكلفة عليك.
البطل: "درجة اشتباه" رياضية ترتفع عند حدوث الغش.
السلاح: محاكاة ذكية تحسب عدد الرموز "العادل" لأي جملة.
النتيجة: نظام يكشف المخادعين في أقل من 70 محاولة دون معاقبة الأمناء.

هذا العمل هو خطوة عملاقة نحو جعل اقتصاد الذكاء الاصطناعي عادلاً، شفافاً، وموثوقاً للجميع.

إليك ملخص تقني مفصل لورقة البحث بعنوان "تدقيق نظام الدفع مقابل كل رمز (Token) في النماذج اللغوية الكبيرة":

1. بيان المشكلة

تتناول الورقة ثغرة اقتصادية حرجة في سوق "النماذج اللغوية الكبيرة كخدمة" (LLM-as-a-Service)، حيث يفرض المزودون على المستخدمين رسومًا بناءً على نموذج تسعير "الدفع مقابل كل رمز".

الحافز: نظرًا لـ عدم تماثل المعلومات، يراقب المزود عملية التوليد بأكملها (تسلسل الرموز المحدد الذي ولّده النموذج)، بينما لا يرى المستخدم سوى المخرج النصي النهائي.
التهديد: عملية التقطيع (Tokenization) ليست فريدة؛ إذ يمكن تمثيل سلسلة نصية واحدة بعدة تسلسلات رموز صالحة ذات أطوال متفاوتة. يمكن للمزود سيئ النية استغلال ذلك عبر الإبلاغ عن عملية تقطيع ذات عدد رموز أعلى من تلك التي تم توليدها فعليًا، مما يؤدي إلى تضخم إيراداته على حساب المستخدم (وهو ما يُعرف بـ "الخطر الأخلاقي" أو Moral Hazard).
التحدي: يصعب اكتشاف هذا التلاعب في الإبلاغ لأن المستخدم لا يمكنه التحقق من عملية التقطيع الداخلية دون الوصول إلى الحالة الداخلية للنموذج أو وجود طرف ثالث موثوق يمتلك هذا الوصول.

2. المنهجية

يقترح المؤلفون إطار عمل تدقيق تسلسلي يعتمد على نظرية المارتينجال (Martingale Theory) و قيم e (e-values). يفترض إطار العمل وجود مدقق من طرف ثالث موثوق لديه إمكانية الوصول إلى توزيع احتمالية الرمز التالي للنموذج (على سبيل المثال، عبر الأوزان المفتوحة أو التفويضات التنظيمية).

أ. الصياغة كاختبار فرضية تسلسلي

تتم صياغة المشكلة كاختبار لفرضيتين فيما يتعلق بسياسة الإبلاغ $\pi$ الخاصة بالمزود:

الفرضية الصفرية ( $H_0$ ): المزود أمين ( $\pi = \pi_0$ )، ويبلغ عن تسلسل الرموز الحقيقي.
الفرضية البديلة ( $H_1$ ): المزود غير أمين ( $I(\pi) > 0$ )، حيث تمثل $I(\pi)$ كثافة سوء الإبلاغ (الزيادة المتوقعة في عدد الرموز المُبلغ عنها).

ب. مُقدّر غير متحيز لطول الرموز

لاختبار هاتين الفرضيتين، يجب على المدقق تقدير العدد المتوقع للرموز التي سيولدها النموذج لنص مخرج محدد $s$ .

التحدي: عملية التوليد التكرارية (Autoregressive) القياسية لا تضمن مخرجًا نصيًا محددًا $s$ .
الحل: يقدم المؤلفون عملية توليد معدلة باستخدام احتمالات الرمز التالي المقنعة (Masked next-token probabilities). هذه العملية تجبر النموذج على توليد تسلسلات رموز تؤدي إلى النص $s$ .
الخوارزمية 1 (EstimateLength): طوروا مُقدّر "مونت كارلو" جديد وغير متحيز باستخدام القطع العشوائي (Randomized Truncation) (مستوحى من تقنيات إزالة الانحياز في معادلات التفاضل العشوائية - SDEs). تقوم الخوارهازمية بأخذ عينات من العملية المعدلة وتستخدم "أوزان الأهمية" (Importance Weighting) لحساب تقدير غير متحيز لمتوسط طول الرموز $E[\text{len}(T) | \text{str}(T)=s]$ .

ج. الاختبار الإحصائي التسلسلي (المارتينجال)

يتفاعل المدقق مع المزود بشكل تسلسلي:

يرسل المدقق استعلامًا $Q$ إلى المزود.
يتلقى تسلسل رموز مُبلغ عنه $\tilde{T}$ ونص $s = \text{str}(\tilde{T})$ .
يحسب الدليل $E_i = \text{len}(\tilde{T}) - \text{EstimateLength}(Q, s)$ .
يُحدث عملية المارتينجال $M_i$ :
$M_i = M_{i-1} \cdot (1 + \lambda_i \cdot E_i)$
حيث $\lambda_i$ هو معامل الوزن.
قاعدة القرار: إذا تجاوز $M_i$ العتبة $1/\alpha$ ، فإن المدقق يرفض $H_0$ ويصنف المزود كغير أمين.

3. المساهمات الرئيسية

الضمانات النظرية:
- التحكم في الإيجابيات الكاذبة: يضمن إطار العمل أن احتمال تصنيف مزود أمين خطأً بأنه غير أمين محدود بـ $\alpha$ (النظرية 3)، وذلك باستخدام متباينة "فيل" (Ville's inequality) للمارتينجال.
- ضمان الكشف: يضمن إطار العمل اكتشاف المزود غير الأمين باحتمالية 1 في وقت محدد، بغض النظر عن مدى تعقيد سياسة سوء الإبلاغ لديه، طالما أن كثافة سوء الإبلاح $I(\pi) > 0$ (النظرية 4).
المُقدّر المبتكر: تطوير مُقدّر فعال وغير متحيز لمتوسط طول الرموز لنص معين، وهو مساهمة قائمة بذاتها مفيدة للتحليلات الاحتمالية الأخرى للنماذج اللغوية الكبيرة.
المتانة: تعمل الطريقة مع أي سياسة إبلاغ غير حتمية، ولا تتطلب معرفة المدقق بالاستراتيجية المحددة للمزود، بل يكفي معرفة أنه ليس أمينًا.

4. النتائج التجريبية

تحقق المؤلفون من صحة إطار العمل باستخدام نماذج من عائلات Llama و Gemma و Ministral واستخدام نصوص من مجموعة بيانات LMSYS Chatbot Arena.

المزودون الأمناء: في 150 تجربة لكل نموذج، ظلت عملية الاختبار $M$ قريبة من قيمتها الأولية (1) ولم تتجاوز أبدًا العتبة $1/\alpha$ (حيث $\alpha=0.05$ )، مما أكد انخفاض معدل الإيجابيات الكاذبة.
المزودون غير الأمناء: نجح إطار العمل في اكتشاف سوء الإبلاغ تحت سياسات محاكاة (التقسيم العشوائي والتقسيم الاستدلالي):
- السرعة: تم اكتشاف المزود غير الأمين بعد ملاحظة أقل من ~70 مخرجًا مُبلغًا عنها.
- الارتباط بالكثافة: انخفض وقت الاكتشاف بسرعة مع زيادة كثافة سوء الإبلاغ ( $I(\pi)$ ).
- المتانة: ظل إطار العمل فعالًا حتى عندما استخدم المدقق نموذجًا غير مكمم (Non-quantized) لتقدير الاحتمالات بينما استخدم المزود نسخة مكممة (وصول تقريبي للنموذج).

5. الأهمية والأثر

نزاهة السوق: يوفر هذا العمل أول أداة إحصائية صارمة لتدقيق نموذج تسعير "الدفع مقابل كل رمز"، مما يعالج عدم التوافق الجوهري في الحوافز بين المزودين والمستخدمين.
الصلة التنظيمية: يتوافق إطار العمل مع اللوائح الناشئة مثل قانون الذكاء الاصطناعي للاتحاد الأوروبي (المادة 74)، الذي يمنح المدققين حق الوصول إلى الكود المصدري للأنظمة عالية المخاطر. إنه يقدم آلية ملموسة لـ "سلطات مراقبة السوق" للتحقق من شفافية الفواتير.
الثقة في خدمات الذكاء الاصطناعي: من خلال تمكين التحقق من طرف ثالث، يمكن لإطار العمل استعادة الثقة في أسواق "النماذج اللغوية الكبيرة كخدمة"، مما يثبط المزودين عن اتباع استراتيجيات "تضخم الرموز".
التوجهات المستقبلية: يقترح المؤلفون توسيع نطاق هذا إلى النماذج المملوكة (Proprietary models) عبر الوصول التنظيمي، وتطوير معايير لمختلف سياسات التقطيع العدائية.

باختصار، تجمع هذه الورقة بين النظرية الاقتصادية (الخطر الأخلاقي)، والتعلم الإحصائي (المارتينجال وقيم e)، وهندسة النظم لإنشاء أداة تدقيق قوية وصحيحة إحصائيًا للاقتصاد الناشئ للنماذج اللغوية الكبيرة.