💬 NLP

The Surprising Universality of LLM Outputs: A Real-Time Verification Primitive

تقدم هذه الورقة بحثاً حول أداة تقييم أولية فائقة السرعة وتعمل على المعالج المركزي فقط، تستفيد من توزيع ماندلبروت العالمي للرتب والتردد المكون من معلمين لنمذجة مخرجات النماذج اللغوية الكبيرة، وذلك لتمكين البصمة الإحصائية للنماذج وتقييم المخرجات في الصندوق الأسود بتأخير يصل إلى 100,000 مرة أقل من أدوات الكشف الحالية القائمة على أخذ العينات.

المؤلفون الأصليون: Alex Bogdan, Adrian de Valois-Franklin

نُشر 2026-04-29

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Alex Bogdan, Adrian de Valois-Franklin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تستمع إلى جوقة مكونة من ستة مغنيين مختلفين. على الرغم من اختلاف أصواتهم، وأساليبهم، وتدريبهم، إلا أنهم جميعاً عندما يغنون نوعاً معيناً من الأغاني، تستقر أصواتهم في نفس الإيقاع الرياضي بدقة.

هذا هو جوهر الاكتشاف الذي تناوله هذا البحث. فقد وجد المؤلفون أن النماذج اللغوية الكبيرة (LLMs) — وهي العقول الاصطناعية التي تقف وراء أدوات مثل ChatGPT وClaude وGemini — تنتج نصوصاً تتبع "نوتة موسيقية" عالمية بشكل مدهش.

إليك تفصيل لما وجدوه وما قاموا ببنائه، باستخدام تشبيهات بسيطة.

1. الإيقاع العالمي (الاكتشاف)

عندما يكتب البشر، أو عندما تكتب هذه الذكاءات الاصطناعية، فإن تردد الكلمات يتبع نمطاً معيناً. فالكلمات الأكثر شيوعاً (مثل "الـ" أو "و") تظهر كثيراً، والكلمات النادرة تظهر نادراً. هذه فكرة قديمة تسمى قانون زيف (Zipf's Law).

ومع ذلك، اكتشف المؤلفون أن مخرجات الذكاء الاصطناعي لا تتبع القاعدة القديمة فحسب؛ بل تتبع إيقاعاً أكثر دقة يتكون من خطوتين، وهو توزيع ماندلبروت (Mandelbrot Distribution).

التشبيه: فكر في اختيارات الكلمات للذكاء الاصطناعي مثل حشد من الناس يدخلون ملعباً. القاعدة القديمة (زيف) تقول: "يدخل المزيد من الناس من البوابة الرئيسية". القاعدة الجديدة (ماندلبروت) تقول: "في الواقع، يتدفق الحشد وفق منحنى محدد للغاية ويمكن التنبؤ به، حيث تكون البوابة الرئيسية أوسع قليلاً مما هو متوقع، والبوابات الجانبية تضيق بطريقة دقيقة".
المفاجأة: لقد اختبروا ستة نماذج مختلفة من الذكاء الاصطناعي من خمس شركات مختلفة (OpenAI، Google، Meta، إلخ). وبالرغم من بنائها بواسطة فرق مختلفة وببيانات مختلفة، إلا أن جميع النماذج الستة تتوافق تماماً مع هذا المنحنى نفسه. الأمر كما لو أن ست شركات لتصنيع السيارات، استخدمت محركات ومصانع مختلفة، انتهت جميعها بإطارات تتآكل بنفس المعدل تماماً.

2. البصمة الخفية (التحول)

إذا كانت جميع النماذج تتبع نفس الإيقاع، فهل هي جميعاً متشابهة؟ لا.

بينما يغنون جميعاً نفس الأغنية، إلا أن كل واحد منهم يغنيها بـ "طبقة صوت" أو "سرعة إيقاع" مختلفة قليلاً.

التشبيد: تخيل ست فرق أوركسترا مختلفة تعزف نفس السيمفونية. بالنسبة للمستمع العادي، تبدو جميعها كأنها "السيمفونية". ولكن إذا نظرت إلى النوتة الموسيقية عن كثب، ستجد أن قائد أوركسترا (أ) يستخدم سرعة إيقاع تختلف قليلاً عن قائد أوركسترا (ب).
النتيجة: قام المؤلفون بقياس هذه الاختلافات الطفيفة (المعروفة بالمعاملات $q$ $q$ و $s$ $s$ ). ووجدوا أن هذه الاختلافات متميزة لدرجة أنه يمكنك معرفة أي ذكاء اصطناعي كتب قطعة النص بمجرد النظر إلى إيقاعه الإحصائي.
- لماذا هذا مهم: إذا ادعت شركة ما أنها تستخدم "الذكاء الاصطناعي المتميز" الخاص بها بينما قامت سراً باستبداله بنموذج أرخص وأضعف، فإن هذه "البصمة الإحصائية" ستكشفها. إنه يشبه اختبار كشف الكذب لهوية الذكاء الاصطناعي، والذي لا يحتاج لرؤية عقل الذكاء الاصطناعي، بل يكتفي بمخرجاته فقط.

3. الكاشف فائق السرعة (الأداة)

قام المؤلفون ببناء أداة بناءً على هذا الاكتشاف. إنها "أصل أولي للقياس" (scoring primitive) يتحقق مما إذا كان نص الذكاء الاصطناعي يبدو مشبوهاً.

كيف تعمل: بدلاً من مطالبة الذكاء الاصطناعي بإعادة قراءة عمله الخاص (وهو أمر بطيء ومكلف) أو النظر داخل كوده البرمجي (وهو أمر مستحيل للأنظمة المغلقة)، تقوم هذه الأداة فقط بفحص "إيقاع" الكلمات مقابل مرجع معروف (قاعدة بيانات ضخمة من ويكيبيديا).
السرعة: إنها سريعة للغاية. يزعم البحث أنها تعمل أسرع بـ 100,000 مرة من الطرق الحالية.
- التشبيد: الطرق الحالية تشبه استئجار فريق من 20 محققاً لإعادة التحقيق في مسرح الجريمة لمعرفة ما إذا كانت القصة منطقية. أما هذه الأداة الجديدة فهي مثل جهاز كشف المعادن الذي يصدر صوتاً فورياً إذا بدا "الوضع غريباً". هي لا تحل الجريمة، لكنها تخبرك فوراً بالمناطق التي تحتاج إلى نظرة فاحصة أكثر.
التكلفة: تعمل على شريحة كمبيوتر عادية (CPU) ولا تكلف شيئاً تقريباً لاستخدامها.

4. ما تستطيع وما لا تستطيع فعله (الحدود)

المؤلفون صادقون جداً بشأن ما لا تستطيع أداتهم فعله. إنها "فلتر للمرحلة الأولى"، وليست حكماً نهائياً.

ما تكتشفه (الأشياء الغريبة):
- إذا اخترع الذكاء الاصطناعي اسماً لشخص وهمي غير موجود.
- إذا استخدم الذكاء الاصطناعي كلمة نادرة للغاية وغير ملائمة للموضوع.
- التشبيه: إذا ذكر تقرير إخباري فجأة اسم "فيل أرجواني" في قصة عن التمويل، فإن هذه الأداة ستصرخ "تنبيه!" لأن "الفيل الأرجواني" له إيقاع إحصائي غريب مقارنة بالأخبار الطبيعية.
ما تغفله (الأشياء الذكية):
- إذا ارتكب الذكاء الاصطناعي خطأً منطقياً ولكنه استخدم الكلمات الصحيحة.
- إذا ذكر الذكاء الاصطناعي حقيقة خاطئة، لكن الكلمات المستخدمة شائعة وتبدو طبيعية.
- التشبيه: إذا قال تقرير إخباري: "انهارت البورصة لأن القمر تحول إلى اللون الأخضر"، واستخدم الذكاء الاصطناعي قواعد لغوية سليمة وكلمات شائعة، فقد تقول هذه الأداة: "يبدو الأمر طبيعياً". فهي لا تستطيع التحقق مما إذا كان القمر قد تحول بالفعل إلى اللون الأخضر؛ هي تتحقق فقط مما إذا كانت الكلمات تبدو طبيعية إحصائياً.

الملخص

يجادل البحث بأن نماذج الذكاء الاصطناعي، رغم اختلافاتهم، يتحدثون جميعاً "لهجة إحصائية" تتبع منحنى محدداً وقابلاً للتنبؤ.

العالمية: تتبع جميع أنظمة الذكاء الاصطناعي الرائدة هذا المنحنى.
البصمة: لكل ذكاء اصطناعي "طبقة صوت" فريدة ضمن ذلك المنحنى، مما يسمح لنا بتحديد من كتب ماذا.
السرعة: يمكننا استخدام هذا لبناء فلتر فائق السرعة ومنخفض التكلفة يلتقط هلوسات الذكاء الاصطناعي الواضحة (مثل الأسماء المختلقة أو الكلمات الغريبة) فوراً، ليعمل كحارس بوابة قبل إنفاق الوقت والمال على عمليات تحقق أبطأ وأكثر تعقيداً.

يضع المؤلفون هذا العمل ليس كعصا سحرية تحل جميع أخطاء الذكاء الاصطناعي، بل كـ ممرض فرز: يقوم بسرعة بفرز المشكلات الواضحة عن غيرها، حتى يتمكن الخبراء البشريون أو الأدوات الأكثر ثقلاً من التركيز على الحالات الصعبة.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "الشمولية المفاجئة لمخرجات النماذج اللغوية الكبيرة: بدائية تحقق في الوقت الفعلي" من تأليف أليكس بوغدان وأدريان دي فالويس فرانكلين.

1. بيان المشكلة

أصبحت النماذج اللغوية الكبيرة (LLMs) بنية تحتية حيوية، حيث تولد مخرجات بمقاييس تتجاوز قدرات التدقيق البشري. تواجه طرق التحقق الحالية عقبة أساسية:

المكتشفات القائمة على أخذ العينات (مثل Semantic Entropy وSelfCheckGPT) هي نماذج مستقلة عن النموذج ولكنها مكلفة حوسبياً، حيث تتطلب $k$ من عمليات التمرير الأمامي الإضافية لكل استعلام (مما يزيد زمن الاستجابة بمقدار 5 إلى 20 ضعفاً).
المجسات ذات الصندوق الأبيض (مثل Lookback Lens) سريعة ولكنها تتطلب الوصول إلى المكونات الداخلية للنموذج (خرائط الانتباه، والحالات الخفية)، وهي غير متاحة لواجهات برمجة التطبيقات (APIs) المملوكة والمغلقة.
الفجوة: هناك نقص في وجود بدائية تسجيل (scoring primitive) تعمل على المعالج المركزي (CPU) فقط، وبتمرير واحد، ومستقلة عن النموذج، يمكنها العمل بسرعة الاستنتاج لتصنيف المخرجات، وكشف الشذوذ، والتحقق من المصدر دون الحاجة إلى مكونات داخلية للنموذج أو عمليات أخذ عينات إضافية.

2. الفرضية الأساسية والمنهجية

يفترض المؤلفون أنه على الرغم من الاختلافات في البنية، وبيانات التدريب، والمواءمة، فإن النماذج اللغوية الكبيرة الرائدة تتقارب نحو انتظام إحصائي مشترك في توزيعات رتبة الرموز (token rank-frequency distributions) الخاصة بها.

الأساس النظري: توزيع ماندلبروت للرتب (Mandelbrot Ranking Distribution)

تفترض الورقة أن مخرجات النماذج اللغوية الكبيرة تتبع توزيع ماندلبروت للرتب، وهو تعميم ذو معلمتين لقانون زيبف (Zipf's Law) مشتق من تحسين المعلومات (تعظيم الإنتروبيا تحت قيود تكلفة الترميز).

الصيغة: $f(r) = \frac{C}{(r + q)^s}$ $f (r) = \frac{C}{( r + q ) ^{s}}$
- $r$ : رتبة الرمز (Token rank).
- $q$ : معلمة إزاحة الرأس (تلتقط تسطح الرموز عالية التكرار).
- $s$ : معلمة حدة الذيل.
انحراف الرتبة ( $\Delta r$ ): مقياس عديم المقياس (scale-free) يقيس مدى بروز رمز ما بشكل شاذ في سياق محلي مقارنة بمرجع عالمي (مثل ويكيبيديا).
- $\Delta r(w) = \log_2 \left( \frac{r_{global}(w)}{r_{local}(w)} \right)$

البدائية المسجلة: الاستنتاج بالرتب (Ranking Inference - RI)

يشتق المؤلفون بعداً ظهرياً تباينياً (Variational Posterior) لدمج مصدرين من الأدلة:

دليل النموذج: الاحتمال الشرطي للسياق للنموذج اللغوي الكبير ( $\log P_{LLM}$ ).
دليل المرجع: احتمال ماندلبروت المستنتج من الرتبة ( $\log P_{RI}$ ).

تُصاغ درجة اللاحقة (posterior score) كمنتج لخبراء موزون بدقة:
$P_{posterior}(w|c) \propto P_{LLM}(w|c) \cdot P_{RI}(w)^\beta$

$\beta$ (الدقة): معامل خاص بالمجال يتم تقديره من تباين انحرافات الرتبة في مجموعة معايرة. وهو يضبط مقدار الوزن الذي يحمله المرجع الخارى (مثلاً: $\beta$ أقل للكتابة الإبداعية، و $\beta$ أعلى للنصوص الموسوعية).
الأنماط:
- النمط الهجين (Hybrid Mode): يستخدم احتمالات النموذج اللغوي ( $\log$ probs) + جدول الرتب.
- نمط الرتبة فقط (Rank-Only Mode): يستخدم جدول الرتبة فقط (يمكن استخدامه في واجهات برمجة التطبيقات المغلقة التي لا توفر الوصول إلى $\log$ probs).

3. التصميم التجريبي

النماذج: ستة نماذج رائدة من خمس شركات موردة (OpenAI, Anthropic, Meta, Google, Mistral, Alibaba)، تشمل عائلات الاستدلال وغير الاستدلال، وتتراوح أحجامها من 7 مليار إلى أكثر من 100 مليار معلمة.
المجالات: خمسة مجالات محجوزة (الأخبار، الطب الحيوي، القانون، البرمجة، وسائل التواصل الاجتماعي).
البروتوكول: 100 مطالبة (prompt) لكل نموذج (20 لكل مجال). تمت إعادة ترميز المخرجات باستخدام قاموس BPE مشترك لنموذج Llama 3.1 8B لضمان مساحة رموز مشتركة.
الملاءمة (Fitting): تقدير الاحتمال الأقصى لمعلمات ماندلبروت ( $q, s$ ) مقابل توزيعات رتبة التكرار المرصودة.

4. النتائج الرئيسية

أ. التقارب العالمي (العائلة المشتركة)

جودة ملاءمة عالية: تقاربت توزيعات رتبة تكرار الرموز عبر جميع النماذج الستة والمجالات الخمسة بقوة مع شكل ماندلبروت ذي المعلمتين.
- $R^2 > 0.94$ في 34 من أصل 36 حالة ملاءمة (نموذج-مجال).
- تفضيل AIC: تم تفضيل شكل ماندلبروت ذي المعلمتين على شكل زيبف ذي المعلمة الواحدة في 35 من أصل 36 مقارنة (مع نطاق $\Delta AIC$ يتراوح من +18 إلى +15,094).
الشمولية: يظل التقارب صامداً عبر أحجام النماذج المختلفة، ومستويات التكميم (4-bit)، وإجراءات المواءمة (RLHF, Constitutional AI).
الاستنتاج: يكفي مرجع واحد مستقل عن النموذج (توزيع ماندلبروت) لتسجيل مخرجات نماذج متنوعة.

ب. بصمة النموذج الإحصائية (البصمات المميزة)

بينما تشترك النماذج في العائلة، فإن المعلمات المحددة ( $q, s$ ) متميزة لكل نموذج.
الانفصال: يتجاوز الانتشار العرضي للمعلمة $q$ بين النماذج (من 1.63 إلى 3.69) الانحراف المعياري للتمهيد (bootstrap) لكل نموذج (من 0.03 إلى 0.10) بأكثر من مرتبة عشرية واحدة.
الأهمية: يسمح هذا بـ بصمة النموذج الإحصائية. يمكن للمدقق تحديد ما إذا كان النص قد تم إنشاؤه بواسطة عائلة نماذج معينة أو اكتشاف الاستبدال الصامت للنماذج (مثل توجيه الموردين للطلبات إلى نموذج أرخص) دون الوصول إلى المكونات الداخلية للنموذج أو العلامات المائية التشفيرية.

ج. أداء البدائية المسجلة

تم اختبار البدائية على ثلاث معايير (FRANK, TruthfulQA, HaluEval) باستخدام Llama 3.1 8B:

السرعة: تعمل بسرعة ~2.6 ميكروثانية لكل رمز على المعالج المركزي (تقريباً 100,000 ضعف أسرع من المكتشفات القائمة على أخذ العينات).
الدقة (AUC):
- أخطاء المستوى الأول (الشذوذ التوزيعي): قدرة كشف عالية (AUC 0.60–0.95). فعالة في اكتشاف الكيانات غير المدعومة، والأشكال السطحية خارج المقال، والإدراجات المعجمية النادرة.
- أخطاء المستوى 1.5 (الانجراف العلاقاتي): كشف متوسط (AUC 0.55–0.65).
- أخطاء المستوى 2 (الاستدلال/المعرفة بالعالم): عند مستوى الصدفة (AUC ~0.50). لا يمكن للبدائية اكتشاف الأخطاء المنطقية أو الأكاذيب الواقعية التي يتم التعبير عنها بمفردات مناسبة للمجال.
نمط الرتبة فقط: أظهر متغير "الرتبة فقط" (بدون $\log$ probs) أداءً مقارباً للنمط الهجين في الأخطاء التوزيعية، مما يجعله قابلاً للاستخدام في واجهات برمجة التطبيقات المغلقة.

5. المساهمات الرئيسية

C1: التوقيع الإحصائي المشترك: إثبات تجريبي أن النماذج اللغوية الكبيرة المتنوعة تتقارب نحو عائلة رتبة ماندلبروت واحدة ذات معلمتين، مما يتيح مرجعاً عالمياً.
C2: بصمة النموذج الإحصائية: خط معالجة خفيف الوزن للتحقق من أصل النموذج واكتشاف الاستبدال الصامت للنماذج بناءً على المعلمات الملائمة، دون الحاجة إلى تدريب أو تعاون من المزود.
C3: بدائية تسجيل تعمل على المعالج المركزي فقط: آلية تسجيل تمرير واحد في الوقت الفعلي، تجمع بين $\log$ probs للنموذج وتوزيع مرجعي، وتتراجع بسلاسة إلى نمط الرتبة فقط لواجهات برمجة التطبيقات المغلقة.
C4: تصنيف الأخطاء القابل للتفنيد: تصنيف ثلاثي المستويات يحدد الحدود التشغيلية للطريقة:
- المستوى 1: قابل للكشف (الشذوذ المعجمي).
- المستوى 1.5: كشف ضعيف (الانجراف).
- المستوى 2: غير قابل للكشف (أخطاء الاستدلال).

6. الأهمية والتطبيقات

بنية تحتية لتقييم الذكاء الاصطناعي: توفر "طبقة تصنيف أولية" لأطقم التقييم. فهي تصفي الشذوذات التوزيعية الواضحة بتكلفة منخفضة، مما يسم يسمح للمحققات الدلالية المكلفة (NLI، الاسترجاع، أخذ العينات) بالتركيز فقط على الحالات عالية المخاطر أو الغامضة.
الحوكمة والأصل: تقدم بديلاً إحصائياً للعلامات المائية التشفيرية لاكتشاف استبدال النماذج والتحقق من ادعاءات الموردين في بيئة الصندوق الأسود.
مراقبة صحة التدريب: يمكنها اكتشاف "انهيار النموذج" (model collapse)، أو الإفراط في التخصيص (overfitting)، أو ضرر الضبط الدقيق من خلال مراقبة الانحرافات في معلمات ماندلبروت أثناء التدريب.
السلامة في الوقت الفعلي: مع زمن استجابة بالميكروثانية، يمكنها تمكين مؤشرات واجهة المستخدم في الوقت الفعلي للرموز المشبوهة أو التدخل أثناء التوليد (مثل التشفير المقيد) في سير عمل الوكلاء (agents).

7. القيود

ليست مدققة للحقائق: لا يمكنها التحقق من صحة العبارات إذا كانت المفردات المستخدمة تبدو منطقية (أخطاء المستوى 2).
الارتباطات المنهجية: يمكن أن تتأثر النتائج بالتحيزات في طول البيانات في مجموعات بيانات معينة.
النطاق: تم التحقق من التقارب حالياً على اللغة الإنجليزية والبرمجة؛ ويتطلب الأمر دراسة النماذج متعددة اللغات والنماذج ذات المعلمات الأقل من المليار.
الترميز (Tokenization): تعتمد النتائج الحالية على تطبيع BPE مشترك؛ ويعد ثبات الترميز الأصلي مجالاً للبحث المستقبلي.

الخاتمة

تثبت الورقة أنه بينما تختلف النماذج اللغبية الكبيرة في القدرة والأسلوب، فإن توزيعات مخرجاتها تشترك في بنية إحصائية عالمية (ماندلبروت). هذا الانتظام ليس خللاً بل هو ميزة يمكن استغلالها لبناء بدائية تحقق سريعة، رخيصة، ومستقلة عن النموذج. هذه البدائية لا تحل محل التحقق الدلالي العميق، بل تعمل كحارس بوابة عالي الإنتاجية، مما يتيح حوكمة قابلة للتوسع وتتبع الأصل للجيل القادم من أنظمة الذكاء الاصطناعي الوكيلية.