📊 statistics

Token-Level Likelihood-Array Regression for Membership Inference and AI-Generated Text Detection

تقترح هذه الورقة البحثية "انحدار مصفوفة الاحتمالية" (Likelihood-Array Regression - LAR)، وهي طريقة مبتكرة تنظم احتمالات مستوى الرمز عبر نوافذ سياقية متداخلة في مصفوفات مهيكلة لتحسين استنتاج العضوية وكشف النصوص المولدة بواسطة الذكاء الاصطناعي بشكل كبير، وذلك من خلال التقاط المعلومات الدقيقة حول مقياس السياق وموضع الرمز التي تفتقدها النماذج المرجعية التقليدية القائمة على الاحتمالية.

المؤلفون الأصليون: Jiajun Sun, Zhanrui Cai

نُشر 2026-08-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jiajun Sun, Zhanrui Cai

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في العصر الرقمي، أصبحت النماذج اللغوية بارعة للغاية في محاكاة الكتابة البشرية لدرجة أن التمييز بين جملة كتبها إنسان وأخرى أنتجتها آلة أصبح صعباً بشكل متزايد. يقع هذا التحدي في قلب سؤالين حاسمين يواجههما الباحثون والمجتمع اليوم. الأول يتعلق بالخصوصية وحقوق الطبع والنشر: هل يمكننا معرفة ما إذا كان نص معين قد استُخدم لتدريب نموذج ما في المقام الأول؟ وهذا أمر حيوي للناشرين والمؤلفين الذين يريدون معرفة ما إذا كان عملهم قد استُوعب من قبل الذكاء الاصطناعي دون إذن. والسؤال الثاني يتعلق بالأصل: هل تم إنشاء نص معين بواسطة إنسان أم بواسطة خوارزمية؟ هذا التمييز ضروري للحفاظ على الثقة في الصحافة، والأعمال الأكاديمية، والخطاب عبر الإنترنت. وللإجابة على هذه الأسئلة، اعتمد العلماء لفترة طويلة على طريقة تنظر في مدى احتمالية قيام النموذج بالتنبؤ بالكلمة التالية في جملة ما. فإذا كان النموذج واثقاً جداً بشأن الكلمة التالية، فإن ذلك يشير إلى أن النص قد يكون مألوفاً له أو من إنتاجه. ومع ذلك، فقد تعاملت الطرق التقليدية مع هذه الثقة كرقم واحد ثابت، متجاهلة في كثير من الأحيان كيف تتغير درجة يقين النموذج مع قراءة المزيد أو الأقل من السياق المحيط بالجملة.

تقترح دراسة جديدة أجراها الباحثان "جياجون سون" و"تشانروي كاي" طريقة أكثر دقة للنظر في هذه البيانات، حيث تعامل ثقة النموذج اللغوي ليس كنقطة واحدة، بل كمشهد غني ومنظم. فبدلاً من مطالبة النموذج بالحكم على كلمة بناءً على الجملة الكاملة التي سبقتها، طلب الباحثون من النموذج الحكم على الكلمة نفسها مراراً وتكراراً، وفي كل مرة بسياق مختلف. لقد بدأوا بكلمة واحدة فقط تسبق الكلمة المستهدفة مباشرة، ثم أضافوا كلمة واحدة، ثم اثنتين، وهكذا، وصولاً إلى الجملة الكاملة. خلقت هذه العملية خريطة مفصلة لكيفية تغير ثقة النموذج مع نمو كمية المعلومات المتاحة. ومن خلال تنظيم هذه الآلاف من درجات الثقة في مصفوفة منظمة، استطاع الباحثون رؤية أنماط كانت غير مرئية عند النظر إلى الجملة الكاملة وحدها. ثم استخدموا تقنية إحصائية لتعلم أي أجزاء من هذه الخريطة — سواء كانت سياقات قصيرة، أو سياقات طويلة، أو مواقع محددة في النص — كانت المؤشرات الأكثر موثوقية لما إذا كان النص مكتوباً بواسطة إنسان، أو مولداً آلياً، أو جزءاً من بيانات تدريب النموذج.

كانت نتائج هذا النهج فعالة بشكل مذهل. فعند اختبارها على "الاستدلال بالانتماء" (membership inference)، والذي يسأل عما إذا كان نص ما قد استُخدم لتدريب نموذج، حققت الطريقة الجديدة معدل نجاح يتراوح بين 91.4% و98.3% عبر خمسة نماذج لغوية مختلفة. وكان هذا تحسناً كبيراً عن الطرق الحالية، التي تتراوح نسبتها عادة بين 50% و87%. أما بالنسبة للكشف عن النصوص المولدة بالذكاء الاصطناعي، فقد كان أداء الطريقة أفضل، حيث وصلت معدلات النجاح بين 98.5% و99.6%. وكشفت الدراسة أن المعلومات الأكثر قيمة غالباً ما جاءت من السياقات القصيرة. وخلافاً للافتراض بأن النموذج يحتاج إلى الجملة الكاملة لإصدار حكم، وجد الباحثون أن رد فعل النموذج تجاه كلمة ما بناءً على بضع كلمات سابقة فقط احتوى على إشارات فريدة لم تظهر في عرض الجملة الكاملة. علاوة على على ذلك، أظهرت الدراسة أنه بالنسبة للاستدلال بالانتماء، فإن مراقبة كيفية تغير ثقة النموذج بين أطوال السياق المختلفة وفرت أدلة إضافية، مما سمح للنظام باكتشاف أنماط دقيقة من التكرار أو الحفظ أغفلتها الطرق الأبسط.

كما استكشف الباحثون مقدار البيانات المطلوبة لجعل عمليات الكشف هذه دقيقة. ووجدوا أنه حتى مع وجود عدد صغير جداً من الأمثلة المصنفة، تفوقت الطريقة الجديدة على النهج التقليدي. فمع وجود مائة نص مصنف فقط، استطاع النظام بالفعل التمييز بين الكتابة البشرية والآلية بموثوقية عالية، واستمرت دقته في الارتفاع مع إضافة المزيد من البيانات. وهذا يشير إلى أن الطريقة فعالة ولا تتطلب مجموعات بيانات ضخمة لتكون مؤثرة. كما أثبتت الدراسة أن هذا النهج يعمل بشكل جيد حتى عندما يكون النموذج المستخدم لتحليل النص مختلفاً عن النموذج الذي أنشأه. وهذه نتيجة حاسمة، لأنها تعني إمكانية تطبيق التقنية على نطاق واسع دون الحاجة لمعرفة الهوية الدقيقة للذكاء الاصطناعي الذي أنشأ المحتوى.

من خلال الابتعاد عن الملخصات ذات الرقم الواحد وتبني التعقيد الكامل لكيفية معالجة النموذج اللغوي للسياق، تقدم هذه الأبحاث أداة قوية جديدة لتدقيق الذكاء الاصطناعي. إنها تؤكد أن الطريق لفهم سلوك الذكاء الاصطناعي لا يكمن في تبسيط البيانات، بل في تنظيمها بطريقة تحترم هيكلها. يوفر هذا العمل مساراً واضحاً مدفوعاً بالبيانات للمضي قدماً في حماية الملكية الفكرية والتحقق من أصالة النصوص في عصر تلاشت فيه الحدود بين الإبداع البشري والآلي. وتشير النتائج إلى أنه من خلال الانتباه إلى التحولات الدقيقة في ثقة النموذج أثناء القراءة، يمكننا الكشف عن البصمات الخفية لكل من بيانات التدريب وعملية التوليد، مما يوفر دفاعاً قوياً ضد سوء الاستخدام ورؤية أوضح للمشهد الرقمي.

ملخص تقني: انحدار مصفوفة الاحتمالية على مستوى الرمز (Token) لاستنتاج العضوية وكشف النصوص المولدة بواسطة الذكاء الاصطيائي

بيان المشكلة
تتناول الورقة مهمتين تدقيقيتين حرجتين لنماذج اللغة: استنتاج العضوية (تحديد ما إذا كان النص جزءًا من بيانات تدريب النموذج) وكشف النصوص المولدة بواسطة الذكاء الاصطناعي (التمييز بين النصوص التي ولدها النموذج والنصوص البشرية). وبينما يمكن صياغة كلتا المهمتين كمسائل تصنيف ثنائي بناءً على احتمالات الرموز الشرطية، فإن الأساليب الحالية القائمة على الاحتمالية تعاني من فقدان كبير في المعلومات. تقوم النهج الحالية عادةً بضغط احتمالات الرموز في ملخصات عددية قليلة (مثل متوسط الخسارة، أو Min-K%، أو الارتياب/Perplexity)، وغالبًا ما تعتمد فقط على الاحتمالات المشروطة بالسياق الكامل ( $\ell_{full}(t)$ ). هذا التجميع يؤدي إلى إهمال التباين المشترك لمعلومات الاحتمالية عبر أطوال السياق ومواقع الرموز المختلفة. علاوة على ذلك، فإن الكواشف الخاضعة للإشراف التي يتم تدريبها على مجموعات بيانات مصنفة غالبًا ما تتطلب ضبطًا دقيقًا واسع النطاق وبيانات مصنفة إضافية للتكيف مع نماذج أو مجالات جديدة. يطرح المؤلفون سؤالًا إحصائيًا حول كيفية تمثيل ونمذجة معلومات الاحتمالية التي تتغير بشكل مشترك مع طول السياق وموقع الرمز دون فرض افتراضات هيكلية جامدة.

المنهجية: انحدار مصفوفة الاحتمالية (LAR)
يقترح المؤلفون انحدار مصفوفة الاحتمالية على مستوى الرمز (LAR)، وهو إطار عمل يعامل احتمالات الرموز الشرطية من نموذج تسجيل ثابت كـ "مصفوفة منظمة ومتغيرة الطول" بدلاً من كونها ملخصًا عدديًا.

بناء مصفوفة الاحتمالية:
- لكل رمز مستهدف $x_t$ في نص ما، يقوم نموذج التسجيل بتقييم الاحتمالية تحت سلسلة من نوافذ السياق المتداخلة من اليسار، بدءًا من التسلسل الكامل السابق ( $x_1, \dots, x_{t-1}$ ) وصولاً إلى رمز واحد ( $x_{t-1}$ ).
- ينشئ هذا "مسار الرمز المستهدف" لكل رمز، حيث يسجل كيف يتغير تقييم النموذج مع تناقص مقياس السياق.
- تشكل هذه المسارات مصفوفة احتمالية مثلثية $L(X) = \{(s, t, \ell(s, t))\}$ ، حيث $s$ هو بداية السياق و $t$ هو الرمز المستهدف.
المحاذاة وهندسة الميزات:
- للتعامل مع أطوال النصوص المتغيرة، يقوم المؤلفون بتطبيع مقياس السياق ( $u$ ) والموقع النسبي للرمز ( $v$ ) إلى مجال مشترك $[0, 1] \times [0, 1]$ .
- يتم محاذاة الخلايا عبر الاستيفاء الخطي على شبكة ثابتة من مقاييس السياق.
- يتم تعزيز كل خلية محاذية بـ متجه قنوات خماسي الأبعاد $h$ $h$ :
  - لوغاريتم احتمال الرمز المرصود ( $\ell$ ).
  - تباين السياق ( $\delta$ ): نسبة اللوغاريتم لنسبة احتمال الرمز مع السياق مقابل الاحتمال بدون سياق (BOS).
  - الاحتمال اللوغاريتمي المعياري ( $z$ ) وتباين السياق المعياري ( $z_\delta$ ): يتم تطبيعها مقابل توزيع المفردات التنبؤية للنموذج.
  - الميل المحلي ( $\dot{z}$ ): معدل التغير في القدرة على التنبؤ المعيارية مع زيادة السياق.
نماذج الانحدار:
- LAR-1 (الدرجة الأولى): ينمذج لوغاريتم الأرجحية (log-odds) كـ "تجميع إضافي" للمساهمات من الخلايا الفردية المحاذية. يتعلم دالة $b(u, v, h)$ تربط مقياس السياق، والموقع، والميزات بلوغاريتم الأرجحية، مما يسمم فعليًا كيف تساهم أنماط الاحتمالية بشكل مختلف اعتمادًا على موقعها في المستند وطول السياق.
- LAR-2 (الدرجة الثانية): يعزز LAR-1 بـ ميزات تربيعية داخل المسار. يلتقط التفاعلات بين أزواج من التقييمات لنفس الرمز المستهدف عبر أطوال سياقية مختلفة. يتيح ذلك للنموذج اكتشاف كيف يساهم تغير الاحتمالية (على سبيل المثال، احتمالية منخفضة تحت سياق قصير ترتفع تحت سياق طويل) في تحديد التصنيف.
التقدير:
- يتم تقريب النماذج الوظيفية ذات الأبعاد اللانهائية باستخدام توسعات أساسية محدودة (حاصل الضرب التنسوري للشرائح/splines للسياق/الموقع، والدوال المثلثية العشوائية للقنوات).
- يتم تقدير الحدود من الدرجة الثانية باستخدام الإسقاطات التربيعية العشوائية لتقليل الأبعاد مع الحفاظ على البنية داخل المسار.
- يتم ضبط المقدرات النهائية عبر انحدار لوجستي ريج (Ridge Logistic Regression) على الميزات على مستوى المستند المستمدة من هذه التوسعات.

المساهمات الرئيسية

تمثيل مبتكر: تقدم الورقة تمثيل مصفوفة الاحتمالية، الذي يحافظ على التباين المشترك للاحتمالات عبر مقاييس السياق ومواقع الرموز، متجاوزًا الملخصات العددية المستخدمة في الأعمال السابقة.
الحدود النظرية: بالنسبة لنموذج التربيع داخل المسار (LAR-2)، يضع المؤلفون حدود تنبؤ دنيا وعليا متطابقة (minimax) بمعدل $\{\log(en)/n\}^{\nu/(\nu+1)}$ تحت ظل اضمحلال تغاير شكل المنتج. كما يحددون الأخطاء الناجمة عن التقريب محدود الأبعاد والإسقاطات العشوائية، موضحين الشروط التي يحقق فيها "المنخل الطيفي الأوركي" (oracle spectral sieve) معدل الـ minimax.
التفوق التجريبي: أظهر الإطار تفوقًا جوهريًا على النماذج المرجعية القائمة على الاحتمالية والكواشف الخاضعة للإشراف عبر نماذج تسجيل متعددة ومجالات متنوعة.
الرؤية في مصادر المعلومات: يكشف التحليل أن احتمالات السياق الأقصر تحتوي على معلومات هامة تتجاوز احتمالات السياق الكامل التقليدية، وأن الميزات من الدرجة الثانية توفر مكاسب كبيرة تحديدًا في استنتاج العضوية.

النتائج
قيم المؤلفون منهجية LAR على معيارين:

WikiMIA (استنتاج العضوية): باستخدام 1,650 نصًا وخمسة نماذج تسجيل (Pythia, LLaMA-2, Falcon).
- حقق LAR-1 متوسط قيم AUC تتراوح بين 0.914–0.960.
- حسن LAR-2 هذه النتيجة لتصل إلى 0.953–0.983، متفوقًا بشكل كبير على أفضل نموذج مرجعي موجود (ReCaLL، بحد أقصى AUC بلغ 0.871) وعلى الطريقة الخاضعة للإشراف والمضبوطة دقيقًا (Fine-tuned Score Deviation، بحد أقصى AUC بلغ 0.90).
- حققت خلايا السياق الأقصر وحدها قيم AUC تبلغ ~0.907، مقارنة بـ ~0.802 لخلايا السياق الكامل فقط.
كشف النصوص المولدة بواسطة الذكاء الاصطناعي: باستخدام 1,200 نص من أربعة مجالات (خيال، أخبار، مقالات، مراجعات) مولدة بواسطة GPT-4o ومسجلة بواسطة خمسة نماذج مفتوحة الأوزان.
- حقق LAR-1 متوسط AUC يتراوح بين 0.985–0.996.
- حقق LAR-2 نتائج تتراوح بين 0.987–0.995.
- تجاوزت هذه النتيات جميع النماذج المرجعية، بما في ذلك الكاشف الخاضع للإشراف StatDetectLLM (AUC 0.980) و RADAR (AUC 0.839).
- في هذه المهمة، كانت المكاسب من ميزات الدرجة الثانية ضئيلة، مما يشير إلى أن الأنماط الوظيفية من الدرجة الأولى تلتقط معظم إشارة الفصل.

الأهمية والادعاءات
تدعي الورقة أن LAR يوفر حلاً مبدئيًا إحصائيًا لـ "السؤال الإحصائي الأوسع" المتمثل في كيفية تمثيل معلومات الاحتمالية التي تتغير مع السياق والموقع. ومن خلال تجنب تجميع بيانات الرموز في درجات محددة مسبقًا، يستخرج LAR إشارات أغنى، لا سيًا من نوافذ السياق الأقصر التي غالبًا ما يتم تجاهلها. نظريًا، يعد هذا العمل أول تحليل minimax لهذا النوع المحدد من نماذج التربيع داخل المسار، حيث يربط خطأ التنبؤ بتقارب AUC. عمليًا، توفر الطريقة بديلًا قويًا غير خاضع للضبط الدقيق للكواشف الخاضعة للإشراف، حيث تتطلب فقط نموذج تسجيل ثابت ومجموعة بيانات مصنفة لمرحلة الانحدار، مع تحقيق أداء رائد في كل من تدقيق الخصوصية وكشف الذكاء الاصطناعي. يشير المؤلفون إلى أنه بينما قد تكون الطريقة أكثر تطلبًا من الناحية الحسابية مقارنة بتسجيل السياق الكامل، إلا أن المكاسب في الأداء تبرر التكلفة، وأن العمل المستقبلي يمكن أن يستكشف اختيار نافذة السياق التكيفي لتقليل العبء الحسابي.

أبحاث مشابهة