💬 NLP

What Iterated Self-Feeding Probes of Language Models Measure, and a test that separates the construction from the model

تقدم هذه الورقة اختباراً صارماً للتمييز بين المصنوعات المتأصلة في بناء المسبار (مثل انتشار الضرر الحركي) والخصائص الحقيقية للنموذج (مثل أسات ليابونوف) في تجارب نماذج اللغة ذات التغذية الراجعة المتكررة، كاشفةً أن الادعاءات السابقة بوجود تحولات طورية كانت غالباً ما تُنسب خطأً إلى النماذج بدلاً من المنهجية.

المؤلفون الأصليون: Nicolás Vera Zúñiga

نُشر 2026-08-12

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Nicolás Vera Zúñiga

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

معضلة المحقق: عندما تصبح الأداة هي الدليل

تخيل أنك تحاول فهم كيفية عمل نوع معين من محركات السيارات. لا يمكنك تفكيكه، لذا بدلاً من ذلك، تقوم ببناء مسار اختبار آلي ضخم. تقوم بتغذية عادم السيارة نفسها مرة أخرى في مدخل الهواء الخاص بها، مراراً وتكراراً، لتراقب كيف يتفاعل المحرك مع أدخنته. هذا يشبه إلى حد كبير ما يفعله العلماء مع "نماذج اللغات الكبيرة" (AI) الحديثة. هذه الأنظمة من الذكاء الاصطناعي تشبه المحركات فائقة الذكاء التي تتنبأ بالكلمة التالية في الجملة. غالباً ما يقوم الباحثون بتغذية الذكاء الاصطناعي بمخرجاته الخاصة ليروا ما إذا كان بإمكانه إصلاح أخطائه، أو التفكير بعمق أكبر، أو حل المشكلات الصعبة. يُسمى هذا "التغذية الذاتية" أو "الاستقصاء المتكرر".

لكن هنا يكمن الجزء الصعب: عندما تبني مسار اختبار، فإن المسار نفسه له قواعده. ربما يكون المسار وعراً جداً، أو ربما تهب الرياح بطريقة معينة تجعل السيارة تترنح. إذا رأيت السيارة تترنح، فهل السبب هو أن المحرك معطل، أم لأن المسار وعر؟ في عالم الذكاء الاصطناعي، كان العلماء يقيسون أشياء مثل "مدى سرعة تغير أفكار الذكاء الاصطناعي" أو "مدى استقرار إجاباته"، بافتراض أن هذه الأرقام تخبرهم عن "دماغ" الذكاء الاصطناعي. يسأل هذا البحث سؤالاً بسيطاً ومخيفاً: ماذا لو كانت هذه الأرقام في الواقع تخبرنا فقط عن مسار الاختبار الذي بنيناه، وليس عن الذكاء الاصطناعي نفسه؟

الخلط الكبير: هل هو الذكاء الاصطناعي أم التجربة؟

في هذا البحث، وضع الباحث، نيكولاس فيرا زونيجا، تجربة محددة للغاية وغريبة نوعاً ما لمعرفة ذلك. تخيل عقداً دائرياً ضخماً مكوناً من 4096 خرزة، حيث كل خرزة هي كلمة (أو "رمز/token") من مفردات الذكاء الاصطناعي. ينظر الذكاء الاصطناعي إلى نافذة صغيرة من الخرز حول نقطة معينة، ويخمن ما يجب أن تكون عليه الخرزة، ثم يستبدل الخرزة الحالية بتخمينه الجديد. يفعل ذلك لكل خرزة في العقد، مراراً وتكراراً، بترتيب عشوائي. هذا يخلق حلقة مغلقة حيث يعيد الذكاء الاصطناعي كتابة قصته باستمرار بناءً على تخميناته السابقة.

لاختبار ذلك، أنشأ الباحث عقدين متطابقين. في العقدة الثانية، قام بقلب (تغيير) خرزة واحدة فقط في البداية. ثم قام بتشغيل كلتا العقدتين عبر نفس المحاكاة تماماً، باستخدام نفس الأرقام العشوائية لتحديد عمليات الاستبدال. إذا كان "دماغ" الذكاء الاصطناعي حساساً، فإن تلك الخرزة المقلوبة الواحدة يجب أن تسبب تأثير تموج، مما يجعل العقدتين تبدوان مختلفتين أكثر فأكثر بمرور الوقت. يُسمى هذا "انتشار الضرر". يقيس الباحث مدى سرعة انتشار هذا الضرر (رقم يسمى $\lambda_{ca}$ ) وكمية ما يتبقى منه.

المفاجأة الكبرى: "التحول الطوري" الذي لم يكن موجوداً

وجد الباحث شيئاً صادماً. عندما أجرى هذه التجربة عند "درجات حرارة" منخفضة جداً (مما يعني إجبار الذكاء الاصطناعي على أن يكون واثقاً جداً واختيار الكلمات الأكثر احتمالاً فقط)، انهار النظام فجأة. توقف العقد عن التغير وتجمد في كلمة واحدة متكررة (مثل أسطوانة مكسورة عالقة على كلمة "سطر جديد"). بدا هذا وكأنه "تحول طوري" دراماتيكي، يشبه تحول الماء فوراً إلى جليد.

قام الباحث بقياس هذا التحول بدقة متناهية، وصولاً إلى ثلاث خانات عشرية. بدا الأمر وكأنه اكتشاف حقيقي لكيفية سلوك نماذج الذكاء الاصطناعي. ومع ذلك، يثبت البحث أن هذا التحول ينتمي إلى التجربة، وليس إلى الذكاء الاصطناعي.

إليك كيف عرفوا ذلك:

اختبار الضبط: جربوا نفس التجربة بالضبط على نوع مختلف من نماذج الذكاء الاصطناعي (نموذج لغة مقنع - "masked language model") والذي بُني بطريقة مختلفة. هذا النموذج الثاني لم يتجمد أبداً، حتى عند نفس درجات الحرارة المنخفضة.
الآلية: أدركوا أن التجمد حدث بسبب "فخ" رياضي محدد في الطريقة التي يختار بها نموذج الذكاء الاصطناوي كلماته. الأمر يشبه كرة تتدحرج في حفرة عميقة؛ بمجرد سقوطها، لا يمكنها الخروج. هذه الحفرة موجودة بسبب قواعد التجربة (الطريقة المحددة التي يُجبر بها الذكاء الاصطناعي على تحديث خرزه)، وليس لأن الذكاء الاصطناعي مميز.
الحكم: كان "التحول الطوري" حدثاً "مصطنعاً". لقد كان خاصية لمسار الاختبار، وليس للسيارة. يعترف الباحث بأنهم قضوا أربعة أشهر وهم يظنون أنهم اكتشفوا قانوناً جديداً في فيزياء الذكاء الاصطناعي، ليكتشفوا في النهاية أنهم اكتشفوا فقط خللاً في أداة القياس الخاصة بهم.

ما الذي تقيسه التجربة إذاً؟

إذا كان "التحول الطوري" مزيفاً، فهل تخبرنا التجربة بأي شيء حقيقي؟ نعم، ولكن عليك أن تكون حذراً جداً بشأن ما تنظر إليه:

قراءات "البناء" (الضجيج): بعض الأرقام، مثل سرعة انتشار الضرر ( $\lambda_{ca}$ )، ثابتة بفعل هندسة الاختبار. إذا غيرت حجم النافذة أو ترتيب الخرز، تتغير هذه الأرقام. إذا غيرت نموذج الذكاء الاصطناعي، تظل هذه الأرقام ثابتة في الغالب. هذه القراءات تخبرك عن التجربة، وليس عن الذكاء الاصطناعي.
قراءات "النموذج" (الإشارة): أرقام أخرى، مثل "حصة الجاذب" (attractor share) (مدى استقرار الذكاء الاصطناعي على كلمة محددة)، تتغير فعلياً عندما تغير نموذج الذكاء الاصطناعي. إذا دربت نموذجاً لفترة أطول، يتحرك هذا الرقم. إذا انتقلت إلى بنية ذكاء اصطناعي مختلفة، يتحرك هذا الرقم. هذا هو الجزء الوحيد الذي يخبرنا فعلياً عن دماغ الذكاء الاصطناعي.

"الأخطاء" والادعاءات المسحوبة

يعد هذا البحث أيضاً درساً تحذيرياً حول مدى سهولة خداع نفسك بالإحصاءات. يسرد الباحث أربع مرات كاد فيها أن ينشر "اكتشافاً" تبين لاحقاً أنه خاطئ لأنه لم يفحص رياضياتهم بشكل صحيح:

قام مرة بقياس "نقطة حرجة" باستخدام إعداد كان صغيراً جداً ليكون صالحاً.
استخدم عن طريق الخطأ نفس الأرقام العشوائية لأجزاء مختلفة من الاختبار، مما جعل النتائج تبدو أكثر تأكداً مما كانت عليه.
حاول إيجاد نمط في بيانات كانت في الواقع مجرد خط مستقيم (تباين صفري)، مما جعل الارتباط يبدو حقيقياً بينما كان مجرد مصادفة ناتجة عن كيفية فرز البيانات.

في كل مرة، أمسكوا بالخطأ ليس من خلال مراجعة الأقراء، بل من خلال إجراء اختبار "إجابة معروفة" (مثل محاكاة تكون النتيجة فيها معروفة مسبقاً) ورؤية أن أداتهم أعطت إجابة خاطئة.

الخلاصة

هذا البحث لا يمنحنا قوة خارقة جديدة للذكاء الاصطناعي. بدلاً من ذلك، يمنحنا زوجاً جديداً من النظارات. إنه يعلمنا أنه عندما نغذي الذكاء الاصطناعي بمخرجاته الخاصة، فإننا نخلط بين شيئين: ذكاء الذكاء الاصطناعي الفعلي وقواعد تجربتنا الاصطناعية.

الدرس الرئيسي هو أننا لا نستطيع مجرد النظر إلى رقم وافتراض أنه يخبرنا عن الذكاء الاصطناعي. علينا أن نلعب لعبة "الضبط والمتغير": إذا غيرنا الذكاء الاصطناعي وظل الرقم كما هو، فإن الرقم يتعلق بالتجربة. إذا غيرنا التجربة وظل الرقم كما هو، فإن الرقم يتعلق بالذكاء الاصطناعي. يثبت البحث أن بعض "الاكتشافات" الأكثر إثارة في هذا المجال قد تكون مجرد انعكاسات للمرآة التي نحملها، وليس للوجه الذي ننظر إليه. إنها دعوة للعلماء ليكونوا متواضعين، وليتحققوا من أدواتهم، وليدركوا أن الشيء الأكثر إثارة للاهتمام الذي قد يجدونه أحياناً هو الخلل في شريط القياس الخاص بهم.

ملخص تقني: ما الذي تقيسه مجسات التغذية الذاتية المتكررة للنماذج اللغوية

بيان المشكلة

تقوم فئة متنامية من الأساليب بسبر (probing) النماذج اللغوية (LMs) عبر تغذية مخرجاتها مرة أخرى في مدخلاتها، مما يخلق أنظمة ديناميكية مثل الاتساق الذاتي، والتحسين المتكرر، والحلقات الوكيلة (agentic loops). وبينما تعد هذه الأساليب روتينية، يظل هناك سؤال جوهري دون إجابة: ما الذي تقيسه حقاً ديناميكيات هذه المجسات ذاتية التغذية؟

تجادل الورقة بأن القراءات الحالية من هذه المجسات تخلط بين مصدرين متميزين للمعلومات:

كميات محددة بالبناء (Construction-determined): خصائص تنشأ فقط من ميكانيكا المجس (مثل هيكل الحلقة، وقواعد إعادة أخذ العينات، وطريقة الاقتران).
كميات محددة بالنموذج (Model-determined): خصائص جوهرية في النموذج اللغوي نفسه.

بدون طريقة للتمييز بينهما، يخاطر الباحثون بنسب السمات الناتجة عن أدوات القياس إلى النموذج نفسه. تذكر المؤلفة حالة محددة حيث قامت بقياس "انتقال طوري" (phase transition) بدقة ثلاثة أرقام عشرية، لتكتشف لاحقاً أنه يعود بالكامل إلى بناء المجس، وليس إلى النموذج.

المنهجية

البناء (The Construction)

تستخدم المؤلفة بناءً محدداً لعزل الارتباك بين المجس والنموذج:

الحالة (State): حلقة من $N$ من خلايا الرموز (token cells) مع حدود دورية.
الديناميكيات (Dynamics): إعادة أخذ عينات في الموقع (in-place resampling). في كل خطوة، يتم إعادة أخذ عينة للموقع $x_i$ من الاحتمال الشرطي للنموذج ضمن نافذة $p(x_i | x_{i \pm r})$ عند درجة حرارة $T$ . يتم حجب الرمز المركزي من نافذته الخاصة.
الاقتران (Coupling): يتم دفع حلقتين ( $x$ و $\tilde{x}$ ) باستخدام الأرقام العشوائية المشتركة (CRN). هما متطابقتان باستثناء رمز واحد تم قلبه عند $t=0$ . كلاهما يستخدم نفس تدفق المتغيرات الموحدة ونفس ترتيب الزيارات.
الفرضية الصفرية: تحت ظروف CRN، إذا كانت الحلقتان تمتلكان نوافذ متطابقة، فإنهما ستسحبان بالضبط نفس الرمز (عبر أخذ عينات عكس التوزيع التراكمي - inverse-CDF - مقابل متغير موحد مشترك). وبالتالي، فإن أي تباعد بين التوأمين غير المتضررين هو صفر تماماً. أي تباعد ناتج هو حصرياً بسبب القلب (flip) المحقون.

الكميات المقاسة

$\lambda_{ca}$ (أس لِيابونوف في فضاء الرموز): معدل النمو الأسي لعدد المواقع المختلفة ( $d_t$ ) قبل التشبع.
$D_{norm}$ : مستوى تشبع الضرر، مُقاساً بالنسبة لأس جريان ضوضاء مستقل.
حصة الجاذب (Attractor Share): نسبة إشغال الرمز المهيمن في الحلقة المستقرة.

استراتيجية التحقق

يتم معايرة الأداة عبر إعادة الإنتاج على أنظمة ذات إجابات معروفة، وتحديداً آلية سيلولار احتمالية من نوع دوماني-كينزل (Domany–Kinzel). تتحقق المؤلفة من أن تنفيذها ينتج مطابقة دقيقة (bit-exact) للتنبؤات المستقلة على هذه الآلية السيلولارية قبل تطبيقها على النماذج اللغوية.

المساهمات الرئيسية

1. أداة مُعايرة

تقدم المؤلفة أداة مُعايرة تميز بين هندسة المجس وسلوك النموذج. تم التحقق من صحة الأداة عبر إعادة إنتاج مجال ضرر "دوماني-كينزل" بدقة واستعادة مصفوفات الانتقال المعروفة للآليات السيلولارية الأولية.

2. تحديد انتقال طوري "مصنّع"

اكتشفت المؤلفة انتقال حالة امتصاص حاد في ديناميكيات المجس عند درجة حرارة حرجة $T_c \in [0.4343, 0.4391]$ .

الطبيعة: هذا الانتقال هو خاصية لـ المجس، وليس للنموذج.
الآلية: ينشأ من نقطة ثابتة جاذبة لخريطة الـ argmax في البناء ذاتي الانحدار (autoregressive construction) (تحديداً في نماذج مثل Pythia-410m)، مما يؤدي إلى انهيار الشبكة على رمز واحد (مثل سطر جديد) عند درجات الحرارة المنخفضة.
الدليل: يختفي الانتقال عند تغيير البناء (على سبيل المثال، استخدام بناء masked-LM بدون مثل هذه النقطة الثابتة)، لكنه يستمر عبر 19 نموذجاً مختلفاً وسلم مقاييس (70 ضعف التباين).

3. اختبار التمييز (The Discriminator Test)

تقدم الورقة اختباراً صارماً للفصل بين ما هو محدد بالبناء وما هو محدد بالنموذج:

الاختبار: تغيير عامل واحد (البناء أو النموذج) مع تثبيت الآخر.
المعيار: إذا تغيرت القراءة عند تغيير البناء وبقيت ثابتة عند تغيير النموذج، فهي محددة بالبناء. إذا تغيرت القراءة عند تغيير النموذج وبقيت ثابتة عند تغيير البناء، فهي محددة بالنموذج.
التطبيق:
- المحدد بالبناء: مخروط الضرر الضوئي (kinematic) ونطاق قياس نصف قطر $\lambda_{ca}$ (المستقل عن النموذج).
- المحدد بالنموذج: حصة الجاذب (Attractor Share)، والتي تصنف النماذج باستمرار عبر بنيات مختلفة.
- التطوري (Developmental): يتتبع $\lambda_{ca}$ مسار التدريب لنموذج واحد (يعبر الصفر عند نقطة قابلة لإعادة الإنتاج) ولكنه يفشل في التمييز بين عائلات النماذج المختلفة.

4. بوابات المقدرات والنتائج المسحوبة

تذكر المؤلفة أربع حالات لنتائج مسحوبة حيث أنتجت المقدرات أرقاماً واثقة ولكن خاطئة لأنها طُبقت على كميات لا مجال لتغيرها (مثل المتنبئات المشبعة، أو القيم غير المعرفة التي عُوملت كصفر، أو النسخ المترابطة). وهي توفر حزمة من "الحراس" (مثل فحوصات النطاق الديناميكي، بوابات الضوضاء، والترتيب الواعي بالتعادل) لمنع هذه الأخطاء.

النتائج

آثار المجس (Probe Artifacts): "الانتقال الطوري" الملاحظ في النماذج ذاتية الانحدار هو أثر ناتج عن هندسة المجس (تحديداً نقطة الثبات في خريطة argmax). هو أمر قابل لإعادة الإنتاج ولكنه لا يحمل أي معلومات حول قدرات النموذج.
حساسية النموذج:
- $\lambda_{ca}$ : بينما يظهر انتقالاً تطورياً (يعبر الصفر أثناء التدريب)، إلا أنه ثابت تجاه النموذج (model-invariant) عبر البنيات والمقاييس المختلفة. إنه لا يعمل كمقياس موثوق لمقارنة النماذج المختلفة.
- حصة الجاذب (Attractor Share): يميز هذا المقياس بنجاح بين عائلات النماذج (مثل نماذج RWKV مقابل نماذج Attention) وهو قوي تجاه التغييرات في بناء المجس (نصف القطر، درجة الحرارة).
استجابة الاستئصال (Ablation Response): تغيير المكونات الداخلية (مثل كتل الانتباه) يغير الديناميكيات، مما يؤكد أن الأداة تقرأ النموذج. ومع ذلك، فإن الاستجابة غير رتيبة وتعتمد على الحالة الأولية للمرجع، مما يشير إلى علاقة إحصائية معقدة بدلاً من آلية سببية بسيطة.
القوة التنبؤية: تتنبأ "حصة الجاذب" بفشل اتباع التعليمات، بينما لا يفعل $\lambda_{ca}$ (عبر الانتقال التطوري) ذلك. وعلى العكس، يتنبأ $\lambda_{ca}$ (عبر التنوع) بالتدهور الجشع (greedy degeneration)، بينما لا تفعل "حصة الجاذب" ذلك.

الأهمية والادعاءات

تدعي الورقة أن مجسات التغذية الذاتية المتكررة تقيس مزيجاً من البناء والنموذج، وأن هذين المكونين لا يمكن التمييز بينهما بمجرد النظر.

تواضع الادعاءات: تصرح المؤلفة صراحة أن هذا ليس نتيجة تفسيرية (interpretability result). هي لا تدعي أن $\lambda_{ca}$ يحدد آلية داخلية محددة. بدلاً من ذلك، المساهمة هي القياس: تحديد ما تقرأه هذه المجسات، وما لا تقرأه، وكيفية التمييز بين الاثنين.
الرؤية الجوهرية: يمكن أن تكون الأداة صالحة لنوع واحد من المقارنات (مثل تتبع تدريب نموذج واحد) وغير مجدية لنوع آخر (مثل مقارنة عائلات النماذج المختلفة).
التحول المنهجي: تجادل المؤلفة بأن الكميات المستمدة من حلقات التغذية الذاتية يجب أن تخضع لـ "اختبار التمييز" (تغيير البناء مقابل تغيير النموذج) قبل تفسيرها كخصائص للنموذج اللغوي.
قابلية إعادة الإنتاج: يتم إصدار جميع الأكواد والبيانات وسكريبتات الأشكال مع تتبع صارم (استخدام SHA-256) لضمان ألا تعيش الأشكال لفترة أطول من الكود الذي أنتجها.

تخلص الورقة إلى أن الملخص "الأنيق" الذي يقول إن الأداة تقيس نفسها فقط هو ملخص خاطئ؛ فالأداة تقرأ بالفعل النموذج، لكنها تقرأ المجس أيضاً بنفس الدقة. وتكلفة الفشل في التمييز بينهما هي نسب آثار المجس (مثل الانتقال الطوري المصنّع) إلى النموذج.