← أحدث الأبحاث
💬 NLP

Before the First Token: Scale-Dependent Emergence of Hallucination Signals in Autoregressive Language Models

تكشف هذه الدراسة أن النماذج اللغوية ذات الانحدار الذاتي تظهر انتقالاً طورياً يعتمد على الحجم في اكتشاف الهلوسة، حيث لا تطور إلا النماذج التي تتجاوز حوالي مليار معلمة وتدربت باستخدام الضبط الدقيق للتعليمات إشارة داخلية ذات دلالة إحصائية تشير إلى القصد الواقعي قبل توليد أي رموز، في حين أن الحجم المجرد وحده غير كافٍ لهذا الترميز المسبق للالتزام.

المؤلفون الأصليون: Dip Roy, Rajiv Misra, Sanjay Kumar Singh, Anisha Roy

نُشر 2026-04-16
📖 5 دقيقة قراءة🧠 قراءة متعمّقة
CC BY 4.0

المؤلفون الأصليون: Dip Roy, Rajiv Misra, Sanjay Kumar Singh, Anisha Roy

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة البحث، "قبل الرمز الأول" (Before the First Token)، باستخدام لغة بسيطة وتشبيهات إبداعية.

السؤال الكبير: متى تبدأ الكذبة؟

تخيل أنك تتحدث مع صديق يكذب أحياناً ويحكي قصصاً خيالية أحياناً أخرى. أنت تريد أن تعرف: في أي لحظة بالضبط يقرر صديقك أن يكذب؟

هل يقرر الكذب قبل أن يفتح فمه حتى؟ أم أنه يقرر الكذب أثناء حديثه، بينما تخرج الكلمات من فمه؟

تحاول هذه الورقة البحثية الإجابة على هذا السؤال بالنسبة للذكاء الاصطناعي (AI). وتحديداً، تسأل: متى "يعرف" نموذج الذكاء الاصطناعي أنه على وشك الهلوسة (اختلاق أشياء غير حقيقية)، وهل يتغير هذا بناءً على مدى "ذكائه" (حجمه)؟

الاكتشاف الرئيسي: قاعدة "الحجم يفرق"

اختبر الباحثون نماذج ذكاء اصطناعي بأحجام مختلفة، من النماذج الصغيرة جداً (مثل الآلة الحاسبة الذكية) إلى النماذج الضخمة (مثل العقل الخارق). ووجدوا قاعدة مفاجئة: حجم الذكاء الاصطناعي يغير تماماً متى يقرر الكذب.

إليك السيناريوهات الثلاثة الرئيسية التي اكتشفوها:

1. النماذج الصغيرة جداً (أقل من 400 مليون معلمة/Parameter): "الحالم المرتبك"

  • التشبيه: تخيل طفلاً صغيراً جداً أو حالمًا مرتبكاً. هو لا يعرف حقاً ما سيقوله حتى يبدأ في قوله بالفعل. إنه فقط يختلق الأمور أثناء سير العملية.
  • النتيجة: بالنسبة لهذه النماذج الصغيرة، لا توجد إشارة تدل على الكذب قبل أن يتحدث. حتى لو نظرت داخل "دماغهم" (كودهم الداخلي) قبل أن يكتبوا الكلمة الأولى، لا يمكنك معرفة ما إذا كانوا على وشك قول الحقيقة أم الكذب. إنهم يبدأون فقط في إظهار نمط من الكذب بعد أن يبدأوا بالفعل في الكلام.
  • الخلاصة: لا يمكنك كشف هذه النماذج الصغيرة وهي تكذب قبل أن تتحدث. وبحلول الوقت الذي تدرك فيه أنهم يكذبون، يكونون قد بدأوا بالفعل في منتصف الجملة.

2. النماذج المتوسطة إلى الكبيرة (أكثر من 1 مليار معلمة): "المخادع المخطط مسبقاً"

  • التشبيه: تخيل ممثلاً محترفاً أو سياسياً. قبل أن يفتح فمه حتى، يكون قد قرر بالفعل: "سأروي قصة اليوم". هو يعرف بالضبط ما سيقوله قبل أن تخرج الكلمة الأولى من شفتيه.
  • النتيجة: بمجرد أن تصبح النماذج كبيرة بما يكفي (حوالي 1 مليار معلمة)، يحدث شيء سحري. إنهم يقررون الكذب قبل توليد الكلمة الأولى. استطاع الباحثون النظر إلى الحالة الداخلية للذكاء الاصطناعي قبل إنتاج أي مخرجات والقول: "آه، هذا النموذج على وشك الهلوسة".
  • الخلاصة: بالنسبة للنماذج الكبيرة، يمكننا ضبطهم متلبسين بالفعل قبل أن يبدأوا في الكلام. وهذا يمثل فوزاً كبيراً للسلامة لأننا نستطيع إيقاف الكذبة قبل وقوعها.

3. الاستثناء "الكبير غير المدرب": فخ "القوة الخام"

  • التشبيه: تخيل لاعب كمال أجسام ضخم وقوي جداً لم يتعلم أبداً كيف يمارس الملاكمة. لديه كل العضلات (المعلمات) ليكون بطلاً، لكنه لم يتعلم التقنية. هو فقط يتأرجح بعشوائية.
  • النتيجة: اختبر الباحثون نموذجين ضخمين (7 مليارات معلمة). أحدهما كان "مضبوطاً بالتعليمات" (Instruction-Tuned) (مدرب على اتباع القواعد والتعامل بفاعلية)، والآخر كان "أساسياً" (Base) (مدرب فقط على قراءة النصوص، مثل الموسوعة الخام).
    • النموذج المضبوط (Tuned) تصرف مثل "المخادع المخطط مسبقاً" (كان يعرف قبل أن يتحدث).
    • النموذج الأساسي (Base) تصرف مثل "الحالم المرتبك" (لم يظهر أي إشارة قبل التحدث، رغم ضخامته).
  • الخلاصة: الحجم وحده لا يكفي. يحتاج الذكاء الاصطناعي إلى أن يكون مدرباً خصيصاً لاتباع التعليمات لكي يطور قدرة "الالتزام المسبق" هذه. مجرد امتلاك دماغ كبير لا يعني أن الذكاء الاصطناناعي ينظم أفكاره بطريقة يمكننا اكتشافها.

"الكرة البلورية السحرية" (الاستقصاء/Probing)

استخدم الباحثون تقنية تسمى "الاستقصاء" (Probing). فكر في هذا الأمر كأنك تضع سماعة طبيب على صدر الذكاء الاصطناعي.

  • لقد استمعوا إلى الإشارات الكهربائية الداخلية للذكاء الاصطناعي (التنشيطات/Activations) في لحظات مختلفة.
  • وجدوا أنه بالنسبة للنماذج الكبيرة والمدربة، تكون "إشارة الكذب" في أقوى حالاتها عند البداية تماماً (الموضع 0)، أي قبل كتابة الكلمة الأولى مباشرة.
  • ومع بدء الذكاء الاصطناعي في كتابة الكلمات، تصبح هذه الإشارة أضعف وأكثر ضبابية. الأمر يشبه اتخاذ القرار لحظياً، ثم يقوم الذكاء الاصطناعي بتنفيذ الخطة فقط.

الأخبار السيئة: لا يمكنك "توجيه" الذكاء الاصطناعي

حاول الباحثون القيام بشيء رائع: توجيه التنشيط (Activation Steering).

  • التشبيه: تخيل أنك ترى الذكاء الاصطناعي على وشك الكذب. تحاول دفعه بلطف في الاتجاه المعاكس لإجباره على قول الحقيقة، مثل توجيه سيارة بعيداً عن منحدر.
  • النتيجة: لم ينجح الأمر. على الرغم من قدرتهم على اكتشاف الكذبة قبل حدوثها، إلا أنهم لم يستطيعوا إصلاحها عن طريق دفع الدماغ.
  • لماذا؟ الإشارة التي وجدوها تشبه جهاز إنذار الحريق. هي تخبرك أن هناك حريقاً قادماً، لكنها لا تطفئ الحريق. "الكذبة" هي علاقة ارتباط، وليست مفتاحاً يمكنك تبديله. إذا كان الذكاء الاصطناعي على وشك الكذب، فلا يمكنك مجرد دفعه ليقول الحقيقة؛ بل يجب عليك إيقافه تماماً أو طلب التحقق من أمر بشري.

ملخص للحياة اليومية

  1. الذكاء الاصطناعي الصغير: لا يمكنك معرفة ما إذا كان يكذب حتى يبدأ في الكلام بالفعل. تحتاج إلى مراجعة عمله بعد انتهائه.
  2. الذكاء الاصطناعي الكبير والمدرب: هم "يقررون" الكذب قبل أن يتحدثوا. يمكننا بناء أنظمة سلامة تلتقطهم قبل أن ينطقوا بكلمة واحدة.
  3. الذكاء الاصطناعي الكبير وغير المدرب: حتى لو كانوا ضخمين، إذا لم يتم تعليمهم كيفية اتباع التعليمات، فقد لا يظهرون إشارة "ما قبل الكذب" هذه.
  4. التحذير: اكتشاف الكذب مبكراً أمر رائع، لكن لا يمكننا "إصلاح" الكذبة بسهولة أثناء حدوثها. يجب علينا إيقاف الذكاء الاصطناعي والمحاولة مرة أخرى.

باختصار: كلما كان الذكاء الاصطناعي أكبر وأفضل تدريباً، زاد "معرفته" بما سيقوله قبل أن يقوله. وهذا يمنحنا نافذة زمنية صغيرة جداً للإمساك به قبل أن يرتكب خطأً، ولكننا لا نزال بحاجة إلى الحذر لأننا لا نستطيع "توجيهه" بسهولة للعودة إلى الحقيقة.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💬 cs.CL →