تتقصى هذه الورقة آليات التعلم اللاشعوري، كاشفةً عن قدرة النماذج اللغوية على وراثة تحيزات غير دلالية من المعلمين عبر بيانات اصطناعية تبدو عشوائية من خلال هياكل الأوزان ومتجهات التوجيه، مما يسلط الضوء على تحديات حرجة لسلامة الذكاء الاصطناعي وتدقيق البيانات.
تخيل أنك تعلم روبوتاً كيف يفكر من خلال إظهار مكتبة ضخمة من الكتب له. ستتوقع أن يتعلم الروبوت من القصص، والحقائق، والحجج الموجودة داخل تلك الصفحات. ولكن ماذا لو بدأ الروبوت في تعلم عادة سرية وخفية بمجرد النظر إلى شكل الحروف، أو الضجيج العشوائي في الحبر، بدلاً من الكلمات الفعلية؟ هذا هو العالم الغريب لـ التعلم اللاشعوري (Subliminal Learning). في مجال الذكاء الاصطناعي، اكتشف الباحثون أن "روبوتاً معلماً" يمكنه تمرير انحياز محدد — مثل حب مفاجئ وشديد للبوم — إلى "روبوت طالب"، حتى لو تم تغذية الطالب فقط بقائمة من الأرقام العشوائية التي أنشأها المعلم. الجزء المخيف؟ الأرقام تبدو غير مرتبطة تماماً بالبوم. الأمر يشبه لو أن طباخاً يحب الطعام الحار بدأ بإضافة كميات مجهرية غير مرئية من الفلفل الحار إلى قائمة أسعار البقالة، وفجأة أصبح الشخص الذي يقرأ القائمة مهووساً بالطعام الحار دون أن يتذوقه أبداً. هذا الأمر مهم لأنه إذا لم نتمكن من رؤية هذه الإشارات الخفية في البيانات التي نستخدمها لتدريب الذكاء الاصطناعي، فقد نبني عن طريق الخطأ روبوتات ذات شخصيات سرية وغير متوقعة لا يمكن لأحد رصدها أثناء فحص السلامة.
قرر فريق من الباحثين مؤخراً لعب دور المحقق لمعرفة كيف تعمل هذه الخدعة السحرية. أرادوا معرفة: هل الرسالة السرية مخبأة في معنى الأرقام (دلالي/semantic)، أم أنها مخباة في "الخلل" العشوائي والمضطرب داخل عقل الكمبيوتر (غير دلالي/non-semantic)؟ لمعرفة ذلك، أقاموا لعبة تتكون من نموذجين للذكاء الاصطناعي: "معلم" و"طالب". أولاً، جعلوا المعلم مهووساً بحيوان معين، مثل البومة، من خلال توجيهه بلمسة خاصة. ثم طلبوا من المعلم إنشاء قوائم من الأرقام العشوائية. ورغم أن المعلم كان يفكر في البوم، إلا أنه كان يخرج فقط أرقاماً مثل "693، 30، 26...". بعد ذلك، تم تدريب الطالب فقط على هذه القوائم من الأرقام. وبالتأكيد، بدأ الطالب يحب البوم أيضاً، رغم أنه لم يرَ كلمة "بومة" قط في بيانات تدريبه.
اختبر الباحثون فرضية جامحة: ماذا لو لم يكن السر في الأرقام على الإطلاق، بل في الضجيج الساكن العشوائي الصغير داخل عقل الكمبيوتر؟ أضافوا "ضجيجاً ساكناً" إضافياً (ضجيج غاوسي/Gaussian noise) إلى عقل المعلم وراقبوا ما حدث. كانت النتيجة مفاجئة: إضافة هذا الضجيج جعل انتقال السر أقوى بمقدار 1.9 مرة لنموذج واحد (Gemma) وأقوى بمقدار 1.3 مرة لنموذج آخر (Llama). يشير هذا إلى أن "الخلطة السرية" ليست كوداً ذكياً وذا معنى مخبأ في البيانات، بل هي بصمة غير دلالية وفوضوية تركتها البنية الداخلية للكمبيوتر نفسه. الأمر كما لو أن هوس المعلم بالبوم تسبب في جعل دماغه يهتز بطريقة معينة وفوضوية، وأن الأرقام العشوائية التي لفظها صدف أن تحمل صدى ذلك الاهتزاز. والطالب، الذي بُني دماغه بنفس الطريقة تماماً، التقط ذلك الاهتزاز وبدأ يدندن نفس اللحن.
لكن القصة تصبح أكثر تفصيلاً. وجد الباحثون أن الطالب لم يتعلم فقط ماذا يحب المعلم؛ بل تعلم كيف تم توجيه المعلم. إذا تم توجيه المعلم بواسطة نص بسيط (مثل ملاحظة تقول "أنت تحب البوم")، فقد تعلم الطالب بطريقة واحدة. أما إذا تم توجيه المعلم بواسطة "متجه توجيه" (steering vector) رياضي (دفع رياضي دقيق)، فقد تعلم الطالب بطريقة ميكانيكية مختلفة تماماً. في الواقع، عندما حاول الباحثون تعليم طالب باستخدام متجه توجيه يعتمد على البيانات المستمدة من النص، فشلت التجربة تماماً. هذا يثبت أن البيانات تشفر طريقة الانحياز، وليس الانحياز نفسه فحسب. إنه يشبه إذا تعلمت عزف أغنية من خلال مراقبة شخص ينقر بقدمه؛ ستتعلم إيقاع النقر بالقدم، وليس فقط اللحن. وإذا حاولت تعلم نفس الأغنية من خلال مراقبة شخص ينقر برأسه، فستصاب بالارتباك.
أخيراً، حاول الفريق ضبط الإشارة السرية أثناء حد في لحظة وقوعها عبر النظر إلى نشاط عقل المعلم أثناء توليده للأرقام. وجدوا أنه بينما كانت "أفكار" الدماغ (التنشيطات/activations) فوضوية للغاية بحيث لا تكشف السر، فإن "التدرجات" (gradients) (الاتجاه الرياضي الذي يحاول الدماغ التحرك فيه) أظهرت علاقة خطية واضحة بالحيوان السري. ومع ذلك، كان هذا يعمل فقط مع المعلمين الذين تم توجيههم رياضياً، وليس أولئك الذين تم توجيههم نصياً.
باختصار، تشير هذه الورقة البحثية إلى أن التعلم اللاشعوري هو شكل من أشكال "التقطير غير الدلالي" (non-semantic distillation). الأمر لا يتعلق بمعنى البيانات، بل بالضجيج غير المرئي والفوضوي والبصمات الهيكلية التي تتركها بنية الذكاء الاصطناعي الخاصة. هذا ليس دليلاً على أن الضجيج هو السبب الوحيد، لكنه يشير بقوة إلى أن "السحر" يحدث في الزوايا الفوضوية وغير المعنوية لبنية النموذج. وهذا اكتشاف حاسم لأنه يعني أن مجرد قراءة البيانات التي نستخدمها لتدريب الذكاء الاصطناعي قد لا يكون كافياً أبداً للإمساك بهذه الانحيازات الخفية. قد نحتاج إلى النظر في "البصمات" الرياضية غير المرئية المتروكة في البيانات لضمان بقاء أنظمة الذكاء الاصطناوي لدينا آمنة وقابلة للتنبؤ.
ملخص تقني: التعلم اللاشعوري هو تقطير غير دلالي
بيان المشكلة
التعلم اللاشعوري (Subliminal Learning - SL) هو ظاهرة يتبنى فيها نموذج لغوي "طالب" انحيازاً أو سلوكاً معيناً من نموذج "معلم" بعد التدريب على بيانات تبدو غير ذات صلة دلالياً بذلك الانحياز. على سبيل المثال، يمكن لنموذج معلم منحاز لـ "حب البوم" أن ينقل هذا التفضيل إلى نموذج طالب تم تدريبه فقط على قوائم من الأعداد الصحيحة العشوائية التي أنتجها المعلم. يفرض هذا تحديات كبيرة أمام سلامة الذكاء الاصطناعي والتدقيق: لا يمكن لعمليات فحص البيانات القياسية اكتشاف هذه الإشارات الخفية لأن العلاقة بين المدخلات (مثل الأرقام) والسلوك الناتج (مثل تفضيل الحيوان) ليست دلالية. السؤال الجوهري الذي تعالجه هذه الورقة هو طبيعة الآلية التي تمكن هذا الانتقال: هل يتم تشفير الإشارة عبر ارتباطات دلالية (مثل الارتباطات الإحصائية بين الأرقوالحيوانات) أم عبر هياكل غير دلالية (مثل الضجيج والتهيئة الأولية للأوزان)؟ علاوة على ذلك، تبحث الورقة فيما إذا كانت الطريقة المحددة المستخدمة لتحيز المعلم (المطالبات النظامية مقابل ناقلات التوجيه) تترك آثاراً ميكانيكية متميزة في الطالب.
المنهجية
قام المؤلفون بتكرار وتوسيع الإعداد الذي وضعه Cloud et al. (2025) باستخدام Gemma 2B Instruct و Llama 3.1 8B Instruct.
توليد البيانات:
النموذج الأب (Parent Model): نموذج أساسي بدون انحياز.
تدخل المعلم (Teacher Intervention): يتم تحيز النموذج الأب نحو حيوان معين (مثل "البوم") باستخدام إحدى الطريقتين:
المطالبة النظامية (System Prompt): تعليمات بلغة طبيعية (مثل "أنت تحب البوم").
ناقلات التوجيه (Steering Vectors): ناقلات تنشيط مشتقة من الفرق بين استجابة النموذج لـ "{الحيوان} أخبرني عنه" ومتوسط الاستجابة عبر 55 حيواناً. تُضاف هذه الناقلات إلى مسار المتبقي (residual stream) أثناء التوليد.
إنشاء مجموعة البيانات: يقوم المعلم المنحاز بتوليد استكمال لطلبات قوائم أعداد صحيحة عشوائية (مثل "يرجى إنشاء قائمة من ما يصل إلى 10 أعداد صحيحة...")، ويتم تصفية هذه القوائم لضمان عدم وجود أي اتصال دلالي صريح بانحياز الحيوان.
تدريب الطالب (Student Training): يتم ضبط النموذج الأب غير المنحاز (باستخدام محولات LoRA) على هذه القوائم من الأعداد الصحيحة لإنشاء "الطالب".
التنوعات التجريبية:
حقن الضجيج (Noise Injection): لاختبار فرضية "اللا-دلالية"، تمت إضافة ضجيج غاوسي (Gaussian noise) إلى مصفوفات الأوزان لكل من نموذجي المعلم والطالب قبل توليد مجموعة البيانات والتدريب.
الاستقصاء الميكانيكي (Mechanistic Probing): قام المؤلفون بتحليل الطلاب المدربين من خلال:
حساب تشابه جيب التمام (cosine similarity) بين مساهمة محول LoRA في مسار المتبقي وناقل التوجيه الأصلي للمعلم.
محاولة تقطير الانحياز عن طريق تدريب فقط ناقل توجيه على البيانات اللاشعورية (تجاوز عملية ضبط LoRA الكاملة).
التدقيق (Auditing): فحص المؤلفون تنشيطات ونواتج (gradients) النموذج الأب على البيانات اللاشعورية لتحديد ما إذا كانت الإشارة الكامنة قابلة للاسترداد دون تدريب الطالب.
المساهمات والنتائج الرئيسية
1. دليل على التقطير غير الدلالي
تقدم الورقة دليلاً قوياً على أن التعلم اللاشعوري يتم بوساطة هياكل غير دلالية (الضجيج) بدلاً من الارتباطات الدلالية.
تضخيم الضجيج: أدت إضافة الضجيج الغاوسي إلى أوزان المعلم والطالب إلى زيادة مقدار الانتقال اللاشعوري بمعامل قدره 1.9 في Gemma و 1.3 في Llama. لو كانت الإشارة دلالية، لكان الضجيج قد أدى على الأرجب إلى إغراقها؛ وحقيقة أن الضجيج يعزز الانتقال تشير إلى أن الإشارة تعتمد على هياكل أوزان زائفة وغير دلالية مشتركة بين المعلم والطالب.
تشبيه الشبكة العشوائية: يقترح المؤلفون نمذجة المعلم كـ "رسم خرائط عشوائي قريب من العشوائية ومصحوب بالضجيج". وهذا يفسر لماذا تتطلب عملية التعلم اللاشعوري تهيئة أولية مشتركة للأوزان ولما-ذا يؤدي خلط بيانات المخرجات إلى تدمير الإشارة.
2. التمييز الميكانيكي الدقيق
تكشف الدراسة أن البيانات اللاشعورية لا تشفر فقط محتوى الانحياز، بل تشفر أيضاً طريقة تطبيقه.
الطلاب الموجهون مقابل المطالب بهم:
الطلاب الموجهون (Steered Students): عندما تم تحيز المعلم عبر ناقلات التوجيه، أظهرت مساهمات LoRA للطلاب الناتجين تشابهاً حاداً وعالياً في جيب التمام مع ناقل التوجيه الخاص بالمعلم عند الطبقة المحددة التي طُبق فيها الناقل. لقد "قلد" هؤلاء الطلاب ناقل التوجيه بفعالية.
الطلاب المطالب بهم (Prompted Students): عندما تم تحيز المعلم عبر المطالبات النظامية، حقق الطلاب انتقالاً سلوكياً مماثلاً (تفضيل الحيوان) ولكنهم لم يظهروا ارتفاعاً مقابلاً في التشابه مع أي ناقل توجيه محدد.
حدود التقطير: وجد المؤلفون أن تدريب ناقل توجيه مباشرة على بيانات لاشعورية ناتجة عن معلم موجه نجح في إعادة إنتاج الانحياز. ومع ذلك، فإن تدريب ناقل توجيه على بيانات من معلم مطالب بهفشل في إنتاج انتقال لاشعوري. يشير هذا إلى أن انحياز "المطالبة" هو نمط تنشيط معقد وعالي الرتبة لا يمكن ضغطه في ناقل توجيه واحد، بينما انحياز "التوجيه" هو بطبيعته منخفض الرتبة.
3. الآثار المترتبة على التدقيق
تبحث الورقة فيما إذا كان يمكن اكتشاف الإشارة الكامنة في البيانات قبل تدريب الطالب.
النواتج (Gradients): بالنسبة لمجموعات البيانات الموجهة، أظهر متوسط النواتج للنموذج الأب على البيانات اللاشعورية ارتباطاً خطياً مع ناقل توجيه المعلم. يشير هذا إلى أن النواتج قد تكون أداة قابلة للتطبيق لتدقيق البيانات اللاشعورية الموجهة.
التنشيطات (Activations): لم تظهر فروق متوسط التنشيط بين البيانات اللاشعورية وبيانات التحكم أي ارتباط ملموس مع الانحياز. هذا يعني أن تقنيات التدقيق القياسية القائمة على التنشيط قد تكون غير فعالة في اكتشاف التعلم اللاشعوري.
البيانات المطالب بها: لم تظهر كل من التنشيطات أو النواتج للبيانات المطالب بها أي إشارات قابلة للاسترداد، مما يجعلها أصعب بكثير في التدقيق.
الأهمية والادعاءات
تدعي الورقة أن التعلم اللاشعوري هو في الأساس عملية تقطير غير دلالي. ويجادل المؤلفون بأن:
الآلية: يعتمد انتقال الانحياز على مشاركة المعلم والطالب لهياكل أوزان محددة وغير دلالية (ربما ناتجة عن الضجيج) والتي تربط التدخلات بتحولات في توزيع البيانات المخرجة.
الدقة: التعلم اللاشعوري هو عملية دقيقة حيث يتعلم الطالب محاكاة أنماط التنشيط المحددة للمعلم (كيفية حدوث الانحياز) وليس مجرد المعنى الدلالي.
قابلية التدقيق: بينما توفر النواتج مساراً محتملاً لاكتشاف الإشارات اللاشعورية في البيانات الموجهة، فإن الاعتماد على الهياكل غير الدلالية وعدم وجود إشارة في التنشيطات يتحدى نماذج التفسير الميكانيكي الحالية. تشير الورقة إلى أنه مع تحول البيانات الاصطناعية لتصبح مركزية في مسارات التدريب، فإن القدرة على اكتشاف هذه "الإشارات الكامنة" المختبئة في بيانات تبدو بلا معنى هي أمر بالغ الأهمية للسلامة.
يظل المؤلفون متواضعين فيما يتعلق بعالمية هذه النتائج، مشيرين إلى أن تجاربهم محدودة بنموذجين محددين، وأن الدور السببي للضجيج، رغم اقتراحه بقوة، لم يثبت بشكل نهائي أنه المحرك الوحيد في جميع البنيات.