Divergent large language model predictions from convergent representations in ambiguous word pairs
تكشف هذه الدراسة أن نماذج المحولات القائمة على فك التشفيد فقط (decoder-only transformers) تحل الغموض المعجمي من خلال التباعد أولاً ثم إعادة التقارب جزئياً في تمثيلاتها الداخلية في الطبقات المتأخرة، مما يخلق انفصالاً حيث تستمر التمايزات الدلالية في دفع تنبؤات متميزة رغم أنها تصبح غير مرئية لمقاييس تشابه التضمين القياسية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول فهم كيف يتعلم عقل رقمي عملاق القراءة. هذا العقل يسمى "نموذج لغوي كبير" (LLM)، وهو التقنية التي تقف وراء روبوتات الدردشة والمساعدات الذكية التي نستخدمها كل يوم. لكي يستوعب هذه النماذج العالم، فهي لا تكتفي بحفظ الكلمات فحسب؛ بل تحول كل كلمة إلى "بصمة رياضية" تسمى التضمين (Embedding). فكر في هذه البصمة كإحداثيات في خريطة ضخمة متعددة الأبعاد. إذا كانت كلمتان تعنيان أشياء متشابهة، فمن المفترض أن تكون إحداثياتهما قريبة من بعضهما، مثل الجيران في مدينة واحدة. أما إذا كانتا تعنيان أشياء مختلفة، فيجب أن تكونا متباعدتين.
لسنوات، وثق العلماء في هذه الخريطة. كانوا يعتقدون أنه إذا نظرت إلى البصمة النهائية التي أنشأها النموذج لكلمة ما، يمكنك معرفة المعنى الذي يقصده النموذج بدقة. هذه الفكرة هي العمود الفقري للعديد من الأدوات التي نستخدمها اليوم، مثل محركات البحث التي تجد المستندات أو التطبيقات التي تجمع الأفكار المتشابهة معاً. لكن هناك مشكلة: اللغة مراوغة. فبعض الكلمات، مثل "bank"، قد تعني مكاناً لحفظ الأموال أو ضفة نهر. تُسمى هذه الكلمات الغامضة. والسؤال الكبير الذي طرحه الباحثون هو: هل تُظهر البصمة النهائية التي يصنعها النموذج الفرق بين هذين المعنيين، أم أن الخريطة تصبح ضبابية ومربكة تماماً عند النهاية؟
يغوص هذا البحث في هذا الغموض من خلال مراقبة ثلاثة نماذج مختلفة من الذكاء الاصطناعي — واحد صغير، وواحد متوسط، وواحد ضخم جداً — وهي تعالج الكلمات الغامضة طبقة تلو الأخرى. اكتشف الباحثون شيئاً مفاجئاً ومنافياً للمنطق. فبينما تعالج هذه النماذج كلمة مثل "bank"، فإن المسافة الرياضية بين معنى "النهر" ومعنى "المال" تزداد اتساعاً في منتصف الشبكة، لتتقلص وتعود للالتقاء مرة أخرى في الطبقات النهائية. يبدو الأمر كما لو أن الخريطة الداخلية للنموذج تفصل بين المعنيين مؤقتاً، ثم تقرر وضعهما في نفس الحي مجدداً قبل أن يتحدث.
ومع ذلك، إليك التحول المفاجئ: على الرغم من أن البصمات النهائية تبدو متشابهة جداً (وكأنها عادت إلى نفس الحي)، إلا أن توقعات النموذج مختلفة تماماً. فعندما يُطلب من النموذج تخمين الكلمة التالية، فإنه يعرف بالضبط أي نوع من الـ "bank" هو المقصود. تُظهر الدراسة أن الطبقة الأخيرة هي التي تحمل سر المعنى، لكنها تخفيه بطريقة لا تستطيع أدوات القياس القياسية (مثل فحوصات المسافة البسيطة) رؤيتها. النموذج ليس مرتبكاً؛ هو فقط يستخدم شفرة سرية في طبقته الأخيرة تبدو كتشابه ولكنها تعمل كاختلاف. وهذا يشير إلى أن الاعتماد فقط على "البصمة" النهائية لفهم ما يفكر فيه الذكاء الاصطناعي قد يكون مضللاً، لأن التمايزات الأكثر أهمية تحدث بطريقة تجعلها تبدو وكأنها اختفت، رغم أنها لا تزال تقود سلوك النموذج.
قصة الخريطة المتحولة
لفهم كيفية عمل هذا، تخيل نموذج الذكاء الاصطناعي كفريق من 64 محققاً (بالنسبة لأكبر نموذج، Qwen2.5) يمررون ملاحظة سرية عبر خط طويل. كل محقق يمثل "طبقة" من طبقات النموذج. عندما تقول الملاحظة "bank"، يكون المحققون الأول في الطبقات الأولى ينظرون فقط إلى شكل الكلمة. هم لا يعرفون بعد ما إذا كانت تعني نهراً أم مصرفاً، لذا تبدو ملاحظاتهم متطابقة تقريباً.
بينما تنتقل الملاحظة إلى المحققين في المنتصف، يحدث شيء سحري. يبدأ هؤلاء المحققون في الانتباه للسياق — الكلمات التي تسبق وتلحق بكلمة "bank". يرى أحد المحققين كلمة "نهر" قريبة فيضع علامة نقطة حمراء كبيرة على الملاحظة. ويرى آخر كلمة "مال" فيضع نجمة زرقاء. في هذه المرحلة المتوسطة، تكون الملاحظات للمعنيين مختلفين تماماً كالليل والنهار. إذا قمت بقياس المسافة بينهما هنا، ستجدهما متباعدين جداً.
لكن بعد ذلك، تصل الملاحظة إلى المحققين النهائيين. وهنا تزداد الحبكة تعقيداً. يأخذ هؤلاء المحققون النهائيون تلك النقاط الحمراء والنجوم الزرقاء المتميزة ويطوونها مجدداً في ملاحظة تبدو متشابهة جداً. إذا قمت بقياس المسافة بين الملاحظات النهائية لـ "ضفة النهر" و"مصرف المال"، فستبدو متطابقة تقريباً مرة أخرى. وكأن المحققين قرروا: "لنُظهر تقريرنا النهائي بشكل متشابه حتى لا نربك المدير".
ومع ذلك، فإن المدير (مخرجات النموذج) ليس مخدوعاً. على الرغم من أن الملاحظات النهائية تبدو متشابهة، إلا أن المحققين قد شفروا الاختلاف سراً بطريقة تغير الإجابة النهائية. فعندما يتوقع النموذج الكلمة التالية، فإنه لا يقول "نهر" في سياق المال، رغم أن الملاحظة النهائية تبدو وكأنها تنتمي للنهر.
لقد أثبت الباحثون ذلك من خلال لعبة "التبديل". لقد أخذوا الملاحظة النهائية من سياق "النهر" واستبدلوها في سياق "المال". وعندما فعلوا ذلك، غير النموذج رأيه تماماً وبدأ يتوقع كلمات متعلقة بالنهر. أثبت هذا أن الطبقة الأخيرة تحمل بالفعل الاختلاف، حتى لو بدا أن المعنيين قد اندمجا مجدداً. الاختلاف لا يزال موجوداً، لكنه مخفي في التعليمات الخاصة بالخطوة التالية، وليس في شكل الملاحظة نفسها.
لماذا الخريطة مضللة
هذا الاكتشاف يشبه خدعة الساحر. إذا نظرت فقط إلى يدي الساحر في نهاية الخدعة، فستبدو فارغتين ومتطابقتين. لكن إذا شاهدت العرض بأكمله، فسترى أن الساحر كان يتلاعب بكرتين مختلفتين طوال الوقت. وجد الباحثون أنه بالنسبة للكلمات الغامضة، فإن عملية "التلاعب" تحدث في الطبقات الوسطى، حيث تكون المعاني مفصولة بوضوح. ولكن بحلول وقت انتهاء الخدعة، يتم إخفاء الكرات مرة أخرى، وتبدو الأيدي متشابهة.
اختبرت الورقة البحثية ذلك على ثلاثة نماذج مختلفة: نموذج صغير يسمى GPT-2 (117 مليون معلمة)، ونموذج متوسط يسمى Llama-3.2 (3 مليارات معلمة)، ونموذج ضخم يسمى Qwen2.5 (32 مليار معلمة). وبالرغم من اختلاف أحجامها وبنياتها، إلا أنها جميعاً فعلت الشيء نفسه: فصلت المعاني في المنتصف، ثم أعادتها معاً في النهاية، بينما ظلت تعرف تماماً أي معنى يجب استخدامه.
كما تحقق الباحثون مما إذا كان هذا مجرد مصادفة ناتجة عن موقع الكلمات في الجملة. قاموا بتبديل ترتيب الكلمات في الجمل (مثل تغيير "القط طارد الفأر" إلى "الفأر طارد القط") ووجدوا أن سلوك النموذج لا يزال مدفوعاً بالمعنى، وليس فقط بترتيب الكلمات. أكد هذا أن النموذج كان يفهم حقاً الغموض.
ماذا يعني هذا للمستقبل
الخلاصة الكبرى هي أننا ربما كنا ننظر إلى الجزء الخطأ من الخريطة. لفترة طويلة، افترض الناس أنه إذا بدا شيئان متشابهين في الطبقة النهائية للذكاء الاصطناعي، فهما يعنيان الشيء نفسه. تشير هذه الورقة إلى أن هذا ليس صحيحاً دائماً. قد تبدو الطبقة الأخيرة كغرفة مزدحمة حيث يقف الجميع بالقرب من بعضهم البعض، ولكن إذا استمعت إلى ما يقولونه (توقعاتهم)، فستدرك أنهم في الواقع يتجادلون حول مواضيع مختلفة تماماً.
هذا لا يعني أن الذكاء الاصطناعي معطل، بل يعني فقط أن الطريقة التي يخزن بها المعلومات أكثر تعقيداً من مجرد مخطط مسافة بسيط. يقترح الباحثون أنه إذا أردنا بناء أدوات أفضل للبحث أو تنظيم المعلومات، فقد نحتاج إلى النظر في الطبقات الوسطى حيث تكون المعاني مفصولة بوضوح، أو نحتاج إلى الاستماع إلى ما يتوقعه النموذج بدلاً من مجرد قياس مدى قرب بصماته.
لم تجد الدراسة حلاً سحرياً أو طريقة جديدة لبناء النماذج، لكنها حلت لغزاً حول كيفية تفكير هذه النماذج. لقد أظهرت أن "سحر" إزالة الغموض لا يضيع في الطبقة الأخيرة؛ بل هو فقط مخفي في وضح النهار، ينتظر منا أن نجد القرائن الصحيحة. الباحثون واثقون من هذه النتائج لأنهم استخدموا نماذج متعددة وأنواعاً مختلفة من الكلمات الغامضة، وظل النمط ثابتاً في كل مرة. إنه تذكير بأنه في عالم الذكاء الاصطناعي، ليست الأشياء دائماً كما تبدو، وأحياناً تكون الاختلافات الأكثر أهمية هي تلك التي لا يمكنك رؤيتها بالمسطرة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.