Representational Curvature Modulates Behavioral Uncertainty in Large Language Models
تُظهر هذه الورقة أن الانحناء الهندسي لمسار التمثيل الخاص بالنموذج —أي مدى "انحنائه" أثناء المعالجة— يرتبط ارتباطاً مباشراً ويمكن استخدامه لتعديل عدم اليقين التنبؤي (الاعتلاج) للنماذج اللغوية الكبيرة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تشاهد متزلجًا محترفًا على الجليد يؤدي عرضًا فنيًا.
عندما يتحرك المتزلج في خط مستقيم، سلس، ومتوقع عبر الجليد، يمكنك بسهولة تخمين مكانه بعد ثلاث ثوانٍ. أنت لا تشعر بالمفاجأة؛ بل تشعر بـ "اليقين". ولكن إذا بدأ المتزلج فجأة في أداء دورات حادة، متعرجة، وزجزاجية، فلن تعود قادرًا على التنبؤ بحركته التالية. ستشعر حينها بحالة من "عدم اليقين".
تشير هذه الورقة البحثية، التي كتبها باحثون في معهد ماساتشوستس للتكنولوجيا (MIT)، إلى أن النماذج اللغوية الكبيرة (مثل ChatGPT) تعمل بطريقة مشابهة جدًا.
الفكرة الجوهرية: "المسار السلس" مقابل "المسار المتعرج"
عندما يقرأ الذكاء الاصطناعي جملة ما، فهو لا يرى الكلمات فحسب؛ بل يحول تلك الكلمات إلى "مسار" رياضي (يسمى مسارًا أو trajectory) عبر فضاء عالي الأبعاد.
اكتشف الباحثون وجود رابط مباشر بين شكل هذا المسار الرياضي ومدى ثقة الذكاء الاصطناعي في الكلمة التالية:
- المسار المستقيم (انحناء منخفض = ثقة عالية): عندما يعالج الذكاء الاصطناعي جملة يمكن التنبؤ بها (مثل "القط جلس على الـ...")، يكون مساره الرياضي الداخلي مستقيمًا نسبيًا. ولأن المسار سلس، يستطيع الذكال الاصطناعي بسهولة "استقراء" (التنبؤ) بالاتجاه الذي سيسلكه المسار. يؤدي هذا إلى إنتروبيا منخفضة، مما يعني أن الذكاء الاصطناعي متأكد جدًا من أن الكلمة التالية هي "سجادة".
- المسار المنحني (انحناء عالٍ = ثقة منخفضة): عندما تصبح الجملة معقدة، أو مفاجئة، أو غامضة، يبدأ مسار الذكاء الاصطناعي الداخلي في الانحناء والالتواء بشكل حاد. هذه المنعطفات الحادة هي ما يسميها الباحثون "الانحناء" (curvature). عندما ينحني المسار، لا يستطيع الذكاء الاصطناعي تخمين الاتجاه التالي بسهولة، مما يؤدي إلى إنتروبيا عالية—أي يصبح الذكاء الاصطناعي "غير متيقن" وقد يواجه صعوبة في الاختيار بين عدة كلمات مختلفة.
كيف أثبتوا ذلك (اختبار "عجلة القيادة")
للتأكد من أن هذا لم يكن مجرد مصادفة، أجرى الباحثون تجربة "اضطراب" (perturbation). فكر في هذا الأمر كمدرب قيادة يقوم بدفع عجلة قيادة السيارة برفق:
- الدفعة المستهدفة: إذا قاموا بدفع "توجيه" الذكاء الاصطناعي خصيصًا على طول مساره الحالي لجعله ينحني بشكل أكثر حدة، أصبح الذكاء الاصطناعي فورًا أكثر ارتباكًا (ارتفع عدم اليقين).
- الدفعة العشوائية: إذا قاموا بدفع الذكاء الاصطناعي في اتجاه عشوائي وغير ذي صلة تمامًا، لم تتغير ثقة الذكاء الاصطناعي على الإطلاق.
أثبت هذا أن هندسة المسار ليست مجرد أثر جانبي؛ بل هي في الواقع "المحرك" الذي يقود كيفية اتخاذ الذكاء الاصطناğı للقرارات.
هل يمكننا "تدريب" الذكاء الاصطناعي ليكون أكثر سلاسة؟
أخيرًا، حاول الباحثون معرفة ما إذا كان بإمكانهم تعليم الذكاء الاصطناعي ليكون "متزلجًا أكثر سلاسة". فقد أضافوا قاعدة جديدة إلى عملية تدريب الذكاء الاصطناعي: "حاول أن تبقي مساراتك الرياضية مستقيمة قدر الإمكان."
وجدوا أن هذا قد نجح! فالنماذج "غير المتشابكة" (تلك التي تم تدريبها لتكون سلسة) كانت أكثر ثقة ولديها عدم يقين أقل، والأهم من ذلك، لم تصبح أقل ذكاءً. لقد تمكنت من الحفاظ على دقتها العالية مع أن تصبح أكثر "حسمًا" في منطقها الداخلي.
لماذا يهم هذا؟
في الوقت الحالي، نحن نعلم أن النماذج اللغوية الكبيرة ذكية للغاية، لكننا لا نعرف دائمًا لماذا تكون متيقنة من بعض الأشياء وتهلوس (تختلق أشياءً) بشأن أشياء أخرى.
تشير هذه الأبحاث إلى أن عدم اليقين مكتوب في صلب شكل أفكار الذكاء الاصطناعي. ومن خلال فهم "المنحنيات" في عقل الذكنا الاصطناعي، قد نتمكن في النهاية من بناء نماذج أكثر موثوقية، وأكثر قابلية للتنبؤ، وأفضل في معرفة متى تكون مرتبكة بالفعل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.