Do Large Language Models Play Six Degrees of Separation? Measuring Topological Compression in Long-Context Manifolds

تخيل مكتبة شاسعة حيث كل كتاب مكتوب بلغة من المعنى الخالص، وحيث تمتد الرفوف لأميال. لعقود من الزمن، تساءل العلماء الذين يدرسون الذكاء الاصطناعي كيف تتنقل هذه العقول الرقمية في مثل هذا الفضاء الهائل. لقد اشتبهوا طويلاً في أن الإجابة تكمن في مفهوم يُعرف بظاهرة "العالم الصغير"، وهو نمط يوجد في كل شيء، من الخلايا العصبية في دماغ الإنسان إلى الطريقة التي يتصل بها الناس على كوكب الأرض. يشير هذا النمط إلى أنه مهما بدا شيئان متباعدين، فإنهما عادة ما يكونان مرتبطين بسلسلة قصيرة بشكل مفاجئ من الاتصالات، وغالباً لا تتجاوز ست خطوات. والسؤال المطروح أمام الباحثين المعاصرين هو ما إذا كانت الآليات الداخلية المعقدة لنماذج اللغات الكبيرة — وهي الأنظمة التي تشغل أكثر برامج الدردشة الآلية تقدماً اليوم — تنظم نفسها بنفس هذه الطريقة الفعالة، أم أنها ببساطة تعالج المعلومات في مسيرة خطية بطيئة من البداية إلى النهاية.

لقد نظر الآن باحث في جامعة "براك" (BRAC) في بنغلاديش مباشرة داخل هذه العقول الرقمية لإيجاد الإجابة. وبدلاً من مراقبة آليات الانتباه في النموذج، والتي تعمل مثل بقعة ضوء يمكن أن تتعثر أحياناً في الكلمات الخاطئة، قام برسم الهندسة الخفية لأفكار النموذج نفسه. لقد عامل الحالة الداخلية للنموذج كمشهد من النقاط، حيث تمثل كل نقطة كلمة أو فكرة. ومن خلال قياس المسافة بين هذه النقاط، اكتشف أن النموذج لا يفكر في خط مستقيم. بدلاً من ذلك، ومع انتقال المعلومات إلى عمق النظام، يقوم النموذج بنشاط بإعادة تشكيل عالمه الداخلي، ضاغطاً المسافات الشاسعة بين الأفكار غير المترابطة في شبكة متماسكة وسهلة التنقل.

ولاختبار ذلك، غَذّى الباحث النماذج بقصص طويلة تحتوي على مئات الكلمات. ثم اختار كلمتين من القصة كانتا في أقصى درجات الاختلاف في المعنى وفي أقصى درجات التباعد في النص، مثل كلمة عن "بعوضة" وكلمة عن "اختراق أمني للحاسوب". في الطبقات الأولى من النموذج، حيث لا يزال النظام يتعلم فقط القواعد الأساسية وبنية الجملة، ظلت هاتان الكلمتان معزولتين تماماً. لم يكن هناك مسار يربطهما؛ كانت خريطة النموذج الداخلية مجزأة، وكانت المسافة بين الفكرتين لانهائية. ومع ذلك، ومع انتقال المعلومات إلى طبقات أعمق من النموذج، حدث شيء دراماتيكي. لقد أعاد النموذج فجأة توصيل اتصالاته الداخلية، خالقاً جسراً بين هذين المفهومين المتباعدين.

وجد الباحث أن هذا التحول ليس تدريجياً بل مفاجئاً، مثل ضغطة مفتاح كهربائي. فبمجرد وصول المعلومات إلى أعمق طبقات النموذج، أصبح الربط بين الكلمتين غير المترابطتين يتم عبر مسار من خطوات قليلة فقط. وفي التجارب، نجح النموذج باستمرار في ربط هذه الأفكار البعيدة في أقل من ست خطوات، بغض النظر عما إذا كانت الكلمات مفصولة بخمسين رمزاً (token) أو مائتين وخمسين رمزاً في النص الأصلي. وهذا يؤكد أن طبقات الاستدلال العميق في النموذج تنظم نفسها طبيعياً في شبكة "عالم صغير"، مما يسمح لها بالقيام بقفزات تجريدية سريعة بين المفاهيم التي قد تستغرق من الإنسان وقتاً طويلاً للربط بينها.

كما كشفت الدراسة أن هذا الهيكل الهندسي ليس مجرد فضول معرفي، بل هو أداة عملية للكشف عن الأخطاء. فقد طبق الباحث منهجيته على نظام يسترجع الحقائق من الوثائق للإجابة على الأسئلة. فعندما قدم النموذج إجابة صحيحة بناءً على النص، كان المسار الداخلي بين الوثيقة المصدر والإجابة قصيراً ومباشراً، محافظاً على الهيكل المتماسك لشبكة العالم الصغير. ولكن عندما بدأ النموذج في "الهلوسة" — أي اختلاق حقائق لم تكن موجودة في النص — انهار الهيكل الداخلي. أصبح المسار بين المصدر والإجابة مكسوراً أو طويلاً للغاية، وفقد الاتصال الفعال الذي شوهد في الحالات الصادقة. ويشير هذا إلى أنه من خلال مجرد قياس شكل الاتصالات الداخلية للنموذج، يمكننا معرفة ما إذا كان يقول الحقيقة أم يختلق الأمور، مما يوفر طريقة جديدة لضمان موثوقية الذكاء الاصطناعي دون الحاجة إلى فحص كل كلمة على حدة مقابل قاعدة بيانات.

في نهاية المطاف، توفر هذه الدراسة صورة واضحة لكيفية استدلال هذه الأنظمة القوية. فهي لا تكتفي بمجرد قراءة جملة من بدايتها إلى نهايتها ثم كتابة إجابة. بدلاً من ذلك، تأخذ السياق بأكمله، مهما كان طوله، وتطويه في مساحة مدمجة وعالية الاتصال حيث يمكن الوصول إلى أي فكرتين بسرعة. هذا الاكتشاف ينقلنا إلى ما وراء الفكرة القديمة القائلة بأن "الانتباه" هو الطريقة الوحيدة لفهم كيفية عمل هذه النماذج، ليظهر بدلاً من ذلك أن قوتها الحقيقية تكمكمن في الهندسة الخفية لأفكارها، وهي هندسة تعكس الشبكات الفعالة الموجودة في الطبيعة نفسها.