Where the Answer Is Born: Causal Interventions on the Information Trajectory of a Quantized Hybrid Language Model
تستخدم هذه الورقة تجارب تدخل سببية على نموذج لغوي من نوع (Gated DeltaNet) هجين ومكمم لتوضيح أن الإجابات الصحيحة تنبثق من معلومات موزعة وفائضة في الطبقات النهائية بدلاً من الإشارات القابلة للفك المبكر، مع تسليط الضوء على الأدوار المتميزة لبوابات النسيان والانتباه العالمي في إدارة استقرار الحالة والاعتمادات طويلة المدى.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
داخل العقل الرقمي لنموذج لغوي حديث، لا تنتقل المعلومات في خط مستقيم من السؤال إلى الإجابة. بدلاً من ذلك، تتدفق عبر شبكة واسعة ومتعددة الطبقات من الاتصالات، وتتحول وتتغير عند كل خطوة. لسنوات، تمكن العلماء من رسم مسار هذه الرحلة، وتتبع أين تستقر البيانات وكيف يتغير شكلها أثناء انتقالها من المدخلات إلى المخرجات. لكن معرفة أين توجد المعلومة لا تعني معرفة ما الذي يسبب النتيجة النهائية بالفعل. فقد يحتوي أحد المكونات على دليل دون أن يقرر النتيجة أبداً، تماماً كما قد يرى راكب في سيارة الوجهة دون أن يقود المركبة. ولفهم كيف تعمل هذه العقول الاصطناعية حقاً، يجب على الباحثين القيام بما هو أكثر من مجرد المراقبة؛ يجب عليهم التدخل. يجب عليهم الدخول إلى النظام أثناء تشغيله، وتغيير جزء معين، ورؤية ما إذا كانت الإجابة ستتغير معه. هذا هو الفرق بين وصف المسار وإثبات من هو السائق.
تتخذ دراسة حديثة أجراها الباحث المستقل "وينلونغ لي" (Wenlong Li) نهج التدخل المباشر هذا تجاه نوع محدد من النماذج اللغوية يُعرف بالنموذج الهجين. تجمع هذه النماذج بين طريقتين مختلفتين لمعالجة المعلومات: إحداهما تتذكر الأشياء عبر مسافات طويلة، والأخرى تعالج المعلومات بطريقة انسيابية وخطوة بخط. ركز الباحث على نسخة "مكممة" (quantized) من مثل هذا النموذج، مما يعني أن الأرقام بداخله قد تم ضغطها لتصبح أصغر وأسرع، تماماً مثل تحويل صورة عالية الدقة إلى ملف أصغر حجماً دون فقدان الصورة الأساسية. كان الهدف هو اكتشاف أين يتم تحديد وتشكيل الإجابة الصحيحة لسؤال ما بالضبط، ضمن الطبقات الأربع والعشرين لهذه الشبكة المضغوطة.
للإجابة على هذا، لم يعتمد الباحث على التخمينات أو النظريات العامة، بل استخدم مجموعة دقيقة من الأدوات لاستكشاف النموذج وتحفيزه أثناء عمله. أخذ مجموعة من عشرة أسئلة محددة وشغل النموذج من خلالها، ولكن مع تغيير بسيط. في بعض عمليات التشغيل، استبدل الكلمات ذات المعنى في الأسئلة بكلمات عشوائية شائعة الاستخدام لا تحمل أي معنى حقيقي، مما أدى فعلياً إلى تعمية النموذج عن السؤال الفعلي. ثم قام بتشغيل النموذج مرة أخرى، ولكن هذه المرة، قام باستبدال المعلومات الصحيحة من عملية تشغيل نظيفة في نقاط محددة على طول الطريق. ومن خلال رؤية أين أدى استبدال المعلومات الصحيحة إلى استعادة الإجابة الصحيحة، استطاع تحديد اللحظة التي اتُخذ فيها القرار.
كشفت النتلائج عن بنية مفاجئة. تبين أن القسم الأوسط من النموذج، والذي يشكل الجزء الأكبر من طبقاته، يتسم بقدر كبير من التكرار (redundancy). فعندما حاول الباحث إزالة أو تعطيل أي كتلة واحدة في القسم الأوسط، ظل النموذج قادراً على إنتاج الإجابة الصحيحة بثقة عالية. كان الأمر كما لو أن عمل فهم السؤال قد تم توزيعه عبر أجزاء كثيرة جداً لدرجة أن فقدان قطعة واحدة لم يكن يهم. كانت المعلومة موزعة، وليست محتفظة بها بواسطة مكون متخصص واحد. يتحدى هذا الاكتشاف فكرة وجود "خلية دماغية" واحدة أو طبقة محددة مسؤولة عن الاحتفاظ بمفتاح الإجابة.
ومع ذلك، فإن اتخاذ القرار الحقيقي يحدث في النهاية تماماً. أظهرت التجارب أن الإجابة لا تُحمل في شكل واضح وقابل للفك طوال الشبكة، بل يتم تجميعها وإنهاؤها في الطبقات القليلة الأخيرة. عندما حاول الباحث إصلاح الإجابة عن طريق إدخال المعلومات الصحيحة في وقت مبكر من العملية، لم يكن لذلك أي تأثير تقريباً. ولكن عندما أدخل تلك المعلومة الصحيحة نفسها قبل طبقتين فقط من النهاية، قفزت قدرة النموذج على الإجابة من فرصة منخفضة ليكون على صواب إلى يقين عالٍ. يشير هذا إلى أن النموذج يقضي معظم وقته في معالجة المعلومات وتنقيتها، ولا يلتزم بإجابة نهائية إلا في اللحظة الأخيرة قبل أن يتحدث.
استمر هذا النمط حتى عندما اختبر الباحث نسخة أكبر من نفس النموذج، بواقع أربع وستين طبقة ومليارات المعلمات (parameters). في النموذج الأكبر، كان القرار النهائي موزعاً عبر الطبقتين أو الثلاث الأخيرة، لكن المبدأ ظل كما هو: الإجابة تولد عند خط النهاية، وليس محمولة طوال السباق. كما بحثت الدراسة في كيفية تعامل النموذج مع الذاكرة، ووجدت أن النموذج يستخدم آلية محددة لتقرير ما يحتفظ به وما ينساه، وهذه الآلية يجب أن تُضبط على إعداد دقيق للغاية. إذا أُجبر النموذج على نسيان كل شيء في كل خطوة، فإنه يفشل. وإذا أُجبر على تذكر كل شيء دون التخلي عن أي شيء، فإنه يفشل أيضاً. يعمل النموذج بشكل أفضل عندما يحتفظ بالمعلومات بشكل كامل تقريباً مع السماح بقدر ضئيل جداً من التلاشي في كل خطوة، وهو توازن دقيق يحافظ على استقرار الذاكرة.
علاوة على ذلك، أوضحت الأبحاث كيف يتعامل النموذج مع الاتصالات بعيدة المدى. فبينما تتعامل المعالجة خطوة بخطوة مع التدفق المباشر للكلمات، فإن القدرة على تذكر شيء من وقت مضى في النص تعتمد على جزء مختلف من الشبكة ينظر مباشرة إلى المعلومات السابقة. يضمن تقسيم العمل هذا أن يتمكن النموذج من التعامل مع السياق المباشر والتفاصيل البعيدة دون ارتباك. كما أظهرت الدراسة أن النموذج يتخلص بنشاط من الهوية السطحية للمدخلات في مرحلة مبكرة؛ حيث يتم تجريد الطريقة الأصلية التي صيغ بها السؤال، ويتم الحفاظ على المعنى الكامن واستخدامه لتشكيل الإجابة.
في النهاية، يوفر هذا العمل خريطة سببية واضحة لكيفية إنتاج نموذج لغوي هجين مكمم للإجابة. ليس هناك مكون واحد يحمل الحقيقة، ولا تُحمل الإجابة بوضوح من البداية إلى النهاية. بدلاً من ذلك، يستخدم النموذج قسماً أوسطياً موزعاً ومتكرراً لمعالجة المعلومات، مسترشداً بآلية ذاكرة دقيقة، لتجميع القرار النهائي في الطبقات الأخيرة تماماً. الإجابة لا توجد في الرحلة، بل في الوجهة. ينتقل هذا الفهم بالمجال إلى ما هو أبعد من مجرد مراقبة أين توجد المعلومة، إلى معرفة ما الذي يسبب النموذج للتحدث بالضبط، مما يوفر أساساً ملموساً لفهم هذه الأنظمة الرقمية المعقدة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.