Surprisal contributes little beyond contextual embeddings in high-gamma ECoG encoding
تُظهر هذه الدراسة أن المفاجأة اللفظية المستمدة من نموذج GPT-2 XL توفر قدرة تنبؤية إضافية ضئيلة لاستجابات الموجات عالية غاما في تخطيط كهربية الدماغ القشري (ECoG) بما يتجاوز التضمينات السياقية، مما يشير إلى أنها تعمل مجرد قراءة مضغوطة لنفس الحالة التنبؤية الكامنة التي تلتقطها التضمينات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي لبحث مسبق لم يخضع لمراجعة الأقران. وهو ليس نصيحة طبية. لا تتخذ أي قرارات تتعلق بصحتك بناءً على هذا المحتوى. اقرأ إخلاء المسؤولية الكامل
عندما نستمع إلى قصة أو نقرأ جملة، فإن أدمغتنا لا تكتفي بمجرد استقبال الأصوات أو الرموز بشكل سلبي؛ بل هي تقوم بنشاط بتخمين ما سيأتي بعد ذلك. هذا الفعل المستمر من التنبؤ هو جزء أساسي من كيفية فهم البشر للغة. لقد حاول العلماء منذ زمن طويل قياس لعبة التخمين هذه، مستخدمين غالبًا مفهومًا يسمى "المفاجأة" (surprisal). بعبارات بسيطة، المفاجأة هي رقم يخبرنا بمدى عدم توقع كلمة معينة، بالنظر إلى الكلمات التي سبقتها. إذا سمعت "القط جلس على الـ..."، فإن دماغك يتوقع "سجادة" أو "بساط". إذا كانت الكلمة التالية هي "سجادة"، فهي ليست مفاجئة. أما إذا كانت الكما التالية هي "موزة"، فهي مفاجئة للغاية. لسنوات، استخدم الباحثون هذا الرقم الوحيد لمحاولة تفسير سبب استجابة أجزاء معينة من الدماغ عندما نسمع كلمات غير متوقعة.
ومع ذلك، فقد أصبحت الأدوات التي يستخدمها العلماء لدراسة الدماغ أكثر قوة بكثير. فالبرامج الحاسوبية الحديثة، المعروفة باسم نماذج اللغة الكبيرة، يمكنها الآن معالجة جمل كاملة وإنشاء خرائط معقدة ومتعددة الأبعاد للمعنى لكل كلمة. هذه الخرائط، التي تسمى "التمثيلات السياقية المتجهة" (contextual embeddings)، لا تلتقط فقط تعريف الكلمة، بل تلتقط أيضًا دورها في الجملة المحددة، وعلاقتها بالكلمات السابقة، والفروق الدقيقة المحيطة بالسياق. والسؤال الكبير الذي ظل دون إجابة هو ما إذا كان رقم "المفاجأة" البسيط لا يزال مهمًا بمجرد امتلاكنا لهذه الخرائط الغنية والمفصلة. هل يهتم الدماغ بخطأ التنبؤ البسيط، أم أنه يستجيب للحالة الأكثر ثراءً وتعقيدًا من الفهم التي بناها نموذج الحاسوب بالفعل؟
يتناول دراسة حديثة أجراها تاكايوكي ساكوما من جامعة سوكا هذا السؤال مباشرة من خلال النظر داخل أدمغة الأشخاص الذين يستمعون إلى الكلام الطبيعي. استخدم الباحثون تقنية تسمى "تخطيط كهربية قشرة الدماغ" (ECoG)، والتي تتضمن وضع أقطاب كهربائية مباشرة على سطح الدماغ لتسجيل النشاط الكهربائي بدقة متناهية. لقد ركزوا على نوع محدد من الإشارات يسمى "نشاط غاما العالي" (high-gamma activity)، وهو إيقاع كهربائي سريع يعكس إطلاق مجموعات من الخلايا العصبية القريبة. ويُعتبر هذا النشاط على نطاق واسع علامة موثوقة على انخراط جزء معين من الدماغ في معالجة المعلومات. تضمنت الدراسة تسعة مشاركين استمعوا إلى سرد صوتي مدته ثلاثون دقيقة، يشبه "البودكاست"، بينما تم تسجيل نشاط أدمغتهم.
قام الباحثون ببناء نموذج حاسوبي للتنبؤ بإشارات الدماغ هذه بناءً على الكلمات التي سمعها المشاركون. أولاً، اختبروا نموذجًا يستخدم فقط الميزات الأساسية للكلام، مثل صوت الكلمات وبنيتها النحوية. ثم، أضافوا الخرائط المعقدة متعددة الأبعاد من نموذج لغة كبير يسمى GPT-2 XL. وكما هو متوقع، أدى إضافة هذه الخرائط الغنية إلى تحسين قدرة النموذج بشكل كبير على التنبؤ بما يفعله الدماغ. الخطوة الحاسمة جاءت بعد ذلك: أراد الباحثون إضافة رقم "المفاجأة" البسيط إلى النموذج الذي يحتوي بالفعل على الخرائط المعقدة. أرادوا معرفة ما إذا كان هذا الرقم الوحيد سيوفر أي معلومات جديدة فاتت الخرائط المعقدة.
كانت النتائج واضحة وهادئة بشكل مفاجئ. فإضافة رقم المفاجأة إلى النموذج لم تحدث أي فرق يُذكر في دقة التنبؤات. كان التحسن ضئيلاً جدًا لدرجة أنه لا يمكن تمييزه إحصائيًا عن الصفر. في الواقع، وجد الباحثون أن الخرائط المعقدة تحتوي بالفعل على كل المعلومات التي يمكن أن يقدمها رقم المفاجأة. الأمر كما لو أن الخريطة المعقدة عرفت بالفعل مدى مفاجأة الكلمة، وإضافة الرقم البسيط كان يشبه محاولة إضافة قطرة ماء إلى دلو ممتلئ. اختبرت الدراسة هذه النتيجة بطرق مختلفة، حيث تحققت من فترات تأخير زمنية مختلفة، ومناطق دماغية مختلفة، وأنواع مختلفة من الموجات الدماغية، وظلت النتيجة كما هي: بمجرد التنبؤ باستجابة الدماغ من خلال السياق الغني للجملة، فإن درجة المفاجأة البسيطة لا تضيف شيئًا جديدًا.
هذا لا يعني أن الدماغ يتجاهل المفاجأة. بل يشير إلى أن استجابة الدماغ للكلمة مدفوعة بالسياق الكامل والمعقد الذي تظهر فيه الكلمة، وليس بمجرد حساب بسيط لمدى عدم توقعها. رقم "المفاجأة" ليس خاطئًا؛ إنه فقط ملخص مضغوط لحالة أكبر بكثير من الفهم يتتبعها الدماغ بالفعل. كما تحقق البحث مما إذا كانت الطرق البسيطة الأخرى لقياس كيفية تغير فهم الدماغ من كلمة إلى أخرى — مثل مدى تغير المعنى أو مدى عدم اليقين في التنبؤ — ستحدث فرقًا. ولم تؤدِ أي من هذه الملخصات البسيطة إلى تحسين التنبؤات أيضًا.
لقد كان الباحثون حذرين لضمان أن أساليبهم حساسة بما يكفي لاكتشاف أي تأثير إذا وجد. فقد أجروا اختبارًا حيث قاموا بحقن إشارة اصطناعية مصممة على شكل "مفاجأة" في بيانات الدماغ. نجح النموذج في التقاط هذه الإشارة الاصطناعية، مما أثبت أن طريقتهم كانت قادرة على إيجاد تأثير للمفاجأة إذا كان موجودًا. وحقيقة أنهم لم يجدوا ذلك في بيانات الدماغ الحقيقية تشير إلى أن الدماغ لا يستخدم إشارة مفاجأة بسيطة ومعزولة بالطريقة التي كان يأملها الباحثون. بدلاً من ذلك، يبدو أن الدماغ يستجيب للتدفق الغني والمستمر للمعنى الذي تلتقطه نماذج اللغة المعقدة بشكل جيد.
تساعد هذه النتائج في صقل فهمنا لكيفية معالجة الدماغ للغة. فهي تشير إلى أن الدماغ لا يتفاعل فقط مع الفجوات في تنبؤاته، بل يحافظ على تمثيل تفصيلي عالي الأبعاد للسياق بأكمله. إن رقم "المفاجأة" البسيط، رغم كونه مفيدًا لتلخيص السلوك، قد يكون مضغوطًا للغاية لشرح النشاط الكهربائي المعقد للدماغ أثناء الكلام الطبيعي. وتخلص الدراسة إلى أنه بالنسبة لنوع نشاط الدماغ الذي تم قياسه هنا، فإن الخرائط السياقية الغنية هي المفتاح لفهم استجابة الدماغ، وأن درجة المفاجأة البسيطة هي أمر زائد عن الحاجة إلى حد كبير. وتدفع هذه الرؤية المجال نحو فهم أن استيعاب اللغة في الدماغ هو عملية شاملة، حيث يكون الكل أعظم بكثير من مجرد مجموع مفاجآته الفردية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.