Lexical Perturbations Disrupt LLM Reasoning: An Empirical Study of Attention Diversion
تُظهر هذه الورقة أن الاضطرابات المعجمية تضعف بشدة قدرة النماذج اللغوية الكبيرة على الاستنتاج من خلال تفتيت عملية التقطيع (tokenization) وتحويل الانتباه في طبقات المحولات (transformer layers)، وهو تأثير مزدوج يجعل استراتيجيات الإصلاح أثناء الاستنتاج غير فعالة لأنها تفشل في استعادة كل من المحتوى الفاسد وتخصيص الانتباه في آن واحد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد النماذج اللغوية الكبيرة هي المحركات التي تقف وراء جيل جديد من الذكاء الاصطناعي، وهي قادرة على قراءة التعليمات المعقدة، وحل المسائل الرياضية، وإجراء محادثات تبدو بشرية بشكل لافت. تعمل هذه الأنظمة عن طريق تقسيم النص إلى قطع صغيرة تسمى "الرموز" (tokens)، والتي تعمل ككتل بناء للنموذج لفهم المعنى. عندما يقرأ الإنسان جملة تحتوي على خطأ مطبعي، فإن الدماغ يتجاوز الخطأ بسلاسة ويدرك الرسالة المقصودة. لسنوات طويلة، افترض الباحثون أن هذه النماذج الحاسوبية القوية تشاركها نفس القدرة على المرونة، معتقدين أن الأخطاء الإملائية البسيطة أو الصياغة الركيكة لن تعيق قدرتها على التفكير بشكل كبير. وقد ظل السؤال حول مدى هشاشة هذه الأنظمة حقاً عند مواجهة أخطاء واقعية ويومية دون إجابة، مما ترك فجوة بين أدائها المثير للإعجاب على البيانات النظيفة وموثوقيتها في العالم الواقعي الفوضوي.
سعت دراسة حديثة لسد هذه الفجوة من خلال اختبار كيفية تعامل أربعة نماذج لغوية كبيرة مختلفة مع ثلاثة أنواع محددة من فساد النصوص. أخذ الباحثون مهام استدلال قياسية، مثل الإجابة على أسئلة حول العلوم الفيزيائية أو حل مسائل رياضية متعددة الخطوات، وأدخلوا عليها أخطاءً واقعية. لقد قاموا بمحاكاة أخطاء الكتابة السريعة حيث يتم الضغط على مفتاح مجاور للمفتاح المقصود، وتبديل الحروف المتجاورة داخل الكلمة، وإضافة حشوات كلامية مثل "امم" أو "تعرف" لإطالة الجمل. كان الهدف هو معرفة ما إذا كانت النماذج لا تزال قادرة على إيجاد الإجابة الصحيحة عندما يبدو النص "مكسوراً" قليلاً، وفهم السبب الدقيق وراء فشلها المحتمل.
كشفت النتائج عن انقسام حاد ومفاجئ في كيفية تفاعل النماذج. فعندما أضاف الباحثون حشوات كلامية، أدت النماذج أداءً مماثلاً تقريباً لما قامت به على النصوص السليمة، رغم أن الجمل أصبحت أطول. ومع ذلك، عندما أدخلوا أخطاءً على مستوى الحروف مثل الأخطاء المطبعية أو تبديل الحروف، انخفضت دقة النماذج بشكل حاد. وكان هذا الانخفاض أكثر شدة في المهام التي تتطلب استدلالاً رياضياً متعدد الخطوات، حيث يمكن لخطأ مطبعي واحد أن يتسبب في فقدان النموذج لمساره تماماً. وأظهرت الدراسة أن الفشل لم يكن ناتجاً عن الطول الإضافي للنص، بل عن الطريقة المحددة التي يجزئ بها الحاسوب الكلمات إلى قطع. فعندما تكون الكلمة خاطئة إملائياً، لا يستطيع القاموس الداخلي للحاسوب التعرف عليها كوحدة واحدة، وبدلاً من ذلك، يقوم بتقسيمها إلى شظايا غريبة وغير مألوفة.
تتبع الباحثون سبب هذا الفشل في ظاهرة يسمونها "تشتت الانتباه" (attention diversion). في النموذج الذي يعمل بشكل سليم، يركز النظام طاقته الحسابية على الأجزاء الأكثر أهمية في الجملة، مثل الأرقام في مسألة رياضية أو الحقائق الرئيسية في قصة. ولكن عندما تُجزأ الكلمة إلى قطع غريبة، تعمل هذه الشظايا مثل المغناطيس، حيث تسحب تركيز النموذج بعيداً عن الأدلة المهمة وتوجهه نحو الأجزاء المكسورة من النص. ينتهي الأمر بالنموذج وهو يحدق في الخطأ المطبعي بدلاً من الحل. وهذا التشتت يكون أكثر ضرراً في المراحل الوسطى والنهائية من معالجة النموذج، حيث يحاول دمج المعلومات لتكوين إجابة. وقد أكدت الدراسة أن تجزئة الكلمة، وليس طول الجملة، هو ما يدفع هذا الفقدان في التركيز.
لفهم سبب صعوبة إصلاح هذا الأمر، أجرى الباحثون سلسلة من التجارب حيث حاولوا إصلاح المشكلة بشكل منعزل. حاولوا استعادة تركيز النموذج على الأجزاء الصحيحة من الجملة مع ترك الأخطاء المطبعية كما هي، وحاولوا إصلاح الأخطاء المطبعية مع ترك تركيز النموذج مشتتاً. ولم ينجح أي من النهجين بمفرده. في الواقع، أدى إصلاح التركيز بينما ظل النص مكسوراً إلى جعل أداء النموذج أسوأ، لأنه أصبح الآن يحدق بتركيز في المعلومات الخاطئة. ووجدت الدراسة أن الضرر اللاحق بالنص وتشتت النموذج مرتبطان بعمق؛ إذ لا يمكن فصلهما. فالنموذج يعتمد على الشكل المحدد للكلمات لفهم المدخلات، وعندما ينكسر هذا الشكل، ينجذب انتباه النموذج معه.
يفسر هذا الارتباط سبب فشل الاستراتيجيات الشائعة لتحسين الأداء، مثل مطالبة النموذج بالتفكير خطوة بختوة أو استخدام مصحح إملائي قبل المهمة الأساسية. هذه الأساليب تحاول عادةً إصلاح جانب واحد فقط من المشكلة، إما النص أو التركيز، بينما يظل الجانب الآخر مكسوراً. واكتشف الباحثون أيضاً أن شدة الفشل تعتمد على نوع المعلومات التي تعرضت للفساد. فإذا أصاب الخطأ المطبعي رقماً في مسألة رياضية، فمن المؤكد تقريباً أن يفشل النموذج، لأن هذا الرقم لا يمكن تخمينه من السياق المحيط. أما إذا أصاب الخطأ كلمة شائعة، فقد يتمكن النموذج من التعافي. وهذا يشير إلى أن الأخطاء الأكثر خطورة هي تلك التي تدمر قطعاً فريدة ولا يمكن تعويضها من المعلومات.
في الختام، تخلص الدراسة إلى أن ضعف هذه النماذج يكمن في كيفية تمثيلها للنص في بداية معالجتها. فبمجرد أن تُجزأ الكلمة إلى شظايا غير مألوفة، يصبح الضرر غير قابل للإصلاح فعلياً دون الوصول إلى النص الأصلي الصحيح. ووجد الباحثون أنه حتى نموذج الإصلاح القوي لا يمكنه إصلاح الأخطاء بشكل موثوق لأن النص الفاسد غالباً ما يفتقر إلى أي أدلة حول الكلمة الأصلية المفترضة. وهذا يعني أن بناء ذكاء اصطناعي قوي حقاً يتطلب حماية النص قبل دخوله إلى النموذج، بدلاً من محاولة إصلاحه بعد ذلك. وتشير النتائج إلى أن التحسينات المستقبلية يجب أن تركز على جعل الفهم الأولي للنص لدى النظام أكثر مرونة، بحيث يمكنه التعرف على المعنى حتى عندما يكون الشكل السطحي تالفاً قليلاً، بدلاً من الاعتماد على الإملاء المثالي للعمل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.