Detecting Self-Repairs from Spontaneous Speech with Prompt Ablation Across LLMs and Fine-Tuned Encoder

يحمل الصوت البشري ما هو أكثر من مجرد الكلمات؛ إنه يحمل إيقاع الفكر. فعندما نتحدث، خاصة عندما نكون متعبين، أو مشتتين، أو نكافح لإيجاد الكلمة المناسبة، غالبًا ما تتعثر جملنا. قد نبدأ عبارة، ثم نتوقف، ثم نعيد البدء بواحدة أخرى. وفي مجال الصحة الإدراكية، تُعرف لحظات التردد والتصحيح هذه باسم "الإصلاحات الذاتية" (self-repairs). لعدة عقود، اشتبه الباحثون في أن وتيرة وطبيعة هذه الإصلاحات الذاتية يمكن أن تعمل كنافذة دقيقة على صحة الدماغ، مما قد يشير إلى المراحل المبكرة من التدهور الإدراكي قبل ظهور الأعراض الأكثر وضوحًا بفترة طويلة. وكان التحدي دائمًا هو أن هذه التصحيحات عابرة وتعتمد على السياق؛ فهي لا تُعرَّف بكلمات محددة، بل بكيفية تغيير المتحدث لرأيه في منتصف الجملة. إن تحديدها تلقائيًا في تسجيل صوتي أمر صعب لأن الكمبيوتر يجب أن يفهم تدفق المحادثة، وليس فقط المفردات.

لقد وضع فريق من الباحثين في جامعة بنسلفانيا نصب أعينهم حل هذه المشكلة من خلال تعليم الذكاء الاصطناعي رصد هذه الإصلاحات الذاتية في الكلام العفوي. وركزوا على نوع محدد من عينات الكلام حيث يصف الأفراد صورة "سرقة الكعكة" (Cookie Theft)، وهي مهمة قياسية تُستخدم لتقييم الذاكرة واللغة. كان الهدف هو تحديد ما إذا كانت نماذج اللغات الكبيرة الحديثة —وهي أنظمة حاسوبية قوية مدربة على كميات هائلة من النصوص— يمكنها تعلم اكتشاف هذه التصحيحات بدقة تضاهي الخبير البشري، وما إذا كانت النماذج الحاسوبية الأصغر والأقل تكلفة يمكنها القيام بنفس المهمة. قارن الباحثون بين نهجين مختلفين تمامًا: استخدام ذكاء اصطناعي ضخم يعتمد على السحابة ويتطلب قدرة حوسبة كبيرة، واستخدام نموذج أصغر وأكثر تخصصًا يمكن تشغيله محليًا على جهاز. كما اختبروا ما إذا كان تغيير الطريقة التي يطلبون بها من الذكاء الاصطناعي أداء المهمة، مثل إعطائه دورًا محددًا أو طلب شرح منطقه الخاص، سيؤدي إلى تحسين دقته.

كشفت الدراسة أن حجم نموذج الذكاء الاصطناعي كان مهمًا بشكل كبير، ولكن ليس بالطريقة التي قد يتوقعها المرء. فقد ثبت أن النموذج الأكبر، وهو نظام متطور يتم الوصول إليه عبر اتصال آمن بالإنترنت، كان الأكثر دقة في الكشف. لقد حدد الإصلاحات الذاتية في حوالي 73 بالمائة من حالات الاختبار، وهو مستوى أداء ظل ثابتًا بغض النظر عن كيفية صياغة الباحثين لتعليماتهم. وكان هذا النموذج الأعلى أداءً غير حساس إلى حد كبير لتفاصيل الأمر (prompt)، مما يعني أنه يمكنه العثور على التصحيحات بشكل موثوق سواء كانت التعليمات بسيطة أو معقدة. في المقابل، عانى نموذج أصغر مفتوح المصدر، وهو أقل تكلفة حوسبية بنحو مئة ضعف، معاناة كبيرة. فقد تمكن من اكتشاف الإصلاحات الذاتية في حوالي 47 بالمائة فقط من الحالات، وكان حساسًا للغاية للطريقة التي كُتبت بها التعليمات؛ إذ كان تغيير الأمر يمكن أن يغير معدل نجاحه بشكل جذري. ووجد الباحثون أن مجرد جعل التعليمات أكثر تفصيلًا أو طلب "التفكير" خطوة بخطوة من النموذج الأصغر قبل الإجابة لم يساعده في اللحاق بالنظام الأكبر. في الواقع، أدى طلب التفكير المنطقي للمشكلة من النموذج الأصغر أحيانًا إلى جعل النتائج أسوأ، حيث تسبب في تصنيف الكثير من التكرارات غير الإصلاحية كأنها تصحيحات.

ولعل النتيجة الأكثر إثارة للدهشة هي أن برنامجًا حاسوبيًا صغيرًا ومتخصصًا، يُعرف باسم "المشفّر المضبوط بدقة" (fine-tuned encoder)، يمكنه أداء المهمة بنفس جودة النموذج المفتوح المصدر الأكبر بكثير. هذا البرنامج الصغير، المصمم ليكون فعالاً ويمكن تشغيله على أجهزة قياسية، تم تدريبه على مجموعة بيانات محددة من تصحيحات الكلام. وعندما مُنح أمثلة كافية للتعلم منها، طابق أداء النموذج المفتوح المصدر الأكبر والأكثر تكلفة، رغم كونه أصغر منه بنحو مئة ضعف. ومع ذلك، من المهم ملاحظة أنه بينما طابق هذا النموذج الصغير النموذج المفتوح المصدر، إلا أن كليهما تفوق عليهما بشكل ملحوظ النظام السحابي رفيع المستوى. يشير هذا إلى أنه بالنسبة لهذه المهمة الطبية، فإن العائق ليس حجم "الدماغ الحاسوبي"، بل توافر أمثلة عالية الجودة وموسومة من تصحيحات الكلام. لاحظ الباحثون أن أداء النموذج الصغير تحسن بشكل ملحوظ عندما تم تدريبه أولاً على مجموعة بيانات عامة من الكلام الحواري قبل تخصيصه لهذه المهمة المحددة. وهذا يشير إلى أن القصور يكمن في ندرة البيانات الموسومة وليس في قدرة النموذج نفسه.

كما كشفت الدراسة عن خلل دقيق في كيفية تعامل هذه الأنظمة مع الجمل الطويلة. فكلما زاد طول الجملة المنطوقة، بدأت النماذج الأصغر في ارتكاب المزيد من الأخطاء، حيث كانت تحدد التكرارات أو الوقفات الطبيعية كإصلاحات ذاتية خاطئة. أما النموذج الأكبر فلم يعانِ من هذه المشكلة بنفس القدر، محافظًا على معدل خطأ ثابت بغض النظر عن طول الجملة. يسلط هذا الاكتشاف الضوء على أنه بينما تعد النماذج الأكثر قوة حاليًا هي الأكثر موثوقية، إلا أنها تأتي مع عيوب كبيرة للاستخدام السريري. فهي تتطلب إرسال بيانات المرضى إلى خوادم خارجية، مما يثير مخاوف بشأن الخصوصية، وتتطلب تكاليف مستمرة مقابل كل استخدام. وتوفر النماذج الأصغر القابلة للتشغيل محليًا مسارًا للمضي قدمًا نحو أدوات تحافظ على الخصوصية، لكنها تتطلب حاليًا المزيد من بيانات التدريب للوصول إلى نفس مستوى الموثوقية.

في نهاية المطاف، يشير البحث إلى مستقبل يمكن أن تكون فيه أدوات الفحص الإدراكي دقيقة وعملية في آن واحد. إن القدرة على اكتشاف الإصلاحات الذاتية تلقائيًا هي خطوة واعدة نحو إنشاء نظام شامل يحدد العلامات المبكرة للاعتلال الإدراكي. وبينما يتصدر أنظمة الذكاء الاصطناعي الأكثر قوة حاليًا من حيث الدقة، تشير الدراسة إلى أنه مع مزيد من البيانات والتدريب الأفضل، يمكن للنماذج الأصغر التي تعمل محليًا أن تضاهي أداءها في النهاية. وهذا سيسمح للأطباء باستخدام هذه الأدوات في بيئة مكتبية خاصة دون الاعتماد على خدمات سحابية خارجية، مما يجعل الكشف المبكر عن التدهور الإدراكي أكثر سهولة وأمانًا. ويؤكد هذا العمل أن الإصلاحات الذاتية هي إشارة قابلة للتطبيق لمراقبة صحة الدماغ، ويرسم مسارًا واضحًا لدمج هذا الاكتشاف في الرعاية السريرية الروتينية، شريطة تطوير موارد البيانات المناسبة لتدريب الجيل القادم من النماذج الفعالة والمحلية.