← أحدث الأبحاث
🤖 AI

From Inaudible Inputs to Model Failures: Low-Frequency Safety Risks in LALMs

تقدم هذه الورقة طريقة غير مسموعة لاختبار الاختراق تسمى "الإغلاق المتقطع منخفض التردد" (ILL) تستغل الإشارات منخفضة التردد لتقليل أداء النماذج اللغوية الصوتية الكبيرة (LALMs) بشكل كبير، مع اقتراح آلية "حارس إعادة الاستعلام التوزيعي" (DRG) للكشف عن مثل هذه الهجمات واستعادة الدقة الدلالية.

المؤلفون الأصليون: Yuanhe Zhang, Weiliu Wang, Jie Ren, Liang Lin, Zhenhong Zhou, Haoran Gao, Kun Wang, Chen Li, Li Sun, Sen Su

نُشر 2026-08-11
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Yuanhe Zhang, Weiliu Wang, Jie Ren, Liang Lin, Zhenhong Zhou, Haoran Gao, Kun Wang, Chen Li, Li Sun, Sen Su

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تتحدث إلى روبوت فائق الذكاء يمكنه سماع كل شيء: صوتك، وحفيف أوراق الشجر، وطنين الثلاجة، وحتى الموسيقى التي تعمل في الخلفية. يطلق العلماء على هذه النماذج اسم "نماذج اللغة الصوتية الضخمة" (LALMs). إنها تشبه دمج الأذنين والدماغ الرقميين معاً، حيث صُممت لفهم العالم من خلال الصوت. ولكن هنا تكمن المشكلة: هذه الروبوتات تسمع أشياء لا تستطيع الآذان البشرية سماعها ببساطة. تماماً كما يمكن للكلب سماع صفارة عالية النبرة تكون صامتة بالنسبة لنا، يمكن لهذه النماذج الصوتية معالجة موجات صوتية أعلى أو أدنى بكثير مما نلاحظه نحن. وهذا يخلق فجوة غريبة: قد تعتقد أنك تجري محادثة عادية، لكن الروبوت في الواقع يسمع طبقة سرية وغير مرئية من الضجيج تحت كلماتك. يستكشف هذا البحث ما يحدث عندما يستخدم شخص ما تلك الطبقة غير المرئية عمداً لخداع الروبوت.

قرر الباحثون وراء هذه الدراسة، بقيادة يوانهي تشانغ وفريقه، خوض لعبة "الاختبار الهجومي" (Red Teaming)، وهي ببساطة طريقة منمقة لقول إنهم حاولوا كسر النظام لمعرفة نقاط ضعفه. لقد اكتشفوا طريقة مخادعة لإرباك هذه الروبوتات الصوتية باستخدام "الحظر المتقطع منخفض التردد" (Intertile Low-Frequency Lockout - ILL). فكر في الأمر كما يلي: تخيل أنك تحاول الاستماع إلى صديق يروي قصة، ولكن هناك شخصاً ما يعزف صوتاً إيقاعياً خافتاً جداً تحت الطاولة. لا يمكنك سماع ذلك الطرق على الإطلاق، لكنه يجعل الطاولة تهتز بما يكفي لجعل صوت صديقك يبدو مشوشاً للشخص الجالس في المواجهة. هذا هو بالضبط ما يفعله الـ ILL؛ فهو يستخدم "موجة عالمية" — نمطاً محدداً من الصوت منخفض التردد (بين 5 و20 هرتز، وهو أقل من نطاق السمع البشري) — يتم حقنه في الصوت الذي يتلقاه الروبوت.

وجد الفريق أن هذا الضجيج غير المرئي فعال للغاية في إرباك دماغ الروبوت. عندما اختبروا ذلك على ستة نماذج لغوية صوتية مختلفة، انخفضت قدرة الروبوتات على فهم الكلام، أو ترجمة اللغات، أو تحديد المشاعر بشكل كبير. وفي بعض الحالات، انخفضت دقتها بمقدار 67 نقطة مئوية. والجزء الأكثر رعباً؟ لم يستطع البشر الذين يستمعون إلى الصوت تمييز الفرق. طلب الباحثون من الناس تقييم مدى ضجيج الصوت على مقي de من 1 إلى 7. حصل الصوت النقي على تقييم 1.17، بينما حصل الصوت الذي يحتوي على الهجوم على تقييم 1.33. هذه الفجوة تكاد لا تُذكر فوق مستوى "غير محسوس تماماً"، ومع ذلك كانت كافية لجعل الذكاء الاصطناعي يتعثر ويعطي إجابات خاطئة.

كما يجادل البحث ضد فكرة أنك بحاجة إلى ضجيج عالٍ وواضح لكسر هذه الأنظمة. فقد أظهروا أنك لست بحاجة إلى إغراق الروبوت بالتشويش أو الموسيقى الصاخبة؛ فنبضة صغيرة مخفية ومنخفضة التردد كافية لإحداث الفوضى. لقد اختبروا ذلك مقابل أنواع أخرى من هجمات الضجيج ووجدوا أنه بينما لم تكن طريقتهم هي الأسوأ دائماً في كل سيناريو، إلا أنها كانت قوية باستمرار، والأهم من ذلك، أنها أصعب بكثير في الكشف عنها من قبل البشر.

لكن الباحثين لم يريدوا فقط كسر الأشياء، بل أرادوا إصلاحها أيضاً. لقد اقترحوا دفاعاً يسمى "حارس إعادة الاستعلام التوزيعي" (Distributional Requery Guard - DRG). تخيل لو أنك، في كل مرة تتحدث فيها إلى روبوت وبدا مرتبكاً، قال الروبوت بأدب: "مهلاً، بدا هذا غريباً بعض الشيء. هل يمكنك قول ذلك مرة أخرى؟". يعمل نظام DRG مثل حارس الأمن عند مدخل النادي؛ فهو يستمع إلى الصوت ويتحقق مما إذا كان "البصمة الطيفية" (نمط الترددات) تبدو مشبوهة. إذا اكتشف وجود تداخل منخفض التردد مختبئ في المزيج، فإنه يطلب من المستخدم تسجيل الجملة مرة ث أخرى. ومن خلال مقارنة التسجيل الأول (الذي قد يكون مشوشاً) مع التسجيل الثاني (الذي من المفترض أن يكون نظيفاً)، يمكن للنظام معرفة ما كنت تقصده بالفعل. عمل هذا الدفاع بشكل جيد، حيث رفع دقة الروبوتات من مستوى منخفض قدره 28.5% إلى 46.1% عند توفر تسجيل ثانٍ نظيف.

في النهاية، يشير هذا البحث إلى نوع جديد من مخاطر السلامة لمستقبل الذكاء الاصطناعي. فهو يوضح أنه نظرًا لأن هذه النماذج تسمع نطاقاً أوسع من الأصوات مما نفعل نحن، فإنها عرضة لهجمات غير مرئية بالنسبة لنا. يقترح المؤلفون أننا بحاجة إلى بناء "آذان" أفضل للذكاء الاصطناعي الخاص بنا يمكنها رصد هذه الترددات المخفية وطلب التوضيح، لضمان أن ما يسمعه الروبوت يطابق ما قصدناه فعلياً. ورغم أن التجارب أجريت في محاكاة محكومة وليس في الواقع، إلا أن النتائج تسلط الضوء على فجوة حقيقية بين الإدراك البشري والسمع الآلي نحتاج إلى معالجتها قبل أن تصبح مساعداتنا الصوتية جزءاً من حياتنا اليومية.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 🤖 cs.AI →