Enforcing LLM Safety through DMD-based Classification of Prompt-Response Embedding Dynamics
تقترح هذه الورقة إطار عمل لتصنيف السلامة بنظام الصندوق الأسود للنماذج اللغوية الكبيرة، والذي يستفيد من الأنظمة الديناميكية القائمة على "كوبمان" لتحليل ديناميكيات تضمين التفاعل بين المطالبة والاستجابة، مبرهنةً على أن دمج معلومات المطالبة يحسن بشكل كبير من اكتشاف المخرجات الضارة المعتمدة على سياق التفاعل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعد النماذج اللغوية الكبيرة المحركات التي تقف وراء جيل جديد من الذكاء الاصطناي، وهي قادرة على كتابة القصص، وحل المشكلات، وإجراء محادثات تبدو بشرية بشكل لافت. ومع ذلك، يكم-ن تحت سطحها السلس ثغرة مستمرة: يمكن لهذه الأنظمة أحيانًا أن تولد محتوى ضارًا أو مضللاً أو خطيرًا، حتى عندما يتم تدريبها لتكون مفيدة. لا يعد هذا الخطر مجرد خلل نظري؛ بل هو عائق عملي أمام استخدام هذه الأدوات في المواقف عالية المخاطر مثل الرعاية الصحية، أو الاستشارات القانونية، أو خدمة العملاء. لسنوات، كانت الطريقة القياسية لاكتشاف هذه الأخطاء هي النظر داخل كود النموذج أو طلب توليد إجابات مختلفة عديدة ومقارنتها. ولكن في العالم الحقيقي، العديد من النماذج القوية هي "صناديق سوداء"، حيث تكون آليات عملها الداخلية مخفية، وطلب إجابات متعددة يكون بطيئًا جدًا أو مكلفًا. وهذا يترك فجوة حرجة: كيف نكتشف المخرجات الخطيرة بسرعة وموثوقية دون الحاجة إلى رؤية "دماغ" النموذج أو الانتظار حتى يفكر مرتين؟
اقترح فريق من الباحثين في جامعة تينيسي ومختبر أوك ريدج الوطني طريقة مختلفة للنظر في هذه المشكلة. فبدلاً من معاملة النموذج اللغوي كقاعدة بيانات ثابتة للحقائق أو كمولد نصوص بسيط، عاملوه كنظام ديناميكي، تمامًا كما قد يدرس الفيزيائي تدفق المياه أو حركة الكواكب. وفي هذه الرؤية، فإن كل كلمة يولدها النموذج ليست مجرد قطعة نصية مستقلة، بل هي خطوة في مسار مستمر ومتطور. افترض الباحثون أن المحادثات الآمنة وغير الآمنة تتبع أنماطًا مختلفة أثناء تطورها، تمامًا كما يتبع نبض القلب الصحي إيقاعًا مختلفًا عن النبض غير المنتظم. ومن خلال رسم مسار الكلمات في فضاء متعدد الأبعاد وتحليل شكل ذلك المسار، طوروا طريقة للتمييز بين التفاعلات الآمنة وغير الآمنة دون الحاجة أبدًا إلى فتح النموذج.
يتضمن جوهر نهجهم مراقبة كيفية انتقال النموذج من كلمة إلى أخرى. فعندما يطرح المستخدم سؤالاً، لا يقوم النموذج بمجرد لفظ الإجابة؛ بل يبني تلك الإجابة "توكن" تلو الآخر، أو جزءًا من الكلمة في كل مرة. قام الباحثون بتحويل هذه المتواليات من الكلمات إلى نقاط رياضية في فضاء شاسع متعدد الأبعاد. ثم استخدموا تقنية تسمى "تفكيك النمط الديناميكي" (dynamic mode decomposition) لتوفيق نموذج تنبؤي مع هذه النقاط. فكر في الأمر كأنك ترسم خطًا عبر سلسلة من النقاط لترى أين ستسقط النقطة التالية على الأرجح. لقد بنوا مجموعتين منفصلتين من هذه النماذج التنبؤية: إحداهما تم تدريبها على أمثلة للمحادثات الآمنة، والأخرى على أمثلة للمحادثات غير الآمنة. وعند حدوث محادثة جديدة، يقوم النظام بتمرير تسلسل الكلمات عبر كلا المجموعتين من النماذج. إذا اتبع التسلسل المسار الذي يتنبأ به النموذج الآمن، فمن المرجح أنه آمن. أما إذا انحرف بشدة عن المسار الآمن وتوافق أكثر مع المسار غير الآمن، فيقوم النظام بوضع علامة تحذير باعتباره خطيرًا.
ما يجعل هذه الدراسة مهمة للغاية هو أنها لا تنظر إلى الإجابة بمعزل عن غيرها. فقد أدرك الباحثون أن سلامة الاستجابة تعتمد تمامًا على السؤال الذي استدعاها. فجملة مثل "سأعطيك استردادًا للمبلغ" قد تكون آمنة تمامًا في سياق خدمة العملاء، ولكنها قد تكون هلوسة خطيرة إذا كان المستخدم يسأل عن طرد لم يتم شحنه أبدًا. ولتجسيد هذا الفارق الدقيق، صمم الفريق نظامهم لتتبع ديناميكيات كل من مطالب المستخدم واستجابة النموذج معًا. ووجدوا أنه من خلال مراقبة التفاعل بين الاثنين، بدلاً من مجرد المخرج النهائي، استطاع النظام رصد أشكال دقيقة من الخطر تغفل عنها الطرق الأخرى. وهذا ينطبق بشكل خاص على النماذج التي تولد النصوص بترتيب سببي محدد، حيث يكون الارتباط بين السؤال والإجابة متشابكًا بإحكام.
اختبر الفريق أسلوبهم على ثلاث مجموعات مختلفة من البيانات، تتراوح من معايير السلامة العامة إلى مجموعات بيانات مصممة لكشف النصائح الضارة والخطاب السام. واستخدموا ثلاثة أنواع مختلفة من نماذج التضمين (embedding models) —وهي أدوات تترجم الكلمات إلى تلك النقاط الرياضية— لمعرفة أي منها يعمل بشكل أفضل. وأظهرت النتائج أن طريقتهم كانت فعالة للغاية، لا سيما عندما أخذت المطالبة في الاعتبار جنبًا إلى جنب مع الاستجابة. وفي اختبار رئيسي شمل أكثر من 12,000 مثال، حقق النظام درجة (AUC) تزيد عن 0.8، حيث حدد المحتوى غير الآمن بشكل صحيح دون الحاجة إلى أي تدريب خاص على تلك البيانات المحددة. ويعد هذا أداءً قويًا لطريقة "الصندوق الأسود" التي لا تتطلب الوصول إلى الكود الداخلي للنموذج.
كشفت الدراسة أيضًا عن تفصيل مثير للاهتمام حول كيفية سلوك أنواع مختلفة من نماذج الذكاء الاصطناعي. وجد الباحثون أن الأداة الأفضل للمهمة تعتمد على طبيعة الخطر. فبالنسبة للتفاعلات التي يأتي فيها الخطر من العلاقة المحددة بين السؤال والإجابة، كان النموذج ذو البنية السببية (causal architecture) —الذي يقرأ ويكتب في تسلسل أمامي صارم— هو الأفضل أداءً. ومع ذلك، بالنسبة للأخطار التي تظهر بوضوح في محتوى الإجابة نفسها، بغض النظر عن السؤال، كان نوع آخر من النماذج الذي يركز على المعنى الدلالي الكثيف يعمل بشكل أفضل. وهذا يشير إلى أنه لا توجد طريقة واحدة "مثلى" لمراقبة سلامة الذكاء الاصطناعي؛ فالأداة المناسبة تعتمد على النوع المحدد للمخاطر التي يتم إدارتها.
ولعل الاكتشاف الأكثر إثارة للدهشة هو أن النظام استطاع أحيانًا اكتشاف الخطر بمجرد النظر إلى مطالب المستخدم، حتى قبل أن يولد النموذج كلمة واحدة من الاستجابة. ففي الاختبارات باستخدام مجموعة بيانات من المطالب البشرية، استطاع النظام التمييز بين الأسئلة الآمنة وغير الآمنة بناءً فقط على مسار الكلمات في السؤال نفسه. وهذا يعني أن الطريقة التي يصيغ بها البشر الطلبات الخطيرة تترك بصمة رياضية متميزة يمكن اكتشافها مبكرًا. ورغم أن النظام لم يكن مثاليًا وعانى قليلاً مع النصوص الطويلة جدًا، إلا أن النتائج تثبت أن النظر إلى توليد اللغة كعملية ديناميكية يوفر عدسة جديدة وقوية للسلامة.
يمثل هذا العمل تحولًا في كيفية التعامل مع حوكمة الذكاء الاصطناعي. فبدلاً من الاعتماد فقط على تدريب النماذج لتكون أفضل أو بناء فلاتر معقدة لحظر الكلمات السيئة، يعامل هذا النهج عملية التوليد نفسها كإشارة يجب مراقبتها. ومن خلال ملاءمة نماذج خطية بسيطة مع الرقصة غير الخطية المعقدة لتوليد الكلمات، أظهر الباحثون أنه من الممكن بناء شبكة أمان فعالة وناجعة في آن واحد. لا تتطلب هذه الطريقة التكلفة الحسابية الثقيلة لإعادة تدريب النماذج الضخمة أو مخاطر الخصوصية المرتبطة بالكشف عن البيانات الداخلية؛ فهي ببساطة تراقب تدفق المحادثة، وتبحث عن اللحظة التي ينحرف فيها المسار عن الأمان. ومع ازدياد دمج هذه الأدوات في الحياة اليومية، توفر هذه الأساليب طريقة واعدة لضمان بقاء المحادثة مفيدة وصادقة وغير ضارة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.