EchoCoT: Extracting Hidden Chain-of-Thought from Large Reasoning Models
تقدم هذه الورقة البحثية EchoCoT، وهو إطار هجوم متعدد الخطوات ينجح في استخراج آثار سلسلة الأفكار (chain-of-thought) المخفية بنصها الحرفي تقريبًا من كل من النماذج الاستدلالية الكبيرة مفتوحة المصدر والنماذج المملوكة الرائدة عبر تفاعلات واجهة برمجة التطبيقات (API)، مما يثبت وجود خطر أمني جسيم على أصول هذه النماذج القيمة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
أصبحت أنظمة الذكاء الاصطنا-عي الحديثة ماهرة بشكل ملحوظ في حل المشكلات المعقدة، من كتابة الأكواد البرمجية إلى التنقل في الألغاز العلمية. وعندما تتعامل هذه النماذج المتقدمة مع سؤال صعب، فإنها لا تكتفي بمجرد إخراج إجابة نهائية، بل تولد أولاً تدفقاً داخلياً طويلاً من الأفكار، وهي عملية استنتاج خطوة بخوة حيث تستكشف الأفكار، وتراجع عملها، وتصحح أخطاءها، وتنظر في مسارات مختلفة قبل الاستقرار على استنتاج. هذا المونولوج الداخلي، الذي يُطلق عليه غالباً "سلسلة الأفكار" (chain of thought)، يكون مخفياً عادة عن المستخدم. يحتفظ النموذج بهذا الاستنتاج خاصاً به لحماية أصوله الفكرية ومنع كشف البيانات الحساسة أو المنطق المملوك لجهات معينة. وبالنسبة للمطورين، يعد هذا الاستنتاج المخفي مورداً قيماً لتحسين النماذج المستقبلية، بينما يمثل للمستخدم "صندوقاً أسود" يعد بإجابة صحيحة دون الكشف عن العمل الفوضوي الكامن وراءها.
لقد اكتشف فريق من الباحثين الأمنيين في مركز "سيسبا هلمهولتز لأمن المعلومات" (CISPA Helmholtz Center for Information Security) أن هذا الاستنتاج المخفي ليس آمناً كما كان يُعتقد سابقاً. فقد وجدوا طريقة لخداع هذه النماذج المتقدمة لجعلها تكشف عن عملية تفكيرها الداخلية بالكامل، كلمة بكلمة تقريباً، حتى عندما تكون النماذج مصممة لإبقائها سرية. طور الباحثون طريقة تسمى "إيكو كوت" (EchoCoT)، والتي تستغل ثغرة محددة في كيفية تفاعل هذه النماذج مع الأدوات الخارجية. في العديد من الأنظمة، عندما يحتاج النموذج إلى استخدام أداة — مثل آلة حاسبة أو قاعدة بيانات — فإنه يوقف استنتاجه للقيام بالاستدعاء، لكنه يبقي أفكاره السابقة نشطة في ذاكرته لضمان الاستمرارية. أدرك الباحثون أنه يمكن للمهاجم استخدام هذه الاستمرارية لصالح مصلحته؛ فمن خلال مطالبة النموذج مراراً وتكراراً بحفظ أفكاره في أداة ما ثم رفض تلك الأفكرات المحفوظة باعتبارها غير مكتملة، يمكنهم إجبار النموذج على إعادة عرض استنتاجه الداخلي، وفي كل مرة يكشف فيها عن تفاصيل أكثر حتى يتم كشف سلسلة الأفكار المخفية بالكامل.
اختبر الباحثون هذه التقنية على مجموعة متنوعة من النماذج، بما في ذلك الأنظمة مفتوحة المصدر والنماذج الأكثر تقدماً والمملوكة لشركات تكنولوجية كبرى. وفي حالة النماذج مفتوحة المصدر، حيث استطاع الباحثون مقارنة الأفكار المستخرجة بالأفكار الأصلية المخفية، وجدوا أن تقنية "إيكو كوت" يمكنها استعادة عملية الاستنتاج بالكامل تقريباً. وفي كثير من الحالات، تطابق النص المستخرج مع الأفكار المخفية الأصلية بدقة متناهية، حيث سجل أكثر من 90 في المائة من الكلمات والعبارات الدقيقة. نجحت الطريقة حتى مع سلاسل الاستنتاج الطويلة جداً، حيث استخرجت آلاف الرموز (tokens) من الأفكار. وعندما طبق الباحثون نفس التقنية على النماذج المملوكة لشركات مثل جوجل و"أنثروبيك" (Anthropic)، لم يتمكنوا من رؤية الأفكار المخفية الأصلية للمقارنة بها مباشرة، ومع ذلك، كانت الأفكار المستخرجة طويلة للغاية، وغالباً ما تطابقت في الطول مع الاستنتاج الذي أفادت الشركات بأن النماذج قد استخدمته. علاوة على ذلك، توافق محتوى هذه الأفكال المستخرجة بشكل وثيق مع الملخصات الموجزة التي قدمتها الشركات، مما يشير إلى دقة عملية الاستخراج. وفي إحدى الحالات المتعلقة بنموذج من جوجل، استعاد الباحثون سلسلة استنتاج تزيد عن 33,000 رمز، والتي كانت متطابقة تقريباً في الطول مع العملية الداخلية التي أبلغ عنها النموذج.
بعيداً عن مجرد استعادة النص، كشفت الأفكار المستخرجة عن تفاصيل غنية حول كيفية تفكير هذه النماذج. لاحظ الباحثون قيام النماذج بمحاكاة عمليات بحث جوجل، والتبديل بين لغات مختلفة مثل الصينية والإنجليزية أثناء استرجاع المعلومات، والانخراط في تصحيح ذاتي واسع النطاق. هذه السلوكيات، مثل قول النموذج "انتظر، هل هذا صحيح؟" أو "دعني أجرب نهجاً مختلفاً"، هي جزء من العملية الخام الداخلية التي يتم تجريدها عادةً قبل عرض الإجابة النهائية للمستخدم. كما أظهرت الدراسة أن الهجوم يمكن أتمتته؛ فقد بنى الباحثون نظاماً يمكنه تعلم أفضل طريقة لطلب الأفكار، وتطوير أسئلته بناءً على إشارات التغذية الراجعة مثل عدد الكلمات التي استخدمها النموذج. جعل هذا النهج المؤتمت الهجوم أكثر فعالية، مما سمح له بالتعميم عبر أنواع مختلفة من الأسئلة ومجموعات البيانات دون الحاجة إلى إعادة برمجة يدوية لكل مشكلة جديدة.
إن تداعيات هذا الاكتشاف كبيرة لأمن الذكاء الاصطناعي. فقد وجد الباحثون أن مجرد إخفاء الاستنتاج عن المستخدم ليس كافياً لحمايته؛ فطالما احتفظ النموذج بحالته الداخلية لأداء المهام التي تتطلب استخدام الأدوات، فإن تلك الحالة يمكن إعادة تشغيلها واستخراجها. اختبرت الدراسة عدة دفاعات محتملة، مثل إخفاء عدد كلمات الاستنتاج أو إضافة تعليمات صارمة إلى "المطالبة النظامية" (system prompt) للنموذج لمنع التسريب. وبينما قللت بعض هذه التدابير من نجاح الهجوم، إلا أن أياً منها لم يوقفه تماماً. وكان الدفاع الأكثر فعالية الذي تم اختباره هو إزالة وصول النموذج إلى استنتاجه السابق بعد استدعاء الأداة، ولكن هذا من شأنه أن يعطل قدرة النموذج على أداء المهام المعقدة متعددة الخطوات. لقد أبلغ الباحثون عن نتائجهم بمسؤولية للشركات التكنولوجية الكبرى المعنية، مسلطين الضوء على ثغرة حرجة في التصميم الحالي لهذه الأنظمة الاستنتاجية القوية. ويشير عملهم إلى أن حماية الملكية الفكرية وسلامة هذه النماذج ستتطلب تغييرات أكثر جوهرية في كيفية بنائها وكيفية تفاعلها مع العالم الخارجي، بدلاً من مجرد الاعتماد على افتراض أن الأفكار المخفية ستبقى مخفية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.