SAE-RNA: A Sparse Autoencoder Model for Interpreting RNA Language Model Representations

ملخص تقني: SAE-RNA

المشكلة والدوافع
بينما ساهمت نماذج اللغات الكبيرة (LLMs) مثل RiNALMo في تطوير نمذجة الحمض النووي الريبوزي (RNA) من خلال التقاط خصائص متنوعة في تمثيلاتها (embeddings)، إلا أن التنظيم الداخلي لهذه التمثيلات لا يزال غامضاً إلى حد كبير. تفشل طرق التفسير الحالية، مثل SHAP وIntegrated Gradients، في توض_يح مساهمة النيوكليوتيدات المدخلة في مخرجات النموذج فحسب، بل تفشل أيضاً في الكشف عن المفاهيم الدلالية المشفرة داخل الحالات الخفية للنموذج. ويفترض المؤلفون أن فهم هذه التمثيلات الخفية أمر بالغ الأهمية لمواءمة سلوك النموذج مع البيولوجيا المعروفة، ومن المحتمل الكشف عن أنماط جديدة. واستلهاماً من نجاح المشفّرات التلقائية المتناثرة (Sparse Autoencoders - SAEs) في نمذجة اللغات الطبيعية والبروتينات (مثل Neuronpedia من Anthropic وInterPLM)، يبحث هذا العمل فيما إذا كان بإمكان SAEs تفكيك تمثيلات نموذج لغة RNA إلى ميزات متناثرة وقابلة للتفسير تتوافق مع البنى والعائلات البيولوجية.

المنهجية: SAE-RNA
يعمل إطار العمل المقترح، SAE-RNA، عبر ثلاث مراحل رئيسية:

1. استخراج التضمين (Embedding Extraction): يستخدم المؤلفون RiNALMo، وهو نموذج لغة RNA بـ 650 مليون معلمة (parameter) تم تدريبه على مجموعة بيانات RNACentral. يتم استخراج الحالات الخفية من طبقات محددة في المحول (transformer layers) (الطبقات 1، 9، 18، 24، 30، 33) لتسلسلات من RNACentral، مما ينتج مصفوفات تضمين على مستوى الرمز (token-level) بأبعاد ($L \times 1280$).
2. تدريب المشفّر التلقائي المتناثر (SAE Training): لكل طبقة مختارة، يتم تدريب SAE مفرط الامتداد (overcomplete) لربط التضمينات الكثيفة ($x \in \mathbb{R}^{1280}$) بفضاء ميزات متناثر ($f \in \mathbb{R}^{10240}$). تتكون البنية من مشفر خطي مع تنشيط ReLU ومفكك تشفير خطي بأوزان غير مرتبطة. تهدف عملية التدريب إلى تقليل خطأ إعادة البناء ($\|x - \hat{x}\|_2^2$) مع فرض التناثر عبر عقوبة L1 ($\lambda \|f\|_1$)، حيث تم تحديد قيمة $\lambda$ بـ $3 \times 10^{-3}$.
3. تحديد موقع الميزات وتوصيفها (Feature Localization and Annotation):
   • تحديد الموقع: يتم تجميع التنشيطات لإنشاء ملفات تعريف على مستوى التسلسل، مما يسمح بتحديد موقع المفاهيم على مستوى النيوكليوتيدات (مثل السيقان مقابل العراوي/loops) وعلى مستوى العائلة.
   • المواءمة البيولوجية: يتم تقييم الميزات مقابل مجموعتي بيانات:
     • bpRNA-90: تُستخدم لربط التنشيطات بعناصر البنية الثانوية الدقيقة (السيقان، دبوس الشعر/hairpins، العراوي الداخلية، إلخ) والزخارف (motifs).
     • RNAcentral: تُستخدم لاختبار ما إذا كانت الميزات تتنشط بشكل تفضيلي داخل عائلات محددة من الحمض النووي الريبوزي غير المشفر (ncRNA) (مثل tRNA، riboswitches، snoRNAs).
   • التوصيف (Annotation): يُستخدم خط معالجة مكون من خطوتين؛ أولاً، يتم توجيه نموذج لغة كبير (GPT-5) باستخدام إحصائيات التنشيط، ونطاقات الأمثلة (بما في ذلك السياق التسلسلي والهيكلي)، وقائمة مرجعية للزخارف المعيارية لتوليد تسميات وصفية. ثانياً، يتم التحقق يدوياً من هذه التسميات مقابل الخرائط الهيكلية للميزات المتعلقة بالزخارف الأولية.

النتائج الرئيسية

• المواءمة الهيكلية: يكشف التحليل أن ميزات متناثرة محددة تتنشط باستمرار في سياقات هيكلية قابلة للتمييز. على سبيل المثال، تعمل بعض الميزات بشكل أساسي في مناطق "الساق" (Stem) ذات التسلسلات الغنية بـ poly-G أو GC، بينما تتنشط أخرى في عراوي "دبوس الشعر" (Hairpin) ذات تسلسلات poly-A أو poly-U. يشير هذا إلى أن تضمينات RiNALMo تنظم المعلومات بطريقة يمكن لـ SAEs تفكيكها إلى مفاهيم مدركة للبنية.
• التطور عبر الطبقات: لوحظ تقدم متميز في التناثر والانتقائية عبر الطبقات. تُظهر الطبقة 1 تنشيطات منتشرة ومنخفضة التناثر. في المقابل، تُظهر الطبقات الأعمق (من الطبقة 18 فصاعداً) زيادة ملحوظة في التناثر وانتقائية النوع، حيث يتركز التنشيط على مجموعة فرعية صغيرة من القنوات الخاصة بعائلات معينة من RNA.
• استقرار الميزات: تحدد الدراسة الميزات التي تعمل في 10 تسلسلات متميزة على الأقل، مما يستبعد الأحداث النادرة أو الزائفة. ومع ذلك، يشير المؤلفون إلى أنه رغم اتساق الأنماط، إلا أنها لا تشكل اكتشافاً نهائياً لمفاهيم بيولوجية جديدة.

الأهمية والادعاءات
يصيغ المؤلفون SAE-RNA ليس كطريقة للاكتشاف النهائي للمفاهيم البيولوجية، بل كـ مسبار على مستوى التمثيل (representation-level probe). تكمن أهميته الأساسية في:

• توفير إطار عمل على مستوى الميزات لتوصيف كيفية تنظيم نماذج لغة RNA للمعلومات البيولوجية داخلياً.
• إثبات أن تفكيك الميزات المتناثرة يمكن أن يتوافق مع التوصيفات البيولوجية البشرية المعروفة (البنى الثانوية وعائلات ncRNA).
• تقديم مسار محتمل لتوجيه سلوك النموذج دون الحاجة لإعادة تدريب مكلفة، وذلك عبر تحديد المكونات المتناثرة المحددة المرتبطة بهوية RNA أو السياق الهيكلي.

القيود والتواضع في الطرح
يتبنى البحث صراحةً موقفاً متحفظاً بشأن نتائجه:

• قيود التحقق: يعتمد تفسير الميزات بشكل كبير على التوصيفات الموجودة (bpRNA-90، RNAcentral). وبدون تحقق مستقل أو اختبارات اضطراب (perturbation tests)، يصعب التمييز بين الزخارف البيولوجية ذات المعنى، أو سمات التسلسل المرتبطة، أو ضجيج التمثيل.
• الحساسية المنهجية: النتائج حساسة لاختيارات المعلمات الفائقة (عقوبة التناثر، عتبات التنشيط، اختيار الطبقات) وطرق التجميع المستخدمة.
• حجم البيانات: اقتصر التدريب على حوالي 10,000 تسلسل بسبب القيود الحسابية، مما قد يحد من تغطية عائلات وزخارف RNA النادرة مقارنة بالتوسع إلى ملايين التسلسلات.
• الضجيج في التسلسلات الطويلة: يظل التمييز بين إشارات الزخارف الموضعية الحقيقية وبين طفرات التنشيط في تسلسلات RNA الطويلة والمتغيرة الطول تحدياً غير محلول.

وبناءً على ذلك، يخلص المؤلفون إلى أنه بينما يُظهر تحليل SAE-RNA وعداً لتفسير نماذج لغة RNA، فإن الميزات ليست بعد موثوقة بما يكفي لتعمل كعلامات بيولوجية مستقلة أو أدوات اكتشاف حتى يتم حل المسائل المتعلقة باستقرار الميزات، وتطبيع الطول، والتحقق الصارم.