Sparse Autoencoders Reveal Structural and Family-level Features in BiRNA-BERT
تقدم هذه الورقة SPIRAL، وهو إطار عمل للمشفّر التلقائي المتناثر الذي ينجح في فك تشفير الحالات الخفية لنموذج لغة RNA المسمى BiRNA-BERT إلى سمات قابلة للتفسير ومحاذية للنيوكليوتيدات تمثل البنية الثانوية وأنواع عائلات الـ RNA، مما يعزز أداء التنبؤ في المهام اللاحقة رغم تحديات ترميز زوج البايت (byte-pair tokenization).
المؤلفون الأصليون:Hossain, M. S., Sojib, M. R., Tahmid, M. T., Rahman, M. S.
داخل كل خلية حية، تعمل جزيئات الحمض النووي الريبوزي (RNA) كعمال متعددين المهام، حيث تحمل التعليمات، وتنظم الجينات، بل وتقوم بالتفاعلات الكيميائية أيضًا. لعقود من الزمن، فهم العلماء هذه الجزيئات من خلال قراءة تسلسلها الأولي — الترتيب المحدد لبلوكات بنائها الكيميائي — ومن خلال رسم خرائط لأشكالها المطوية، المعروفة بالهياكل الثانوية. وفي السنوات الأخيرة، بدأ الذكاء الاصطعي في قراءة هذه التسلسلات بسرعة مذهلة، حيث تعلم التنبؤ بكيفية سلوك جزيء الـ RNA بناءً على الأنماط التي يجدها في قواعد البيانات الضخمة. ومع ذلك، غالبًا ما تعمل نماذج الذكاء الاصطنا هذه كـ "صناديق سوداء"؛ فهي تقدم إجابات صحيحة، لكن المنطق الداخلي الذي تستخدمه للوصول إلى تلك الإجابات يظل خفيًا، عبارة عن تشابك كثيف من الأرقام التي لا يمكن لأي بشري تفسيرها بسهولة. إن فهم ما تعلمته هذه النماذج بالفعل أمر بالغ الأهمية؛ فبدون ذلك، لا يمكن للعلماء الوثوق بتنبؤات النماذج في مواقف جديدة أو فهم السبب الذي قد يجعل النموذج يرتكب خطأً غريبًا.
لقد نجح فريق من الباحثين الآن في كشف الستار عن أحد نماذج الذكاء الاصطنا هذه، ليكشف أن النموذج قد تعلم التعرف على أشكال بيولوجية ومجموعات عائلية محددة بطريقة تحاكي الفهم البشري. وباستخدام تقنية تسمى "المشفّر التلقائي المتناثر" (sparse autoencoder)، قاموا بتفكيك التمثيلات المعقدة والخفية داخل الذكاء الاصطناي وتحويلها إلى سمات بسيطة ومتميزة. تخيل الحالة الداخلية للذكاء الاصطناي كغرفة مزدحمة حيث يتحدث الجميع في وقت واحد، مما يجعل من المستحيل سماع أي محادثة منفردة. لقد بنى الباحثون أداة تعمل مثل مرشح صوتي، تعزل الأصوات الفردية حتى يمكن سماع كل صوت بوضوح. وفي هذه الحالة، تبين أن "الأصوات" كانت مفاهيم بيولوجية محددة، مثل وجود حلقة شعرية (hairpin loop) في بنية الـ RNA أو هوية عائلة معينة من الـ RNA.
ركزت الدراسة على نموذج يسمى BiRNA-BERT، والذي صُمم لفهم تسلسلات الـ RNA. ولأن النموذج يعالج النصوص في كتل يمكن أن تحتوي على وحدات كيميائية متعددة في آن واحد، اضطر الباحثون إلى تطوير طريقة جديدة لمواءمة الإشارات الداخلية للنموذج مع البنية الفيزيائية الفعلية للـ RNA. قاموا بتدريب أداة الترشيح الخاصة بهم على ثلاثة طبقات مختلفة من "دماغ" الذكاء الاصطناي: البداية، والمنتصف، والنهاية. ووجدوا أن الأداة تعمل بدقة مذهلة، حيث أعادت بناء أفكار النموذج الأصلية بدقة شديدة لدرجة أن أداء الذكاء الاصطناي في المهام القياسية ظل دون تغيير فعلي. وقد أكد هذا أن الرؤية المبسطة والجديدة للبيانات لم تكن تشويهًا، بل كانت ترجمة أمينة للعمليات الداخلية للنموذج.
وعندما فحص الباحثون هذه السمات المعزولة، اكتشفوا نمطًا واضحًا من التخصص. ففي الطبقة الوسطى من النموذج، أصبحت السمات انتقائية للغاية؛ حيث كانت بعض السمات تضيء حصريًا عندما يواجه الذكاء الاصطناي نوعًا معينًا من الحلقات الهيكلية، بينما استجابت أخرى فقط لنوع مختلف من الطيات. واختبر الباحثون هذه السمات مقابل قاعدة بيانات لهياكل الـ RNA المعروفة، ووجدوا أن ما يقرب من نصف السمات التي اختبروها كانت مرتبطة بشكل كبير بفئات هيكلية محددة. على سبيل المثال، ارتبطت سمات معينة بقوة بـ "الانتفاخات" (bulges) أو "الحلقات المتعددة" (multi-loops)، وهي أشكال أكثر ندرة وتعقيدًا. يشير هذا إلى أن منتصف النموذج هو المكان الذي يتعلم فيه الذكاء الاصطناي التمييز بين التفاصيل الدقيقة لبنية الـ RNA، متجاوزًا الفهم العام إلى التعرف الدقيق على الشكل.
ولم يتوقف التحقيق عند الأشكال الفيزيائية فحسب؛ بل بحث الفريق أيضًا فيما إذا كان بإمكان هذه السمات تحديد أنواع مختلفة من عائلات الـ RNA، مثل الـ RNA الناقل (transfer RNA) أو الـ RNA الريبوسومي (ribosomal RNA). قاموا بإنشاء ملف تعريف ملخص لكل تسلسل RNA عن طريق حساب متوسط نشاط جميع سماته. وعندما استخدموا هذه الملفات التعريفية لتجميع جزيئات الـ RNA المتشابهة معًا، كانت النتائج مذهلة. فقد كانت الملفات التعريفية المتناثرة والمبسطة أفضل في تصنيف أنواع الـ RNA من البيانات الأصلية الكثيفة المستخرجة من النموذج. وفي اختبار كان على النظام فيه تخمين عائلة الـ RNA المجهول بناءً على جيرانه، حسنت الطريقة الجديدة الدقة من حوالي 33 بالمائة إلى ما يقرب من 3-36 بالمائة. ورغم أن هذه قد تبدو قفزة صغيرة، إلا أنها تمثل في عالم تعلم الآلة مكسبًا كبيرًا في الوضوح، مما يثبت أن السمات المتناثرة تلتقط الإشارات البيولوجية الأساسية بشكل أكثر فعالية من البيانات الخام.
ومن الأهمية بمكان أن الباحثين كانوا حذرين لضمان أن هذه النتائج لم تكن مجرد انعكاس لطول تسلسلات الـ RNA. نظرًا لأن بعض عائلات الـ RNA تكون بطبيعتها أطول من غيرها، يمكن للنموذج نظريًا أن يعتمد على قياس الطول بدلًا من فهم الجزيء. قام الفريق بإزالة تأثير طول التسلسل صراحةً من تحليلهم، ووجدوا أن السمات ظلت ثابتة. إن القدرة على التمييز بين العائلات ظلت قائمة، مما أكد أن الذكاء الاصطناي قد تعلم أنماطًا بيولوجية حقيقية وليس مجرد حيل إحصائية سطحية. وتخلص الدراسة إلى أن هذه المشفرات التلقائية المتناثرة توفر عدسة جديدة قوية للنظر داخل نماذج الذكاء الاصطناي البيولوجية، محولةً العمليات الرياضية الغامضة إلى خريطة من المفاهيم البيولوجية القابلة للتعرف. ويسمح هذا النهج للعلماء برؤية ما تعلمه النموذج بالضبط، مما يفتح مسارًا نحو أدوات أكثر موثوقية وقابلية للتفسير لفهم لغة الحياة المعقدة.
بيان المشكلة حققت نماذج لغة الحمض النووي الريبوزي (مثل BiRNA-BERT وRiNALMo) أداءً فائقاً في التنبؤ ببنية ووظيفة الـ RNA. ومع ذلك، تظل تمثيلاتها الداخلية "صناديق سوداء". ويتمثل العائق الأساسي أمام قابلية التفسير في فرضية التراكب (superposition hypothesis): حيث يجب على الشبكات العصبية ذات الحالات الخفية ثابتة الأبعاد أن تمثل مفاهيم أكثر مما تملكه من أبعاد، مما يؤدي إلى اختلاط إحداثيات الحالة الخفية الفردية مع عوامل متعددة غير مترابطة (تعدد المعاني/polysemanticity).
علاوة على ذلك، فإن تطبيق أدوات التفسير الحالية على نماذج الـ RNA يطرح تحدياً تقنياً محدداً. تستخدم معظم نماذج لغة الـ RNA ترميز (BPE) التكيفي، حيث يمكن لرمز واحد (token) أن يمتد عبر عدة نيوكليوتيدات. هذا يكسر الارتباط أحادي التناسب بين الرموز والنيوكليوتيدات، مما يجعل طرق الإسناد القياسية على مستوى النيوكليوتيد (التي تفترض أن الرمز الواحد يساوي نيوكليوتيد واحد) غير قابلة للتطبيق دون تصحيح. وبينما استُخدمت المشفرات التلقائية المتناثرة (SAEs) لتفكيك الميزات في نماذج البروتين وبعض نماذج الـ RNA، لم يتم تطبيقها بشكل منهجي على نماذج الـ RNA التي تستخدم ترميز BPE لحل مشكلة المحاذاة هذه أو لتحليل تطور الميزات عبر طبقات المحولات (transformers).
المنهجية: SPIRAL يقدم المؤلفون إطار عمل SPIRAL (المشفرات التلقائية المتناثرة لتحليل الـ RNA القابل للتفسير) للتحليل الطبقي للمشفرات التلقائية المتناثرة لنموذج BiRNA-BERT.
تدريب الـ SAE:
البنية: تم تدريب مشفرات SAE مستقلة على الحالات الخفية المجمدة لنموذج BiRNA-BERT في ثلاث طبقات ممثلة: الطبقة 0 (القريبة من المدخلات)، الطبقة 5 (الوسطى)، والطبقة 11 (النهائية).
التوسع: تم توسيع كل حالة خفية مكونة من 768 بُعداً إلى قاموس مفرط (overcomplete) مكون من 6,144 بُعداً (توسع بمقدار 8 أضعاف).
الهدف: يوازن هدف التدريب بين دقة إعادة البناء والندرة (L=∥x−x^∥22+λ∥f∥1)، مما يفرض عقوبة L1 لضمان تنشيط مجموعة صغيرة فقط من الميزات لكل رمز.
البيانات: تم تدريب النماذج على تنشيطات الرموز غير الخاصة من أول ~1 مليون تسلسل من RNAcentral.
المحاذاة المدركة لترميز BPE (نشر إزاحة BPE):
لمعالجة تحدي BPE، قدم المؤلفون تقنية نشر إزاحة BPE (BPE offset propagation). بدلاً من ربط تنشيط الرمز بنيوكليوتيد واحد، يتم نسب الميزات النشطة إلى جميع النيوكليوتيدات التي يغطيها نطاق ذلك الرمز. وهذا يسمح بالمقارنة المباشرة بين تنشيطات الرموز المتناثرة والتعليقات التوضيحية البيولوجية على مستوى النيوكليوتيد (مثل تسميات البنية الثانوية لـ bpRNA).
مقاييس التقييم:
الأمانة (Faithfulness): تم التقييم عبر التباين المفسر، تشابه جيب التمام، استعادة التسلسل (الحفاظ على مخرجات نموذج اللغة المقنع)، وتباعد KL.
الندرة (Ssparsity): تم قياسها عبر متوسط L0 (متوسط عدد الميزات النشطة لكل رمز).
المحاذاة البيولوجية:
البنية الثانوية: تم اختبار الميزات لارتباطها بـ 7 فئات من البنية الثانوية لـ bpRNA (باستثناء الروابط الكاذبة/Pseudoknots) باستخدام اختبار Pearson's χ2، ودرجات الانتقائية، ونسب الإثراء بالنسبة للترددات الخلفية.
نوع الـ RNA: تم اختبار ملفات التعريف على مستوى التسلسل (متوسط تجميع تنشيطات الرموز) مقابل 16 نوعاً من الـ RNA من مجموعة اختبار RNAcentral. ولتجنب الارتباك الناتج عن طول التسلسل (الذي يرتبط بقوة بنوع الـ RNA)، استخدم المؤلفون طريقة إزالة الرواسب الرتبوية (rank-residualization) لإزالة الاعتماد على الطول قبل حساب أحجام تأثير Kruskal-Wallis (η2).
المنفعة (Utility): تم استخدام مسبار k-أقرب جار (kNN) (k=7) لاختبار ما إذا كانت الملفات التعريفية المتناثرة تحسن دقة التصنيف المتوازنة لأنواع الـ RNA مقارنة بالتمثيلات الكثيفة والأساسات المعتمدة على التسلسل فقط (الطول وتكرار النيوكليوتيدات الأحادية).
النتائج الرئيسية
إعادة بناء أمينة: حافظت المشفرات التلقائية (SAEs) على سلوك النموذج الأصلي بدقة متناهية. تجاوز التباين المفسر 0.99997 عبر جميع الطبقات، وظلت استعادة تسلسل نموذج اللغة المقنع قريبة من 99.7%.
الانتقائية الهيكلية المعتمدة على الطبقة:
الطبقة 0: احتوت على أعلى عدد من الميزات ذات الدلالة الإحصائية (97.5% من الميزات المختبرة) ولكن مع إثراء متوسط منخفض (1.04×)، مما يشير إلى ارتباطات واسعة وضعيفة.
الطبقة 5: أظهرت أقوى تخصص هيكلي. بينما كانت الميزات ذات الدلالة أقل (44.3%)، كان متوسط الإثراء هو الأعلى (1.61×). احتوت هذه الطبقة على ميزات ذات انتقائية مثالية (تنشيط بنسبة 100% داخل فئة هيكلية واحدة) وإثراء قوي لهياكل نادرة مثل Bulge و Multi-loop، والتي لم تكن بارزة في الطبقة 0.
الطبقة 11: شغلت موقعاً متوسطاً (72.6% ميزات ذات دلالة، 1.21× إثراء)، مع عودة هيمنة الـ Stem.
إشارات نوع الـ RNA:
حددت الملفات التعريفية المتناثرة الميزات المرتبطة بأنواع محددة من الـ RNA (مثل tRNA، وRNase P RNA، وsnRNA) بعد التحكم في طول التسلسل.
أداء kNN: عند الطبقة 5، حسّن الملف التعريفي المتناثر دقة التصنيف المتوازنة لأنواع الـ RNA من 0.328 (BiRNA-BERT الكثيف) إلى 0.359. كان هذا التحسن قوياً ضد الأسس المعتمدة على التسلسل فقط (التي حققت 0.298 عند دمجها).
تحليل الخطأ: كانت أخطاء التصنيف مهيكلة؛ حيث مال النموذج إلى تصنيف الفئات الأقلية نحو الفئة الأكثر وفرة ذات الطول المماثل (على سبيل المثال، يعمل lncRNA كـ "بالوعة" لـ lncRNA الطويلة)، لكن الـ SAE حسن الأداء على الأنواع الأقلية مثل snRNA وsnoRNA.
التصور (Visualization): أظهر تحليل المكونات الرئيسية (PCA) لتمثيلات الطبقة 5 أن ملفات تعريف SAE فسرت تبايناً أكبر قليلاً (54.2% مقابل 48.0%)، وكانت تمتلك مؤشر راند المعدل (Adjusted Rand Index) أعلى قليلاً (0.095 مقابل 0.085) من التمثيلات الكثيفة، رغم أن كليهما تأثر بشدة بطول التسلسل.
الأهمية والادعاءات يزعم البحث أن SPIRAL نجح في إثبات أن المشفرات التلقائية المتناثرة يمكنها تحويل حالات نموذج لغة الـ RNA الكثيفة ومتعددة المعاني إلى فضاء ميزات قابل للتفسير دون تشويه سلوك النموذج الأساسي.
تشمل المساهمات الرئيسية ما يلي:
الحل المنهجي: يحل تقديم نشر إزاحة BPE مشكلة المحاذاة بين رموز BPE والملصقات البيولوجية بدقة النيوكليوتيد، مما يسمح بإسناد دقيق في نماذج الـ RNA.
رؤى خاصة بالطبقات: يكشف التحليل أن المفاهيم البيولوجية ليست موزعة بشكل موحد؛ حيث تُظهر الطبقة الوسطى (الطبقة 5) أقوى إثراء لبنى ثانوية وأنواع RNA محددة، مما يتناقض مع الارتباطات الواسعة في الطبقات المبكرة وعودة الهيمنة في الطبقات اللاحقة.
منفعة الميزات: الميزات المتناثرة ليست مجرد وحدات إعادة بناء؛ فهي تلتقط إشارات ذات معنى بيولوجي (مثل الزخارف الهيكلية النادرة مثل Bulges) وتوفر تمثيلاً متفوقاً وظيفياً على التمثيلات الكثيفة لمهام معينة (تصنيف نوع الـ RNA) مع بقائها قوية في مواجهة الإحصائيات السطحية للتسلسل مثل الطول.
يخلص المؤلفون إلى أن الـ SAEs تكشف عن البنية البيولوجية الموجودة بالفعل داخل BiRNA-BERT، مما يوفر إطار عمل للعمل المستقبلي في توجيه مخرجات النموذج أو تصميم تسلسلات بناءً على ميزات متناثرة تم التحقق من صحتها.