🧬 biology

JEPA-DNA: Grounding Genomic Foundation Models through Joint-Embedding Predictive Architectures

يقدم JEPA-DNA إطار عمل للتدريب المستمر غير مرتبط بنموذج محدد يدمج بنيات التنبؤ بالتمثيل المشترك مع أهداف توليدية تقليدية لتحويل النماذج التأسيسية الجينومية من إعادة بناء مستوى الرمز إلى المحاذاة الدلالية، محققاً أداءً هو الأفضل في فئته عبر مختلف الاختبارات المرجعية الجينومية.

المؤلفون الأصليون: Ariel Larey, Elay Dahan, Amit Bleiweiss, Raizy Kellerman, Guy Leib, Omri Nayshool, Dan Ofer, Tal Zinger, Dan Dominissini, Gideon Rechavi, Nicole Bussola, Simon Lee, Shane O'Connell, Dung Hoang, Mariss

نُشر 2026-08-12

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ariel Larey, Elay Dahan, Amit Bleiweiss, Raizy Kellerman, Guy Leib, Omri Nayshool, Dan Ofer, Tal Zinger, Dan Dominissini, Gideon Rechavi, Nicole Bussola, Simon Lee, Shane O'Connell, Dung Hoang, Marissa Wirth, Alexander W. Charney, Nati Daniel, Yoli Shavit

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ هذا شرح مولَّده بالذكاء الاصطناعي لبحث مسبق لم يخضع لمراجعة الأقران. وهو ليس نصيحة طبية. لا تتخذ أي قرارات تتعلق بصحتك بناءً على هذا المحتوى. اقرأ إخلاء المسؤولية الكامل

تخيل جسم الإنسان كمكتبة ضخمة وقديمة. داخل هذه المكتبة، كُتبت كل تعليمات بناء وتشغيل الإنسان بلغة مكونة من أربعة أحرف فقط: A وC وG وT. هذا الرمز هو الـ DNA. لفترة طويلة، حاول العلماء تعليم الحواسيب كيفية قراءة هذه المكتبة، آملين أنه إذا فهم الحاسوب "قواعد" الـ DNA، فسيتمكن من التنبؤ بكيفية عمل أجسامنا، أو سبب إصابتنا بالأمراض، أو كيفية إصلاح الأعطال الجينية.

للقيام بذلك، يستخدم الباحثون شيئًا يسمى "النماذج التأسيسية" (Foundation Models). فكر في هذه النماذج كطلاب أذكياء جدًا قرأوا ملايين الكتب (تسلسلات الـ DNA) وتعلموا قواعد اللغة. عادةً، يتعلم هؤلاء الطلاب من خلال لعب لعبة "ملء الفراغات". إذا غطيت كلمة في جملة، يجب على الطالب تخمين ما كانت عليه بناءً على الكلمات المحيطة بها. هذا يعمل بشكل رائع لتعلم القواعد المحلية للجملة، مثل كيفية ترابط الكلمات مع بعضها البعض. لكن تكمن المشكلة هنا في أن معرفة القواعد لا تعني دائمًا فهم "القصة". قد يعرف الطالب أن جملة "القط جلس على الـ..." يتبعها عادةً كلمة "سجادة"، لكنه قد لا يفهم أن القط يختبئ في الواقع من كلب، أو أن المشهد بأكمله جزء من لغز أكبر. في الـ DNA، يعني هذا أن الحواسيب جيدة في رصد الأنماط الصغيرة، لكنها غالبًا ما تفقد الصورة الكبيرة لكيفية عمل الأجزاء المختلفة من الرمز معًا للتحكم في الحياة.

وهنا يأتي دور دراسة جديدة تسمى JEPA-DNA. فقد قرر الباحثون، وهم فريق من شركة NVIDIA ومراكز طبية في إسرائيل والولايات المتحدة، ترقية هؤلاء الطلاب الذين يقرأون الـ DNA. لقد قدموا طريقة تدريب جديدة تجبر الحاسوب على التوقف عن مجرد تخمين الحروف المفقودة والبدء في تخمين "معنى" الأجزاء المفقودة. بدلاً من السؤال: "ما هو الحرف الذي يوضع هنا؟"، يسألون: "ما هي وظيفة هذه القطعة الكاملة من الـ DNA؟".

اختبر الفريق هذه الطريقة الجديدة على 17 مهمة مختلفة، تتراوح بين تحديد مكان بدء الجينات (المحفزات/promoters) إلى التنبؤ بكيفية تأثير التغيرات الجينية على الصحة. كما جربوها على ثلاثة أنواع مختلفة من حواسيب قراءة الـ DNA (DNABERT-2 وNTv3 وHyenaDNA) للتأكد من أنها تعمل مع الجميع. كانت النتائج مبهرة: من خلال إضافة هذا التدريب الجديد "المركز على المعنى"، تحسنت قدرة الحواسيب في معظم المهام. فعلى سبيل المثال، في مهمة تسمى "GUE Promoter"، حسنت الطريقة الجديدة الأداء بنسبة تزيد عن 11%. وفي مهمة أخرى تتعلق بالمتغيرات المرضية، عززت القدرة على رصد المشكلات بنسبة تزيد عن 12%.

تشير الورقة البحثية إلى أن هذا النهج ينجح لأنه يعلم الحاسوب النظر إلى "الغابة" بدلاً من مجرد "الأشجار". فبينما كانت الطرق القديمة بارعة في حفظ القواعد المحلية (الترتيب المحدد للحروف)، يساعد JEPA-DNA النموذج على فهم السياق الوظيفي العالمي (ما يفعله ذلك التسلسل بالفعل في الجسم). وجد الباحثون أن هذه الطريقة الجديدة في التعلم تخلق "نموذج عالم" للبيولوجيا، حيث يفهم الحاسوب قواعد الحياة، وليس فقط قواعد الإملاء. حتى أنهم أظهروا أن هذه الطريقة تعمل بشكل أفضل من النماذج الأفضل المتاحة حاليًا، مما يضع معيارًا جديدًا مرتفعًا لما يمكن أن تحققه هذه الأنظمة الذكية. الأمر يشبه أخذ طالب كان جيدًا في الإملاء وتعليمه ليكون ناقدًا أدبيًا يفهم الحبكة، والشخصيات، والموضوع في آن واحد.

ملخص تقني: JEPA-DNA

بيان المشكلة

لقد ساهمت النماذج التأسيسية الجينومية (GFMs) في تطوير نمذجة تسلسلات الحمض النووي (DNA) من خلال تكييف بنيات النماذج اللغوية الكبيرة (LLMs) مع البيانات الجينومية. ومع ذلك، تعتمد معظم النماذج التأسيسية الجينومية الحالية بشكل أساسي على أهداف التعلم الذاتي التوليدية، مثل نمذجة اللغة المقنعة (MLM) أو التنبؤ بالرمز التالي (NTP). وبينما تعد هذه الأساليب فعالة في التقاط البناء اللغوي المحلي (syntax) وتحديد الأنماط (motifs)، فإن نماذج إعادة البناء القائمة على مستوى الرموز (token-level) غالبًا ما تعطي الأولوية لـ "الضجيج" المتكرر في التسلسل (مثل العناصر المتكررة) على حساب السياق الوظيفي العالمي. ونتيجة لذلك، قد تحقق النماذج دقة تركيبية عالية دون استيعاب المنطق التنظيمي رفيع المستوى والتفاعلات طويلة المدى التي تحكم الوظيفة الجينومية. هناك فجوة حرجة بين التركيب الجينومي والدلالات البيولوجية (semantics) تفشل أهداف التوليد الحالية في جسرها.

المنهجية: إطار عمل JEPA-DNA

لمعالجة هذا القصور، قدم المؤلفون JEPA-DNA، وهو إطار عمل للتدريب المستمر محايد للبنية يدمج بنية التنبؤ بالتمثيل المشترك (Joint-Embedding Predictive Architecture - JEPA) مع الأهداف التوليدية التقليدية. بدلاً من التنبؤ بالرموز الخام، يجبر JEPA-DNA النماذج على التنبؤ بالتمثيلات الوظيفية الكامنة للمقاطع الجينومية المقنعة.

مكونات البنية

يعمل إطار العمل على تعزيز بنية النموذج التأسيسي الجينومي القياسية ( $E_\theta$ ) بفرع JEPA يتكون من:

مشفر السياق ( $E_\theta$ ): يعالج تسلسل المدخلات المقنع $x$ لإنتاج تمثيلات كامنة سياقية $h_{ctx}$ .
مشفر الهدف ( $E_{\bar{\theta}}$ ): نسخة هيكلية مكررة لمشفر السياق، يتم تحديث أوزانها عبر المتوسط المتحرك الأسي (EMA). يقوم بمعالجة تسلسل الهدف غير المقنع $y$ لإنتاج الأهداف الكامنة $z$ .
رأس التنبؤ ( $P_\phi$ ): يقوم برسم خرائط لتمثيلات السياق إلى الفضاء الكامن للهدف، ويتعلم مواءمة الميزات المستمدة من السياق مع تضمينات مشفر الهدف.
مجمع التسلسل ( $A$ ): يضغط التسلسلات الكامنة إلى تمثيلات عالمية (باستخدام رموز [CLS]، أو آخر الرموز، أو متوسط التجميع/mean pooling) لتسهيل المحاذاة الدلالية العالمية.

استراتيجية التدريب

يستخدم JEPA-DNA إجراء تدريب مستمر متعدد الأهداف:

القناع المزدوج (Dual-Masking): يستخدم استراتيجية قناع قائمة على النطاق (span-based) مع مجدول يزيد تدريجيًا من نسب وطول النطاقات، مما يتحدى النموذج لاستنتاج التبعيات طويلة المدى.
إعادة القناع (Re-masking): يستبدل المواقع المقنعة في مخرجات مشفر السياق بتضمينات [MASK] كامنة قابلة للتعلم لمنع الخرائط البديهية (trivial mappings).
دالة الخسارة المركبة: يتم تحسين النموذج عن طريق تقليل إجمالي الخسارة ( $L_{total}$ $L_{t o t a l}$ ) التي توازن بين أربعة مكونات:
1. خسارة النموذج اللغوي الكبير ( $L_{llm}$ ): خسارة MLM أو NTP القياسية للحفاظ على الدقة على مستوى الرمز.
2. خسارة التنبؤ الكامن ( $L_{jepa}$ ): خسارة تشابه جيب التمام التي تجبر التمثيل الكامن العالمي المتوقع ( $\hat{z}_{glob}$ ) على المحاذاة مع التمثيل الكامن العالمي للهدف ( $z_{glob}$ ).
3. خسارة التباين ( $L_{var}$ ): تضمن الحفاظ على تباين كافٍ في أبعاد التضمين عبر الدفعة (batch) لمنع الانهيار المعلوماتي.
4. خسارة التغاير ( $L_{cov}$ ): تشجع على إلغاء الارتباط بين أبعاد التضمين لمنع التمثيلات الزائدة (بناءً على منهجية VICReg).

تم تصميم إطار العمل ليكون متوافقًا مع بنيات متنوعة (Transformers، ونماذج الحالة الفراغية مثل HyenaDNA) وطرق التجزئة (tokenization)، حيث يتطلب فقط عامل تجميع لضغط التسلسلات إلى تمثيلات كامنة.

المساهمات الرئيسية

إطار عمل تدريبي مبتكر: تقديم إطار عمل للتدريب المستمر ينقل هدف التعلم من استعادة الرموز الحرفية إلى محاذاة الميزات الكامنة عبر JEPA.
حيادية البنية: إثبات أن JEPA-DNA يعمل كآلية "رفع تمثيلي" عالمية، متوافقة مع نماذج مثل DNABERT-2 وNTv3 وHyenaDNA، ومع أهداف MLM وNTP.
أداء يمثل حالة الفن (SOTA): وضع سقف جديد للأداء عبر مهام الاختبار الخطي الخاضعة للإشراف من خلال الجسر بين الدقة التوليدية والتأسيس الدلالي الكامن.
التحليل التآزري: توصيف التفاعل بين الأهداف التوليدية واللاتمرة، مما يظهر أن النهج الهجين يتفوق على طرق إعادة البناء البحتة أو الطرق التباينية البحتة.

النتائج التجريبية

تم تقييم إطار العمل على 17 مهمة معيارية جينومية متنوعة باستخدام بروتوكولات الاختبار الخطي (linear probing) والتعلم الصفري (zero-shot).

الاختبار الخطي (Linear Probing): أظهر JEPA-DNA مكاسب ثابتة عبر جميع البنيات الثلاث المختبرة.
- DNABERT-2: حسن الأداء في 6 إلى 8 من أصل 9 مهام، مع زيادات في AUROC تصل إلى +8.0%.
- NTv3: حسن الأداء في 8 من أصل 9 مهام.
- HyenaDNA: حسن الأداء في 7 من أصل 9 مهام، مع مكاسب ملحوظة في التعرف على المحفزات (promoters) (+11.22%) وتصنيف مواقع الربط (splice sites) (+10.28%).
- خصوصية المهمة: كانت المكاسب أكثر وضوحًا في المهام التي تعتمد على السياق التنظيمي الأوسع (المحفزات، مواقع الربط، meQTL، وcausal eQTL)، بينما أظهرت المهام المدفوعة بالتغيرات المحلية الدقيقة (مثل الإمراضية في الترميز/coding pathogenicity) نتائج أكثر تباينًا.
تقييم التعلم الصفري (Zero-Shot): باستخدام DNABERT-2، حسن JEPA-DNA أداء التعلم الصفري في 6 من أصل 8 معايير سريرية ومعايير تقييم اللياقة، بما في ذلك زيادة قدرها +12.06% في AUROC للتنبؤ بالمتغيرات المرضية.
دراسات الاستئصال (Ablation Studies):
- تنظيم VICReg: تم تحديده كعنصر أساسي لفتح فوائد النموذج الهجين.
  ğu بنية المتنبئ: تفوقت المتنبئات القائمة على الانتباه (4 طبقات) على نماذج MLP والنماذج الأكثر عمقًا.
- تركيبة الخسارة: وفرت المحاذاة في الفضاء الكامن إشارة أكثر معلوماتية (+3.86% زيادة) من إعادة بناء الرموز وحدها (+2.06%)، لكن التكوين الأمثل تطلب مزيجًا من كليهما.

الأهمية

يزعم البحث أن JEPA-DNA يضع معيارًا جديدًا للنماذج التأسيسية الجينومية من خلال نجاحه في ترسيخها في الدلالات البيولوجية. ومن خلال نقل إشارة التعلم من استعادة الرموز إلى المحاذاة الدلالية، يجبر إطار العمل النماذج على تعلم ميزات وظيفية مجردة تكون ثابتة تجاه الضجيج التسلسلي منخفض المستوى. هذا النهج يسد الفجوة بين التركيب الجينومي والمنطق البيولوجي، مما يوفر مسارًا قابلًا للتوسع لترسيخ النماذج التأسيسية دون العبء الحسابي لمحاذاة التسلسلات المتعددة أو متطلبات البيانات الضخمة للبحث عن النفي التبايني (contrastive negative mining). يرى المؤلفون أن JEPA-DNA ليس بديلاً للنماذج التأسيسية الجينومية الحالية، بل هو مرحلة تدريب مستمر متعددة الاستخدامات تعزز جودة التمثيل لأي نموذج تأسيسي جينومي موجود.