Characterizing homology-induced data leakage and memorization in genome-trained sequence models

تخيل أنك تحاول تعليم كمبيوتر فهم "لغة" الحمض النووي (DNA)، لكي يتمكن من التنبؤ بوظيفة جين معين بمجرد قراءة تسلسله من الحروف (A, C, T, G). وللقيام بذلك، تعرض على الكمبيوتر ملايين الأمثلة (بيانات التدريب)، ثم تختبره على أمثلة جديدة لم يسبق له رؤيتها (بيانات الاختبار) لترى مدى ذكائه حقاً.

المشكلة: فخ "الأقارب"
تجادل الورقة البحثية بأن الطريقة التي يقسم بها العلماء هذه البيانات عادةً هي طريقة معيبة بسبب التماثل (homology). في عالم الحمض النووي، يعني "التماثل" أن التسلسلات مرتبطة ببعضها البعض، مثل الأبناء أو أبناء العم في شجرة العائلة؛ فهي تشترك في سلف مشترك وتبدو متشابهة جداً.

يقول المؤلفون إن طرق الاختبار التقليدية تشبه إعطاء طالب امتحاناً تجريبياً، ثم في الامتحان النهائي، إعطاؤه أسئلة مطابقة تقريباً للأسئلة التي وردت في الامتحان التجريبي، مع تغيير بضع كلمات فقط. ولأن الطالب (نموذج الذكاء الاصطناعي) قد حفظ الإجابات التجريبية، فإنه يتفوق في الاختبار النهائي. لكن هذا لا يعني أنه تعلم حقاً "المبادئ" الأساسية للمادة؛ بل يعني أنه حفظ الأسئلة المحددة فحسب.

من وجهة نظر الورقة، عندما تكون تسلسلات الحمض النووي في مجموعة الاختبار هي "أقارب" لتسلسلات مجموعة التدريب، فإن النموذج لا يتنبأ بالوظيفة بناءً على قواعد، بل هو مجرد استدعاء لما رآه من قبل. هذا يخلق "تسريباً للبيانات" حيث يغش النموذج، مما يجعله يبدو أكثر ذكاءً مما هو عليه في الواقع.

كيف يتصرف النموذج
استخدم الباحثون عمليات محاكاة لإظهار ثلاثة سلوكيات متميزة:

1. الأقارب البعيدون: عندما يكون الحمض النووي في مجموعة الاختبار مختلفاً جداً عن حمض مجموعة التدريب، يؤدي النموذج بشكل جيد. وهذا خبر جيد—فهذا يعني أن النموذج قد تعلم بالفعل قواعد عامة حول كيفية عمل الحمض النووي.
2. الأقارب المقربون: عندما يكون الحمض النووي في الاختبار مشابهاً جداً للحمض النووي في التدريب، يؤدي النموذج بشكل "جيد جداً". إنه يعتمد على الحفظ. إذا كان "الحمض النووي القريب" يقوم بنفس الوظيفة التي يقوم بها الأصل، فسيحصل النموذج على درجة مثالية، لكنه يغش فقط عبر تذكر الإجابة.
3. الفخ: يحدث الخطر عندما يعتمد النموذج على الحفظ بينما يكون "الحمض النووي القريب" قد غير وظيفته بالفعل (التباعد الوظيفي). ولأن النموذج يستدعي الإجابة القديمة فقط، فإنه يفشل في التنبؤ بالواقع الجديد، مما يؤدي إلى أخطاء تمر دون ملاحظة لأن إعداد الاختبار كان سهلاً للغاية.

الحل: "HashFrag"
لإصلاح ذلك، ابتكر المؤلفون أداة تسمى hashFrag. فكر في هذه الأداة كأمين مكتبة منظم للغاية يمكنه فوراً اكتشاف أي الكتب في المكتبة هي مجرد نسخ أو تنويعات طفيفة عن بعضها البعض.

بدلاً من خلط بيانات الحمض النووي عشوائياً، يقوم hashFrag بتجميع تسلسلات "الأقارب" هذه بعناية. فهو يضمن أنه إذا استُخدمت عائلة معينة من تسلسلات الحمض النووي للتدريب، فلا يُسمح لأي من أقاربها بالتواجد في مجموعة الاختبار. هذا يجبر النموذج على إثبات فهمه للقواعد الأساسية للغة، بدلاً من مجرد حفظ جمل محددة.

الخلاصة
تخلص الورقة إلى أننا إذا لم نأخذ هذه العلاقات العائلية في الاعتبار عند التعامل مع الحمض النووي، فنحن نخدع أنفسنا بشكل منهجي حول مدى جودة نماذج الذكاء الاصطناعي الخاصة بنا. ومن خلال استخدام أدوات مثل hashFrag لإنشاء تقسيمات "تراعي التماثل"، يمكننا منع النموذج من الغش، وضمان أنه عندما نقول إن نموذجاً ما موثوق، فإنه يكون كذلك بالفعل.