A leakage-controlled benchmark shows apparent codon-language-model advantages in synonymous-variant prediction are evaluation artifacts

تخيل أنك تحاول تعليم روبوت فهم لغة الحياة السرية. في علم الأحياء، يُكتب الحمض النووي (DNA) بشفرة مكونة من أربعة أحرف (A, C, G, T)، والتي تُجمع في ثلاثيات تسمى "الرامزات" (codons). تخبر هذه الرامزات الخلية أي لبنات البناء (الأحماض الأمينية) يجب استخدامها لبناء البروتينات. وهنا يكمن الجزء الصعب: الطبيعة اقتصادية بعض الشيء في قواعدها اللغوية. هناك 64 ثلاثية رامزة محتملة، لكنها تحتاج فقط لصنع 20 لبنة بناء مختلفة. هذا يعني أن العديد من الرامزات المختلفة يمكن أن تعبر عن نفس لبنة البناء تماماً. الأمر يشبه امتلاك ثلاث كلمات مختلفة لكلمة "قطة"—مثل "فيلين"، و"كيتي"، و"بوس"—وكلها تعني الشيء نفسه.

لفترة طويلة، اعتقد العلماء أن هذه الكلمات المختلفة لنفس الشيء لم تكن سوى ضوضاء عشوائية. ولكن مؤخراً، بدأت موجة جديدة من نماذج الذكاء الاصطناعي تسمى "نماذج لغة الرامزات" تدعي أنها تستطيع قراءة المعنى السري المخفي في اختيارات الكلمات هذه. وجادلوا بأن اختيار الكلمة المحددة (الرامزة) يغير مدى استقرار الرسالة أو سرعة بناء البروتين، حتى لو كان البروتين النهائي متطابقاً. وهذا أمر بالغ الأهمية لأنه قد يساعدنا في تصميم أدوية ولقاحات أفضل. ومع ذلك، كان هناك شك يساورهم: هل كانت نماذج الذكاء الاصطناعي هذه تقرأ حقاً اللغة السرية، أم أنها كانت تعتمد فقط على طرق مختصرة عبر حفظ الإشارات الخاطئة؟

هذه الورقة البحثية هي قصة بوليسية تحقق في هذا السؤال بالضبط. وضع المؤلفون، يوانكينغ ليانغ، ووي مين ليانغ وفريقه، نصب أعينهم اختبار ما إذا كانت هذه النماذج تمتلك حقاً قوة خارقة لقراءة اختيارات الرامزات، أم أن نجاحها كان مجرد وهم ناتج عن اختبار معيب. لقد بنوا أرضية اختبار جديدة أكثر صرامة تسمى CodonBench ليروا ماذا يحدث عندما يتم إزالة الطرق المختصرة.

فضيحة "الطريق المختصر" الكبرى

تبدأ القصة باكتشاف مربك. في الدراسات السابقة، بدت نماذج الذكاء الاصطناعي القائمة على الرامزات تتفوق بوضوح على منافسيها. فعند سؤالها عما إذا كان تغيير معين في الحمض النووي ضاراً، كانت هذه النماذج غالباً أكثر دقة بنسبة تتراوح بين 2.3 إلى 14.3 نقطة مئوية من النماذج التي تنظر فقط إلى البروتين النهائي. بدا الأمر وكأنه انتصار هائل لنماذج الرامزات.

لكن المؤلفين اشتبهوا في وجود خدعة. تخيل أنك تأخذ اختباراً وعليك أن تخمن ما إذا كان الطالب جيداً في الرياضيات. إذا سُمح لك بالنظر إلى اسم الطالب، فقد تخمن "نعم" لأنك تعرف أن هذا الطالب تحديداً نابغة في الرياضيات، وليس لأنك نظرت بالفعل إلى إجاباته في الاختبار. وفي عالم الحمض النووي، "الاسم" هو الجين.

أدرك المؤلفون أن الاختبارات القديمة كانت تشبه السماح للذكاء الاصطناعي برؤية اسم الطالب. لقد قاموا بتقسيم بيانات الحمض النووي عشوائياً، مما يعني أن نفس الجين (نفس "الطالب") ظهر في كل من مجموعة التدريب (حيث تعلم الذكاء الاصطناعي) ومجموعة الاختبار (حيث تم تقييمه). لم يكن الذكاء الاصطناعي يتعلم القواعد الدقيقة لاختيارات الرامزات؛ بل كان يحفظ فقط أن "الجين X عادة ما يمتلك متغيرات سيئة" أو "الجين Y عادة ما يمتلك متغيرات جيدة". لقد كان طريقاً مختصراً، وليس مهارة.

فخ "استبعاد الجين"

للإمساك بالطرق المختصرة، استحدث المؤلفون قاعدة صارمة: "تقييم استبعاد الجين" (Gene-Held-Out Evaluation). هذا يشبه خوض اختبار حيث يتم إعطاؤك طالباً لم تره من قبل أبداً. لا يمكنك استخدام اسمه للتخمين؛ بل يجب عليك قراءة إجاباته فعلياً.

وعندما طبقوا هذه القاعدة الصارمة، اختفت المعجزة.

• انهارت الميزة الهائلة لنماذج الرامزات.
• تقلصت الفجوة بين نماذج الرامزات ونماذج البروتين من 2.3–14.3 نقطة مئوية ضخمة إلى 1.6–2.2 نقطة مئوية ضئيلة فقط.
• في بعض الحالات، أصبحت نماذج الرامزات أسوأ من نماذج البروتين!

وجد المؤلفون أن "القوة الخارقة" كانت في الواقع مجرد خدعة ذاكرة. لقد تعلم الذكاء الاصطناعي التعرف على عائلة الجينات بدلاً من البيولوجيا المحددة للرامزة.

وهم "العمق"

كان هناك دليل أخير يبدو وكأنه يثبت صحة نماذج الرامزات. لاحظ الباحثون أنه عندما جعلوا الذكاء الاصطناعي "يفكر بعمق أكبر" باستخدام دماغ أكثر تعقيداً (مسبار غير خطي)، أصبحت نماذج الرامزات أفضل. كان هذا يسمى "بصمة العمق". بدا الأمر وكأن الذكاء الاصطناعي يحفر بشكل أعمق للعثور على الإشارة السرية.

لكن المؤلفين حفروا بعمق أكبر بأنفسهم. وأدركوا أن "بصمة العمق" هذه كانت أيضاً خدعة. اتضح أن أدوات البرمجيات المحددة المستخدمة لبناء الاختبار (مثل استخدام مولد أرقام عشوائية معين أو طريقة معينة لتنظيم البيانات) كانت تساعد الذكاء الاصطناعي عن غير قصد. وعندما جردوا هذه التناقضات البرمجية واستخدموا إعداداً قياسياً نظيفاً، اختفت "بصمة العمق". النقاط الإضافية التي اكتسبها الذكاء الاصطناعي لم تكن من فهم البيولوجيا؛ بل كانت من كون الاختبار نفسه منحازاً قليلاً.

طريق "أفضل حقبة" المختصر

لم يتوقف التحقيق عند هذا الحد. وجد المؤلفون طريقة ثانية مخادعة تم بها التلاعب بالاختبارات، وتحديداً عندما يُطلب من الذكاء الاصطناعي التنبؤ بالأرقام (مثل كمية البروتين التي سينتجها جين ما) بدلاً من مجرد "جيد" أو "سيء".

في مهام التنبؤ بالأرقام هذه، سمحت الاختبارات القديمة للذكاء الاصطناعي بإلقاء نظرة خاطفة على الإجابات النهائية أثناء عملية التعلم. تخيل طالباً يأخذ امتحاناً تجريبياً، ولكن في كل مرة يخطئ فيها في سؤال، يهمس المعلم بالإجابة الصحيحة قبل الانتقال إلى السؤال التالي. ثم يختار الطالب النسخة من دماغه التي حققت أعلى درجة في ذلك الامتحان التجريبي ويدعي أنه عبقري.

أطلق المؤلفون على هذا اسم "انحياز اختيار أفضل حقبة" (Best-Epoch Selection Bias). كان يُسمح للذكاء الاصطناعي بالنظر إلى مجموعة الاختبار ليقرر أي نسخة من نفسه هي "الأفضل". وعندما أوقفوا هذا الطريق المختصر عبر إجبار الذكاء الاصطناعي على اختيار أفضل نسخة له بناءً على مجموعة ممارسة مخفية (مجموعة التحقق) بدلاً من الاختبار الحقيقي، تلاشت المكاسب الهائلة. في الواقع، بالنسبة لبعض المهام، انخفض أداء الذكاء الاصطناعي بشكل كبير، مما أثبت أن "النجاح" السابق كان مجرد حفظ الإجابات من قبل الذكاء الاصطناعي.

الحكم النهائي: لا سحر، فقط ضوضاء

حاول المؤلفون خدعة أخيرة ليروا ما إذا كان هناك أي حقيقة متبقية. قاموا بخلط الرامزات عشوائياً—مع الحفاظ على البروتين نفسه ولكن مع تغيير "الكلمات" المستخدمة لصياغته. إذا كان الذكاء الاصطناعي يقرأ حقاً اللغة السرية، فإن خلط الكلمات يجب أن يؤدي إلى انخفاض درجته.

في البداية، بدا وكأن الدرجة انخفضت. ولكن عندما نظر المؤلفون إلى البيانات باستخدام عدسة مكبرة (باستخدام الإحصاء المجمع)، أدركوا أن الانخفاض كان مجرد ضوضاء عشوائية. كان الفرق صغيراً جداً (0.3 نقطة مئوية) لدرجة أنه غير ذي معنى إحصائياً. كان الأمر يشبه رمي عملة معدنية والاعتقاد بأنك وجدت نمطاً لأنك حصلت على ثلاث صور متتالية.

ماذا يعني هذا؟

تخلص الورقة البحثية إلى أن الميزة الظاهرية لنماذج لغة الرامزات في التنبؤ بالتغييرات الضارة في الحمض النووي هي "أثر جانبي" (artifact)، وهو سراب نتج عن كيفية إعداد الاختبارات.

• الادعاء: نماذج الرامزات أفضل في قراءة اللغة السرية للحمض النووي.
• الواقع: تحت الاختبار الصارم والخالي من التسريبات، هي ليست كذلك. الإشارة التي كان من المفترض أنها تقرأها ضعيفة جداً (حوالي 0.04 بت من المعلومات)، بحيث لا تستطيع نماذج الذكاء الاصطناعي الحالية وأحجام البيانات الاعتمادية عليها فوق مستوى الضوضاء.

لم يقل المؤلفون إن اللغة السرية غير موجودة؛ بل قالوا فقط إن أدواتنا الحالية صاخبة للغاية بحيث لا يمكن سماعها. لقد بنوا CodonBench، وهي أرضية اختبار جديدة وعادلة تمنع هذه الطرق المختصرة (مثل حفظ الجينات أو إلقاء نظرة على إجابات الاختبار)، حتى يتمكن العلماء في المستقبل من التوقف عن مطاردة الأشباح والبدء في البحث عن الإشارة الحقيقية.

باختصار، لم تكن نماذج الذكاء الاصطناعي أذكى مما ظننا؛ بل كانت الاختبارات سهلة للغاية فحسب. والآن بعد أن أصبحت الاختبارات أصعب، يتعين على النماذج أن تثبت قدرتها على قراءة الكود، وليس مجرد حفظ الأسماء أو الإجابات.