A leakage-controlled benchmark shows apparent codon-language-model advantages in synonymous-variant prediction are evaluation artifacts

कल्पना कीजिए कि आप एक रोबोट को जीवन की गुप्त भाषा समझना सिखाने की कोशिश कर रहे हैं। जीव विज्ञान में, DNA चार अक्षरों (A, C, G, T) से बने एक कोड में लिखा जाता है, जो "कोडोन" नामक ट्रिपलेट्स (तीन के समूह) में व्यवस्थित होते हैं। ये कोडोन कोशिका को बताते हैं कि प्रोटीन बनाने के लिए किन निर्माण ब्लॉकों (अमीनो एसिड) का उपयोग करना है। यहाँ पेचीदा बात यह है कि प्रकृति अपने व्याकरण के साथ थोड़ी किफायती (economical) है। 64 संभावित कोडोन ट्रिपलेट हैं, लेकिन उन्हें केवल 20 अलग-अलग निर्माण ब्लॉकों की आवश्यकता होती है। इसका मतलब है कि कई अलग-अलग कोडोन एक ही निर्माण ब्लॉक को लिख सकते हैं। यह बिल्कुल वैसा ही है जैसे किसी चीज़ के लिए तीन अलग-अलग शब्द होना—जैसे "बिल्ली" के लिए "feline," "kitty," और "puss"—जिनका अर्थ एक ही है।

लंबे समय तक, वैज्ञानिकों ने सोचा कि एक ही चीज़ के लिए ये अलग-अलग शब्द केवल यादृच्छिक शोर (random noise) थे। लेकिन हाल ही में, "कोडोन लैंग्वेज मॉडल्स" नामक AI मॉडल्स की एक नई लहर ने दावा करना शुरू कर दिया कि वे इन शब्दों के चयन में छिपे गुप्त अर्थ को पढ़ सकते हैं। उन्होंने तर्क दिया कि चुना गया विशिष्ट शब्द (कोडोन) इस बात को बदल देता है कि संदेश कितना स्थिर है या प्रोटीन कितनी तेज़ी से बनता है, भले ही अंतिम प्रोटीन समान हो। यह एक बड़ी बात है क्योंकि यह हमें बेहतर दवाएं और टीके डिजाइन करने में मदद कर सकता है। हालाँकि, एक संदेह बना हुआ था: क्या ये AI मॉडल वास्तव में गुप्त भाषा पढ़ रहे थे, या वे केवल गलत सुरागों को याद करके शॉर्टकट (shortcuts) का सहारा ले रहे थे?

यह शोध पत्र एक जासूसी कहानी है जो ठीक इसी प्रश्न की जांच करता है। लेखक, युआनकिंग लियांग, वेमिन लियांग और उनकी टीम ने यह परीक्षण करने के लिए हाथ लगाया कि क्या इन AI मॉडल्स के पास कोडोन चयन को पढ़ने की वास्तव में कोई सुपरपावर है, या उनकी सफलता केवल एक दोषपूर्ण (flawed) परीक्षण से पैदा हुआ एक भ्रम था। उन्होंने एक नया, अधिक सख्त परीक्षण मैदान बनाया जिसे CodonBench कहा गया, ताकि यह देखा जा सके कि जब शॉर्टकट (shortcuts) को हटा दिया जाता है तो क्या होता है।

महान शॉर्टकट (Shortcut) घोटाला

कहानी एक भ्रमित करने वाली खोज के साथ शुरू होती है। पिछले अध्ययनों में, कोडोन-आधारित AI मॉडल अपने प्रतिस्पर्धियों को पछाड़ते हुए दिखाई देते थे। यह अनुमान लगाने के लिए पूछे जाने पर कि DNA में एक विशिष्ट परिवर्तन हानिकारक है या नहीं, ये मॉडल अक्सर प्रोटीन मॉडल की तुलना में 2.3 से 14.3 प्रतिशत अंक अधिक सटीक थे। यह कोडोन मॉडल्स की एक बड़ी जीत लग रही थी।

लेकिन लेखकों को एक चाल का संदेह था। कल्पना कीजिए कि आप एक ऐसी परीक्षा दे रहे हैं जहाँ आपको यह अनुमान लगाना है कि क्या कोई छात्र गणित में अच्छा है। यदि आपको छात्र का नाम देखने की अनुमति दी जाती है, तो आप "हाँ" का अनुमान लगा सकते हैं क्योंकि आप जानते हैं कि वह विशिष्ट छात्र गणित का उस्ताद है, न कि इसलिए कि आपने वास्तव में उसके उत्तर देखे। DNA की दुनिया में, "नाम" ही जीन (gene) है।

लेखकों ने महसूस किया कि पुराने परीक्षण ऐसे थे जैसे AI को छात्र का नाम देखने देना। उन्होंने DNA डेटा को यादृच्छिक रूप से विभाजित किया था, जिसका अर्थ था कि एक ही जीन (वही "छात्र") प्रशिक्षण सेट (जहाँ AI ने सीखा) और परीक्षण सेट (जहाँ उसकी ग्रेडिंग की गई) दोनों में मौजूद था। AI कोडोन के सूक्ष्म नियमों को नहीं सीख रहा था; वह बस यह याद रख रहा था कि "जीन X में आमतौर पर खराब वेरिएंट होते हैं" या "जीन Y में आमतौर पर अच्छे वेरिएंट होते हैं।" यह एक कौशल नहीं, बल्कि एक शॉर्टकट था।

द "जीन-हेल्ड-आउट" ट्रैप (The "Gene-Held-Out" Trap)

शॉर्टकट (shortcuts) को पकड़ने के लिए, लेखकों ने एक सख्त नियम पेश किया: जीन-हेल्ड-आउट इवैल्यूएशन (Gene-Held-Out Evaluation)। यह एक ऐसी परीक्षा लेने जैसा है जहाँ आपको एक ऐसा छात्र दिया जाता है जिसे आपने पहले कभी नहीं देखा है। आप उसका नाम उपयोग करके अनुमान नहीं लगा सकते; आपको वास्तव में उसके उत्तरों को पढ़ना होगा।

जब उन्होंने इस सख्त नियम को लागू किया, तो जादू गायब हो गया।

• कोडोन मॉडल्स का विशाल लाभ ढह गया।
• कोडोन मॉडल्स और प्रोटीन मॉडल्स के बीच का अंतर एक विशाल 2.3–14.3 प्रतिशत अंक से घटकर एक मामूली 1.6–2.2 प्रतिशत अंक रह गया।
• कुछ मामलों में, कोडोन मॉडल्स वास्तव में प्रोटीन मॉडल्स से भी बुरे साबित हुए!

लेखकों ने पाया कि वह "सुपरपावर" वास्तव में केवल एक स्मृति का खेल (memory trick) था। AI ने कोडोन की विशिष्ट जीव विज्ञान को पहचानने के बजाय जीन परिवार को पहचानना सीख लिया था।

"डेप्थ" का भ्रम (The "Depth" Illusion)

एक आखिरी सुराग भी था जो यह साबित करता प्रतीत हुआ कि कोडोन मॉडल्स वास्तविक थे। शोधकर्ताओं ने देखा कि जब उन्होंने AI को एक अधिक जटिल मस्तिष्क (एक नॉनलीनियर प्रोब) का उपयोग करके "गहरा सोचने" के लिए प्रेरित किया, तो कोडोन मॉडल्स और भी बेहतर हो गए। इसे "डेप्थ सिग्नेचर" कहा गया। ऐसा लग रहा था जैसे AI गुप्त संकेत खोजने के लिए गहराई तक खुदाई कर रहा है।

लेकिन लेखकों ने खुद गहराई से जांच की। उन्होंने महसूस किया कि यह "डेप्थ सिग्नेचर" भी एक चाल थी। पता चला कि परीक्षण बनाने के लिए उपयोग किए गए विशिष्ट सॉफ़्टवेयर टूल (जैसे एक विशिष्ट रैंडम नंबर जनरेटर का उपयोग करना या डेटा को व्यवस्थित करने का एक विशिष्ट तरीका) अनजाने में AI की मदद कर रहे थे। जब उन्होंने इन सॉफ़्टवेयर की खामियों को हटाया और एक स्वच्छ, मानक सेटअप का उपयोग किया, तो "डेप्थ सिग्नेचर" गायब हो गया। AI द्वारा प्राप्त अतिरिक्त अंक जीव विज्ञान को समझने से नहीं, बल्कि परीक्षण के स्वयं थोड़े पक्षपाती होने से आए थे।

"बेस्ट-एपॉक" शॉर्टकट (Shortcut)

जांच यहीं नहीं रुकी। लेखकों ने एक दूसरा, चालाकी भरा तरीका पाया जिससे परीक्षण में हेरफेर की गई थी, विशेष रूप से तब जब AI से संख्यात्मक भविष्यवाणी करने के लिए कहा गया था (जैसे कि एक जीन कितना प्रोटीन बनाएगा) न कि केवल "अच्छा" या "बुरा" बताने के लिए।

इन संख्या-अनुमान कार्यों में, पुराने परीक्षणों ने AI को सीखने के दौरान ही अंतिम उत्तरों पर एक नज़र डालने की अनुमति दी। कल्पना कीजिए कि एक छात्र एक अभ्यास परीक्षा दे रहा है, लेकिन हर बार जब वह एक प्रश्न गलत करता है, तो शिक्षक अगले प्रश्न पर जाने से पहले सही उत्तर फुसफुसा देता है। छात्र फिर अपने मस्तिष्क के उस संस्करण को चुनता है जिसने उस अभ्यास परीक्षा पर उच्चतम स्कोर प्राप्त किया था और दावा करता है कि वह एक जीनियस है।

लेखकों ने इसे "बेस्ट-एपॉक सिलेक्शन बायस" (Best-Epoch Selection Bias) कहा। AI को यह तय करने के लिए परीक्षण सेट को देखने की अनुमति दी गई थी कि उसका सबसे अच्छा संस्करण कौन सा है। जब उन्होंने इस शॉर्टकट (shortcut) को रोक दिया और AI को अपने सबसे अच्छे संस्करण को वास्तविक परीक्षण के बजाय एक छिपे हुए अभ्यास सेट (वैलिडेशन सेट) के आधार पर चुनने के लिए मजबूर किया, तो भारी बढ़त गायब हो गई। वास्तव में, कुछ कार्यों के लिए, AI का प्रदर्शन काफी गिर गया, जिससे साबित हुआ कि पिछला "सफलता" केवल AI द्वारा परीक्षण के उत्तरों को याद करने का परिणाम था।

अंतिम निर्णय: कोई जादू नहीं, केवल शोर (No Magic, Just Noise)

लेखकों ने यह देखने के लिए एक आखिरी चाल चली कि क्या वास्तव में कुछ सच बचा है। उन्होंने कोडोन को यादृच्छिक रूप से बदल दिया—प्रोटीन को समान रखते हुए लेकिन उसे लिखने के लिए उपयोग किए जाने वाले "शब्दों" को बदल दिया।

शुरुआत में, ऐसा लगा कि स्कोर गिर गया। लेकिन जब लेखकों ने डेटा को सूक्ष्मदर्शी से देखा (पूल किए गए सांख्यिकी का उपयोग करके), तो उन्हें एहसास हुआ कि गिरावट केवल यादृच्छिक शोर थी। अंतर इतना कम (0.3 प्रतिशत अंक) था कि वह सांख्यिकीय रूप से अर्थहीन था। यह एक सिक्का उछालने और तीन बार 'हेड्स' आने पर पैटर्न खोजने जैसा था।

इसका क्या अर्थ है

लेख का निष्कर्ष यह है कि हानिकारक DNA परिवर्तनों की भविष्यवाणी करने में कोडोन लैंग्वेज मॉडल्स का स्पष्ट लाभ एक आर्टिफैक्ट (artifact) है, एक भ्रम जो परीक्षणों के सेटअप के कारण पैदा हुआ था।

• दावा: कोडोन मॉडल DNA की गुप्त भाषा को पढ़ने में बेहतर हैं।
• वास्तविकता: सख्त, लीक-मुक्त परीक्षण के तहत, वे नहीं हैं। जिस संकेत को वे कथित तौर पर पढ़ रहे थे, वह इतना धुंधला (लगभग 0.04 बिट्स की जानकारी) है कि वर्तमान AI मॉडल और डेटा आकार शोर के ऊपर उसे विश्वसनीय रूप से नहीं ढूंढ सकते।

लेखकों ने यह नहीं कहा कि गुप्त भाषा मौजूद नहीं है; उन्होंने केवल यह कहा कि हमारे वर्तमान उपकरण इसे सुनने के लिए बहुत शोर भरे हैं। उन्होंने CodonBench बनाया, जो एक नया, निष्पक्ष परीक्षण मैदान है जो इन शॉर्टकट (shortcut) तरीकों (जैसे जीन-मेमोराइजेशन और परीक्षण के उत्तरों को झाँकना) को रोकता है, ताकि भविष्य के वैज्ञानिक भूतों का पीछा करने के बजाय वास्तविक संकेत की तलाश कर सकें।

संक्षेप में, AI मॉडल उतने स्मार्ट नहीं थे जितना हम सोचते थे; परीक्षण बस बहुत आसान थे। अब जब परीक्षण कठिन हो गए हैं, तो मॉडल्स को यह साबित करना होगा कि वे वास्तव में कोड पढ़ सकते हैं, न कि केवल नाम या उत्तरों को याद रख सकते हैं।