The Inattentional Gap: Task-Conditioned Language and Vision Models Omit the Safety-Critical Signals They Can Otherwise Report
यह शोध पत्र "इनअटेंशनल गैप" (Inattentional Gap) को प्रस्तुत करता है, जो एक ऐसी घटना है जहाँ कार्य-आधारित (task-conditioned) एआई मॉडल व्यवस्थित रूप से उन सुरक्षा-महत्वपूर्ण संकेतों को रिपोर्ट करने की अपनी क्षमता को दबा देते हैं जिन्हें वे अन्यथा पहचान सकते हैं, जिससे बेंचमार्क सुरक्षा स्कोर और वास्तविक दुनिया की विश्वसनीयता के बीच एक खतरनाक विच्छेद उत्पन्न होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, उच्च प्रशिक्षित सुरक्षा गार्ड को एक व्यस्त रेलवे स्टेशन की रखवाली करने के लिए काम पर रख रहे हैं। आप उन्हें एक विशिष्ट, तत्काल काम देते हैं: "सटीक रूप से गिनें कि कितने लोगों ने लाल रंग की टोपियाँ पहनी हैं।"
वह गार्ड अपना काम बखूबी करता है। वह लाल टोपियों को बिल्कुल सही तरीके से गिनता है। लेकिन लाल टोपियों को देखते हुए, वह अपने ठीक बगल से गुजरते हुए एक गोरिल्ला सूट पहने व्यक्ति, या पटरों पर भटकते हुए एक बच्चे को पूरी तरह से अनदेखा कर देता है।
यह शोध पत्र इस घटना को "इनअटेंशनल गैप" (Inattentional Gap - ध्यान का अंतराल) कहता है। यह एक जटिल तरीका है यह कहने का कि जब हम एक AI को किसी एक विशिष्ट चीज़ पर ध्यान केंद्रित करने के लिए कहते हैं, तो वह उस एक चीज़ में इतना माहिर हो जाता है कि वह अन्य खतरनाक चीज़ों के प्रति "अंधा" हो जाता है जो उसके ठीक बगल में हो रही होती हैं—भले ही वह उन्हें देख सकता था यदि हमने उसे सब कुछ देखने के लिए कहा होता।
यहाँ शोध के निष्कर्षों का सरल उपमाओं (analogies) के साथ विवरण दिया गया है:
1. "लाल टोपी" वाली समस्या (मुख्य खोज)
शोधकर्ताओं ने AI मॉडलों (जैसे वे जो टेक्स्ट लिखते हैं या एक्स-रे देखते हैं) का दो अलग-अलग तरीकों से परीक्षण किया:
- "ओपन" (खुला) काम: उन्होंने AI से पूछा, "मुझे वह सब बताएं जो आप देखते हैं जो महत्वपूर्ण है।"
- "नैरो" (सीमित) काम: उन्होंने AI से पूछा, "केवल लाल टोपियों के बारे में बताएं। बाकी सब को अनदेखा करें।"
परिणाम: जब AI "नैरो" काम कर रहा था, तो उसने उन खतरनाक चीजों (जैसे गोरिल्ला या बच्चा) को रिपोर्ट करना बंद कर दिया जिन्हें वह "ओपन" काम में आसानी से रिपोर्ट कर सकता था। ऐसा नहीं था कि AI उन्हें देख नहीं पा रहा था; बल्कि निर्देश यह थे कि उसे केवल लाल टोपियों की परवाह करनी है। AI ने नियमों का इतनी अच्छी तरह से पालन किया कि वह बाकी दुनिया के लिए अंधा हो गया।
2. यह सभी के साथ होता है (और हर आकार के साथ)
आप सोच सकते हैं, "शायद छोटे, कम बुद्धिमान AI ऐसा करते हैं, लेकिन सुपर-स्मार्ट वाले सुरक्षित हैं।"
- पेपर कहता है: नहीं। शोधकर्ताओं ने छोटे मॉडल और विशाल, "फ्रंटियर" मॉडल (उपलब्ध सबसे स्मार्ट मॉडल) दोनों का परीक्षण किया।
- उपमा: इसमें कोई फर्क नहीं पड़ता कि आपका सुरक्षा गार्ड एक नौसिखिया है या एक विश्व-चैंपियन जासूस। यदि आप उन्हें केवल लाल टोपियाँ गिनने के लिए कहते हैं, तो चैंपियन जासूस भी गोरिल्ला को मिस कर देगा। AI का आकार इस समस्या को हल नहीं कर सका।
3. यह केवल "बहुत अधिक काम" के बारे में नहीं है
कुछ लोगों ने सोचा कि शायद AI ने चीजों को इसलिए मिस किया क्योंकि वह बहुत व्यस्त था या बोझ से दबा हुआ था।
- पेपर कहता है: यह व्यस्त होने के बारे में नहीं है; यह उत्तर के दायरे (scope of the answer) के बारे में है।
- उपमा: कल्पना कीजिए कि आप एक रिपोर्ट लिख रहे हैं। यदि आपको कहा जाए, "लाल टोपियों के बारे में एक वाक्य का सारांश लिखें," तो आपके पास गोरिल्ला का उल्लेख करने के लिए जगह नहीं होगी। लेकिन यदि आपको कहा जाए, "लाल टोपियों के बारे में एक लंबा निबंध लिखें," तो आप गलती से गोरिल्का का उल्लेख एक फुटनोट में कर सकते हैं। AI की "अंधापन" इसलिए होता है क्योंकि कार्य उसे अपने उत्तर को एक बहुत छोटे बॉक्स में समेटने के लिए मजबूर करता है, जिससे खतरनाक चीजें बाहर निकल जाती हैं।
4. "रीजनिंग" (तर्क करने) का जाल
शोधकर्ताओं ने एक विशेष प्रकार के AI का परीक्षण किया जिसे जवाब देने से पहले "सोचने" और "तर्क करने" के लिए डिज़ाइन किया गया है, इस उम्मीद में कि यह एक सुरक्षा जाल के रूप में कार्य करेगा।
- पेपर कहता है: यहाँ तक कि ये "सोचने वाले" मॉडल भी इस जाल में फंस गए।
- उपमा: यह एक सुरक्षा गार्ड की तरह है जो रुककर सोचता है, "मैं लाल टोपियाँ गिन रहा हूँ," और फिर निष्कर्ष निकालता है, "इसलिए, मुझे किसी और चीज़ पर नहीं देखना चाहिए।" "सोचने" की प्रक्रिया ने वास्तव में उन्हें गलती पकड़ने के बजाय गलत चीज़ पर केंद्रित रहने में मदद की।
5. "सेफ्टी रिपोर्ट" का अंतर
दिलचस्प बात यह है कि सभी AI परिवार एक जैसा व्यवहार नहीं करते थे।
- निष्कर्ष: कुछ AI मॉडल (विशेष रूप से एक कंपनी के) में एक अंतर्निहित "सुरक्षा प्रवृत्ति" (safety instinct) दिखाई दी। भले ही उन्हें बाकी सब कुछ अनदेखा करने के लिए कहा गया था, वे कभी-कभी कहेंगे, "मैं इस खतरनाक चीज़ को अनदेखा नहीं कर सकता, भले ही आपने मुझे ऐसा करने के लिए कहा हो।" अन्य मॉडल (एक अलग कंपनी के) "बाकी सब को अनदेखा करें" के आदेश का पूरी तरह से पालन करते थे, भले ही इसका मतलब जीवन के लिए खतरा होने वाली चीज़ को मिस करना हो।
- सीख: AI की सुरक्षा काफी हद तक इस बात पर निर्भर करती है कि उसे किस कंपनी ने बनाया है, न कि केवल इस पर कि वह कितना स्मार्ट है।
यह क्यों मायने रखता है (पेपर के अनुसार)
पेपर का तर्क है कि हम वर्तमान में AI सुरक्षा का परीक्षण इस सवाल से कर रहे हैं, "क्या AI ने लाल टोपी ढूंढ ली?" यदि उत्तर हाँ है, तो हम कहते हैं कि AI सुरक्षित है।
लेकिन पेपर चेतावनी देता है कि यह एक जाल है। एक AI लाल टोपी खोजने में परफेक्ट स्कोर प्राप्त कर सकता है जबकि गोरिल्ला या बच्चे को रिपोर्ट करने में पूरी तरह विफल हो सकता है। यह जो हम टेस्ट करते हैं (लाल टोपी) और जो वास्तव में हमें सुरक्षित रखता है (खतरे को मिस न करना) के बीच एक अंतर पैदा करता है।
संक्षेप में: पेपर दिखाता है कि जब हम AI के फोकस को एक विशिष्ट कार्य तक सीमित करते हैं, तो यह अन्य खतरों के लिए एक "ब्लाइंड स्पॉट" (अंधा मोड़) बना देता है। AI टूटा हुआ नहीं है; यह बस आदेशों का बहुत शाब्दिक रूप से पालन कर रहा है। वास्तव में सुरक्षित होने के लिए, हम केवल यह उम्मीद नहीं कर सकते कि AI "बेहतर समझेगा"; हमें अपने परीक्षण और तैनाती के तरीके को बदलने की आवश्यकता है ताकि वे उन चीजों को मिस न करें जिन्हें हमने उन्हें देखने के लिए स्पष्ट रूप से नहीं कहा था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।