तकनीकी सारांश: SciTrace – वैज्ञानिक खोज एजेंटों के लिए प्रक्षेपवक्र-जागरूक सुरक्षा तर्क (Trajectory-Aware Safety Reasoning)

समस्या विवरण (Problem Statement)

यद्यपि LLM-आधारित वैज्ञानिक एजेंटों ने मजबूत स्वायत्त अनुसंधान क्षमताएं प्रदर्शित की हैं, लेकिन उनकी सुरक्षा तंत्र (safety mechanisms) उनकी मुख्य तर्क प्रक्रियाओं से संरचनात्मक रूप से विच्छेदित (disconnected) रहे हैं। मौजूदा ढांचे, जैसे कि SafeScientist, सुरक्षा को पाइपलाइन आउटपुट पर लागू किए गए एक बाहरी फिल्टर के रूप में देखते हैं, न कि विचार प्रक्रिया (deliberation process) के एक आंतरिक भाग के रूप में। यह वास्तुशिल्प पृथक्करण दो प्राथमिक विफलता मोड (failure modes) बनाता है:

1. चरण सीमाओं पर सिग्नल की हानि (Signal Loss at Stage Boundaries): एक चरण (जैसे, "थिंकर" चरण) में संचित सुरक्षा संकेत अक्सर अगले चरण (जैसे, "एक्सपेरिमेंटर" या "राइटर") के शुरू होने से पहले ही हटा दिए जाते हैं, जिससे डाउनस्ट्रीम एजेंट बिना महत्वपूर्ण जोखिम संदर्भ के आगे बढ़ जाते हैं।
2. संयोजन संबंधी जोखिमों का पता लगाने में असमर्थता (Inability to Detect Compositional Risks): एकल-चरण निगरानी व्यक्तिगत टूल कॉल्स को फ़िल्टर करती है, लेकिन उन हानिकारक परिणामों का पता लगाने में विफल रहती है जो केवल व्यक्तिगत रूप से सुरक्षित कॉल्स के अनुक्रम (sequence) से उत्पन्न होते हैं। उदाहरण के लिए, रोगजनक जीनोम पुनर्प्राप्ति (pathogen genome retrieval), एंटीबायोटिक प्रतिरोध डेटाबेस क्वेरी, और प्रोटीन संरचना भविष्यवाणी वाला एक प्रक्षेपवक्र (trajectory) व्यक्तिगत फिल्टरों को पास कर सकता है, लेकिन सामूहिक रूप से यह एक 'डुअल-यूज़ सिंथेसिस रिस्क' (dual-use synthesis risk) बन सकता है।

कार्यप्रणाली (Methodology)

लेखक SciTrace पेश करते हैं, जो एक ऐसा ढांचा है जो सुरक्षा तर्क को वैज्ञानिक एजेंट पाइपलाइन के प्रत्येक चरण में एकीकृत करता है। SciTrace एजेंट के निष्पादन के दौरान एक संचयी जोखिम अवस्था (cumulative risk state) बनाए रखने के लिए दो पूरक तंत्रों को जोड़ता है:

1. सुरक्षा-अंतर्निहित तर्क लूप (Safety-Intrinsic Reasoning Loop - SIR)

SIR, चरण-स्थानीय स्वतंत्र फिल्टरों के स्थान पर संयुक्त कार्य-और-सुरक्षा विचार (joint task-and-safety deliberation) को लागू करता है। यह प्रत्येक पाइपलाइन ट्रांजिशन (Thinker, Experimenter, Writer, Reviewer) पर संचालित होता है और निम्नलिखित कार्य करता है:

• संयुक्त तर्क (Joint Reasoning): यह एजेंट LLM को एक संरचित टेम्पलेट के साथ प्रॉम्प्ट करता है जिसमें तीन इनपुट होते हैं: (1) वर्तमान चरण की कार्य सामग्री, (2) सभी पूर्व संकेतों से प्राप्त संचयी जोखिम अवस्था, और (3) एक साझा मेमोरी मॉड्यूल से प्राप्त सुरक्षा जांच।
• क्रमबद्ध जोखिम स्तर (Graduated Risk Levels): बाइनरी ब्लॉक/अनुमति निर्णयों के बजाय, SIR पांच स्तरों में जोखिम का आकलन करता है: SAFE (सुरक्षित), LOW-RISK (कम जोखिम), WARNING (चेतावनी), HIGH-RISK (उच्च जोखिम), और BLOCK (ब्लॉक)।
• अवस्था प्रसार (State Propagation): प्रत्येक मूल्यांकन एक साझा संचयी जोखिम अवस्था को अपडेट करता है। यदि उच्च-इंटरैक्शन जोखिम श्रेणियां सह-अस्तित्व में आती हैं (जैसे, डुअल-यूज़ बायोलॉजी और खतरनाक संश्लेषण), तो समग्र जोखिम स्तर बढ़ा दिया जाता है। यह सुनिश्चित करता है कि शुरुआती चरणों (जैसे, थंकर चरण) में उठाई गई चेतावनियाँ डाउनस्ट्रीम चरणों के लिए दृश्यमान बनी रहें।
• मेमोरी जागरूकता (Memory Awareness): AGrail फ्रेमवर्क का अनुसरण करते हुए, SIR सत्र के भीतर तर्क को परिष्कृत करने के लिए कीवर्ड ओवरलैप के आधार पर पिछले सुरक्षा चेक को पुनः प्राप्त करता है।

2. संयोजनात्मक टूल-चेन सत्यापनकर्ता (Compositional Tool-Chain Verifier - CTV)

CTV एक सत्यापित टूल प्रॉक्सी के माध्यम से निष्पादन से पहले प्रत्येक प्रस्तावित टूल कॉल को रोकता है। यह पूरे प्रक्षेपवक्र इतिहास (trajectory history) के संदर्भ में कॉल का मूल्यांकन करता है ताकि उन खतरों को पकड़ा जा सके जिन्हें एकल-चरण मॉनिटर मिस कर देते हैं।

• तीन-उपकार्य विश्लेषण (Three-Subtask Analysis): एक एकल LLM पास में, CTV तीन पहलुओं का आकलन करता है:
  1. अनुरोध की हानिकारक प्रकृति (Request Harmfulness): क्या अंतर्निहित अनुसंधान अनुरोध स्वाभाविक रूप से हानिकारक है?
  2. संयोजनात्मक जोखिम (Compositional Risk): क्या प्रस्तावित कॉल, पूर्ण कॉल इतिहास के साथ मिलकर, एक खतरनाक प्रक्षेपवक्र बनाता है (विशेष रूप से "कंपोजिशनल डेंजर" श्रेणी, S9 को लक्षित करते हुए)?
  3. टूल इनवोकेशन सुरक्षा (Tool Invocation Safety): क्या विशिष्ट इनवोकेशन अपने आप में सुरक्षित है?
• स्कोरिंग और एक्शन: इन आयामों को एक स्केलर जोखिम स्कोर ($s$) के लिए वेटेज दिया जाता है।
  • $s > 0.5$: कॉल को ब्लॉक (Block) करें।
  • $0.4 \le s \le 0.5$: TS-Flow फीडबैक के माध्यम से कॉल को संशोधित (Modify) करें।
  • $s < 0.4$: कॉल को अनुमति (Allow) दें।
• TS-Flow फीडबैक: जब किसी कॉल को फ्लैग किया जाता है, तो सिस्टम केवल कार्य को रोकने के बजाय सुरक्षित विकल्पों (जैसे, एक गैर-रोगजनक मॉडल जीव को प्रतिस्थापित करना) का सुझाव देने वाला रचनात्मक फीडबैक उत्पन्न करता है, जिससे अनुसंधान उपयोगिता बनी रहती है।

मुख्य योगदान (Key Contributions)

1. SciTrace फ्रेमवर्क: वैज्ञानिक LLM एजेंटों के लिए एक अंतर्निहित सुरक्षा आर्किटेक्चर जो संयुक्त कार्य-और-सुरक्षा तर्क के माध्यम से सभी पाइपलाइन चरणों में संचयी जोखिम अवस्थाओं को प्रसारित करता है।
2. सुरक्षा-अंतर्निहित तर्क लूप (SIR): एक चरण-जागरूक तर्क मॉड्यूल जिसमें पांच क्रमबद्ध जोखिम स्तर और मेमोरी-आधारित सुरक्षा चेक रिट्रीवल शामिल है, जो प्रति-चरण स्वतंत्र फिल्टरों को प्रतिस्थापित करता है।

• संयोजनात्मक टूल-चेन सत्यापनकर्ता (CTV): एक प्रक्षेपवक्र-जागरूक सत्यापनकर्ता जो टूल निष्पादन से पहले तीन-उपकार्य सुरक्षा विश्लेषण करता है, जो विशेष रूप से बहु-चरणीय टूल अनुक्रमों में उभरने वाले जोखिमों को पकड़ने के लिए डिज़ाइन किया गया है।

4. TS-Flow फीडबैक तंत्र: एक सुधारात्मक तर्क प्रणाली जो एजेंटों को कार्यों को केवल रद्द करने के बजाय सुरक्षित विकल्पों की ओर निर्देशित करती है।

प्रयोगात्मक परिणाम (Experimental Results)

इस ढांचे का मूल्यांकन SciSafetyBench पर किया गया, जिसमें छह वैज्ञानिक डोमेन (भौतिकी, रसायन विज्ञान, जीव विज्ञान, सामग्री विज्ञान, सूचना विज्ञान और चिकित्सा) के 240 उच्च-जोखिम वाले अनुसंधान कार्य और 120 टूल-संबंधित जोखिम कार्य शामिल थे। मूल्यांकन चार बैकबोन मॉडलों पर किया गया: Llama-3.1-70B, Qwen2.5-72B, DeepSeek-V3, और GPT-4o।

• सुरक्षा सुधार: SafeScientist की तुलना में, SciTrace ने टूल कॉल सुरक्षा दर में औसतन 14.3 प्रतिशत अंक (pp) का सुधार किया और एडवर्सरियल रिजेक्शन रेट (adversarial rejection rates) में औसतन 24.7 pp की वृद्धि की।
• संयोजनात्मक जोखिम का पता लगाना: SciTrace के CTV ने सफलतापूर्वक 78.8% "कंपोजिशनल एस्केप्स" (compositional escapes) की पहचान की—ऐसे प्रक्षेपवक्र जिन्हें SafeScientist का एकल-चरण मॉनिटर स्वीकृत कर देता है लेकिन उन्हें मानव-संरेखित जज द्वारा असुरक्षित माना जाता है। पहचान दर जीव विज्ञान (83.3%) और रसायन विज्ञान (81.3%) में सबसे अधिक थी।
• गुणवत्ता संरक्षण: SciTrace ने सभी मॉडलों में वैज्ञानिक आउटपुट गुणवत्ता (Quality, Clarity, और Overall स्कोर) को बनाए रखा या उसमें सुधार किया, यह प्रदर्शित करते हुए कि उन्नत सुरक्षा के लिए अनुसंधान उपयोगिता के साथ समझौता करने की आवश्यकता नहीं है।
• मजबूती (Robustness): फ्रेमवर्क ने बहु-टर्न एडवर्सरियल रणनीतियों (जैसे, क्रमिक प्रलोभन और सहयोगात्मक धोखाधड़ी) के खिलाफ बचाव में महत्वपूर्ण लाभ दिखाया, जहाँ स्टेटलेस (stateless) रक्षा प्रणालियाँ आमतौर पर विफल हो जाती हैं।

महत्व और दावे (Significance and Claims)

यह शोध पत्र यह प्रतिपादित करता है कि बहु-चरणीय स्वायत्त एजेंटों में सुरक्षा को एक आर्किटेक्चरल विकल्प (architectural choice) के रूप में संबोधित किया जाना चाहिए, न कि एक पोस्ट-हॉक फिल्टर के रूप में। क्रॉस-स्टेज रीजनिंग और प्रक्षेपवक्र-जागरूक सत्यापन को एकीकृत करके, SciTrace उन पूर्व दृष्टिकोणों की मुख्य सीमाओं को दूर करता है जहाँ सुरक्षा संकेत चरणों के बीच खो जाते हैं या जहाँ क्रमिक जोखिम एकल-चरण जांचों के लिए अदृश्य होते हैं।

लेखकों का दावा है कि SciTrace मजबूत, बहु-चरणीय एजेंट सुरक्षा के लिए एक नया मानक स्थापित करता है, यह सुझाव देते हुए कि यहाँ विकसित डिज़ाइन पैटर्न—विशेष रूप से संचयी जोखिम अवस्थाओं का प्रसार और पूर्ण टूल प्रक्षेपवक्रों का सत्यापन—वैज्ञानिक खोज के क्षेत्र से परे स्वायत्त एजेंटों में भी स्थानांतरित हो सकते हैं। यह कार्य इस बात पर जोर देता है कि मजबूत सुरक्षा के लिए तर्क प्रक्रिया में सुरक्षा को कैसे एकीकृत किया जाए, इसके लिए मौलिक पुनर्कल्पना की आवश्यकता है, जो बाहरी निरीक्षण से आंतरिक विचार (intrinsic deliberation) की ओर बढ़ती है।