🤖 machine learning

Stable-GFlowNet: Toward Diverse and Robust LLM Red-Teaming via Contrastive Trajectory Balance

यह शोध पत्र Stable-GFlowNet (S-GFlowNet) प्रस्तुत करता है, जो एक नया फ्रेमवर्क है जो partition function estimation को समाप्त करके और प्रशिक्षण अस्थिरता एवं mode collapse से निपटने के लिए robust masking और fluency stabilization का उपयोग करके LLM रेड-टीमिंग को बेहतर बनाता है, जिससे उत्कृष्ट हमला प्रदर्शन और विविधता प्राप्त होती है।

मूल लेखक: Minchan Kwon, Sunghyun Baek, Minseo Kim, Jaemyung Yu, Dongyoon Han, Junmo Kim

प्रकाशित 2026-05-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Minchan Kwon, Sunghyun Baek, Minseo Kim, Jaemyung Yu, Dongyoon Han, Junmo Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य चित्र: "सुरक्षा निरीक्षक" (Safety Inspector) की समस्या

कल्पना कीजिए कि आपने एक बहुत ही स्मार्ट रोबोट बनाया है (एक लार्ज लैंग्वेज मॉडल, या LLM) जिसे मददगार और हानिरहित होना चाहिए। इसे वास्तविक दुनिया में छोड़ने से पहले, आपको यह सुनिश्चित करना होगा कि इसे कुछ बुरा, खतरनाक या अवैध कहने के लिए बहकाया न जा सके। इस प्रक्रिया को रेड-टीमिंग (Red-Teaming) कहा जाता है। यह एक समूह को "हैकर" रोबोटों को काम पर रखने जैसा है जो आपके सुरक्षा रोबोट को तोड़ने की कोशिश करते हैं ताकि बुरे लोग कमियां खोजने से पहले आप उन छेदों को ठीक कर सकें।

लक्ष्य यह है कि रोबोट को तोड़ने के कई अलग-अलग तरीके खोजे जाएं (विविधता/diversity) और यह सुनिश्चित किया जाए कि वे तरीके वास्तव में काम करते हैं (प्रभावशीलता/effectiveness)।

समस्या: "एक ही दिशा में सोचने वाली बुद्धि" (One-Track Mind)

यह पेपर तर्क देता है कि इन कमियों को खोजने के लिए उपयोग की जाने वाली वर्तमान विधियों में दो मुख्य खामियां हैं:

"गोल्ड रश" प्रभाव (मोड कोलैप्स/Mode Collapse): कल्पना कीजिए कि एक खजाना शिकारी सोना खोज रहा है। यदि उसे एक जगह थोड़ा सोना मिल जाता है, तो वह हमेशा वहीं खुदाई करता रहेगा और बाकी पहाड़ को अनदेखा कर देगा। AI के संदर्भ में, "हमलावर" AI एक ऐसी ट्रिक ढूंढ लेता है जो काम करती है, उसे उच्च स्कोर मिलता है, और फिर वह उसी ट्रिक को बार-बार दोहराता रहता है। वह सिस्टम को तोड़ने के अन्य तरीके खोजना बंद कर देता है।
"धुंधला दिशा-सूचक" (Foggy Compass): हमलावरों को निर्देशित करने वाले उपकरण (जिन्हें जेनेरेटिव फ्लो नेटवर्क या GFN कहा जाता है) ऐसे दिशा-सूचक यंत्रों की तरह हैं जो कभी-कभी बेतहाशा घूमते हैं। वे पूरी दुनिया के लिए एक "कुल स्कोर" की गणना करने की कोशिश करते हैं, लेकिन गणित बहुत कठिन है और संकेत बहुत शोर भरे (जैसे रेडियो पर स्टैटिक) हैं, जिससे दिशा-सूचक यंत्र टूट जाता है और AI भ्रमित हो जाता है या हार मान लेता है।

समाधान: स्टेबल-जीएफएलओनेट (Stable-GFlowNet - S-GFN)

लेखकों ने एक नई विधि प्रस्तावित की है जिसे Stable-GFlowNet (S-GFN) कहा जाता है। इसे हमलावर के टूलकिट को तीन विशिष्ट गैजेट्स के साथ अपग्रेड करने के रूप में देखें:

1. "रस्साकशी" वाला दिशा-सूचक (Contrastive Trajectory Balance)

पुराना तरीका: पुराना दिशा-सूचक पूरे पहाड़ में सोने के हर एक टुकड़े का सटीक मूल्य एक साथ निकालने की कोशिश करता था। यह कठिन था और गलतियों के प्रति संवेदनशील था।
नया तरीका: S-GFN "रस्साकशी" (Tug-of-War) दृष्टिकोण का उपयोग करता है। यह पूछने के बजाय कि "पूरे पहाड़ में कितना सोना है?", यह पूछता है, "क्या सोने का यह ढेर उस दूसरे ढेर से बेहतर है?"
उपमा: कल्पना कीजिए कि आप एक टैलेंट शो का निर्णय ले रहे हैं। हर एक प्रदर्शन को 100 में से एक सटीक स्कोर देने के बजाय (जो कठिन और व्यक्तिपरक है), आप एक समय में दो प्रदर्शनों की तुलना करते हैं: "क्या एक्ट A, एक्ट B से बेहतर था?" इस द्विपक्षीय तुलना (pairwise comparison) को करके, सिस्टम बहुत अधिक स्थिर हो जाता है और "कुल स्कोर" के गणित से भ्रमित नहीं होता है। यह केवल एक चीज़ पर अटके बिना कई तरह के अच्छे प्रदर्शनों को खोज निकालता है।

2. "शोर फ़िल्टर" (Noisy Gradient Pruning)

समस्या: कभी-कभी "सोना डिटेक्टर" (टॉक्सिसिटी क्लासिफायर) एक गलत संकेत देता है। यह गलती से किसी निरर्थक शब्द (gibberish) को "विषाक्त" (toxic) बता सकता है, या यह एक वास्तविक हमले को मिस कर सकता है। यह रेडियो पर स्टैटिक की तरह है।
समाधान: S-GFN में एक फ़िल्टर है जो कहता है, "यदि दो संकेतों के बीच का अंतर इतना छोटा है कि उससे कोई फर्क नहीं पड़ता, तो उसे अनदेखा कर दें।"
उपमा: कल्पना कीजिए कि आप शोर भरे कमरे में फुसफुसाहट सुनने की कोशिश कर रहे हैं। यदि आपका दोस्त बैकग्राउंड शोर की तुलना में थोड़ा अलग फुसफुसाता है, तो शायद आप उसे स्पष्ट रूप से नहीं सुन पाएंगे। S-GFN AI को बताता है: "केवल तभी सुनें जब अंतर तेज और स्पष्ट हो।" यह AI को यादृच्छिक गलतियों या "स्टैटिक" से सीखने से रोकता है।

3. "व्याकरण पुलिस" (Min-K Fluency Stabilizer)

समस्या: AI एक "विषाक्त" संकेत खोजने के लिए इतना उत्सुक है कि वह निरर्थक बातें बोलना शुरू कर सकता है क्योंकि डिटेक्टर निरर्थक बातों से भ्रमित हो गया है। यह उस छात्र की तरह है जो, उच्च ग्रेड पाने के लिए, यादृच्छिक अक्षर लिखना शुरू कर देता है क्योंकि शिक्षक का ग्रेडिंग नियम अस्पष्ट था।
समाधान: S-GFN एक नियम जोड़ता है: "हमले का अर्थपूर्ण वाक्य होना चाहिए।" यह वाक्य की "प्रवाह" (fluency) की जांच करता है। यदि AI ऐसे शब्द का उपयोग करता है जिसका उस संदर्भ में कोई अर्थ नहीं है, तो उसे दंड दिया जाता है।
उपमा: यह एक फुटबॉल रेफरी की तरह है जो सीटी बजाता है यदि कोई खिलाड़ी गोल करने के बजाय गेंद को स्टैंड में किक मारकर अंक प्राप्त करने की कोशिश करता है। यह AI को नियमों को तोड़ने के चतुर, वास्तविक तरीके खोजने के लिए मजबूर करता है, न कि केवल गेम को ही खराब करने के लिए।

परिणाम: उन्होंने क्या पाया?

इस पेपर ने इस नई विधि का अन्य विधियों के विरुद्ध परीक्षण किया और पाया:

अधिक विविधता: पुराने तरीकों ने रोबोट को तोड़ने के लगभग 17 अनूठे तरीके खोजे। S-GFN ने 134 खोजे। यह लगभग 8 गुना अधिक विविधता है।
अभी भी प्रभावी: इतनी सारी विभिन्न चीजें खोजने के बावजूद, यह रोबोट को तोड़ने में उतना ही अच्छा था (लगभग 92% सफलता दर)।
बेहतर बचाव: जब रोबोट को S-GFN द्वारा खोजे गए हमलों के खिलाफ प्रशिक्षित किया गया, तो यह अन्य प्रकार के हमलों से बचने में बहुत कठिन हो गया। यह एक नाव को एक विस्तृत जाल से पैच करने जैसा है; यदि आप उन सभी अलग-अलग छेदों को भर देते हैं जिन्हें S-GFN ने खोजा है, तो नाव तूफानों के खिलाफ बहुत सुरक्षित हो जाती है।

सारांश

संक्षेप में, यह पेपर AI सुरक्षा का परीक्षण करने का एक स्मार्ट, अधिक स्थिर तरीका पेश करता है। टेस्टिंग AI को एक ही ट्रिक पर अटकने या शोर से भ्रमित होने देने के बजाय, यह तुलना (A बनाम B), फ़िल्टर (स्टैटिक को अनदेखा करें), और व्याकरण जाँच (वास्तविक रहें) का उपयोग करता है ताकि बड़ी संख्या में वास्तविक कमजोरियों को खोजा जा सके। यह डेवलपर्स को अधिक छेद खोजने में मदद करता है ताकि वे बुरे लोगों के पहुँचने से पहले ही सुरक्षित AI बना सकें।

यहाँ शोध पत्र "Stable-GFlowNet: Toward Diverse and Robust LLM Red-Teaming via Contrastive Trajectory Balance" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल (LLM) रेड-टीमिंग का उद्देश्य तैनाती से पहले कमजोरियों (विषाक्त या हानिकारक आउटपुट) को सक्रिय रूप से खोजना है। जबकि सुदृढीकरण लर्निंग (Reinforcement Learning - RL) विधियाँ उच्च-पुरस्कार वाले हमलों को खोज सकती हैं, वे मोड कोलैप्स (mode collapse) से ग्रस्त होती हैं, जिससे दोहराव वाले और संकीर्ण हमले के पैटर्न उत्पन्न होते हैं। इसके विपरीत, जेनेरेटिव फ्लो नेटवर्क (GFNs) वितरण मिलान (distribution matching) का एक ढांचा प्रदान करते हैं, जो सैद्धांतिक रूप से विविध उच्च-पुरस्कार वाले प्रक्षेप पथों (trajectories) की खोज करने में सक्षम हैं। हालाँकि, LLM रेड-टीमिंग में GFNs को लागू करना दो महत्वपूर्ण चुनौतियों का सामना करता है:

प्रशिक्षण अस्थिरता (Training Instability): मानक GFN उद्देश्य (जैसे Trajectory Balance, TB) एक वैश्विक विभाजन फलन (global partition function - $Z$ ) के अनुमान की आवश्यकता रखते हैं। LLMs के उच्च-आयामी, असतत स्थान (discrete space) में, $Z$ का अनुमान लगाना संख्यात्मक रूप से अस्थिर होता है, जिससे खराब अभिसरण (convergence) और मोड कोलैप्स होता है।
शोर युक्त पुरस्कार (Noisy Rewards): विषाक्तता क्लासिफायर सघन लेकिन शोर युक्त संकेत प्रदान करते हैं। वे अक्सर निरर्थक (gibberish) या आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) टेक्स्ट को गैर-शून्य पुरस्कार दे सकते हैं, जिससे मॉडल सार्थक और विविध हमलों के बजाय निरर्थक टेक्स्ट बनाकर पुरस्कार को "हैक" करने लगता है।

2. कार्यप्रणाली: Stable-GFlowNet (S-GFN)

लेखक Stable-GFlowNet (S-GFN) का प्रस्ताव करते हैं, जो एक ऐसा ढांचा है जो स्पष्ट विभाजन फलन अनुमान की आवश्यकता को समाप्त करता है और स्थिर, विविध प्रशिक्षण सुनिश्चित करने के लिए शोर युक्त पुरस्कारों को फ़िल्टर करता है। यह पाइपलाइन तीन मुख्य घटकों से बनी है:

A. कॉन्ट्रास्टिव ट्राजेक्टरी बैलेंस (Contrastive Trajectory Balance - CTB)

$Z$ के अनुमान की अस्थिरता को दूर करने के लिए, S-GFN पूर्ण फ्लो मैचिंग उद्देश्य के स्थान पर एक पेयरवाइज तुलना उद्देश्य (pairwise comparison objective) का उपयोग करता है।

तंत्र (Mechanism): पॉलिसी फ्लो और $Z$ के सापेक्ष पुरस्कार के बीच लॉग-अनुपात के बीच अंतर को कम करने के बजाय, CTB प्रक्षेप पथों के जोड़े $(y_1, y_2)$ के लिए पॉलिसी संभावनाओं के लॉग-अनुपात और पुरस्कारों के लॉग-अनुपात के बीच वर्ग अंतर को कम करता है:
$L_{CTB} = \left( \log \frac{\pi_\theta(y_1)}{\pi_\theta(y_2)} - \log \frac{R(y_1)}{R(y_2)} \right)^2$
सैद्धांतिक गारंटी (Theoretical Guarantee): लेखक सिद्ध करते हैं कि CTB के लिए इष्टतम नीति मानक Trajectory Balance ( $\pi_\theta(y) \propto R(y)$ ) के समान ही है।
विचरण न्यूनीकरण (Variance Reduction): एक अन्य के लिए बेसलाइन के रूप में एक नमूने का उपयोग करके (Reinforce Leave-One-Out के समान), CTB बिना किसी बाहरी बेसलाइन नेटवर्क या $Z$ अनुमान के आंतरिक रूप से ग्रेडिएंट विचरण को कम करता है।

B. नॉइज़ी ग्रेडिएंट प्रूनिंग (Noisy Gradient Pruning - NGP)

पेयरवाइज तुलना में निहित रिवॉर्ड नॉइज़ के प्रवर्धन (amplification) के जोखिम को कम करने के लिए, S-GFN एक सैलिएंसी-आधारित फ़िल्टर पेश करता है।

तंत्र (Mechanism): ग्रेडिएंट केवल उन प्रक्षेप पथ जोड़ों के लिए कंप्यूट किए जाते हैं जहाँ लॉग-पुरस्कार का पूर्ण अंतर $\sigma$ थ्रेशोल्ड से अधिक होता है:
$L_{NGP} = \mathbb{I}(|\log R(y_1) - \log R(y_2)| > \sigma) \cdot L_{CTB}$
प्रभाव (Effect): यह विक्टिम LLM या विषाक्तता क्लासिफायर की स्टोकेस्टिसिटी के कारण होने वाले महत्वहीन पुरस्कार अंतरों के आधार पर ऑप्टिमाइज़र को अपडेट करने से रोकता है, प्रभावी रूप से शोर युक्त ग्रेडिएंट्स को काट देता है।

C. मिन-के फ्लूएंसी स्टेबलाइज़र (Min-K Fluency Stabilizer - MKS)

मॉडल को निरर्थक टेक्स्ट (जो अक्सर स्प्यूरियस टॉक्सिसिटी स्कोर प्राप्त करते हैं) के स्थानीय मिनिमा में अभिसरित होने से रोकने के लिए, S-FGN एक फ्लूएंसी बाधा (fluency constraint) का उपयोग करता है।

तंत्र (Mechanism): एक ग्लोबल KL-डाइवर्जेंस पेनल्टी (जो एक रेफरेंस मॉडल पर ओवरफिट हो सकती है) के बजाय, MKS Min-K सांख्यिकी की गणना करता है: एक जनरेट किए गए अनुक्रम के तहत रेफरेंस मॉडल के तहत $k$ सबसे कम संभावित टोकन का औसत लॉग-संभावना।
हार्ड पेनल्टी (Hard Penalty): यदि Min-K स्कोर थ्रेशोल्ड $T_{mks}$ से नीचे गिर जाता है, तो पुरस्कार को शून्य (या एक बड़े नकारात्मक मान) पर क्लिप कर दिया जाता है।
$R_{MKS}(y) = \mathbb{I}(M_k(y) \ge T_{mks}) \cdot R(y)$
लाभ (Benefit): यह सुनिश्चित करता है कि केवल प्रवाहपूर्ण (fluent), भाषाई रूप से सुसंगत प्रॉम्प्ट्स को ही उच्च-पुरस्कार माना जाए, जिससे मॉडल निरर्थक टेक्स्ट उत्पन्न किए बिना वैध हमलों के व्यापक स्थान का पता लगा सके।

3. प्रमुख योगदान (Key Contributions)

Stable-GFN ढांचा: एक नया रेड-टीमिंग ढांचा जो विभाजन फलन अनुमान ( $Z$ ) की आवश्यकता को समाप्त करता है, जो LLMs के लिए GFNs में प्रशिक्षण अस्थिरता का प्राथमिक कारण है।
कॉन्ट्रास्टिव ट्राजेक्टरी बैलेंस (CTB): एक नया उद्देश्य फलन जो TB के समान इष्टतम वितरण प्राप्त करता है, लेकिन काफी कम विचरण और उच्च प्रशिक्षण स्थिरता के साथ।
शोर के प्रति मजबूती (Robustness to Noise): NGP और MKS का एकीकरण विशेष रूप से रेड-टीमिंग की अनूठी चुनौतियों (शोर युक्त क्लासिफायर और निरर्थक पुरस्कार) को संबोधित करता है, जो मोड कोलैप्स और रिवॉर्ड हैकिंग को रोकता है।
सार्वभौमिकता (Universality): यह शोध पत्र दर्शाता है कि CTB और NGP न केवल रेड-टीमिंग बल्कि आणविक पीढ़ी (molecular generation) और हाइपरग्रिड नेविगेशन जैसे अन्य वितरण मिलान कार्यों में भी प्रभावी हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विभिन्न विक्टिम मॉडल्स (Qwen, Llama, Gemma) और डिफेंस सेटिंग्स में PPO, Jailbreak R1, Rainbow Teaming और मानक GFN (TB) सहित बेसलाइन्स के विरुद्ध S-GFN का मूल्यांकन किया।

विविधता (अद्वितीय हमले - Unique Attacks): S-GFN ने 134 अद्वितीय हमले वाले प्रॉम्प्ट उत्पन्न किए, जो मानक GFN बेसलाइन (17) और PPO (3) की तुलना में एक बड़ा सुधार है। इसने GFN बेसलाइन की तुलना में लगभग 7 गुना अधिक अद्वितीय हमले उत्पन्न किए।
अटैक सक्सेस रेट (ASR): S-GFN ने ~92.5% का उच्च ASR बनाए रखा, जो सर्वोत्तम प्रदर्शन करने वाले बेसलाइन्स (GFN: 93.7%, PPO: 91.7%) के तुलनीय है, जो यह सिद्ध करता है कि विविधता की कीमत प्रभावशीलता के रूप में नहीं चुकानी पड़ी।
क्रॉस-अटैक ट्रांसफ़रेबिलिटी (Cross-Attack Transferability): जब विक्टिम मॉडल्स को S-GFN के हमलों का उपयोग करके सेफ्टी-फाइन-ट्यून किया गया, तो वे अन्य तरीकों के हमलों के प्रति काफी मजबूत हो गए (GFN हमलों के लिए ASR घटकर लगभग 0% हो गया)। इसके विपरीत, S-GFN के हमले अन्य तरीकों पर फाइन-ट्यून किए गए मॉडल्स के खिलाफ प्रभावी रहे, जो बेहतर सामान्यीकरण (generalization) प्रदर्शित करते हैं।
ट्रांसफर हमले (Transfer Attacks): S-GFN ने अनदेखे विक्टिम मॉडल्स (जैसे Gemma3, Llama3.2) में हमलों को सफलतापूर्वक स्थानांतरित किया, जो ट्रांसफर परिदृश्यों में ASR और विविधता दोनों में अन्य तरीकों से बेहतर प्रदर्शन करता है।
दक्षता (Efficiency): $O(N^2)$ पेयरवाइज तुलनाओं के बावजूद, कम्प्यूटेशनल लागत नगण्य है क्योंकि ये स्केलर ऑपरेशंस हैं; वास्तविक बैकप्रोपैगेशन लागत $O(N)$ बनी रहती है, जिससे S-GFN मानक GFN के लगभग उतना ही कुशल है।

5. महत्व (Significance)

यह शोध पत्र LLM सुरक्षा अनुसंधान में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है। GFNs की प्रशिक्षण अस्थिरता को हल करके, यह विविध, उच्च-प्रभाव वाली कमजोरियों की व्यवस्थित खोज को सक्षम बनाता है जिन्हें पारंपरिक RL विधियाँ मोड कोलैप्स के कारण मिस कर देती हैं।

सुरक्षा के लिए: यह रेड-टीमिंग के लिए एक अधिक मजबूत उपकरण प्रदान करता है, जिससे डेवलपर्स को तैनाती से पहले हमलों के एक व्यापक स्पेक्ट्रम की पहचान करने में मदद मिलती है।
रक्षा के लिए: S-GFN द्वारा उत्पन्न विविध हमले ऐसे सुरक्षा-फाइन-ट्यून किए गए मॉडल बनाते हैं जो भविष्य के हमलों की एक विस्तृत श्रृंखला के प्रति अधिक लचीले होते हैं।
मशीन लर्निंग के लिए: प्रस्तावित कॉन्ट्रास्टिव ट्राजेक्टरी बैलेंस वितरण मिलान के लिए एक सामान्य समाधान प्रदान करता है, जो GFNs की प्रयोज्यता को ड्रग डिस्कवरी और मटेरियल साइंस जैसे क्षेत्रों में रेड-टीमिंग से आगे बढ़ाता है।

संक्षेप में, Stable-GFlowNet सफलतापूर्वक GFNs की सैद्धांतिक विविधता और वास्तविक दुनिया की रेड-टीमिंग के लिए आवश्यक व्यावहारिक स्थिरता के बीच के अंतर को पाटता है, जो विविध और प्रभावी हमलों के निर्माण के लिए एक नया स्टेट-ऑफ-द-आर्ट स्थापित करता है।