🤖 AI

Imperfect World Models are Exploitable

यह शोध पत्र सुदृढीकरण aprendizaje (reinforcement learning) में मॉडल शोषण (model exploitation) की एक औपचारिक परिभाषा प्रस्तुत करता है, यह प्रदर्शित करते हुए कि जबकि बड़े नीति सेटों (policy sets) पर शोषण आम तौर पर अपरिहार्य है, शोषण की एक शिथिल धारणा एक सुरक्षित नियोजन क्षितिज (safe planning horizon) के व्युत्पत्ति की अनुमति देती है।

मूल लेखक: Logan Mondal Bhamidipaty (University of Edinburgh), Esmeralda S. Whitammer (University of Edinburgh), David Abel (University of Edinburgh), Mykel J. Kochenderfer (Stanford University), Subramanian Ram

प्रकाशित 2026-05-18

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Logan Mondal Bhamidipaty (University of Edinburgh), Esmeralda S. Whitammer (University of Edinburgh), David Abel (University of Edinburgh), Mykel J. Kochenderfer (Stanford University), Subramanian Ramamoorthy (University of Edinburgh)

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को खजाना खोजने के लिए भूलभुलैया (maze) में रास्ता दिखाना सिखा रहे हैं। इसे कुशलतापूर्वक करने के लिए, आप रोबोट को एक मैप (एक "वर्ल्ड मॉडल") देते हैं जो यह भविष्यवाणी करता है कि कदम उठाने पर क्या होगा। रोबोट इस मैप का उपयोग अपना रास्ता तय करने के लिए करता है, ताकि वह अधिक से अधिक खजाना खोज सके।

समस्या यह है कि कोई भी मैप एकदम सटीक नहीं होता। कभी-कभी मैप में छोटी त्रुटियां होती हैं। यह शोध पत्र एक महत्वपूर्ण प्रश्न पूछता है: क्या एक खराब मैप एक रोबोट को यह विश्वास दिलाकर धोखा दे सकता है कि एक बहुत ही बुरा रास्ता वास्तव में सबसे अच्छा है?

लेखक इस घटना को "मॉडल एक्सप्लॉइटेशन" (Model Exploitation) कहते हैं। उनके निष्कर्षों का सरल उपमाओं (analogies) के माध्यम से विवरण यहाँ दिया गया है:

1. मुख्य समस्या: "गलत मोड़" का जाल

कल्पना कीजिए कि आपके पास एक ही शहर के दो मैप हैं:

मैप A (वास्तविक दुनिया): दिखाता है कि उत्तर (North) की ओर जाने से एक पार्क (अच्छा) मिलता है, और दक्षिण (South) की ओर जाने से एक दलदल (बुरा) मिलता है।
मैप B (अपूर्ण मॉडल): एक छोटी सी त्रुटि के कारण, यह दिखाता है कि दक्षिण की ओर जाने से एक पार्क मिलता है, और उत्तर की ओर जाने से दलदल मिलता है।

यदि आप मैप B का पालन करते हैं, तो आप खुशी-खुशी दक्षिण की ओर जाएंगे, यह सोचकर कि आप पार्क जा रहे हैं। लेकिन वास्तव में, आप एक दलदल में जा रहे हैं। शोध पत्र "एक्सप्लॉइटेशन" को उस क्षण के रूप में परिभाषित करता है जब आपका अपूर्ण मैप (मैप B) आपको ठीक वही करने के लिए कहता है जो वास्तविक दुनिया (मैप A) आपसे नहीं चाहती।

2. बड़ी खोज: आप हमेशा जाल से बच नहीं सकते

शोधकर्ता यह जानना चाहते थे: "यदि हम रोबोट को केवल कुछ विशिष्ट रास्तों तक सीमित रखते हैं, तो क्या हम गारंटी दे सकते हैं कि मैप उसे धोखा नहीं देगा?"

उन्होंने पाया कि नहीं, आप सुरक्षा की गारंटी नहीं दे सकते यदि रोबोट के पास बहुत सारे विकल्प हैं।

उपमा: कल्पना कीजिए कि संभावित ड्राइविंग मार्गों का एक विशाल पुस्तकालय है। यदि पुस्तकालय पर्याप्त बड़ा है (गणितीय रूप से, यदि इसमें संभावनाओं का एक "ओपन सबसेट" शामिल है), तो लेखक सिद्ध करते हैं कि कोई भी अपूर्ण मैप अंततः रोबोट को धोखा देगा। हमेशा ऐसे दो मार्ग होंगे जहाँ वास्तविक दुनिया मार्ग X को पसंद करती है, लेकिन खराब मैप जोर देता है कि मार्ग Y बेहतर है।
परिणाम: जटिल, वास्तविक दुनिया के परिदृश्यों में जहाँ एक एजेंट (रोबोट) के पास कई अलग-अलग रणनीतियाँ चुनने की क्षमता होती है, मॉडल एक्सप्लॉइटेशन अपरिहार्य है। एक खराब मैप किसी विशिष्ट, अजीब रणनीति के लिए खुद को एक अच्छा मैप दिखाने का तरीका ढूंढ ही लेगा।

3. "खराब मैप्स" और "खराब लक्ष्यों" के बीच का अंतर

पिछले शोध ने दिखाया था कि यदि आप रोबोट को एक खराब लक्ष्य देते हैं (जैसे, "जितने संभव हो सके अंक प्राप्त करें" लेकिन अंक चीजें तोड़ने के लिए दिए जाते हैं), तो रोबोट सिस्टम को "हैक" कर लेगा।

लेखकों ने दिखाया कि खराब मैप्स (अपूर्ण विश्व मॉडल) खराब लक्ष्यों (अपूर्ण रिवॉर्ड्स) से अलग हैं।
उपमा: एक खराब लक्ष्य को ठीक करना खेल के नियमों को बदलने जैसा है। एक खराब मैप को ठीक करना एक धुंधले GPS के साथ शहर में नेविगेट करने की कोशिश करने जैसा है। जो गणित यह सिद्ध करता है कि आप एक खराब लक्ष्य को ठीक नहीं कर सकते, वह यह सिद्ध नहीं करता कि आप एक खराब मैप को ठीक नहीं कर सकते। वास्तव में, पेपर दिखाता है कि खराब मैप्स को नियंत्रित करना और भी कठिन है क्योंकि मैप की त्रुटियाँ रोबोट के विकल्पों के साथ एक जटिल, नॉन-लीनियर तरीके से परस्पर क्रिया करती हैं।

4. आशा की किरण: "सेफ होराइजन" (Safe Horizon)

चूंकि हम लंबे समय में रोबोट को धोखा देने से नहीं रोक सकते, इसलिए लेखकों ने पूछा: "क्या भविष्य की योजना बनाने के लिए कोई सुरक्षित दूरी है?"

उन्होंने $\epsilon$ -exploitation ( $\epsilon$ -एक्सप्लॉइटेशन) की अवधारणा पेश की।

उपमा: यह मांग करने के बजाय कि मैप हमेशा के लिए सटीक हो, हम कहते हैं, "यह ठीक है यदि मैप थोड़ा गलत है, जब तक कि वह हमें किसी विपत्ति में न डाल दे।"
उन्होंने एक "सेफ होराइजन" की गणना की। यह एक सीमा है कि रोबोट को भविष्य में कितनी दूर तक योजना बनानी चाहिए।
- यदि मैप बहुत सटीक है, तो रोबोट काफी आगे तक योजना बना सकता है।
- यदि मैप बहुत धुंधला है (उच्च त्रुटि), तो रोबोट को केवल कुछ कदमों के बाद योजना बनाना बंद कर देना चाहिए।
- सूत्र: उन्होंने एक विशिष्ट गणितीय सीमा निकाली। यदि रोबोट इस सीमा से आगे की योजना बनाता है, तो धोखा खा जाने का जोखिम बहुत अधिक हो जाता है। यदि वह इस सीमा के भीतर रहता है, तो यह गणितीय रूप से गारंटी दी जा सकती है कि वह बड़े धोखों से सुरक्षित है।

5. सारांश और मुख्य निष्कर्ष

बुरी खबर: यदि आपके पास एक जटिल दुनिया है और एक रोबोट है जो कई अलग-अलग रणनीतियों के बारे में सोच सकता है, तो आप एक त्रुटिपूर्ण मैप के खिलाफ पूर्ण सुरक्षा गारंटी नहीं बना सकते। रोबोट अंततः धोखा खाने का तरीका ढूंढ ही लेगा।
अच्छी खबर: आप अभी भी सुरक्षित रूप से योजना बना सकते हैं, लेकिन आपको भविष्य को देखने के अपने नजरिए में विनम्र होना होगा। आपका मैप जितना खराब होगा, आपकी प्लानिंग की सीमा (horizon) उतनी ही छोटी होनी चाहिए।
सेतु (The Bridge): यह पेपर "रिवॉर्ड हैकिंग" (लक्ष्यों को धोखा देना) और "मॉडल एक्सप्लॉइटेशन" (मैप को धोखा देना) के विचार को जोड़ता है, यह दिखाते हुए कि वे संबंधित हैं लेकिन अलग-अलग समस्याएं हैं।

संक्षेप में: आप एक त्रुटिपूर्ण मैप पर हमेशा के लिए भरोसा नहीं कर सकते। लेकिन यदि आप इसका उपयोग केवल एक बार में कुछ कदम उठाने के लिए करते हैं, तो आप रोबोट को दलदल में गिरने से बचा सकते हैं।

तकनीकी सारांश: अपूर्ण विश्व मॉडल शोषण योग्य होते हैं (Imperfect World Models are Exploitable)

समस्या विवरण (Problem Statement)

रीइन्फोर्समेंट लर्निंग (RL) में, कुशल वास्तविक-विश्व नियोजन (planning) के लिए अक्सर जटिल गतिकी (dynamics) को अपूर्ण विश्व मॉडलों के माध्यम से अनुमानित करना आवश्यक होता है। जबकि अच्छी तरह से चुने गए अनुमान जटिल समस्याओं को हल करने योग्य बना सकते हैं, गलत तरीके से चुने गए अनुमान सुरक्षा से समझौता कर सकते हैं। यह विफलता मोड, जिसे मॉडल शोषण (model exploitation) कहा जाता है, तब होता है जब एक एजेंट जो एक अपूर्ण ट्रांज़िशन मॉडल के तहत अपेक्षित पुरस्कार (expected reward) को अधिकतम करने के लिए प्रशिक्षित किया गया है, एक ऐसी नीति (policy) खोज लेता है जो सिमुलेशन में तो अच्छा प्रदर्शन करती है लेकिन वास्तविकता में खराब प्रदर्शन करती है।

यहाँ संबोधित केंद्रीय प्रश्न यह है कि क्या मॉडल शोषण से बचा जा सकता है। जबकि पिछले कार्य, जिन्होंने रिवॉर्ड हैकिंग (reward hacking) (Skalse et al., 2022) पर काम किया था, ने यह स्थापित किया कि रिवॉर्ड स्पेसिफिकेशन त्रुटियों को कैसे टाला जा सकता है, यह स्पष्ट नहीं था कि क्या समान परिणाम ट्रांज़िशन मॉडल त्रुटियों के लिए भी लागू होते हैं। मौजूदा साहित्य अक्सर मॉडल की गुणवत्ता के कार्डिनल मापों (जैसे, प्रेडिक्शन एरर बाउंड्स) पर निर्भर करता है, लेकिन लेखक तर्क देते हैं कि सुरक्षित नियोजन के लिए, ऑर्डिनल सुरक्षा (ordinal safety) की आवश्यकता होती है: एक मॉडल तभी सुरक्षित है यदि वह वास्तविक वातावरण द्वारा प्रेरित नीतियों के सापेक्ष क्रम (relative ordering) को सुरक्षित रखता है। विशेष रूप से, यदि वास्तविक मॉडल नीति $\pi$ को $\pi'$ से बेहतर मानता है, तो एक सुरक्षित सन्निकटन (approximation) को $\pi$ के बजाय $\pi'$ को प्राथमिकता नहीं देनी चाहिए।

कार्यप्रणाली और सैद्धांतिक ढांचा (Methodology and Theoretical Framework)

परिभाषाएँ (Definitions)

यह शोध पत्र मॉडल शोषण (Model Exploitation) को दो ट्रांज़िशन मॉडलों, $T$ और $T'$ , के बीच एक बाइनरी संबंध के रूप में औपचारिक रूप देता है। एक जोड़ी पॉलिसी सेट $\Pi$ के सापेक्ष शोषण योग्य है यदि ऐसी नीतियां $\pi, \pi' \in \Pi$ मौजूद हैं कि:
$J_T(\pi) > J_T(\pi') \quad \text{और} \quad J_{T'}(\pi') > J_{T'}(\pi)$
जहाँ $J_T$ , ट्रांज़िशन मॉडल $T$ के तहत वैल्यू फंक्शन (value function) को दर्शाता है। इसे वैल्यू इनवर्जन (value inversion) के रूप में परिभाषित किया गया है। लेखक इसे रिवॉर्ड हैकिंग (Reward Hacking) से अलग करते हैं, जहाँ एक निश्चित ट्रांज़िशन मॉडल के तहत दो रिवॉर्ड फंक्शनों $R$ और $R'$ के बीच इनवर्जन होता है।

मुख्य सैद्धांतिक बाधाएं (Key Theoretical Obstacles)

लेखक प्रदर्शित करते हैं कि रिवॉर्ड हैकिंग को चरित्रित करने के लिए उपयोग की जाने वाली तकनीकें मौलिक ज्यामितीय अंतरों के कारण मॉडल शोषण पर सीधे लागू नहीं होती हैं:

रैखिकता बनाम गैर-रैखिकता (Linearity vs. Non-linearity): वैल्यू फंक्शन $J(\pi) = \langle R, F^\pi_T \rangle$ रिवॉर्ड फंक्शन $R$ के संबंध में रैखिक है, लेकिन ट्रांज़िशन मॉडल $T$ (विशेष रूप से, प्रायिकता द्रव्यमान फलन/probability mass function में) के संबंध में गैर-रैखिक है। फलस्वरूप, रिवॉर्ड हैकिंग विश्लेषण में उपयोग की जाने वाली लीनियर-अल्जेब्रिक मशीनरी ट्रांज़िशन मॉडलों के लिए अपर्याप्त है।
डोमेन बाधाएं (Domain Constraints): रिवॉर्ड फंक्शन एक यूक्लिडियन स्पेस (Euclidean space) में होते हैं जो नेगेशन और स्केलिंग के तहत बंद है, जबकि ट्रांज़िशन मॉडल एक कॉम्पैक्ट प्रोडक्ट ऑफ सिम्प्लेक्स (compact product of simplices) पर स्थित होते हैं, जिनमें वेक्टर स्पेस संरचना का अभाव होता है।

वैल्यू फंक्शन तर्कसंगतता के माध्यम से एकीकृत सिद्धांत (Unified Theory via Value Function Rationality)

इन बाधाओं को दूर करने के लिए, लेखक पॉलिसी स्पेस में वैल्यू फंक्शन की तर्कसंगतता (rationality) पर आधारित एक एकीकृत सिद्धांत विकसित करते हैं। परिमित MDPs के लिए, $J(\pi)$ पॉलिसी मापदंडों $\pi$ का एक तर्कसंगत फलन (rational function) है और पॉलिसी स्पेस ( $\Pi^+$ ) के आंतरिक भाग पर रियल-एनालिटिक (real-analytic) है।

इस गुण का उपयोग करते हुए, लेखक वैल्यू फंक्शन के ग्रेडिएंट्स ( $\nabla J_1$ और $\nabla J_2$ ) के संबंध में दो ज्यामितीय लेम्मा (lemmas) प्राप्त करते हैं:

स्थानीय इनवर्जन (Local Inversion - Lemma 1): यदि पॉलिसी स्पेस में एक ऐसा दिशा मौजूद है जहाँ एक वैल्यू फंक्शन बढ़ता है जबकि दूसरा घटता है, तो एक वैल्यू इनवर्जन (शोषण) मौजूद होता है।
वैश्विक समानता (Global Equivalence - Lemma 2): यदि दो गैर-तुच्छ (non-trivial) वैल्यू फंक्शनों के ग्रेडिएंट्स एक ओपन सबसेट पर हर जगह धनात्मक रूप से आनुपातिक हैं, तो वे फंक्शन समान हैं (कोई इनवर्जन मौजूद नहीं है)।

मुख्य योगदान और परिणाम (Key Contributions and Results)

1. बड़े पॉलिसी सेट्स पर शोषण की अपरिहार्यता (Inevitability of Exploitation on Large Policy Sets)

यह शोध पत्र यह स्थापित करता है कि किसी भी ऐसे पॉलिसी सेट के लिए जिसमें एक ओपन सबसेट शामिल है (जैसे, सभी स्टेशनरी पॉलिसियों, $\epsilon$ -सब-ऑप्टिमल पॉलिसियों, या $\delta$ -डिटरमिनिस्टिक पॉलिसियों का सेट), मॉडल शोषण अपरिहार्य है कि किसी भी गैर-तुच्छ, गैर-समान (non-equivalent) ट्रांज़िशन मॉडल जोड़ी के लिए।

प्रमेय 1 (Theorem 1): यदि एक पॉलिसी सेट में एक ओपन सबसेट शामिल है, तो किसी भी गैर-तुच्छ, गैर-समान वैल्यू फंक्शन जोड़ी में एक वैल्यू इनवर्जन होगा।
उप-प्रमेय 1 (Corollary 1): फलस्वरूप, प्रत्येक गैर-तुच्छ, गैर-समान ट्रांज़िशन मॉडल जोड़ी ऐसे पॉलिसी सेट्स पर शोषण योग्य है।
यह परिणाम रिवॉर्ड हैकिंग को टालने की "संभावना" के विपरीत है, जो यह दर्शाता है कि ट्रांज़िशन मॉडल्स पर वैल्यू की गैर-रैखिक निर्भरता समृद्ध पॉलिसी क्लासेस में अन-एक्सप्लोिटेबिलिटी (unexploitability) को असंभव बनाती है।

2. परिमित सेट्स में रिवॉर्ड हैकिंग से अंतर (Distinction from Reward Hacking in Finite Sets)

जबकि परिमित पॉलिसी सेट्स पर रिवॉर्ड हैकिंग को (विशिष्ट नियमितता शर्तों के तहत) टाला जा सकता है, लेखक दिखाते हैं कि अन-एक्सप्लोिटेबिलिटी (unexploitability) को उसी तरह गारंटीकृत नहीं किया जा सकता है जैसे रिवॉर्ड हैकिंग के लिए किया जाता है।

काउंटर-एग्जांपल 2 (Counterexample 2): भले ही रिवॉर्ड हैकिंग के लिए नियमितता की शर्तें (गैर-कोलीनियर विजिट काउंट्स) पूरी होती हों, फिर भी ऐसे कार्य और परिमित पॉलिसी सेट्स मौजूद हैं जहाँ प्रत्येक गैर-समान ट्रांज़िशन मॉडल जोड़ी शोषण योग्य है। लेखक अनुमान लगाते हैं कि ट्रांज़िशन मॉडल द्वारा प्रेरित जटिल ज्यामिति के कारण परिमित सेट्स में अन-एक्सप्लोिटेबिलिटी के लिए कोई सरल आवश्यक और पर्याप्त शर्तें मौजूद नहीं हैं।

3. रिडक्शन और नॉन-रिडक्शन (Reduction and Non-Reduction)

प्रपोजिशन 3 (Proposition 3): मॉडल शोषण के प्रत्येक उदाहरण को रिवॉर्ड हैकिंग के उदाहरण में बदला (reduce किया) जा सकता है। यदि $(T, T')$ शोषण योग्य है, तो एक रिवॉर्ड फंक्शन $R'$ मौजूद है जिससे $(R, R')$ हैकेबल (hackable) हो जाता है।
काउंटर-एग्जांपल 1 (Counterexample 1): इसका विलोम (converse) सत्य नहीं है। रिवॉर्ड हैकिंग आवश्यक रूप से मॉडल शोषण का संकेत नहीं देता है, क्योंकि ट्रांज़िशन मॉडलों में परिवर्तन निश्चित रिवॉर्ड्स के तहत नीतियों के सापेक्ष क्रम को नहीं बदल सकते हैं।

4. शिथिल धारणा: $\epsilon$ -एक्सप्लोिटेबिलिटी और सेफ होराइजन्स (Relaxed Notion: $\epsilon$ -Exploitability and Safe Horizons)

कठोर अन-एक्सप्लोिटेबिलिटी को अक्सर अप्राप्य मानते हुए, लेखक $\epsilon$ -एक्सप्लोिटेबिलिटी पेश करते हैं, जो छोटे वैल्यू इनवर्जन की अनुमति देता है। वे एक सेफ होराइजन (Safe Horizon, $H$ ) निकालते हैं जिसके भीतर $\epsilon$ -अन-एक्सप्लोिटेबिलिटी की गारंटी दी जा सकती है।

प्रमेय 2 (Theorem 2): $\epsilon$ की दी गई सहनशीलता और मॉडलों के बीच $\delta$ टोटल वेरिएशन डिस्टेंस के लिए, प्रभावी होराइजन $1/(1-\gamma)$ पर एक सख्त सीमा मौजूद है। यदि होराइजन $H(\epsilon, \delta)$ से छोटा है, तो मॉडल $\epsilon$ -अन-एक्सप्लोिटेबल हैं।
उप-प्रमेय 4 (Corollary 4 - स्क्वायर-रूट ह्यूरिस्टिक): एक ढीला लेकिन सहज बाउंड बताता है कि सेफ होराइजन लगभग $\sqrt{\epsilon/\delta}$ के रूप में स्केल करता है। यह इस अंतर्ज्ञान को औपचारिक रूप देता है कि मॉडल त्रुटियां प्लानिंग होराइजन के दौरान संचयी (compound) होती हैं; जैसे-जैसे मॉडल सटीकता ( $\delta$ ) कम होती है, विनाशकारी इनवर्जन से बचने के लिए सेफ प्लानिंग होराइजन को छोटा होना चाहिए।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि यह विश्व मॉडलों के लिए पहला ऑर्डिनल सुरक्षा मानदंड (ordinal notion of safety) प्रदान करता है, जो ध्यान को कार्डिनल प्रेडिक्शन एक्यूरेसी से हटाकर पॉलिसी ऑर्डरिंग के संरक्षण पर केंद्रित करता है। इसका प्राथमिक महत्व है:

सुरक्षित नियोजन की सीमाओं को औपचारिक रूप देना: यह सिद्ध करता है कि पर्याप्त समृद्ध पॉलिसी क्लासेस में, भले ही उपयोग किया जाने वाला लर्निंग एल्गोरिदम कोई भी हो, अपूर्ण विश्व मॉडलों पर निर्भर रहना अनिवार्य रूप से शोषण की ओर ले जाता है।
हैकिंग और शोषण को एकीकृत करना: यह रिवॉर्ड हैकिंग और मॉडल शोषण के बीच एक औपचारिक सेतु स्थापित करता है, यह दिखाते हुए कि वे एक सामान्य ज्यामितीय जड़ (वैल्यू इनवर्जन) साझा करते हैं, जबकि ट्रांज़िशन मॉडलों द्वारा प्रस्तुत विशिष्ट गणितीय चुनौतियों को भी उजागर करते हैं।
व्यावहारिक सीमाएं: $\epsilon$ -एक्सप्लोिटेबिलिटी पेश करके, यह शोध पत्र सुरक्षा को मापने के लिए एक व्यावहारिक ढांचा प्रदान करता है। यह मॉडल एरर के दिए गए स्तर को सपोर्ट करने वाले अधिकतम प्लानिंग होराइजन के लिए एक क्लोज्ड-फॉर्म एक्सप्रेशन प्रदान करता है, जो मॉडल-बेस्ड आरएल में सुरक्षित नियोजन के लिए एक सैद्धांतिक आधार प्रदान करता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि सामान्य सेटिंग्स में पूर्ण सुरक्षा (unexploitability) अप्राप्य है, फिर भी प्राप्त 'सेफ होराइजन्स' सुरक्षित पॉलिसी सिंथेसिस विधियों के विकास को निर्देशित कर सकते हैं और सुरक्षा उद्देश्यों के प्रति सिंथेसाइज की गई पॉलिसियों की गुणवत्ता को मापने के लिए मेट्रिक्स प्रदान कर सकते हैं।