💻 computer science

Observing and Controlling Features in Vision-Language-Action Models

यह शोध पत्र फीचर-ऑब्जर्वेबिलिटी (feature-observability) और फीचर-कंट्रोलेबिलिटी (feature-controllability) की अवधारणाओं को पेश करके विजन-लैंग्वेज-एक्शन मॉडल्स (VLAs) के लिए मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) के अंतराल को पाटता है, और यह प्रदर्शित करता है कि हल्के लीनियर हस्तक्षेप (lightweight linear interventions) बिना फाइन-ट्यूनिंग की आवश्यकता के विभिन्न आर्किटेक्चरों में वास्तविक समय में रोबोट व्यवहार को प्रभावी ढंग से निर्देशित कर सकते हैं।

मूल लेखक: Hugo Buurmeijer, Carmen Amo Alonso, Aiden Swann, Marco Pavone

प्रकाशित 2026-03-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hugo Buurmeijer, Carmen Amo Alonso, Aiden Swann, Marco Pavone

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली, सुपर-स्मार्ट रोबोट शेफ है। यह रोबोट एक बिखरी हुई रसोई को देख सकता है, आपकी आवाज़ सुन सकता है, और यह तय कर सकता है कि खाना पकाने के लिए अपने हाथों को ठीक से कैसे चलाना है। यह एक विज़न-लैंग्वेज-एक्शन (VLA) मॉडल है। यह एक मस्तिष्क की तरह है जो एक साथ देखता है, सोचता है और चलता है।

लेकिन समस्या यह है: कभी-कभी यह रोबोट शेफ थोड़ा ज़्यादा रचनात्मक हो जाता है। शायद आपने इसे "सूप को धीरे से चलाने" के लिए कहा, लेकिन इसने गलती से दीवार पर टमाटर का सॉस छिड़क दिया। या शायद यह चाकू उठाने का फैसला कर लेता है जब आप सिर्फ एक चम्मच उठाने के लिए कह रहे थे।

अतीत में, यदि आप इसे ठीक करना चाहते थे, तो आपको रोबate को वापस स्कूल भेजना पड़ता था (इसे फिर से प्रशिक्षित करना/retrain करना)। इसमें बहुत समय लगता है और बहुत पैसा खर्च होता है।

यह पेपर रोबोट को वास्तविक समय (real-time) में "स्टीयर" करने का एक चतुर तरीका पेश करता है, बिना उसे वापस स्कूल भेजे। यह ऐसा है जैसे आप रोबोट को उसके अपने विचारों के लिए एक रिमोट कंट्रोल दे रहे हों।

मुख्य विचार: "थॉट ट्रांसलेटर" और "जेंटल नज़" (कोमल धक्का)

लेखकों ने महसूस किया कि रोबोट के मस्तिष्क के अंदर, कुछ विशिष्ट "विचार" या फीचर्स (features) होते हैं जो भौतिक क्रियाओं के अनुरूप होते हैं। उदाहरण के लिए, एक विशिष्ट पैटर्न है जिसका अर्थ है "ग्रिपर खोलना" और दूसरा जिसका अर्थ है "हाथ ऊपर उठाना।"

वे इन विचारों को प्रबंधित करने के लिए दो उपकरण प्रस्तावित करते हैं:

1. थॉट ट्रांसलेटर (फीचर-ऑब्जर्वेबिलिटी)

कल्पना कीजिए कि रोबोट का मस्तिष्क एक विशाल, अराजक पुस्तकालय है जहाँ किताबें एक गुप्त कोड में लिखी गई हैं। आप कोड नहीं पढ़ सकते, इसलिए आप नहीं जानते कि रोबोट क्या सोच रहा है।

ट्रांसलेटर एक जादुई डिकोडर रिंग की तरह है। यह रोबोट के मस्तिष्क के भीतर के गुप्त कोड को देखता है और तुरंत आपको बताता है, "आह, अभी रोबोट हाथ बंद करने के बारे में सोच रहा है।"

यह कैसे काम करता है: उन्होंने एक सरल, हल्का गणितीय टूल (एक लीनियर क्लासिफायर) बनाया है जो इस डिकोडर के रूप में कार्य करता है। इसे पूरी किताब समझने की ज़रूरत नहीं है; इसे बस उस विशिष्ट पैटर्न को पहचानने की ज़रूरत है जिसका अर्थ है "हाथ बंद करना।"

2. जेंटल नज़ (कोमल धक्का - Feature-Controllability)

एक बार जब ट्रांसलेटर आपको बता देता है, "रोबोट हाथ बंद करने के बारे में सोच रहा है," लेकिन वास्तव में आप चाहते हैं कि वह हाथ खुला रखे, तो आपको उसका मन बदलना होगा।

अतीत में, लोग रोबोट पर चिल्लाने या उसके पूरे व्यक्तित्व को बदलने (retraining) की कोशिश कर सकते थे। यह पेपर एक जेंटल नज़ (कोमल धक्का) का सुझाव देता है।

उपमा: कल्पना कीजिए कि रोबोट के विचार नदी में तैरती एक नाव की तरह हैं। नाव एक झरने की ओर बह रही है (हाथ बंद करना)। एक नया नाव बनाने या पूरी नदी को खींचने के बजाय, आप नाव को वापस सुरक्षित किनारे की ओर मोड़ने के लिए चप्पू से एक छोटा, सटीक धक्का देते हैं।
जादू: लेखकों ने यह पता लगाया कि रोबोट के आंतरिक विचारों को किस सटीक गणितीय दिशा में धकेलना है ताकि वह अपना मन बदल ले, लेकिन केवल उतनी ही न्यूनतम मात्रा में जितनी आवश्यक हो। यह सुनिश्चित करता है कि रोबोट भ्रमित न हो या सूप बनाना न भूल जाए; वह बस उस एक विशिष्ट निर्णय को बदल देता है।

यह एक बड़ी बात क्यों है

1. यह तत्काल है (कोई री-ट्रेनिंग नहीं)
आमतौर पर, यदि आप चाहते हैं कि रोबोट अलग तरह से व्यवहार करे, तो आपको उसे हजारों नए उदाहरण खिलाने पड़ते हैं और सीखने के लिए दिनों तक प्रतीक्षा करनी पड़ती है। यह तरीका एक स्विच दबाने जैसा है। आप रोबोट को बता सकते हैं, "5 मील प्रति घंटे से तेज़ न जाओ," और सिस्टम तुरंत रोबोट के आंतरिक विचारों को आज्ञा मानने के लिए समायोजित कर देता है, ठीक उसी समय जब वह चल रहा होता है।

2. यह रोबोट को "प्राकृतिक" बनाए रखता है
यदि आप किसी रोबोट को कुछ करने के लिए मजबूर करते हैं, तो वह अक्सर रोबोट की तरह अजीब और झटकेदार चलने लगता है। क्योंकि यह तरीका बहुत ही सूक्ष्म, सटीक धक्का देता है, इसलिए रोब सहित रोबोट की हरकतें सहज और प्राकृतिक बनी रहती हैं। यह एक कठपुतली को धागों से खींचने और एक डांसर को उसके साथी द्वारा धीरे से निर्देशित किए जाने के बीच के अंतर जैसा है।

3. यह वास्तविक दुनिया में काम करता है
इन "मन पढ़ने" वाले ट्रिक्स में से अधिकांश को टेक्स्ट मॉडल्स (जैसे चैटबॉट्स) पर टेस्ट किया गया था जो केवल शब्द टाइप करते हैं। लेकिन रोबोट वास्तविक दुनिया में रहते हैं जहाँ एक गलत चाल फूलदान तोड़ सकती है। लेखकों ने साबित किया कि यह सिमुलेशन में वास्तविक रोबोट पर काम करता है। भले ही रोबोट की क्रियाएं दुनिया को बदल देती हैं (जो यह बदल देता है कि वह आगे क्या देखेगा), यह स्टीयरिंग विधि स्थिर और विश्वसनीय रहती है।

परिणाम: एक रोबोट जो सुनता है

टीम ने इसे दो उन्नत रोबोट मॉडलों (OpenVLA और $\pi0.5$ ) पर टेस्ट किया। यहाँ वे क्या कर सकते थे:

ग्रिपर: वे रोबोट को हाथ खुला रखने या बंद रखने के लिए मजबूर कर सकते थे, भले ही मूल निर्देश अस्पष्ट हो।
ऊंचाई: वे रोबोट को कह सकते थे, "अपना हाथ मेज के स्तर से नीचे रखें," और वह पूरी तरह से आज्ञा मानता था।
गति: वे रोबोट को कह सकते थे, "धीमे हो जाओ," और वह बिना लड़खड़ाए अपनी गति को धीरे से कम कर देता था।

निचोड़

यह पेपर एक रोबोट के मस्तिष्क के लिए वॉल्यूम नॉब और स्टीयरिंग व्हील देने जैसा है। हर नए नियम के लिए नया रोबोट बनाने के बजाय, अब हम रोबोट को वास्तविक समय में उसके आंतरिक विचारों को धीरे से बदलने के लिए उपयोग कर सकते हैं ताकि वह सुरक्षित, अधिक आज्ञाकारी और हमारे वास्तविक उद्देश्यों के अनुरूप हो सके।

यह AI के "ब्लैक बॉक्स" को ऐसी चीज़ में बदल देता है जिसमें हम झाँक सकते हैं, समझ सकते हैं और धीरे से मार्गदर्शन कर सकते हैं—जो रोबोट को हमारे दैनिक जीवन के लिए बहुत अधिक भरोसेमंद साथी बनाता है।

यहाँ शोध पत्र "Observing and Controlling Features in Vision-Language-Action Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

विज़न-लैंग्वेज-एक्शन (VLA) मॉडल एम्बॉडीड इंटेलिजेंस (embodied intelligence) में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करते हैं, जो रोबोट को मल्टीमॉडल इनपुट (छवियां, भाषा, प्रोप्रियोसेप्शन) की व्याख्या करने और जटिल क्रियाएं उत्पन्न करने में सक्षम बनाते हैं। हालाँकि, लार्ज लैंग्वेज मॉडल्स (LLMs) की तरह, VLAs भी अनिश्चितता, वास्तविक समय में सुधार करने में कठिनाई, और उपयोगकर्ता की प्राथमिकताओं या सुरक्षा बाधाओं के साथ मिसअलाइनमेंट (misalignment) से ग्रस्त हैं।

जबकि "एक्टिवेशन स्टीयरिंग" (आउटपुट को निर्देशित करने के लिए आंतरिक प्रस्तुतियों में हस्तक्षेप करना) को LLMs में सफलतापूर्वक लागू किया गया है, इन विधियों को VLAs पर स्थानांतरित करना गैर-तुच्छ (non-trivial) है क्योंकि:

मल्टीमॉडल जटिलता (Multimodal Complexity): VLAs विविध इनपुट को प्रोसेस करते हैं और निरंतर (continuous) एक्शन आउटपुट उत्पन्न करते हैं।
हाइब्रिड आर्किटेक्चर (Hybrid Architectures): कई VLAs ट्रांसफॉर्मर बैकबोन को डिफ्यूजन या फ्लो-मैचिंग हेड्स के साथ जोड़ते हैं।
क्लोज्ड-लूप डायनेमिक्स (Closed-Loop Dynamics): LLMs (ओपन-लूप टेक्स्ट जनरेशन) के विपरीत, VLAs क्लोज्ड-लूप में काम करते हैं जहाँ क्रियाएं सीधे भौतिक वातावरण को बदल देती हैं, जो फिर नए इनपुट के रूप में फीडबैक देती हैं।
स्वाभाविकता का संरक्षण (Preservation of Naturalness): मौजूदा हस्तक्षेप अक्सर मॉडल के "प्राकृतिक" व्यवहार या क्लोज्ड-लूप प्रदर्शन को कम कर देते हैं।

मुख्य चुनौती यह है कि मॉडल को फाइन-ट्यून किए बिना, VLA के आंतरिक प्रतिनिधित्व स्थान (internal representation space) के भीतर विशिष्ट व्यवहार संबंधी विशेषताओं (जैसे, रोबोट की गति, ग्रिपर की स्थिति) को कैसे देखा (observe) और निर्देशित (steer) किया जाए, जबकि मॉडल की जेनेरेटिव लचीलापन और सुरक्षा को बनाए रखा जा सके।

2. कार्यप्रणाली (Methodology)

लेखक नियंत्रण सिद्धांत (control theory) की अवधारणाओं पर आधारित एक एकीकृत ढांचा प्रस्तावित करते हैं: फीचर-ऑब्जर्वेबिलिटी (Feature-Observability) और फीचर-कंट्रोलेबिलिटी (Feature-Controllability)। वे प्रदर्शित करते हैं कि ये विशेषताएं VLA के ट्रांसफॉर्मर लेयर्स में रैखिक रूप से एनकोड (linearly encoded) होती हैं और हल्के रैखिक हस्तक्षेपों (linear interventions) के माध्यम से हेरफेर की जा सकती हैं।

A. फीचर-ऑब्जर्वेबिलिटी (The Observer)

लेखक परिकल्पना करते हैं कि रोबोट की अवस्थाएं और क्रियाएं ट्रांसफॉर्मर के लेटेंट रिप्रेजेंटेशन स्पेस ( $x_\ell$ ) के भीतर रैखिक रूप से अलग (linearly separable) हैं।

तंत्र (Mechanism): एक लीनियर क्लासिफायर (ऑब्जर्वर) $f_\ell(x) = W_\ell x + b_\ell$ को विशिष्ट विशेषताओं $\zeta$ (जैसे, ग्रिपर अपर्चर, एंड-इफेक्टर पोजीशन) को मैप करने के लिए प्रशिक्षित किया जाता है।
प्रशिक्षण (Training): ऑब्जर्वर को एक लेबल किए गए डेटासेट (इनपुट सीक्वेंस जो ग्राउंड-ट्रुथ स्टेट्स/एक्शन्स के साथ युग्मित हैं) का उपयोग करके क्रॉस-एन्ट्रॉपी लॉस के माध्यम से ऑफलाइन प्रशिक्षित किया जाता है। यह निरंतर मानों के लिए एक रिग्रेशन कार्य है और असतत (discrete) अवस्थाओं के लिए बाइनरी क्लासिफिकेशन है।
मजबूती (Robustness): पेपर सत्यापित करता है कि ये लीनियर प्रोब्स प्रतिनिधित्व स्थान में छोटे व्यवधानों (perturbations) के प्रति मजबूत हैं।

B. फीचर-कंट्रोलेबिलिटी (The Controller)

एक बार जब कोई विशेषता दृश्यमान (observable) हो जाती है, तो लेखक इसे एक वांछित क्षेत्र $D$ (जैसे, ग्रिपर को खुला रखना) की ओर निर्देशित करने के लिए एक तंत्र डिजाइन करते हैं।

तंत्र (Mechanism): एक लीनियर कंट्रोलर $g_\ell(x)$ प्रतिनिधित्व में एक न्यूनतम योगात्मक व्यवधान (additive perturbation) $u_\ell$ लागू करता है: $\tilde{x}_\ell = x_\ell + u_\ell$ ।
अनुकूलन (Optimization): व्यवधान $u_\ell$ को एक बाधा-युक्त अनुकूलन समस्या (constrained optimization problem) के समाधान के रूप में कंप्यूट किया जाता है: $L_2$ नॉर्म के $\|u\|_2^2$ को न्यूनतम करना, इस शर्त के अधीन कि देखा गया फीचर वांछित सीमाओं के भीतर हो ( $f_\ell(x + u) \in D$ )।
क्लोज्ड-फॉर्म सॉल्यूशन (Closed-Form Solution): यह मानते हुए कि एक लीनियर ऑब्जर्वर और 1D बाउंडेड टारगेट रीजन है, इष्टतम व्यवधान को क्लोज्ड फॉर्म में निकाला गया है:
$u_\ell = \begin{cases} (\zeta_{max} - \zeta_\ell) \frac{W_\ell}{\|W_\ell\|^2} & \text{यदि } \zeta_\ell > \zeta_{max} \\ (\zeta_{min} - \zeta_\ell) \frac{W_\ell}{\|W_\ell\|^2} & \text{यदि } \zeta_\ell < \zeta_{min} \\ 0 & \text{अन्यथा} \end{cases}$
जहाँ $\zeta_\ell$ वर्तमान अवलोकन है। यह सुनिश्चित करता है कि हस्तक्षेप लक्ष्य प्राप्त करने के लिए आवश्यक "सबसे छोटा" संभव परिवर्तन है।

C. ऑनलाइन एकीकरण (Online Integration)

फ्रेमवर्क ऑब्जर्वर और कंट्रोलर को इन्फरेंस पाइपलाइन में एकीकृत करता है। ट्रांसफॉर्मर के फॉरवर्ड पास के दौरान:

लेयर रिप्रेजेंटेशन $x_\ell$ की गणना करें।
यदि लेयर नियंत्रण के लिए चुनी गई है, तो $\zeta_\ell$ का अवलोकन करें।
यदि $\zeta_\ell$ बाधाओं का उल्लंघन करता है, तो न्यूनतम व्यवधान $u_\ell$ की गणना करें और लागू करें।
संशोधित प्रतिनिधित्व को अगले लेयर्स तक प्रसारित करें।
यह प्रक्रिया नगण्य कम्प्यूटेशनल ओवरहेड जोड़ती है, जिससे बिना रिट्रेनिंग के रियल-टाइम ऑपरेशन सक्षम होता है।

3. मुख्य योगदान (Key Contributions)

अवधारणाओं का औपचारिककरण (Formalization of Concepts): जेनेरेटिव मॉडल्स के लिए फीचर-ऑब्जर्वेबिलिटी और फीचर-कंट्रोलेबिलिटी को पेश किया और औपचारिक रूप दिया, जिससे मैकेनिस्टिक इंटरप्रिटेबिलिटी को एम्बॉडीड एआई (embodied AI) के साथ जोड़ा गया।
लीनियर ऑब्जर्वर डिज़ाइन (Linear Observer Design): ट्रांसफॉर्मर लेयर्स से रोबोट स्टेट्स और एक्शन्स निकालने के लिए एक हल्का लीनियर प्रोब प्रस्तावित किया, जिससे VLAs में "लीनियर रिप्रेजेंटेशन हाइपोथेसिस" को सत्यापित किया गया।
मिनिमल लीनियर कंट्रोलर (Minimal Linear Controller): एक इष्टतम नियंत्रण हस्तक्षेप डिजाइन किया जो मॉडल के व्यवहार की स्वाभाविकता को बनाए रखते हुए, न्यूनतम व्यवधान के साथ प्रस्तुतियों को वांछित क्षेत्रों की ओर निर्देशित करता है।
क्लोज्ड-लूप एल्गोरिदम (Closed-Loop Algorithm): एक ऑनलाइन एल्गोरिदम विकसित किया जो इन्फरेंस के दौरान ऑब्जर्वेशन और कंट्रोल को एकीकृत करता है, जो बिना फाइन-ट्यूनिंग के क्लोज्ड-लूप रोबोटिक कार्यों में प्रभावशीलता प्रदर्शित करता है।
अनुभवजन्य सत्यापन (Empirical Validation): दो अलग-अलग VLA आर्किटेक्चर (OpenVLA और $\pi0.5$ ) और कई डेटासेट्स (BridgeData V2, Libero) पर फ्रेमवर्क को मान्य किया।

4. परिणाम (Results)

प्रयोग रोबोटिक मैनिपुलेशन कार्यों (Libero सिम्युलेटर) और वास्तविक दुनिया के डेटासेट्स पर किए गए।

ऑब्जर्वेबिलिटी (Observability): लीनियर क्लासिफायर ने उच्च सटीकता के साथ ट्रांसफॉर्मर लेयर्स से रोबोट स्टेट्स (पोजीशन, ओरिएंटेशन, ग्रिपर) और एक्शन्स को सफलतापूर्वक निकाला। अवलोकन व्यवधानों (perturbations) के प्रति मजबूत थे।
कंट्रोलेबिलिटी और स्टीयरिंग (Controllability & Steering):
- ग्रिपर कंट्रोल: विधि ने >90% टास्क सक्सेस रेट बनाए रखते हुए बाधा संतुष्टि (ग्रिपर को खुला/बंद रखना) में लगभग पूर्ण सफलता प्राप्त की, जो प्रॉम्प्टिंग या नो-इंटरवेंशन बेसलाइन्स से काफी बेहतर है।
- एंड-इफेक्टर हाइट: सिस्टम ने प्रारंभिक स्थितियों के सापेक्ष रोबोट की ऊंचाई को सफलतापूर्वक नियंत्रित किया। हालांकि बढ़ते हुए कठिन कार्य के कारण टास्क सक्सेस थोड़ा कम हुआ, लेकिन स्टीयरिंग सटीक थी।
- स्पीड कंट्रोल: विधि ने रोबोट को विश्वसनीय रूप से धीमा करने में सक्षम बनाया। तेज गति (speeding up) कम सटीक थी, जो संभवतः ट्रेनिंग डेटा में हाई-स्पीड रिजीम्स में डेटा की कमी के कारण है।
लेयर सेंसिटिविटी (Layer Sensitivity): हस्तक्षेप शुरुआती ट्रांसफॉर्मर लेयर्स में सबसे प्रभावी थे। गहरे लेयर्स को समान प्रभाव प्राप्त करने के लिए बड़े व्यवधानों की आवश्यकता थी, क्योंकि गहरे लेयर्स में प्रस्तुतियों का परिमाण ( $L_2$ norm) बढ़ जाता है।
क्लोज्ड-लूप प्रदर्शन (Closed-Loop Performance): महत्वपूर्ण रूप से, विधि ने क्लोज्ड-लूप सेटिंग्स में उच्च टास्क सक्सेस रेट बनाए रखा, जो यह सिद्ध करता है कि ओपन-लूप स्टीयरिंग तकनीकें एम्बॉडीड, इंटरैक्टिव सिस्टम में स्थानांतरित हो सकती हैं।

5. महत्व और प्रभाव (Significance and Impact)

रियल-टाइम अलाइनमेंट (Real-Time Alignment): यह फ्रेमवर्क फाइन-ट्यूनिंग या रिट्रेनिंग की कम्प्यूटेशनल लागत के बिना रोबोट के व्यवहार को उपयोगकर्ता की प्राथमिकताओं (जैसे, सुरक्षा बाधाएं, गति सीमा) के साथ रियल-टाइम अलाइनमेंट करने में सक्षम बनाता है।
इंटरप्रिटेबिलिटी (Interpretability): यह यह समझने के लिए एक सिद्धांत आधारित तरीका प्रदान करता है कि VLAs व्यवहार संबंधी विशेषताओं को कैसे एनकोड करते हैं, जिससे "ब्लैक बॉक्स" मॉडल से हटकर व्याख्या योग्य आंतरिक संरचना वाले सिस्टम की ओर बढ़ा जा सकता है।
सुरक्षा और विश्वसनीयता (Safety and Reliability): लो-लेवल फीचर्स (जैसे ग्रिपर को रोकना या धीमा करना) के सटीक स्टीयरिंग की अनुमति देकर, यह दृष्टिकोण अनस्ट्रक्चर्ड वातावरण में रोबोट को तैनात करने में महत्वपूर्ण सुरक्षा चिंताओं को संबोधित करता है।
सामान्यीकरण (Generalizability): यह दृष्टिकोण ट्रांसफॉर्मर बैकबोन के संबंध में आर्किटेक्चर-अज्ञेयवादी (architecture-agnostic) है, जो शुद्ध ट्रांसफॉर्मर मॉडल (OpenVLA) और हाइब्रिड ट्रांसफॉर्मर-फ्लो-मैचिंग मॉडल ( $\pi0.5$ ) दोनों पर काम करता है।

सीमाएं और भविष्य का कार्य (Limitations & Future Work):
वर्तमान दृष्टिकोण ऑब्जर्वर्स को प्रशिक्षित करने के लिए लेबल किए गए डेटा पर निर्भर करता है। भविष्य के कार्य का लक्ष्य सेल्फ-सुपरवाइज्ड फीचर डिस्कवरी (जैसे, स्पार्स ऑटोएनकोडर) की खोज करना, डिफ्यूजन/फ्लो-मैचिंग हेड्स तक नियंत्रण का विस्तार करना, और उच्च-स्तरीय सिमेंटिक फीचर्स (लक्ष्य, ऑब्जेक्ट अफोर्डेंस) की ऑब्जर्वेबिलिटी की जांच करना है। इसके अतिरिक्त, इन हस्तक्षेपों के लिए औपचारिक सुरक्षा सीमाओं (formal safety bounds) को स्थापित करना एक खुला विषय बना हुआ है।