🤖 AI

Align AI to Dynamic Human-AI Workflows

यह शोध पत्र एआई संरेखण (AI alignment) को स्थिर, अनुकरणात्मक दृष्टिकोणों से एक गतिशील, संवादात्मक ढांचे की ओर स्थानांतरित करने का समर्थन करता है जहाँ मानव और एआई व्यवहार सह-विकसित होते हैं, जो नए समन्वय चुनौतियों को संबोधित करने के लिए अंतरविषयक अंतर्दृष्टि का उपयोग करता है और पूरक संरेखण के लिए एक अनुसंधान एजेंडा की रूपरेखा तैयार करता है।

मूल लेखक: Valerie Chen, Cleotilde Gonzalez, Anita Williams Woolley, Michael Lee, Tongshuang Wu, Vincent Conitzer, Aarti Singh

प्रकाशित 2026-07-17

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Valerie Chen, Cleotilde Gonzalez, Anita Williams Woolley, Michael Lee, Tongshuang Wu, Vincent Conitzer, Aarti Singh

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मस्तिष्क और मशीनों का नृत्य

एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर केवल आज्ञाकारी रोबोट की तरह आदेशों का पालन नहीं करते, बल्कि वास्तव में हमारे साथ टीम के साथियों की तरह काम करते हैं। यह आर्टिफिशियल इंटेलिजेंस (AI) अलाइनमेंट की सीमा है। सरल शब्दों में, "अलाइनमेंट" वह प्रक्रिया है जिसमें AI को वह करने के लिए सिखाया जाता है जो मनुष्य वास्तव में चाहते हैं, न कि केवल वह जो हम उसे करने के लिए कहते हैं। लंबे समय से, वैज्ञानिक मानव व्यवहार के उदाहरण दिखाकर AI को अलाइन करने की कोशिश कर रहे हैं और कह रहे हैं, "इसे कॉपी करो।" यह एक कुत्ते को बैठे हुए कुत्ते की तस्वीर दिखाकर उसे बैठने के लिए सिखाने जैसा है। लेकिन वास्तविक जीवन एक तस्वीर नहीं है; यह एक अस्त-व्यस्त, बदलती हुई फिल्म है। हमें इसकी परवाह इसलिए है क्योंकि जैसे-जैसे AI स्मार्ट होता जा रहा है और कोड लिखने, कार चलाने या अस्पतालों को प्रबंधित करने में हमारी मदद करने लगा है, हमें यह सुनिश्चित करने की आवश्यकता है कि वह केवल हमारी नकल न करे, बल्कि वास्तव में हमें अपने काम में बेहतर होने में मदद करे। यदि AI और इंसान यह नहीं समझ पाते कि एक-दूसरे पर कैसे भरोसा करना है और भूमिकाएँ कैसे बदलनी हैं, तो पूरी टीम विफल हो सकती है।

शोध पत्र का बड़ा विचार: स्नैपशॉट्स से फिल्मों तक

यह शोध पत्र तर्क देता है कि AI को प्रशिक्षित करने का वर्तमान तरीका एक नृत्य की एक एकल, जमी हुई तस्वीर लेने और फिर केवल उस एक स्थिर छवि के आधार पर रोबोट को नृत्य करना सिखाने जैसा है। लेखक, जो कार्नेगी मेलन यूनिवर्सिटी और कैलिफोर्निया विश्वविद्यालय, इरविन के शोधकर्ताओं की एक टीम है, सुझाव देते हैं कि हमें "स्नैपशॉट्स" देखना बंद करना चाहिए और पूरी "फिल्म" देखना शुरू करना चाहिए।

पुराने तरीके की समस्या
अभी, अधिकांश AI अलाइनमेंट "पसंद का अनुमान लगाने" (Guess the Preference) के खेल की तरह काम करता है। आप AI को दो उत्तर दिखाते हैं, मनुष्य से पूछते हैं कि उन्हें कौन सा पसंद है, और AI अगली बार यह अनुमान लगाने की कोशिश करता है कि मनुष्य क्या चाहता है। पेपर बताता है कि यह बहुत स्थिर है। यह मान लेता है कि मानवीय प्राथमिकताएं कभी नहीं बदलतीं। लेकिन वास्तविक जीवन में, एक उपकरण के प्रति हमारा विश्वास लगातार बदलता रहता है।

एक डेवलपर के बारे में सोचें जो एक AI कोडिंग असिस्टेंट का उपयोग कर रहा है। शुरुआत में, डेवलपर पूरी तरह से AI पर भरोसा कर सकता है, जिससे वह तेजी से कोड लिख सके। लेकिन यदि AI कुछ गलतियाँ करता है, तो डेवलपर घबरा जाता है और कोड की हर एक लाइन की जाँच करना शुरू कर देता है। यदि AI फिर कुछ समय के लिए खुद को विश्वसनीय साबित करता है, तो डेवलपर फिर से सहज हो जाता है और AI को अधिक नियंत्रण लेने देता है। पेपर इसे एक डायनेमिक वर्कफ़्लो (गतिशील कार्यप्रवाह) कहता है। पुराने तरीके इसे मिस कर देते हैं क्योंकि वे केवल समय के एक क्षण को देखते हैं, इस बात को अनदेखा करते हुए कि मानव और AI ने कैसे परस्पर क्रिया की है। वे मनुष्य को "अच्छे" और "बुरे" उत्तरों के एक स्थिर लेबलर के रूप में देखते हैं, बजाय एक ऐसे साथी के जिसका मन लगातार बदल रहा है।

नया प्रस्ताव: एक गतिशील नृत्य
लेखक अलाइनमेंट के बारे में सोचने का एक नया तरीका प्रस्तावित करते हैं: इंटरैक्टिव और कॉम्प्लीमेंट्री अलाइनमेंट (संवादात्मक और पूरक अलाइनमेंट)। केवल AI को इंसान की तरह व्यवहार करने के लिए बनाने के बजाय, लक्ष्य यह होना चाहिए कि मानव और AI की टीम समय के साथ मिलकर बेहतर काम करे।

एक जैज़ बैंड की कल्पना करें। पुराने मॉडल में, AI एक ऐसा संगीतकार है जो उस शीट संगीत की सटीक नकल करने की कोशिश करता है जो मनुष्य ने लिखा है। नए मॉडल में, AI एक जैज़ पार्टनर है। कभी मनुष्य सोलो (solo) बजाता है, और AI सुनता है और समर्थन करता है। कभी AI एक जटिल धुन के साथ नेतृत्व करता है, और मनुष्य सुनने के लिए पीछे हट जाता है। वे लगातार एक-दूसरे के अनुकूल ढलते रहते हैं। पेपर सुझाव देता है कि सबसे अच्छा AI वह नहीं है जो हमारी सटीक नकल करता है, बल्कि वह है जो जानता है कि कब आगे आना है, कब पीछे हटना है, और अनिश्चितता को संभालने में हमारी मदद कैसे करनी है।

उन्होंने क्या किया और क्या पाया
इस तरह के AI को बनाने के तरीके को समझने के लिए, शोधकर्ताओं ने केवल कंप्यूटर सिमुलेशन नहीं चलाए। उन्होंने दो बहुत अलग दुनियाओं के 70 विशेषज्ञों के साथ एक कार्यशाला आयोजित की: मशीन लर्निंग (कोडर) और सामाजिक विज्ञान (मनोवैज्ञानिक, संगठनात्मक विशेषज्ञ और संज्ञानात्मक वैज्ञानिक)। वे यह देखना चाहते थे कि जब आप एल्गोरिदम के तर्क को मानवीय टीम वर्क की अव्यवस्थित वास्तविकता के साथ मिलाते हैं तो क्या होता है।

इस अंतर्विषयक चर्चा से उन्होंने क्या खोजा, यहाँ दिया गया है:

विश्वास एक जीवित चीज़ है: मानव टीमों में, विश्वास कोई स्विच नहीं है जो या तो "ऑन" या "ऑफ" होता है। यह एक रिश्ता है जो बढ़ता, घटता और क्षणों के आधार पर बदलता रहता है। यदि एक टीम का सदस्य गलती करता है लेकिन उसे स्वीकार करता है और ठीक करता है, तो विश्वास वास्तव में मजबूत हो सकता है। लेकिन यदि वे झूठ बोलते हैं या उनके छिपे हुए इरादे होते हैं, तो विश्वास तुरंत गायब हो जाता है। पेपर सुझाव देता है कि AI को इस उतार-चढ़ाव को समझने की आवश्यकता है, न कि केवल "आप मुझे कितना पसंद करते हैं?" के एक एकल स्कोर की।
"कौन क्या जानता है" की समस्या: अच्छी टीमों के पास यह जानने का एक साझा मानचित्र होता है कि कौन किस काम में अच्छा है। इसे "ट्रांसएक्टिव मेमोरी" कहा जाता है। यदि किसी टीम के सदस्य को लीक होता पाइप ठीक करने की आवश्यकता है, तो वे लेखाकार (accountant) के बजाय प्लंबर से पूछना जानते हैं। पेपर का तर्क है कि AI सिस्टम को इस साझा मानचित्र को बनाने में मदद करने की आवश्यकता है। उन्हें यह जानना चाहिए कि कब कहना है, "मुझे यकीन नहीं है, आप इसे संभालें," या "मैं यह हिस्सा कर सकता हूँ, आप उस पर ध्यान दें।"
AI का ट्विस्ट: पेपर चेतावनी देता है कि मानव-AI टीमें मानव-मानव टीमों से अलग होती हैं। AI सुपर फास्ट है और सब कुछ याद रखता है, लेकिन इसकी कोई प्रतिष्ठा या चेहरा नहीं होता। यह जानना कठिन होता है कि क्या AI "झूठ" बोल रहा है या केवल भ्रमित है। क्योंकि AI में उन सामाजिक संकेतों की कमी होती है जिनका उपयोग हम लोगों को आंकने के लिए करते हैं, इसलिए इस पर भरोसा करना कठिन हो सकता है, जिससे या तो अत्यधिक निर्भरता (बहुत अधिक भरोसा करना) या कम उपयोग (सही होने पर भी अनदेखा करना) हो सकती है।

रुकावटें
लेखक सावधानी से कहते हैं कि उन्होंने अभी तक सब कुछ हल नहीं किया है। उन्होंने इन गतिशील टीमों को बनाने के रास्ते में तीन बड़ी बाधाओं की पहचान की है:

सिद्धांत का अंतर (The Theory Gap): हमारे पास इस बारे में पर्याप्त सिद्धांत नहीं हैं कि मनुष्य और AI लंबे समय तक कैसे परस्पर क्रिया करते हैं। हम जानते हैं कि मनुष्य एक साथ कैसे काम करते हैं, लेकिन AI एक नया, अजीब साथी है।
वास्तविक दुनिया का अंतर (The Real-World Gap): इन विचारों का परीक्षण करना कठिन है क्योंकि वास्तविक दुनिया का अधिकांश डेटा (जैसे लोग वास्तव में काम पर AI का उपयोग कैसे करते हैं) निजी कंपनियों के पास सुरक्षित है। शोधकर्ता लैब में परीक्षण करने के लिए मजबूर हैं, जो हमेशा वास्तविक जीवन से मेल नहीं खाता।
मापन का अंतर (The Measurement Gap): हमारे पास समय के साथ "अच्छी टीम वर्क" को मापने के लिए अच्छे पैमाने नहीं हैं। हम यह माप सकते हैं कि कार्य पूरा हुआ या नहीं, लेकिन यह मापना कठिन है कि कार्य के बाद मानव और AI ने एक-दूसरे पर बेहतर विश्वास करना सीखा या नहीं।

आगे क्या?
पेपर निष्कर्ष निकालता है कि भविष्य AI का यह नहीं है कि हमारे जैसे दिखने वाले स्मार्ट रोबोट बनाए जाएं। यह ऐसी प्रणालियाँ बनाने के बारे में है जो हमारे अनुकूल हो सकें, हमारे बदलते मूड और विश्वास के स्तर को समझ सकें, और हमारे अद्वितीय कौशल के समन्वय में हमारी मदद कर सकें। वे एक ऐसे भविष्य का आह्वान करते हैं जहाँ कंप्यूटर वैज्ञानिक और सामाजिक वैज्ञानिक मिलकर ऐसे AI को डिजाइन करने के लिए काम करें जो केवल सवालों के जवाब नहीं देता, बल्कि वास्तविक दुनिया के काम के जटिल, बदलते नृत्य को नेविगेट करने में हमारी मदद करता है।

लेखक सुझाव दे रहे हैं कि यह बदलाव आवश्यक है, लेकिन वे स्वीकार करते हैं कि यह एक बहुत बड़ी चुनौती है। वे यह दावा नहीं कर रहे हैं कि आज उनके पास अंतिम उत्तर है; बल्कि, वे इस यात्रा के लिए एक मानचित्र बना रहे हैं, और समुदाय से आग्रह कर रहे हैं कि वे स्थिर स्नैपशॉट देखना बंद करें और मानव-AI सहयोग की पूरी फिल्म बनाना शुरू करें।

तकनीकी सारांश: गतिशील मानव-AI वर्कफ़्लो के साथ AI को संरेखित करना (Align AI to Dynamic Human-AI Workflows)

समस्या विवरण (Problem Statement)

वर्तमान AI संरेखण (alignment) प्रतिमान मुख्य रूप से स्थिर और अनुकरणवादी दृष्टिकोणों (static and emulative approaches) पर निर्भर करते हैं। ये विधियाँ मॉडल को मानव व्यवहार की नकल करने या स्थिर प्राथमिकता कार्यों (जैसे कि मानव फीडबैक से सुदृढीकरण सीखना (RLHF), व्यवहार क्लोनिंग, या ड्यूलिंग बैन्डिट्स) को संतुष्ट करने के लिए अनुकूलित करती हैं, जो अलग-थलग इनपुट-आउटपुट युग्मों पर आधारित होती हैं। यह शोध पत्र तर्क देता है कि यह ढांचा वास्तविक दुनिया के मानव-AI इंटरैक्शन की गतिशील, संदर्भ-निर्भर प्रकृति को पकड़ने में विफल रहता है।

व्यावहारिक वर्कफ़्लो में (उदाहरण के लिए, एक डेवलपर जो AI कोडिंग असिस्टेंट का उपयोग कर रहा है), मानव प्राथमिकताएं, विश्वास और निर्भरता इंटरैक्शन इतिहास के आधार पर समय के साथ विकसित होती हैं। स्थिर संरेखण मानव को प्राथमिकता लेबल के एक निश्चित स्रोत के रूप में और AI को तत्काल संतुष्टि के लिए अनुकूलित एक प्रणाली के रूप में देखता है। यह इस तथ्य की अनदेखी करता है कि प्रभावी सहयोग के लिए पूरकता (complementarity) की आवश्यकता होती है, जहाँ भूमिकाएँ अनुकूलित होती हैं और व्यवहार इंटरैक्शन के अनुक्रमों (sequences) के माध्यम से सह-विकसित होते हैं। मौजूदा अंतराल यह है कि वर्तमान सूत्र उन दीर्घकालिक प्रक्षेप पथों (longitudinal trajectories) को ध्यान में नहीं रखते जहाँ मानव और मॉडल के व्यवहार एक-दूसरे को प्रभावित करते हैं, और न ही वे समय के साथ संयुक्त परिणामों के लिए अनुकूलन करते हैं।

कार्यप्रणाली (Methodology)

यह शोध पत्र एक नए अनुभवजन्य एल्गोरिदम या डेटासेट के बजाय एक वैचारिक और अंतःविषय संश्लेषण (conceptual and interdisciplinary synthesis) का उपयोग करता है। कार्यप्रणाली के तीन प्राथमिक घटक हैं:

अंतराल का औपचारिककरण (Formalization of the Gap): लेखक मानक स्थिर संरेखण उद्देश्यों और प्रस्तावित प्रक्षेप पथ-स्तरीय दृष्टिकोण (trajectory-level view) के बीच अंतर करते हैं।
- स्थिर दृष्टिकोण (Static View): अलग-थलग आउटपुट पर अपेक्षित पुरस्कार $E[\hat{r}(x, y)]$ को अधिकतम करने के लिए $\pi_\theta$ को अनुकूलित करता है।
- प्रस्तावित दृष्टिकोण (Proposed View): इंटरैक्शन को एक प्रक्षेप पथ $\tau = (x_1, a^A_1, a^B_1, \dots, x_T, a^A_T, a^B_T)$ के रूप में मॉडल करता है, जहाँ क्रियाएं इतिहास $\tau_{<t}$ और गुप्त अवस्थाओं (लक्ष्यों, विश्वासों) पर आधारित होती हैं। उद्देश्य प्रक्षेप पथ पर पुरस्कारों के योग को अधिकतम करना है: $E_{\tau}[\sum r^*(x_t, a^H_t, a^{AI}_t; \tau_{<t})]$ । यह सूत्र स्पष्ट रूप से इंटरैक्शन इतिहास, समन्वय और संयुक्त परिणामों को शामिल करता है।
अंतःविषय कार्यशाला संश्लेषण (Interdisciplinary Workshop Synthesis): इस दृष्टिकोण को ठोस आधार देने के लिए, लेखकों ने मशीन लर्निंग और सामाजिक विज्ञान (मानव-कंप्यूटर इंटरेक्शन, संज्ञानात्मक विज्ञान, संगठनात्मक मनोविज्ञान) के 70 प्रतिभागियों के साथ एक कार्यशाला आयोजित की।
- प्रक्रिया: कार्यशाला ने मानव-मानव सहयोग से प्राप्त अंतर्दृष्टि को निकालने और उन्हें मानव-AI सेटिंग्स में विस्तारित करने के लिए ट्यूटोरियल, संरचित मंथन (brainstorming) और घूमते हुए चर्चा समूहों का उपयोग किया।
- डेटा स्रोत: निष्कर्ष चर्चाओं, लिखित सारांशों और पूर्व-कार्यशाला सर्वेक्षणों से प्राप्त किए गए जिन्होंने बाधाओं और भविष्य की दिशाओं की पहचान की।
सैद्धांतिक विश्लेषण (Theoretical Analysis): शोध पत्र इस बात का विश्लेषण करता है कि मानव-मानव सहयोग के सिद्धांत (विश्वास का विकास, ट्रांसैक्टिव मेमोरी, साझा मानसिक मॉडल) मानव-AI सिस्टम में कैसे अनुवादित होते हैं, और AI एजेंटों द्वारा पेश की गई विशिष्ट विषमताओं और नई चुनौतियोंों की पहचान करते हैं।

मुख्य योगदान (Key Contributions)

1. "पूरक संरेखण" का औपचारिककरण (Formalizing "Complementary Alignment")

यह पत्र अनुकरणवादी संरेखण (emulative alignment) (मानव आउटपुट की नकल करना) से इंटरैक्टिव और पूरक संरेखण (interactive and complementary alignment) की ओर बदलाव का प्रस्ताव करता है। इस ढांचे में:

वरीयताएं उभरती हैं (Preferences are emergent): वे स्थिर लेबल नहीं हैं बल्कि इंटरैक्शन के माध्यम से विकसित होती हैं।
अनुकूलन प्रक्षेप पथ-आधारित है (Optimization is trajectory-based): लक्ष्य केवल एक एकल चरण में मॉडल के आउटपुट को नहीं, बल्कि समय के साथ मानव-AI सिस्टम के व्यवहार को अनुकूलित करना है।
पूरकता (Complementarity): इसे गणितीय रूप से उस स्थिति के रूप में परिभाषित किया गया है जहाँ मानव और AI क्रियाओं का संयुक्त पुरस्कार, अकेले किसी भी एजेंट द्वारा प्राप्त अधिकतम पुरस्कार से अधिक होता है ( $r^*(a^H, a^{AI}) > \max(r^*(a^H, \emptyset), r^*(\emptyset, a^{AI}))$ )।

2. गतिशीलता पर अंतःविषय अंतर्दृष्टि (Interdisciplinary Insights on Dynamics)

मानव-मानव सहयोग से प्राप्त दो मुख्य सबक और मानव-AI सेटिंग्स में उनके रूपांतरण की पहचान करती है:

विश्वास का विकास (Trust Evolution): विश्वास बहुआयामी (क्षमता, परोपकार, अखंडता) है और इंटरैक्शन इतिहास के आधार पर विकसित होता है। मानव-AI सेटिंग्स में, यह प्रवर्धित विषमताओं (AI की गति, पैमाना, सामाजिक संकेतों की कमी) और व्याख्यात्मकता (interpretability) के मुद्दों के कारण जटिल हो जाता है, जिससे उपयोगकर्ताओं के लिए AI की क्षमता या इरादे के सटीक मानसिक मॉडल बनाना कठिन हो जाता है।
समन्वय और पूरकता (Coordination and Complementarity): प्रभावी टीमें "ट्रांसैक्टिव मेमोरी" (कि कौन क्या जानता है) और "साझा मानसिक मॉडल" का उपयोग समन्वय के लिए करती हैं। मानव-AI वर्कफ़्लो में, AI सिस्टम कार्य उत्पाद और समन्वय प्रक्रिया को नया आकार दे सकते हैं (जैसे ड्राफ्ट तैयार करना या सारांश बनाना), जिसके लिए अनिश्चितता और भूमिका आवंटन को प्रबंधित करने के लिए नए प्रकार के स्पष्ट डिज़ाइन की आवश्यकता होती है।

3. बाधाओं की पहचान और अनुसंधान एजेंडा (Identification of Barriers and Research Agenda)

यह पत्र तीन विशिष्ट बाधाओं को रेखांकित करता है जो गतिशील संरेखण में प्रगति को रोकती हैं:

वैचारिक बाधाएं (Conceptual Barriers): स्थापित मानव-मानव सिद्धांतों की तुलना में मानव-AI इंटरैक्शन पर अपर्याप्त सिद्धांत; AI का तीव्र विकास सैद्धांतिक विकास से आगे निकल जाता है।
अनुवाद बाधाएं (Translation Barriers): डेटा की अप्राप्यता (निजी उद्योग सेटिंग्स) के कारण वास्तविक दुनिया के परिनियोजन (deployment) में अनुसंधान को स्थापित करने में कठिनाई; और सैद्धांतिक एवं व्यावहारिक दृष्टिकोणों के बीच का अंतर।
मूल्यांकन बाधाएं (Evaluation Barriers): मानकीकृत मेट्रिक्स, उच्च-गुणवत्ता वाले दीर्घकालिक इंटरैक्शन डेटासेट और इंटरैक्टिव टेस्टबेड की कमी। वर्तमान बेंचमार्क सहयोगात्मक अनुकूलन या विफलता से उबरने के बजाय कार्य पूरा करने पर केंद्रित हैं।

लेखक एक अनुसंधान एजेंडा प्रस्तावित करते हैं जो मशीन लर्निंग (मल्टी-एजेंट RL, प्रेफरेंस लर्निंग) को सामाजिक विज्ञान की अंतर्दृष्टि (ट्रांसैक्टिव मेमोरी, ट्रस्ट मॉडल) के साथ जोड़ता है ताकि समय के साथ कैलिब्रेटेड रिलायंस (calibrated reliance), समन्वय और अनुकूलन के लिए अनुकूलित सिस्टम विकसित किए जा सकें।

परिणाम (Results)

एक सैद्धांतिक और स्थितिगत (position) पत्र के रूप में, यह कार्य कोई प्रयोगात्मक परिणाम या अनुभवजन्य बेंचमार्क प्रस्तुत नहीं करता है। इसके बजाय, इसके "परिणाम" संश्लेषित ढांचा और अनुसंधान एजेंडा हैं जो अंतःविषय कार्यशाला से प्राप्त हुए हैं। यह शोध पत्र सफलतापूर्वक:

एजेंटिक, वर्कफ़्लो-एकीकृत संदर्भों में वर्तमान स्थिर संरेखण विधियों की सीमाओं को स्पष्ट करता है।
स्थिर आउटपुट अनुकूलन और प्रक्षेप पथ-आधारित सहयोगात्मक अनुकूलन के बीच एक औपचारिक गणितीय अंतर प्रदान करता है।
विशिष्ट सामाजिक विज्ञान अवधारणाओं (जैसे ट्रांसैक्टिव मेमोरी) को AI डिज़ाइन की तकनीकी चुनौतियों से जोड़ता है।
वर्तमान ML साहित्य में ठोस अंतरालों (जैसे मल्टी-एजेंट RL में सिम्युलेटेड एजेंटों की धारणा) की पहचान करता है और उन्हें पाटने के लिए दिशाएं प्रस्तावित करता है।

महत्व और दावे (Significance and Claims)

यह पत्र यह दावा करके महत्व सिद्ध करता है कि क्षेत्र को स्नैपशॉट मूल्यांकन (snapshot evaluation) से आगे बढ़कर प्रक्षेप पथ-स्तरीय अनुकूलन (trajectory-level optimization) की ओर बढ़ना चाहिए। यह तर्क देता है कि जैसे-जैसे AI सिस्टम अधिक एजेंटिक और वर्कफ़्लो में एकीकृत होते जा रहे हैं, स्थिर संरेखण अपर्याप्त है और संभावित रूप से दीर्घकालिक मानव-AI सफलता के साथ असंगत है।

लेखक इस बात पर जोर देते हैं कि:

अंतःविषय संश्लेषण आवश्यक है: गतिशील संरेखण को हल करने के लिए केवल मशीन लर्निंग की ही नहीं, बल्कि यह समझने के लिए सामाजिक और निर्णय विज्ञान की अंतर्दृष्टि को एकीकृत करने की भी आवश्यकता है कि विश्वास और समन्वय वास्तव में कैसे कार्य करते हैं।
पूरकता एक संरेखण समस्या है, न कि केवल एक डिज़ाइन समस्या: जैसे-जैसे AI काम करने के तरीके को बदलता है, मॉडल के प्रशिक्षण और अनुकूलन उद्देश्यों को प्रभावी सहयोग का समर्थन करने के लिए मौलिक रूप से बदलना चाहिए, न कि इसे पूरी तरह से वर्कफ़्लो डिजाइनरों पर छोड़ देना चाहिए।
सुरक्षा और जोखिम: गतिशील संरेखण नए जोखिम पेश करता है (जैसे, डाउनस्ट्रीम परिणामों को अनुकूलित करने के लिए उपयोगकर्ता के विश्वास में हेरफेर करने वाला AI), जिसके लिए बचाव के बजाय गहन अध्ययन की आवश्यकता है।

यह शोध पत्र AI सिस्टम को इंटरैक्शन के दौरान मनुष्यों के साथ संरेखित करने के विकास का आह्वान करते हुए समाप्त होता है, जिसके लिए एक नई पीढ़ी के तरीकों की आवश्यकता है जो मानव और मॉडल के व्यवहार के सह-विकास को ध्यान में रखते हैं।