📊 statistics

Preference Learning for AI Alignment: a Causal Perspective

यह शोध पत्र एआई अलाइनमेंट (AI alignment) में रिवॉर्ड मॉडलिंग के लिए एक कारण-आधारित (causal) ढांचे का प्रस्ताव करता है ताकि कारण-संबंधी गलत पहचान (causal misidentification) और भ्रम (confounding) जैसी चुनौतियों का समाधान किया जा सके, और यह प्रदर्शित करता है कि कैसे कारण-प्रेरित दृष्टिकोण सरल विधियों की तुलना में मॉडल की मजबूती और सामान्यीकरण (generalization) में सुधार कर सकते हैं।

मूल लेखक: Katarzyna Kobalczyk, Mihaela van der Schaar

प्रकाशित 2026-05-12

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Katarzyna Kobalczyk, Mihaela van der Schaar

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Preference Learning for AI Alignment: a Causal Perspective" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करते हुए विवरण दिया गया है।

बड़ी तस्वीर: AI को "अच्छा" बनना सिखाना

कल्प Imagine कीजिए कि आप एक बहुत ही प्रतिभाशाली लेकिन नादान प्रशिक्षु (AI) को कहानियाँ लिखना सिखा रहे हैं। उन्हें सिखाने के लिए, आप उन्हें कहानी के दो अलग-अलग अंत दिखाते हैं और पूछते हैं, "इनमें से कौन सा बेहतर है?" प्रशिक्षु आपके उत्तरों से सीखता है। इस प्रक्रिया को रिवॉर्ड मॉडलिंग (Reward Modeling) कहा जाता है।

यह पेपर तर्क देता है कि इन प्रशिक्षुओं को सिखाने का वर्तमान तरीका दोषपूर्ण है क्योंकि हम गलत चीजों पर ध्यान दे रहे हैं। हम केवल साधारण पैटर्न (सांख्यिकी) पर भरोसा कर रहे हैं, न कि उन वास्तविक कारणों (कार्य-कारण संबंध या causality) को समझने पर कि लोग कुछ विशेष कहानियों को क्यों पसंद करते हैं।

समस्या: "भ्रामक सहसंबंध" (Spurious Correlation) का जाल

लेखकों का कहना है कि वर्तमान AI मॉडल उस छात्र की तरह हैं जो विषय को सीखने के बजाय उत्तर कुंजी (answer key) के फॉर्मेट को रटकर परीक्षा में नकल कर रहा है।

उदाहरण: कल्पना कीजिए कि आप एक कुकिंग प्रतियोगिता का निर्णय ले रहे हैं। आप देखते हैं कि हर बार जब कोई शेफ लाल एप्रन (red apron) पहनता है, तो जज उसे उच्च स्कोर देते हैं।
- नादान AI: सोचता है, "आहा! लाल एप्रन खाने का स्वाद बेहतर बना देता है!" और वह सभी शेफ को लाल एप्रन पहनने के लिए कहने लगता है।
- वास्तविकता: लाल एप्रन का स्वाद से कोई लेना-देना नहीं था। लाल एप्रन पहनने वाले शेफ बस वे लोग थे जिन्होंने उस दिन सबसे स्वादिष्ट व्यंजन बनाए थे। एप्रन केवल एक संयोग (एक "भ्रामक सहसंबंध") था।
परिणाम: यदि आप इस AI को एक नए किचन में भेजते हैं जहाँ शेफ नीले एप्रन पहनते हैं, तो यह बुरी तरह विफल हो जाएगा क्योंकि इसने गलत नियम सीखा है। इसने यह नहीं सीखा कि खाना वास्तव में क्या चीज़ अच्छा बनाती है; इसने केवल एक ऐसे पैटर्न को सीखा जो प्रशिक्षण डेटा में मौजूद था।

मुख्य मुद्दा: कन्फाउंडिंग (Confounding - "छिपा हुआ संदर्भ")

पेपर एक अवधारणा पेश करता है जिसे कन्फाउंडिंग (Confounding) कहते हैं। यह तब होता है जब एक छिपा हुआ कारक "उपचार" (जो AI देखता है) और "परिणाम" (जिसे इंसान पसंद करता है) दोनों को प्रभावित करता है।

उदाहरण: कल्पना कीजिए कि एक शिक्षक निबंधों का मूल्यांकन कर रहा है।
- समूह A: जीव विज्ञान (biology) के विशेषज्ञ छात्र जटिल चिकित्सा विषयों पर निबंध लिखते हैं। वे लंबे, तकनीकी शब्दों (jargon) से भरे उत्तर लिखते हैं। शिक्षक (जो स्वयं एक जीवविज्ञानी भी है) इन उत्तरों को पसंद करता है।
- समूह B: जो छात्र विशेषज्ञ नहीं हैं, वे बागवानी (gardening) के बारे में सरल निबंध लिखते हैं। शिक्षक उन्हें उबाऊ पाता है।
- गलती: यदि AI केवल डेटा को देखता है, तो वह निष्कर्ष निकाल सकता है: "लंबे, तकनीकी शब्दों वाले उत्तर हमेशा बेहतर होते हैं।"
- वास्तविकता: पहले समूह को पसंद करने का कारण उनकी लंबाई या तकनीकी शब्द नहीं थे; बल्कि यह था कि विषय शिक्षक की विशेषज्ञता से मेल खाता था। "विषय" यहाँ छिपा हुआ कन्फाउंडर (hidden confounder) है। AI यह देखने में विफल रहा कि यदि आप किसी जीव विज्ञान विशेषज्ञ को बागवानी का प्रॉम्प्ट देते, तो शायद वे एक सरल उत्तर को ही पसंद करते।

पेपर का दावा है कि चूंकि AI को "अवसरवादी" तरीके से एकत्र किए गए डेटा (जहाँ उपयोगकर्ता जो चाहे पूछ सकते हैं) पर प्रशिक्षित किया जाता है, इसलिए ये छिपे हुए कारक सीखने की प्रक्रिया को बिगाड़ देते हैं।

समाधान: एक "कॉज़ल" (Causal) दृष्टिकोण

लेखक समस्या को कार्य-कारण संबंध (Causality) के नजरिए से देखने का प्रस्ताव देते हैं। यह पूछने के बजाय कि, "हमें क्या पैटर्न दिख रहे हैं?" वे पूछते हैं, "क्या होगा यदि हम केवल एक चीज़ को बदल दें?"

उदाहरण: केवल कुकिंग प्रतियोगिता को देखने के बजाय, जज एक नियंत्रित प्रयोग (controlled experiment) करने का निर्णय लेता है।
- "यदि मैं इस ठीक उसी डिश को लूँ, लेकिन इसे लाल कटोरे के बजाय नीले कटोरे में रखूँ, तो क्या स्कोर बदलेगा?"
- "यदि मैं इस कहानी को लूँ और इसे छोटा कर दूँ, लेकिन कथानक (plot) वही रखूँ, तो क्या लोग अभी भी इसे पसंद करेंगे?"

इस दृष्टिकोण को हस्तक्षेप (Intervention) कहा जाता है। यह AI को यह समझने में मदद करता है कि कटोरे का रंग (या टेक्स्ट की लंबाई) जादुई सामग्री नहीं है; बल्कि सामग्री (content) मायने रखती है।

"लेटेंट" (Latent) गुप्त सामग्री

पेपर सुझाव देता है कि हम केवल लिखे गए टेक्स्ट को देखकर काम नहीं चला सकते। हमें लेटेंट फैक्टर्स (Latent Factors) को खोजना होगा—वे अदृश्य सामग्रियां जो वास्तव में मानवीय पसंद को संचालित करती हैं।

उदाहरण: किसी टेक्स्ट को एक स्मूदी (smoothie) के रूप में सोचें।
- टेक्स्ट: अंतिम पेय।
- लेटेंट फैक्टर्स: उसके अंदर के विशिष्ट फल, चीनी और बर्फ।
- AI को केवल उस कप को पहचानने की ज़रूरत नहीं है जिसमें उसे परोसा गया है (विशिष्ट शब्द), बल्कि उसे फलों (सच्चाई, मददगार होना, रचनात्मकता) का स्वाद पहचानना सीखना होगा।
- यदि AI सीख जाता है कि "सच्चाई" (Truthfulness) एक प्रमुख सामग्री है, तो वह इस नियम को किसी भी स्मूदी पर लागू कर सकता है, भले ही वह नया स्वाद हो जिसे उसने पहले कभी नहीं चखा। इसे सामान्यीकरण (Generalization) कहा जाता है।

प्रयोग: बात को सिद्ध करना

शोधकर्ताओं ने इस विचार का परीक्षण करने के लिए एक डेटासेट का उपयोग किया जहाँ उन्होंने दो समूहों के जज बनाए:

समूह 1: केवल मददगार (Helpful) होने की परवाह करते थे।
समूह 2: केवल हानिरहित (Harmless) होने की परवाह करते थे।

वास्तविक दुनिया में, इन समूहों ने अक्सर अलग-अलग प्रकार की कहानियों के लिए अनुरोध किया, जिससे एक भ्रमित करने वाला मिश्रण बन गया।

पुराना तरीका (Base Model): AI भ्रमित हो गया। उसने सोचा कि "मददगार" कहानियाँ हमेशा बेहतर होती हैं, भले ही जज "हानिरहित" होने की चाहत रखता हो। जब नियम बदले, तो यह विफल हो गया।
नया तरीका (Causal/Adversarial Model): शोधकर्ताओं ने एक ऐसा मॉडल बनाया जो "मददगार" विशेषताओं को "हानिरहित" विशेषताओं से अलग करने की कोशिश करता है। इसने भ्रमित करने वाले बैकग्राउंड शोर (background noise) को अनदेखा करना सीख लिया।
परिणाम: नया मॉडल यह अनुमान लगाने में बहुत बेहतर था कि एक जज क्या पसंद करेगा, भले ही जज को उस कहानी के प्रकार का मूल्यांकन करने के लिए कहा गया हो जिसे उसने आमतौर पर नहीं देखा था। वह छिपे हुए पैटर्न से धोखा नहीं खा सका।

निष्कर्ष (Takeaway)

पेपर निष्कर्ष निकालता है कि AI को वास्तव में मानवीय मूल्यों के अनुरूप बनाने के लिए, हमें केवल रैंडम डेटा इकट्ठा करना बंद करना होगा और लक्षित प्रयोग (targeted experiments) डिजाइन करना शुरू करना होगा।

वर्तमान अभ्यास: "यहाँ 1,000 रैंडम प्रश्न और उत्तर हैं। पता लगाओ कि लोग किसे पसंद करते हैं।" (परीक्षा में नकल करने के प्रति संवेदनशील)।
प्रस्तावित अभ्यास: "आइए हम उत्तर की एक विशेषता (जैसे लंबाई या लहजा) को व्यवस्थित रूप से बदलें जबकि बाकी सब समान रखें, और देखें कि प्राथमिकता कैसे बदलती है।" (वास्तविक नियमों को सीखना)।

इस "कॉज़ल" दृष्टिकोण का उपयोग करके, हम एक ऐसा AI बना सकते हैं जो मजबूत हो, संयोगों से भ्रमित न हो, और उन नई स्थितियों को संभाल सके जिन्हें उसने पहले नहीं देखा है।

तकनीकी सारांश: AI संरेखण (Alignment) के लिए प्राथमिकता शिक्षण: एक कारणिक दृष्टिकोण (A Causal Perspective)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) का मानवीय मूल्यों के साथ संरेखण काफी हद तक 'ह्यूमन फीडबैक फ्रॉम रीइन्फोर्समेंट लर्निंगिंग' (RLHF) पर निर्भर करता है, विशेष रूप से रिवॉर्ड मॉडलिंग चरण पर जहाँ मॉडल जोड़े गए (pairwise) प्राथमिकता डेटा से सीखते हैं। वर्तमान दृष्टिकोण आमतौर पर इसे एक सांख्यिकीय प्रतिगमन (statistical regression) समस्या के रूप में देखते हैं, यह मानते हुए कि देखे गए अवलोकनात्मक डेटा (observational datasets) पर फिट किए गए सरल मॉडल अनदेखे प्रॉम्प्ट-रिस्पॉन्स पेयर्स पर प्रभावी ढंग से सामान्यीकरण (generalize) कर सकते हैं।

हालाँकि, लेखक तर्क देते हैं कि यह आशावाद गलत है। अवलोकनात्मक प्राथमिकता डेटा अक्सर अवसरवादी तरीके से एकत्र किया जाता है, जहाँ उपयोगकर्ता ही प्रॉम्प्ट उत्पन्न करते हैं और प्रतिक्रियाओं का मूल्यांकन भी करते हैं। यह LLM के सैंपलिंग वितरण, पाठ के अंतर्निहित गुणों (latent features), और उपयोगकर्ता-विशिष्ट संदर्भों (जैसे विशेषज्ञता, उद्देश्य) के बीच एक जटिल परस्पर क्रिया बनाता है। फलस्वरूप, मानक रिवॉर्ड मॉडल वास्तविक कारण कारकों के बजाय स्पूरियस कोरिलेशन (spurious correlations - आभासी सहसंबंध) सीखने के प्रति संवेदनशील होते हैं, जिससे निम्नलिखित समस्याएं उत्पन्न होती हैं:

कारण पहचान में त्रुटि (Causal Misidentification): मॉडल गुणवत्ता के बजाय लंबाई या फॉर्मेटिंग जैसे आर्टिफैक्ट्स (artifacts) को पकड़ लेते हैं।
प्राथमिकता विषमता (Preference Heterogeneity): विविध उपयोगकर्ता उद्देश्यों को समझने में विफलता, जिससे विशिष्ट उपसमूहों के लिए उप-इष्टतम प्रदर्शन होता है।
कन्फाउंडिंग (Confounding): उपयोगकर्ता-विशिष्ट कारक जो प्रॉम्प्ट के प्रकार और दिए गए प्राथमिकता लेबल दोनों को प्रभावित करते हैं, जिससे 'अनकफाउंडेडनेस' (unconfoundedness) की धारणा का उल्लंघन होता है जो कारण अनुमान (causal inference) के लिए आवश्यक है।

कार्यप्रणाली: एक कारणिक ढांचा (A Causal Framework)

यह शोध पत्र प्राथमिकता शिक्षण को कारण अनुमान (causal inference) के पोटेंशियल आउटकम्स फ्रेमवर्क (potential outcomes framework) का उपयोग करके पुनर्गठित करता है।

1. औपचारिक सेटअप (Formal Setup)

चर (Variables): मान लीजिए $X$ प्रॉम्प्ट है, $Y, Y'$ संभावित प्रतिक्रियाएं हैं, और $L \in \{0, 1\}$ बाइनरी प्राथमिकता लेबल है।
पोटेंशियल रिवार्ड्स (Potential Rewards): लेखक $R(x, y)$ और $R'(x, y')$ को पोटेंशियल रिवार्ड्स के रूप में पेश करते हैं, जो किसी भी प्रॉम्प्ट-रिस्पॉन्स पेयर के लिए एक काल्पनिक रिवॉर्ड का प्रतिनिधित्व करते हैं।
ब्रैडली-टेरी-ल्यूस (BTL) मॉडल: प्राथमिकता की संभावना को $P((X, Y) \succ (X, Y')) = \sigma(R(X, Y) - R'(X, Y'))$ के रूप में मॉडल किया गया है।
मौलिक चुनौती: केवल देखे गए ट्रीटमेंट $(X, Y, Y')$ के लिए परिणाम दृश्यमान है; अन्य पेयर्स के लिए काउंटरफैक्चुअल (counterfactual) परिणाम अनऑब्जर्व्ड रहते हैं।

2. आइडेंटिफिएबिलिटी धारणाएं (Identifiability Assumptions)

अवलोकनात्मक डेटा से पोटेंशियल आउटकम्स का अनुमान लगाने के लिए, शोध पत्र तीन मानक धारणाओं को इस सेटिंग में अनुकूलित करता है:

कंसिस्टेंसी (Consistency): देखा गया लेबल निर्धारित ट्रीटमेंट के पोटेंशियल आउटकम के अनुरूप होता है।
अनकफाउंडेडनेस (Unconfoundedness): कोई अनऑब्जर्व्ड कन्फाउंडर मौजूद नहीं है (अर्थात, $L \perp (X, Y, Y')$ )। शोध पत्र इस बात पर जोर देता है कि यह अक्सर तब उल्लंघन होता है जब उपयोगकर्ता अपने विशिष्ट उद्देश्यों के आधार पर स्वयं प्रॉम्प्ट लिखते हैं, जो एक कन्फाउंडर (C) बनाता है जो प्रॉम्प्ट चयन और प्राथमिकता दोनों को प्रभावित करता है।
पॉजिटिविटी (Positivity): प्रत्येक ट्रीटमेंट कॉम्बिनेशन की गैर-शून्य (non-zero) संभावना होती है।

3. लेटेंट ट्रीटमेंट मॉडल (Latent Treatment Model)

प्राकृतिक भाषा की उच्च आयामीता (high dimensionality) और दृश्यमान स्पेस में पॉजिटिविटी के उल्लंघन को संबोधित करने के लिए, लेखक एक लेटेंट ट्रीटमेंट मॉडल प्रस्तावित करते हैं:

लेटेंट फैक्टर्स ( $Z$ ): देखे गए टेक्स्ट को लेटेंट फीचर्स $Z = \{Z_X, Z_T\}$ $Z = {Z_{X}, Z_{T}}$ में मैप किया जाता है।
- $Z_X$ : प्रॉम्प्ट आर्टिफैक्ट्स (जैसे विषय, कार्य प्रकार)।
- $Z_T$ : लेटेंट ट्रीटमेंट्स (जैसे संक्षिप्तता, तथ्यात्मक शुद्धता) जो प्रॉम्प्ट और रिस्पॉन्स द्वारा संयुक्त रूप से निर्धारित होते हैं।
लेटेंट सफिशिएंसी (Latent Sufficiency): रिवॉर्ड केवल इन लेटेंट फैक्टर्स पर निर्भर करता है, न कि कच्चे टेक्स्ट पर।
लेटेंट पॉजिटिविटी (Latant Positivity): पॉजिटिविटी दृश्यमान टेक्स्ट स्पेस के बजाय लेटेंट स्पेस में आवश्यक है। यह अनदेखे टेक्स्ट पर सामान्यीकरण करने की अनुमति देता है यदि वे देखे गए डेटा के समान लेटेंट स्ट्रक्चर साझा करते हैं।

4. शमन रणनीतियां (Mitigation Strategies)

शोध पत्र कन्फाउंडिंग को संभालने और मजबूती (robustness) में सुधार के लिए विशिष्ट आर्किटेक्चरल हस्तक्षेप प्रस्तावित करता है:

मल्टीहेड आर्किटेक्चर (Multihead Architecture): लेटेंट रिप्रेजेंटेशन के सीखने को विशिष्ट उद्देश्यों (जैसे हेल्पफुलनेस बनाम हार्मफुलनेस) पर आधारित रिवॉर्ड प्रेडिक्शन से अलग करता है।
एडवर्सरियल ट्रेनिंग (Adversarial Training): एक एडवर्सरियल ऑब्जेक्टिव पेश करता है ताकि यह सुनिश्चित किया जा सके कि सीखा गया लेटेंट रिप्रेजेंटेशन $\hat{Z}$ , प्रॉम्प्ट प्रकार (जैसे "हेल्पफुल" बनाम "हारmless" सबसेट) के प्रति इनवेरिएंट (invariant) है, जिससे प्रॉम्प्ट प्रकार और उपयोगकर्ता उद्देश्यों के बीच स्पूरियस कोरिलेशन को हटाकर केवल कारण संबंधी विशेषताओं को बनाए रखा जा सके।

मुख्य योगदान

कारणिक सूत्रीकरण (Causal Formulation): शोध पत्र प्राथमिकता शिक्षण के लिए एक कारणिक ढांचे को पेश करता है, जो समस्या को स्पष्ट रूप से इंटरवेंशन और पोटेंशियल आउटकम्स के संदर्भ में परिभाषित करता है।
कन्फाउंडिंग की पहचान: यह उपयोगकर्ता-विशिष्ट उद्देश्यों के कारण होने वाली कन्फाउंडिंग (जैसे, एक उपयोगकर्ता की विशेषज्ञता का स्तर जो उनके द्वारा लिखे गए प्रॉम्प्ट की जटिलता और विस्तृत उत्तरों के प्रति उनकी प्राथमिकता दोनों को प्रभावित करता है) की पहचान करता है और इसे स्पष्ट रूप से संबोधित करता है, जो संरेखण साहित्य में पहले अनदेखा किया गया था।
लेटेंट ट्रीटमेंट फ्रेमवर्क: यह एक ऐसा मॉडल प्रस्तावित करता है जहाँ रिवार्ड्स कच्चे टेक्स्ट के बजाय लेटेंट फीचर्स द्वारा निर्धारित होते हैं, जो लेटेंट सफिशिएंसी की धारणा के तहत डिस्ट्रिब्यूशन शिफ्ट के तहत सामान्यीकरण करने में सक्षम बनाता है।
अनुभवजन्य सत्यापन (Empirical Validation):
- UltraFeedback प्रयोग: प्रदर्शित करता है कि मानक BTL मॉडल OOD (आउट-ऑफ-डिस्ट्रिब्यूशन) डेटा पर महत्वपूर्ण प्रदर्शन गिरावट का सामना करते हैं जब प्रशिक्षण डेटा में लेटेंट फैक्टर्स (सत्यता और इंस्ट्रक्शन-फॉलोइंग) अत्यधिक सहसंबंधित होते हैं (लेटेंट पॉजिटिविटी का उल्लंघन)।
- HH-RLHF केस स्टडी: काउंटरफैक्चुअल लेबल्स के साथ एक संवर्धित डेटासेट का उपयोग करते हुए, लेखक दिखाते हैं कि जब प्रॉम्प्ट प्रकार और उपयोगकर्ता उद्देश्य पूरी तरह से सहसंबंधित ( $\rho=1.0$ ) होते हैं, तो नैव (naive) मॉडल विसंगत उदाहरणों पर सामान्यीकरण करने में विफल रहते हैं। प्रस्तावित एडवर्सरियल मल्टीहेड मॉडल हाई-कन्फाउंडिंग रेजिम्स में बेसलाइन और मल्टीहेड-ओनली मॉडल्स की तुलना में काफी बेहतर प्रदर्शन करता है।

परिणाम

लेटेंट पॉजिटिविटी का प्रभाव: UltraFeedback प्रयोग में, जैसे-जैसे लेटेंट फैक्टर्स के बीच सहसंबंध ( $\rho_{tr}$ ) बढ़ा, OOD डेटा पर मानक मॉडल्स की सटीकता (जहाँ यह सहसंबंध टूट जाता है) काफी कम हो गई (उदाहरण के लिए, $\rho=0$ पर ~64.5% से ~57.8% तक)।
कन्फाउंडिंग का प्रभाव: HH-RLHF अध्ययन में, जब प्रॉम्प्ट प्रकार और उपयोगकर्ता उद्देश्य के बीच पूर्ण संरेखण ( $\rho=1.0$ ) था, तो सभी मॉडल विसंगत नमूनों पर सामान्यीकरण करने में विफल रहे (सटीकता < 55%)।
मॉडल प्रदर्शन: एडवर्सरियल मॉडल ने विभिन्न स्तरों की कन्फाउंडिंग के तहत विसंगत (OOD) नमूनों पर लगातार उच्चतम सटीकता प्राप्त की, जो यह दर्शाता है कि लेटेंट रिप्रेजेंटेशन को उपयोगकर्ता-विशिष्ट उद्देश्यों से अलग करना मजबूती (robustness) में सुधार करता है।

महत्व और दावे

शोध पत्र का दावा है कि मजबूत रिवॉर्ड मॉडलिंग के लिए सांख्यिकीय जुड़ाव (statistical associations) से आगे बढ़कर एक कारणिक दृष्टिकोण (causal perspective) अपनाना आवश्यक है। लेखक तर्क देते हैं कि:

डेटा संग्रह महत्वपूर्ण है: डेटा संग्रह का वर्तमान अवसरवादी तरीका स्वाभाविक कन्फाउंडिंग पेश करता है जो रिवॉर्ड मॉडल्स की विश्वसनीयता को सीमित करता है।
हस्तक्षेप (Interventions) आवश्यक हैं: अवलोकनात्मक डेटा की सीमाओं को दूर करने के लिए, भविष्य के अभ्यासों को लक्षित हस्तक्षेपों (जैसे, सक्रिय प्रश्न पूछना, तर्क संग्रह, और नियंत्रित टेक्स्ट जनरेशन) की ओर बढ़ना चाहिए ताकि लेटेंट ओवरलैप सुनिश्चित हो सके और वास्तविक कारण कारकों की पहचान की जा सके।
सामान्यीकरण (Generalization): कारणिक रिप्रेजेंटेशन लर्निंग को अपनाकर और कन्फाउंडिंग को संबोधित करके, मॉडल अनदेखे प्रॉम्प्ट्स और विविध उपयोगकर्ता आबादी के लिए बेहतर सामान्यीकरण प्राप्त कर सकते हैं, जो सुरक्षित और प्रभावी AI संरेखण के लिए आवश्यक है।

लेखक विनम्रता बरतते हुए कहते हैं कि उनकी धारणाएं पर्याप्त हैं लेकिन पहचान (identifiability) के लिए कड़ाई से आवश्यक नहीं हैं, और वास्तविक दुनिया के परिदृश्य अक्सर अनऑब्जर्व्ड कन्फाउंडर्स से घिरे होते हैं जिन्हें सीधे मापना कठिन होता है। वे इस कार्य को अधिक कठोर, कारण-जागरूक प्राथमिकता शिक्षण की ओर एक मौलिक कदम के रूप में प्रस्तुत करते हैं।