जब हम किसी लार्ज लैंग्वेज मॉडल से कोई प्रश्न पूछते हैं, तो हम अक्सर मानव और मशीन के बीच एक सीधी बातचीत की कल्पना करते हैं। हम मान लेते हैं कि उत्तर सीधे कंप्यूटर के मस्तिष्क से आता है, जो केवल उस डेटा द्वारा आकार लेता है जिस पर इसे प्रशिक्षित किया गया है और उन शब्दों द्वारा जो हमने टाइप किए हैं। यह दृष्टिकोण मॉडल को एक स्थिर पुस्तकालय की तरह मानता है, जहाँ उसके भीतर की पुस्तकें स्थिर हैं, और एकमात्र चर (variable) यह है कि लाइब्रेरियन शेल्फ से कौन सी किताब निकालता है। हालाँकि, वास्तविक दुनिया में इन प्रणालियों के काम करने का तरीका अधिक जटिल है। इन मॉडलों के पीछे की तकनीक इतनी परिपulित हो गई है कि कंप्यूटर केवल जानकारी प्राप्त करने से कहीं अधिक कर सकता है; यह अपने अगले शब्द की संभावनाओं को सूक्ष्म रूप से फिर से लिख सकता है, यहाँ तक कि एक वाक्य पूरा करने से पहले ही। यह सॉफ्टवेयर की एक छिपी हुई परत में होता है जो मॉडल के मूल ज्ञान और आपकी स्क्रीन पर दिखने वाले अंतिम पाठ के बीच स्थित होती है। यह एक ऐसा स्थान है जहाँ मशीन के कच्चे आउटपुट को बिना मशीन की अंतर्निहित स्मृति को बदले, निर्देशित या समायोजित किया जा सकता है।

अगस्तो कैमार्गो का एक नया शोध पत्र इस छिपी हुई परत के परिणामों की खोज करता है, जिसमें यह तर्क दिया गया है कि यदि हम केवल मॉडल की ही परवाह करते हैं, तो हम प्रणाली के गलत हिस्से को देख रहे हैं। लेखक का सुझाव है कि एआई (AI) के कहने पर सबसे महत्वपूर्ण प्रभाव उसके प्रशिक्षण डेटा या उसके आंतरिक कोड में नहीं, बल्कि उन अदृश्य नियमों में हो सकता है जो उसके बोलने के ठीक क्षण में लागू होते हैं। यह शोध ध्यान को "मॉडल क्या जानता है?" से हटाकर "कौन नियंत्रित कर रहा है कि मॉडल को क्या कहने की अनुमति है?" पर केंद्रित करता है। शोध पत्र यह दावा नहीं करता है कि इन प्रणालियों का उपयोग वर्तमान में दुनिया को किसी विशिष्ट, सिद्ध तरीके से हेरफेर करने के लिए किया जा रहा है, बल्कि यह कि ऐसा करने के तकनीकी उपकरण मौजूद हैं, वे अन्य उद्देश्यों के लिए पहले से ही उपयोग में हैं, और उपयोगकर्ताओं से काफी हद तक अदृश्य हैं। यह यह पहचानने का आह्वान है कि आपको प्राप्त उत्तर न केवल मॉडल का प्रतिबिंब है, बल्कि एक ऐसी प्रणाली का उत्पाद है जिसे बिना किसी को पता चले राजनीतिक, वाणिज्यिक या वैचारिक कारणों से ट्यून किया जा सकता है।

इस तर्क का मूल एक सरल लेकिन शक्तिशाली अवलोकन पर आधारित है: मॉडल वह चीज़ नहीं है जो उसके उत्तर देने वाली प्रणाली है। एक मानक सेटअप में, एक उपयोगकर्ता प्रॉम्प्ट टाइप करता है, मॉडल विभिन्न संभावनाओं के साथ अगले संभावित शब्दों की एक सूची उत्पन्न करता है, और फिर एक कंप्यूटर एक को चुनता है। शोध पत्र बताता है कि आधुनिक, वास्तविक दुनिया के अनुप्रयोगों में, अक्सर बीच में एक अतिरिक्त चरण होता है। कंप्यूटर द्वारा अंतिम चयन करने से पहले, एक अलग सॉफ्टवेयर उन संभावनाओं को देख सकता है और उन्हें समायोजित कर सकता है। यह कुछ शब्दों को प्रकट होने के लिए थोड़ा अधिक संभावित बना सकता है और दूसरों को थोड़ा कम संभावित, यह सब मशीन के आंतरिक भार (weights) या उपयोगकर्ता के प्रॉम्प्ट को बदले बिना। यह प्रक्रिया इस तरह है जैसे कोई रेडियो स्टेशन किसी विशिष्ट गीत को उभारने के लिए उसका वॉल्यूम थोड़ा बढ़ा देता है, भले ही गाना स्वयं नहीं बदला हो। शोध पत्र इसे एक "इन्फरेंस पॉलिसी" (inference policy) के रूप में औपचारिक रूप देता है, जो नियमों का एक सेट है जो पीढ़ी (generation) के बिल्कुल अंतिम क्षण में कार्य करता है।

लेखक प्रदर्शित करते हैं कि यह क्षमता केवल सैद्धांतिक नहीं है; यह एक सिद्ध तकनीक है जिसका उपयोग अन्य चीजों के लिए किया जाता है। उदाहरण के लिए, कंपनियाँ टेक्स्ट में अदृश्य वॉटरमार्क डालने के लिए समान विधियों का उपयोग करती हैं ताकि यह सिद्ध किया जा सके कि इसे एआई द्वारा लिखा गया था, या मॉडल को विषाक्त भाषा से दूर रखने के लिए। शोध पत्र का तर्क है कि जिस तकनीकी मशीनरी का उपयोग वॉटरमार्क जोड़ने या सुरक्षा सुनिश्चित करने के लिए किया जाता है, उसे किसी बहुत अधिक सूक्ष्म चीज़ के लिए पुनरुद्देश्यित किया जा सकता है: फ्रेमिंग (framing)। फ्रेमिंग किसी विषय को इस तरह से प्रस्तुत करने की क्रिया है जो कुछ पहलुओं को उजागर करती है जबकि अन्य को कम महत्व देती है, जिससे व्यक्ति की किसी मुद्दे को समझने की प्रक्रिया प्रभावित होती है, बिना तथ्यों के बारे में झूठ बोले। एक प्रणाली को लगातार ऐसे शब्द चुनने के लिए प्रोग्राम किया जा सकता है जो एक सरकारी नीति को सुरक्षात्मक उपाय के रूप में प्रस्तुत करें, जबकि उसी सिस्टम के दूसरे संस्करण को ठीक उसी नीति को एक नौकरशाही बोझ के रूप में दिखाने के लिए ट्यून किया जा सकता है। दोनों उत्तर तथ्यात्मक रूप से सही हो सकते हैं, लेकिन शब्दों का चयन उपयोगकर्ता को एक विशिष्ट भावनात्मक या राजनीतिक निष्कर्ष की ओर ले जाएगा।

यह एक प्रमुख समस्या की ओर ले जाता है जिसे शोध पत्र "एट्रिब्यूशन समस्या" (attribution problem) कहता है। यदि कोई उपयोगकर्ता एक राजनीतिक प्रश्न पूछता है और एक पक्षपाती उत्तर प्राप्त करता है, तो यह जानना लगभग असंभव है कि वह पूर्वाग्रह कहाँ से आया। क्या यह इसलिए है क्योंकि मॉडल को पक्षपाती डेटा पर प्रशिक्षित किया गया था? क्या इसलिए है क्योंकि डेवलपर्स ने सिस्टम में एक छिपा हुआ निर्देश जोड़ा है? या इसलिए है क्योंकि किसी तीसरे पक्ष ने संभावनाओं को एक विशिष्ट दिशा में स्थानांतरित करने के लिए भुगतान किया है? क्योंकि समायोजन उत्तर उत्पन्न होने के ठीक पहले होता है, इसलिए यह बातचीत के इतिहास में कोई निशान नहीं छोड़ता है। एक छिपे हुए निर्देश के विपरीत जो गलती से प्रकट हो सकता है, या एक पक्षपाती प्रशिक्षण सेट के विपरीत जो एक परीक्षण में दिखाई दे सकता है, इस प्रकार का स्टीयरिंग (steering) अदृश्य है। शोध पत्र सुझाव देता है कि यह एआई द्वारा व्यक्त की जाने वाली राय के लिए किसी को भी जवाबदेह ठहराना अविश्वसनीय रूप से कठिन बना देता है, क्योंकि प्रभाव का स्रोत मॉडल के कोड में नहीं, बल्कि डिप्लॉयमेंट लेयर (deployment layer) में छिपा होता है।

लेखक "प्रोबेबिलिटी प्लेसमेंट" (probability placement) नामक एक अवधारणा भी पेश करते हैं, जो विज्ञापन के एक काल्पनिक नए रूप का वर्णन करती है। किसी कंपनी द्वारा अपने उत्पाद का स्पष्ट रूप से उल्लेख कराने के बजाय, वे भुगतान कर सकते हैं ताकि जब मॉडल विकल्पों के बीच निर्णय ले रहा हो, तो उनके ब्रांड के चुने जाने की संभावना थोड़ी अधिक हो जाए। कल्पना कीजिए कि आप कौन सा डेटाबेस उपयोग करना है, इस पर सिफारिश मांग रहे हैं। मॉडल स्वाभाविक रूप से सोच सकता है कि तीन विकल्प समान रूप से अच्छे हैं, लेकिन एक वाणिज्यिक नीति संभावनाओं को इस तरह मोड़ सकती है कि भुगतान करने वाली कंपनी का उत्पाद सबसे संभावित विकल्प बन जाए। यह बिना किसी स्पष्ट विज्ञापन के, बिना उपयोगकर्ता को पता चले कि उन्हें प्रभावित किया जा रहा है, और बिना मॉडल को कुछ भी "बेचने" के लिए कहे होगा। यह सिफारिश के ताने-बाने में वाणिज्यिक प्रभाव को सीधे शामिल करने का एक तरीका है, जिससे यह एक स्वाभाविक, निष्पक्ष राय जैसा महसूस होता है।

शोध पत्र वर्तमान कानूनों और विनियमों, जैसे कि यूरोपीय संघ के एआई अधिनियम और विज्ञापन मानकों के साथ इन गतिकी (dynamics) के अंतर्संबंधों की जांच करता है। यह नोट करता है कि हालांकि उपदेशात्मक हेरफेर को रोकने या वाणिज्यिक संबंधों के प्रकटीकरण के लिए कानून मौजूद हैं, लेकिन वे पुरानी तकनीकों को ध्यान में रखकर लिखे गए थे। वे यह मानते हैं कि यदि किसी उत्पाद का प्रचार किया जा रहा है, तो वह स्पष्ट होगा। वे एक ऐसी प्रणाली के लिए विचार नहीं करते जहाँ प्रचार एक शब्द के प्रकट होने की संभावना में एक सूक्ष्म, सांख्यिकीय बदलाव है। लेखक का तर्क है कि यदि कोई प्रणाली उपयोगकर्ताओं को एक विशिष्ट राजनीतिक दृष्टिकोण या वाणिज्यिक विकल्प की ओर व्यवस्थित रूप से मोड़ सकती है बिना उन्हें पता चले, तो यह सूचित निर्णय लेने के विचार को चुनौती देती है। नुकसान तत्काल या एक एकल बातचीत में स्पष्ट नहीं हो सकता है, लेकिन शोध पत्र सुझाव देता है कि लाखों अंतःक्रियाओं (interactions) के माध्यम से, यह सूक्ष्म स्टीयरिंग सार्वजनिक राय और बाजार व्यवहार को गहराई से आकार देने के लिए संचित हो सकती है।

अंततः, शोध एक नए शासन सिद्धांत का प्रस्ताव करता जिसे "इन्फरेंस पॉलिसी ट्रांसपेरेंसी" (inference policy transparency) कहा जाता है। यह कंपनियों के लिए न केवल यह खुलासा करना आवश्यक बनाता है कि उनके मॉडलों को कैसे प्रशिक्षित किया गया था, बल्कि यह भी कि उनका उपयोग करते समय उन्हें कैसे निर्देशित किया जा रहा है। यह एक ऐसी प्रणाली का आह्वान करता है जहाँ संभावनाओं को संशोधित करने वाले नियम दृश्यमान और ऑडिट योग्य हों, ठीक वैसे ही जैसे खाद्य पैकेज पर लेबल होता है। इसका लक्ष्य प्रश्न को "मॉडल क्या एनकोड करता है?" से बदलकर "उपयोगकर्ता और मॉडल के बीच संभाव्यता वितरण (probability distribution) को कौन नियंत्रित करता है?" पर लाना है। शोध पत्र निष्कर्ष निकालता है कि जैसे-जैसे ये प्रणालियाँ सूचना तक पहुँचने, निर्णय लेने और विचारों पर बहस करने के हमारे तरीकों के केंद्र में आती जा रही हैं, हमें यह पहचानना चाहिए कि मॉडल समीकरण का केवल एक हिस्सा है। वह अदृश्य परत जो मशीन और मानव के बीच स्थित है, वहीं वास्तविकता को आकार देने की वास्तविक शक्ति अब निवास कर सकती है, और यह एक ऐसी परत है जो वर्तमान में अंधेरे में संचालित होती है।