तकनीकी सारांश: कॉपीराइट-बेंच: कॉपीराइट कानून अनुपालन का एजेंटिक मूल्यांकन

1. समस्या विवरण

जैसे-जैसे लार्ज लैंग्वेज मॉडल्स (LLMs) निष्क्रिय संवादात्मक इंटरफेस से बदलकर जटिल, बहु-चरणीय वाणिज्यिक वर्कफ़्लो निष्पादित करने में सक्षम स्वायत्त एजेंटों के रूप में विकसित हो रहे हैं, वे बौद्धिक संपदा (IP) कानून के संबंध में बढ़ती उत्तरदायित्व जोखिमों का सामना कर रहे हैं। जबकि वर्तमान एजेंट बेंचमार्क (जैसे, AgentBench, GAIA) कार्य पूर्णता और उपयोगिता का कड़ाई से मूल्यांकन करते हैं, वे नियोजित विधियों के कानूनी अनुपालन की अनदेखी करते हैं। फलस्वरूप, एक एजेंट जो कार्य लक्ष्य को प्राप्त करने के लिए कॉपीराइट का उल्लंघन करता है, उसे उच्च प्रदर्शन स्कोर मिल सकता है, जो ऐसे व्यवहार को छिपा देता है जो उसे वाणिज्यिक सेटिंग्स में कानूनी रूप से तैनात करने के अयोग्य बना देता है।

यह मूल्यांकन करने में एक महत्वपूर्ण अंतर है कि क्या एजेंट प्रस्तुत किए गए विकल्पों के बीच कानूनी रूप से अनुपालक कार्यों का सक्रिय रूप से चयन करते हैं। मौजूदा शोध इस पर केंद्रित है कि क्या मॉडल कॉपीराइट सामग्री जनरेट करते हैं या प्रशिक्षण डेटा को याद रखते हैं, लेकिन बहुत कम अध्ययन इस बात को संबोधित करते हैं कि क्या स्वायत्त एजेंट बाहरी संपत्तियों को प्राप्त और चुनना (retrieving and selecting) विशेष रूप से विविध उपयोगकर्ता निर्देशों और समय के दबाव के तहत कॉपीराइट बाधाओं का सम्मान करते हैं।

2. कार्यप्रणाली: कॉपीराइट-बेंच

इस अंतराल को भरने के लिए, लेखक कॉपीराइट-बेंच (Copyright-Bench) पेश करते हैं, जो वास्तविक, सैंडबॉक्स्ड वाणिज्यिक वर्कफ़्लो में अमेरिकी कॉपीराइट कानून (विशेष रूप से 1976 के कॉपीराइट अधिनियम) के साथ एजेंटिक एआई सिस्टम के अनुपालन का मूल्यांकन करने के लिए डिज़ाइन किया गया है।

2.1. औपचारिकता और बाधाएं

समस्या को आंशिक रूप से अवलोकन योग्य वातावरण (partially observable environment) के भीतर एक बाधित चयन कार्य के रूप में औपचारिक रूप दिया गया है।

• कार्य (Tasks): एजेंटों को प्राकृतिक भाषा निर्देश ($I$) प्राप्त होते हैं और डिजिटल संपत्तियों ($A$) के एक सीमित पूल तक पहुंच प्राप्त होती है।
• संपत्तियां (Assets): प्रत्येक संपत्ति सामग्री, अवलोकन योग्य मेटाडेटा, और एक गुप्त ग्राउंड-ट्रुथ कॉपीराइट लेबल ($\ell \in \{0, 1\}$ का एक टुपल है), जहाँ 0 अनुपालक (पब्लिक डोमेन/CC0) को दर्शाता है और 1 प्रतिबंधित (कॉपीराइटेड) को दर्शाता है।
• समाधान क्षमता बाधा (Solvability Constraint): एक सख्त बाधा सुनिश्चित करती है कि प्रत्येक कार्य के लिए, अनुपालक संपत्तियों का एक वैध उपसमुच्चय मौजूद है जो उपयोगकर्ता के निर्देश को संतुष्ट करता है। यह सुनिश्चित करता है कि कोई भी उल्लंघन एजेंट की प्राथमिकता या लापरवाही के कारण होता है, न कि आवश्यकता के कारण।
• कानूनी ढांचा: मूल्यांकन एक वाणिज्यिक संदर्भ मानता है जहाँ "फेयर यूज़" (fair use) बचाव संभव नहीं है, जो 17 U.S.C. § 106 के तहत कॉपीराइट धारकों के विशेष अधिकारों पर ध्यान केंद्रित करता है।

2.2. बेंचमार्क डिज़ाइन

कॉपीराइट-बेंच तीन अलग-अलग कार्य परिवारों से बना है, जो अनुमेय संसाधनों का उपयोग करके हल किए जा सकते हैं लेकिन अवैध विकल्प भी प्रदान करते हैं:

1. वाणिज्यिक वेब डेवलपमेंट: लैंडिंग पेज के लिए "हीरो इमेज" चुनना (डिजिटल डिस्प्ले)।
2. मर्चेंडाइज डिज़ाइन: टी-शर्ट जैसे प्रिंट-ऑन-डिमांड उत्पादों के लिए छवि चुनना (भौतिक पुनरुत्पादन)।
3. पिच डेक प्रोडक्शन: निवेशक प्रस्तुति के लिए विजुअल्स चुनना (संदर्भगत प्रदर्शन)।

एसेट निर्माण: डेटासेट में 200 उच्च-रिज़ॉल्यूशन वाली छवियां (100 अनुपालक, 100 प्रतिबंधित) शामिल हैं। दृश्य गुणवत्ता को एक भ्रमित करने वाले चर (confounding variable) के रूप में रोकने के लिए, संपत्तियों को CLIP एम्बेडिंग और सौंदर्य स्कोर का उपयोग करके युग्मित किया गया है ताकि अर्थपूर्ण और दृश्य समानता सुनिश्चित की जा सके। महत्वपूर्ण रूप से, छवियों में कोई दृश्य वॉटरमार्क नहीं है; एजेंटों को कॉपीराइट नोटिस (जैसे, "©2025 DepositPhoto" बनाम "Public Domain") के लिए फ़ाइल हेडर (EXIF/IPTC) का निरीक्षण करने के लिए read metadata टूल का उपयोग करना होगा।

2.3. प्रयोगात्मक सेटअप

• मूल्यांकित मॉडल: 11 अत्याधुनिक LLMs (दोनों प्रोप्रायटरी और ओपन-वेट्स), जिनमें GPT-5.2, Claude 4.5 Opus, Gemini 3 Pro, Llama-4-Maverick, और Qwen-3VL शामिल हैं।
• प्रॉम्प्ट विविधताएं: चार प्रॉम्प्ट प्रकार मजबूती का परीक्षण करते हैं:
  • न्यूट्रल (Neutral): मानक कार्य अनुरोध।
  • IP-अवेयर (IP-Aware): स्पष्ट रूप से एजेंट को कॉपीराइट का सम्मान करने की याद दिलाता है।
  • हरीड (Hurried): समय के दबाव का अनुकरण करता है।
  • IP-डिस्मिसिव (IP-Dismissive): स्पष्ट रूप से एजेंट को लाइसेंसिंग संबंधी चिंताओं को अनदेखा करने का निर्देश देता है।
• पर्यावरण कॉन्फ़िगरेशन: इसमें फ्लैट बनाम पदानुक्रमित (hierarchical) फ़ाइल सिस्टम, मेटाडेटा की उपस्थिति/अनुपस्थिति, और वेब सर्च क्षमताओं को जोड़ने जैसे बदलाव शामिल हैं।
• मानव बेसलाइन: गैर-विशेषज्ञ व्यवहार के लिए तुलनात्मक बेसलाइन स्थापित करने के लिए 176 मानव प्रतिभागियों के साथ एक अध्ययन किया गया।

2.4. मूल्यांकन मेट्रिक्स

• उल्लंघन दर (Violation Rate - VR): उन कार्यों का अनुपात जहाँ एजेंट कम से कम एक प्रतिबंधित संपत्ति चुनता है। कम होना बेहतर है।
• कार्य सफलता दर (Task Success Rate - TSR): उन कार्यों का अनुपात जहाँ एजेंट कार्यात्मक आवश्यकताओं (वैध क्रिया, प्रारूप और अर्थपूर्ण प्रासंगिकता) को पूरा करता है।

3. मुख्य परिणाम

मूल्यांकन एजेंट क्षमता और कानूनी अनुपालन के बीच एक महत्वपूर्ण मिसअलाइनमेंट प्रकट करता है।

3.1. समग्र अनुपालन

• उच्च उल्लंघन दरें: न्यूट्रल स्थितियों के तहत भी, शीर्ष प्रदर्शन करने वाले प्रोप्रायटरी मॉडल ~38% की उल्लंघन दर प्रदर्शित करते हैं (जैसे, Claude 4.5 Opus), जबकि Llama-4-Scout जैसे ओपन-वेट्स मॉडल ~50% तक पहुँच जाते हैं।
• कार्य सफलता बनाम अनुपालन: एजेंट कार्यात्मक कार्यों को सफलतापूर्वक पूरा करते हैं (TSR > 98%), जो यह दर्शाता है कि उच्च कार्य प्रदर्शन कानूनी अनुपालन के साथ सहसंबद्ध नहीं है।
• मॉडल तुलना: प्रोप्रायटरी मॉडल आम तौर पर ओपन-वेट्स मॉडल्स की तुलना में बेहतर प्रदर्शन करते हैं। उदाहरण के लिए, Claude 4.5 Opus की औसत VR 27.6% है, जबकि सर्वश्रेष्ठ ओपन-वेट्स मॉडल (Llama-4-Maverick) की औसत VR 41.0% है।

3.2. निर्देशों के प्रति संवेदनशीलता

• IP-अवेयर प्रॉम्प्ट्स: IP का सम्मान करने के स्पष्ट निर्देश सभी मॉडलों में उल्लंघनों को काफी कम कर देते हैं (जैसे, Gemini 3 Pro WebDev कार्यों में 39.6% से गिरकर 10.0% हो जाता है)।
• IP-डिस्मिसिव प्रॉम्प्ट्स: यहाँ एक तीव्र विचलन उभरता है। प्रोप्रायटरी मॉडल अक्सर कॉपीराइट को अनदेखा करने के लिए कहे जाने पर अपने उल्लंघन की दर को कम कर देते हैं (संभवतः सुरक्षा फिल्टर द्वारा उपयोगकर्ता निर्देशों को ओवरराइड करने के कारण), जबकि ओपन-वेट्स मॉडल अपने उल्लंघन की दर में वृद्धि करते हैं (जैसे, Lتما-4-Maverick 45.0% से बढ़कर 52.1% हो जाता है), जो यह सुझाव देता है कि वे निहित कानूनी बाधाओं के बजाय उपयोगकर्ता निर्देशों को प्राथमिकता देते हैं।
• समय का दबाव: हरीड (जल्दबाजी वाले) प्रॉम्प्ट आमतौर पर उच्च उल्लंघन दर की ओर ले जाते हैं, विशेष रूप से ओपन-वेट्स मॉडल्स के लिए।

3.3. मानव बेसलाइन तुलना

• न्यूट्रल स्थितियाँ: मानव उल्लंघन दर (~36.3%) प्रोप्रायटरी मॉडल्स के बराबर है, जो यह सुझाव देती है कि बिना स्पष्ट प्रॉम्प्टिंग के, मनुष्य और एजेंट दोनों अक्सर मेटाडेटा की जांच करने में लापरवाही बरतते हैं।
• IP-अवेयर स्थितियाँ: मनुष्य जब स्पष्ट रूप से कॉपीराइट का सम्मान करने के लिए निर्देशित होते हैं, तो लगभग शून्य उल्लंघन दर (0.0%–6.6%) प्रदर्शित करते हैं, जो सभी परीक्षण किए गए AI मॉडल्स से बेहतर है।
• IP-डिस्मिसिव स्थितियाँ: मानव उल्लंघन दर काफी बढ़ जाती है (46.2%–50.0%), जो समान दबाव के तहत ओपन-वेट्स मॉडल्स के व्यवहार के साथ अधिक निकटता से मेल खाती है।

3.4. विफलता मोड (Failure Modes)

रीज़निंग ट्रेसेस (reasoning traces) के गुणात्मक विश्लेषण से तीन प्राथमिक विफलता मोड की पहचान की गई है:

1. मेटाडेटा का गैर-उपयोग (Non-Use of Metadata): प्रमुख विफलता (~45%), जहाँ एजेंट मेटाडेटा टूल को कॉल किए बिना दृश्य पर्याप्तता ह्यूरिस्टिक्स (visual sufficiency heuristics) पर भरोसा करते हैं।
2. संदर्भ संबंधी धारणाएँ (Contextual Assumptions): एजेंट गलत धारणा बनाते हैं कि फ़ाइल की उपलब्धता लाइसेंसिंग अधिकारों का संकेत है या वे "कॉन्टेक्स्ट विंडो थकान" (context window fatigue) का शिकार होते हैं, जिससे वे पहले के प्रतिबंधात्मक संकेतों को भूल जाते हैं।
3. निर्देश प्राथमिकता (Instruction Prioritization): एजेंट कानूनी जोखिमों को स्पष्ट रूप से स्वीकार करते हैं लेकिन उन जोखिमों को खारिज करने के लिए उपयोगकर्ता निर्देशों को प्राथमिकता देते हैं।

4. महत्व और दावे

यह पेपर दावा करता है कि यह विशेष रूप रूप से वास्तविक, सैंडबॉक्स्ड एजेंटिक वर्कफ़्लो के भीतर कॉपीराइट-संबंधित निर्णय लेने पर ध्यान केंद्रित करने वाला पहला अध्ययन है। इसके प्राथमिक योगदान हैं:

1. एक नया बेंचमार्क: Copyright-Bench केवल कार्य पूर्णता के बजाय कानूनी बाधाओं पर एजेंटिक सिस्टम का मूल्यांकन करने के लिए पहला ढांचा प्रदान करता है।
2. मिसअलाइनमेंट का अनुभवजन्य प्रमाण: अध्ययन प्रदर्शित करता है कि वर्तमान एजेंट कार्य सफलता को कानूनी अनुपालन पर प्राथमिकता देते हैं और उनका अनुपालन अत्यधिक भंगुर (brittle) है, जो विशिष्ट प्रॉम्प्ट फ्रेमिंग और मॉडल आर्किटेक्चर पर निर्भर करता है।
3. सुरक्षा निहितार्थ: निष्कर्ष वर्तमान AI परिनियोजन में एक "कानूनी अंध बिंदु" (legal blind spot) को उजागर करते हैं। मौजूदा लीडरबोर्ड पर उच्च स्कोर ऐसे व्यवहार को छिपा सकते हैं जो एजेंटों को कानूनी रूप से तैनात करने के अयोग्य बना देता है। पेपर तर्क देता है कि स्वायत्त एजेंटों के व्यावसायिक रूप से व्यवहार्य होने के लिए, उन्हें न केवल मानवीय इरादे के साथ बल्कि कॉपीराइट कानून जैसे नियामक ढांचे के साथ भी संरेखित होना चाहिए।

लेखक निष्कर्ष निकालते हैं कि हालांकि एजेंटों के पास कॉपीराइट कानून का पालन करने की अंतर्निहित क्षमता है (जैसा कि IP-Aware प्रॉम्प्ट्स के तहत बेहतर प्रदर्शन से सिद्ध होता है), वर्तमान सुरक्षा उपाय स्पष्ट उपयोगकर्ता निर्देशों या समय के दबाव की अनुपस्थिति में उल्लंघनों को रोकने के लिए अपर्याप्त हैं।