🤖 machine learning

Multi-Axis Max@K Reinforcement Learning for Representative Diversity in Text-to-Image Generation

यह शोध पत्र मल्टी-एक्सिस मैक्स@के (multi-axis max@K) का परिचय देता है, जो एक समूह-आधारित सुदृढीकरण शिक्षण (reinforcement learning) उद्देश्य है जो टेक्स्ट-टू-इमेज जनरेशन की विविधता और जनसांख्यिकीय निष्पक्षता को बढ़ाता है, क्योंकि यह क्रेडिट केवल तभी नमूनों को प्रदान करता है जब वे एक बैच के भीतर विशिष्ट सिमेंटिक मोड्स (semantic modes) के कवरेज में अद्वितीय सुधार करते हैं, जिससे छवि गुणवत्ता या प्रॉम्प्ट संरेखण से समझौता किए बिना उच्च निष्पक्षता स्कोर प्राप्त होता है।

मूल लेखक: Ku Onoda, Paavo Parmas, Hiroki Furuta, Soichiro Nishimori, Yuta Oshima, Shohei Taniguchi, Yutaka Matsuo

प्रकाशित 2026-07-17

📖 10 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ku Onoda, Paavo Parmas, Hiroki Furuta, Soichiro Nishimori, Yuta Oshima, Shohei Taniguchi, Yutaka Matsuo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, जादुई आर्ट स्टूडियो में कदम रख रहे हैं जहाँ एक रोबोट कलाकार आपके द्वारा बताए गए किसी भी चित्र को तुरंत बना सकता है। आप कहते हैं, "एक जासूस बनाओ," और अचानक एक जासूस प्रकट हो जाता है। आप फिर से कहते हैं, और एक और जासूस प्रकट होता है। लेकिन यहाँ एक पेंच है: हर बार जब आप पूछते हैं, तो वह रोबोट बिल्कुल एक ही तरह का जासूस बनाता है—शायद हमेशा एक लंबा आदमी जो ट्रेंच कोट पहने हुए है। यह ऐसा है जैसे रोबोट का एक पसंदीदा पहनावा है और वह कुछ भी और आज़माने से इनकार करता है। यह आधुनिक "टेक्स्ट-टू-इमेज" (text-to-image) AI के साथ एक आम समस्या है। हालाँकि ये रोबोट तस्वीरें बनाने में अविश्वसनीय रूप से अच्छे हैं जो वास्तविक दिखती हैं और आपके शब्दों से मेल खाती हैं, लेकिन वे अक्सर एक ही ढर्रे में फंस जाते हैं, बार-बार एक ही तरह की कुछ भिन्नताओं को उत्पन्न करते हैं। यह एक बड़ी बात है क्योंकि यदि आप "डॉक्टर" या "नेता" मांगते हैं, और रोबोट केवल एक विशिष्ट प्रकार के व्यक्ति को ही दिखाता है, तो यह दुनिया के एक संकीर्ण और अनुचित दृष्टिकोण को पुख्ता करता है। वैज्ञानिक इसे "विविधता" (diversity) की कमी कहते हैं।

इसे ठीक करने के लिए, शोधकर्ता आमतौर पर रोबोट को कहते हैं, "इसे अलग दिखाओ!" लेकिन अक्सर, जब वे रोबोट को अलग होने के लिए मजबूर करते हैं, तो तस्वीरें अजीब, धुंधली या बस पूरी तरह से गलत दिखने लगती हैं। रोबोट भ्रमित हो जाता है और आपके निर्देशों का पालन करना बंद कर देता है। यह पेपर इस बात का परिचय देता है कि कैसे एक चतुर नया तरीका सिखाया जा सकता है जिससे रोबोट अपनी कुशलता खोए बिना विविध बन सके। लेखक एक विधि प्रस्तावित करते हैं जिसे "मल्टी-एक्सिस मैक्स@के" (Multi-Axis Max@K) कहा जाता है। इसे एक टैलेंट शो की तरह समझें जहाँ आप केवल एक सबसे अच्छे गायक को नहीं चुनते; इसके बजाय, आप प्रतियोगियों के एक पूरे समूह को देखते हैं और कहते हैं, "ठीक है, यह सबसे अच्छा गायक है, यह सबसे अच्छा डांसर है, और यह सबसे अच्छा जादूगर है।" लक्ष्य यह नहीं है कि एक व्यक्ति सब कुछ पूरी तरह से करे; लक्ष्य यह है कि पूरा समूह सभी आधारों को कवर करे। शोधकर्ताओं ने इस विचार का परीक्षण किया और पाया कि यह AI को चित्रों की एक बहुत व्यापक विविधता बनाने में मदद करता है, जिससे परिणाम अधिक निष्पक्ष और दिलचस्प बनते हैं, और वह भी तब भी जब तस्वीरें स्पष्ट और आपके विवरण के प्रति सच्ची रहती हैं।

समस्या: रोबोट का "पसंदीदा" पहनावा

कल्पना कीजिए कि आपका एक दोस्त है जिसे चित्र बनाना पसंद है। आप उससे एक "बिल्ली" बनाने के लिए कहते हैं। वह एक रोयेंदार नारंगी धब्बे वाली बिल्ली बनाता है। आप दोबारा पूछते हैं, और वह बिल्कुल वही नारंगी धब्बे वाली बिल्ली बनाता है। आप तीसरी बार पूछते हैं, और वह अभी भी वही नारंगी धब्बे वाली बिल्ली है। आपका दोस्त चित्र बनाने में बुरा नहीं है; वह बस एक लूप में फंस गया है। उसके पास बिल्लियों के चित्र बनाने का एक "पसंदीदा मोड" है, और वह बार-बार उसी पर आता रहता है।

आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, विशेष रूप से "टेक्स्ट-टू-इमेज" मॉडल में, यह हमेशा होता है। ये मॉडल इंटरनेट से अरबों छवियों पर प्रशिक्षित होते हैं। यदि इंटरनेट पर महिलाओं या अन्य नस्लों के बजाय डॉक्टरों के रूप में सफेद पुरुषों की अधिक तस्वीरें हैं, तो AI सीख जाता है कि "डॉक्टर" का अर्थ "सफेद आदमी" है। जब आप डॉक्टर मांगते हैं, तो वह उस संकीर्ण स्मृति बैंक से जानकारी निकालता है।

सामान्य समाधान यह है कि AI को कहें, "विविध बनो!" लेकिन यदि आप केवल "विविध बनो" चिल्लाते हैं, तो AI भ्रमित हो सकता है। वह शायद एक ऐसा डॉक्टर बनाने लगेगा जो एक आलू जैसा दिखता है या एक बिल्ली जिसने स्टेथोस्कोप पहना हुआ है। AI अलग होने की कोशिश करता है, लेकिन वह आपके निर्देशों का पालन करने में "अच्छा" होना भूल जाता है। शोधकर्ता एक ऐसा तरीका चाहते थे जिससे AI आपको विभिन्न विकल्प दिखा सके—जैसे कुछ महिला डॉक्टर, कुछ पुरुष डॉक्टर, कुछ अश्वेत, कुछ एशियाई—बिना चित्रों को खराब किए।

समाधान: "बैच का सर्वश्रेष्ठ" टैलेंट शो

इस पेपर के लेखकों ने AI के सीखने के लिए एक नया नियम बनाया है। वे इसे Multi-Axis Max@K कहते हैं। यह सुनने में जटिल लगता है, लेकिन आइए इसे एक सरल कहानी के साथ समझते हैं।

कल्पमा कीजिए कि आप छात्रों की एक कक्षा का ग्रेड दे रहे हैं। आपके पास कौशलों की एक सूची है जिन्हें आप देखना चाहते हैं: गणित, कला, संगीत और खेल।

पुराना तरीका (स्कैलर रिवॉर्ड/Scalar Reward): आप प्रत्येक छात्र को व्यक्तिगत रूप से देखते हैं। "छात्र A गणित में महान है लेकिन बाकी सब में बुरा है। छात्र B कला में महान है लेकिन बाकी सब में बुरा है।" यदि आप केवल उनके स्कोर को जोड़ देते हैं, तो आप शायद उस छात्र को चुन लेंगे जो हर चीज़ में "ठीक" है लेकिन किसी भी चीज़ में महान नहीं है। या, आप गणित के प्रतिभाशाली छात्र को चुन सकते हैं और इस तथ्य को अनदेखा कर सकते हैं कि कक्षा में कोई संगीतकार नहीं है।
नया तरीका (Multi-Axis Max@K): आप पूरे समूह को एक इकाई के रूप में देखते हैं। आप पूछते हैं: "इस समूह में सबसे अच्छा गणित का छात्र कौन है?" आप छात्र A को चुनते हैं। "सबसे अच्छा संगीत का छात्र कौन है?" आप छात्र B को चुनते हैं। "सबसे अच्छा खेल का छात्र कौन सा है?" आप छात्र C को चुनते हैं।

जादू यहाँ होता है: समूह को उच्च स्कोर मिलता है क्योंकि उसमें एक गणित का जीनियस, एक संगीत का जीनियस और एक खेल का जीनियस है, भले ही कोई एक छात्र तीनों में अच्छा न हो। AI सीखता है कि उसे एक ऐसा पूर्ण चित्र बनाने की आवश्यकता नहीं है जो सब कुछ करता हो। इसके बजाय, वह सीखता है कि चित्रों का एक "बैच" (समूह) तब सफल होता है जब उस बैच के अलग-अलग चित्र अलग-अलग चीजों का प्रतिनिधित्व करते हैं।

"मैक्स" (Max) भाग का अर्थ है कि AI समूह में प्रत्येक श्रेणी के लिए सर्वश्रेष्ठ उदाहरण की तलाश करता है। "के" (K) भाग का अर्थ है कि यह K चित्रों के एक समूह (जैसे 7 या 10 के बैच) को देखता है। "मल्टी-एक्सिस" (Multi-Axis) भाग का अर्थ है कि यह एक साथ कई अलग-अलग श्रेणियों (जैसे अलग-अलग स्किन टोन, लिंग या रंग) की जाँच करता है।

उन्होंने इसका परीक्षण कैसे किया: पिक्सेल से लोगों तक

शोधकर्ताओं ने केवल अनुमान नहीं लगाया कि यह काम करेगा; उन्होंने तीन अलग-अलग तरीकों से इसका परीक्षण किया, जो हर बार अधिक जटिल होता गया।

1. कलर गेम (सिंथेटिक टेस्ट)
सबसे पहले, उन्होंने एक सरल कंप्यूटर प्रोग्राम के साथ एक खेल खेला। उन्होंने प्रोग्राम को निर्देश दिया कि उसे लाल, हरे, नीले या अन्य रंगों की छवियां उत्पन्न करनी हैं। उन्होंने एक नियम बनाया जहाँ प्रोग्राम को अंक मिलते थे यदि छवियों का समूह सभी रंगों को कवर करता था।

क्या हुआ: जब उन्होंने पुराने "सिंगल स्कोर" तरीके का उपयोग किया, तो प्रोग्राम आलसी हो गया और उसने बहुत सारी लाल छवियां बनाना शुरू कर दिया क्योंकि अंक पाने का यह सबसे आसान तरीका था। लेकिन जब उन्होंने नए "मल्टी-एक्सिस मैक्स@के" तरीके का उपयोग किया, तो प्रोग्राम को समझ आया कि जीतने के लिए उसे एक लाल छवि, एक हरी छवि और एक नीली छवि बनाने की आवश्यकता है। उसने अपने दांव फैलाना शुरू कर दिया और रंगों का एक मिश्रण बनाने लगा।

2. पिक्सेल पहेली (रूल-बेस्ड टेस्ट)
इसके बाद, उन्होंने एक वास्तविक इमेज जनरेटर जिसका नाम SD3.5-M (एक लोकप्रिय AI आर्ट मॉडल) है, का उपयोग किया। इस बार, उन्होंने चित्रों को आंकने के लिए इंसान का उपयोग नहीं किया। इसके बजाय, उन्होंने एक कंप्यूटर प्रोग्राम का उपयोग किया जो पिक्सेल को देखता था और रंगों को गिनता था। उन्होंने AI से विशिष्ट रंग थीम (जैसे "गर्म रंग" या "ठंडे रंग") के साथ चित्र बनाने के लिए कहा।

परिणाम: AI ने एक ऐसा बैच बनाना सीख लिया जिसमें एक चित्र चमकीला और गर्म था, दूसरा ठंडा और नीला था, और एक गहरा था। उसने बिना किसी इंसान के बताए रंगों के सभी "अक्षों" (axes) को सफलतापूर्वक कवर किया।

3. निष्पक्षता परीक्षण (परसीव्ड अपीयरेंस/Perceived Appearance)
अंत में, उन्होंने बड़े, वास्तविक दुनिया के मुद्दे को संभाला: निष्पक्षता (Fairness)। उन्होंने AI से लोगों के विभिन्न व्यवसायों (जैसे "डॉक्टर," "कलाकार," "वैज्ञानिक") के चित्र बनाने के लिए कहा। वे देखना चाहते थे कि क्या AI नस्लों और लिंगों का एक विविध मिश्रण दिखा सकता है।

सेटअप: उन्होंने लोगों की नस्ल और लिंग का "अनुमान" लगाने के लिए स्वचालित उपकरणों का उपयोग किया। उन्होंने "टारगेट मोड्स" (लक्ष्य मोड) परिभाषित किए जैसे "अश्वेत महिला," "एशियाई पुरुष," "लैटिनो महिला," आदि।
परिणाम: जब उन्होंने नए तरीके का उपयोग किया, तो AI ने बहुत अधिक संतुलित समूह बनाना शुरू कर दिया।
- सुधार से पहले, "डॉक्टर" के 16 चित्रों के एक बैच में 13 सफेद पुरुष और 3 अन्य पृष्ठभूमियों के लोग हो सकते थे।
- सुधार के बाद, 16 चित्रों के एक बैच में 4 सफेद पुरुष, 3 अश्वेत लोग, 4 एशियाई लोग, 2 भारतीय लोग और 3 लैटिनो लोग हो सकते हैं।
- शोधकर्ताओं ने इसे एक "फेयरनेस स्कोर" (Fairness Score) का उपयोग करके मापा। उनके नए तरीके ने बेस मॉडल की तुलना में स्कोर में 0.23 से 0.36 का सुधार किया। यह एक बहुत बड़ी छलांग है! और सबसे अच्छी बात? तस्वीरें अभी भी अच्छी दिख रही थीं। "टेक्स्ट एलाइनमेंट" (यह कि चित्र शब्द "डॉक्टर" से कितनी अच्छी तरह मेल खाता है) उच्च बनी रही, और इमेज क्वालिटी में कोई गिरावट नहीं आई।

इसका क्या अर्थ है (और क्या नहीं है)

यह पेपर दिखाता है कि कैसे हम पुरस्कार देने के तरीके को बदलकर, हम AI को स्वाभाविक रूप से विविध बना सकते हैं। केवल इसे अलग होने के लिए मजबूर करने के बजाय (जिससे चीजें अजीब हो जाती हैं), हम समूह को अलग-अलग प्रतिनिधियों के लिए पुरस्कृत करते हैं।

हालाँकि, लेखक सावधानी बरतते हुए कहते हैं कि यह क्या नहीं करता है।

यह हवा में नए लोगों को पैदा नहीं करता है। यदि AI ने कभी किसी विशिष्ट प्रकार के व्यक्ति की तस्वीर नहीं देखी है, तो वह जादुई रूप से उन्हें आविष्कार नहीं कर सकता। यह केवल उन लोगों को फैला सकता है जिन्हें वह पहले से ही बनाना जानता है।
यह उस "स्कोर" पर निर्भर करता है जो AI को मिलता है। यदि चित्रों को आंकने वाला उपकरण (इवैलुएटर) पक्षपाती है, तो AI गलत सबक सीख सकता है। शोधकर्ताओं ने चित्रों को आंकने के लिए स्वचालित उपकरणों का उपयोग किया, और हालांकि उन्होंने यह सुनिश्चित करने के लिए अलग-अलग उपकरणों के साथ अपने काम की जाँच की कि यह सुसंगत है, वे स्वीकार करते हैं कि मानवीय आँखें ही अंतिम परीक्षण होंगी।
यह तब सबसे अच्छा काम करता है जब आपके पास विविधता कैसी दिखती है (जैसे विशिष्ट नस्लों या रंगों की सूची) इसकी एक स्पष्ट सूची हो। यह AI को एक विशिष्ट सेट के लक्ष्यों को कवर करने में मदद करने का एक उपकरण है, न कि कोई जादुई छड़ी जो दुनिया की हर निष्पक्षता की समस्या को हल कर देती है।

निष्कर्ष

यह पेपर एक रोबोट कलाकार को एक नया नियम पुस्तिका देने जैसा है। "आपको एक पूर्ण चित्र बनाना चाहिए" कहने के बजाय, यह कहता है, "चित्रों का एक पूरा समूह बनाएं, और यदि उस समूह में थोड़ा-थोड़ा सब कुछ है, तो मैं आपको गोल्ड स्टार दूँगा।"

परिणाम? AI कम उबाऊ और अधिक निष्पक्ष हो जाता है। यह हमें बार-बार एक ही "डिफ़ॉल्ट" व्यक्ति दिखाने के बजाय, वास्तविक दुनिया की समृद्ध, रंगीन विविधता दिखाना शुरू कर देता है। और वह भी बिना चित्रों को एक ग्लिच वाली गड़बड़ी बनाए। यह गणित में एक छोटा सा बदलाव है, लेकिन यह इस बात में बड़ा बदलाव ला सकता है कि हम मशीनों के साथ बनाई गई कला में खुद को कैसे देखते हैं।

यहाँ "Multi-Axis Max@K Reinforcement Learning for Representative Diversity in Text-to-Image Generation" शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

समस्या विवरण (Problem Statement)

टेक्स्ट-टू-इमेज (T2I) मॉडल, विशेष रूप से डिफ्यूजन-आधारित जनरेटर, अक्सर एक ही प्रॉम्प्ट के लिए ऐसे नमूने (samples) उत्पन्न करते हैं जो दृश्य रूप से भिन्न मोड के केवल एक संकीमित उपसमुच्चय (narrow subset) को कवर करते हैं। हालाँकि ये मॉडल यथार्थवादी चित्र संश्लेषित करते हैं, लेकिन इनमें अक्सर प्रतिनिधिक विविधता (representative diversity) की कमी होती है। यह सीमा तब महत्वपूर्ण हो जाती है जब लक्ष्य विविध विकल्पों का एक सेट प्रदान करना हो, न कि केवल एक संभावित चित्र। व्यक्ति-केंद्रित प्रॉम्प्ट्स में, यह संकेंद्रण जनसांख्यिकीय झुकाव (जैसे कि नस्ल या लिंग के संबंध में) को दर्शा या बढ़ा सकता है, क्योंकि मॉडल कम प्रतिनिधित्व वाली श्रेणियों के लिए मजबूत प्रतिनिधि उत्पन्न करने में विफल रहता है।

मौजूदा विविधता हस्तक्षेप अक्सर छवि की गुणवत्ता को कम कर देते हैं, और स्केलर रिवॉर्ड्स (scalar rewards) का उपयोग करने वाले मानक सुदृढीकरण शिक्षण (Reinforcement Learning - RL) दृष्टिकोण इस समस्या के लिए अनुपयुक्त हैं। स्केलर रिवॉर्ड्स नमूनों की तुलना करने से पहले एक ही छवि के भीतर स्कोर को एकत्रित (aggregate) करते हैं, जो तब विफल हो जाता है जब उद्देश्य नमूनों के एक समूह (group) में कई परस्पर अनन्य लक्ष्य श्रेणियों (जैसे कि विभिन्न रंग मोड या जनसांख्यिकीय लेबल) को कवर करना हो। एक एकल छवि एक साथ सभी परस्पर अनन्य मोड का प्रतिनिधित्व नहीं कर सकती; इसलिए, एक उत्पन्न समूह को तब प्राथमिकता दी जानी चाहिए जब समूह के भीतर विभिन्न नमूने विभिन्न मोड के लिए मजबूत प्रतिनिधि के रूप में कार्य करें।

कार्यप्रणाली: मल्टी-एक्सिस मैक्स@के (Methodology: Multi-Axis Max@K)

लेखक इस समस्या को टारगेट-मोड कवरेज (target-mode coverage) के रूप में औपचारिक रूप देते हैं और मल्टी-एक्सिस मैक्स@के (multi-axis max@k) का प्रस्ताव करते हैं, जो डिफ्यूजन मॉडल के लिए डिज़ाइन किया गया एक समूह-आधारित सुदृढीकरण शिक्षण उद्देश्य है।

1. उद्देश्य सूत्रीकरण (Objective Formulation):
एक छवि के भीतर रिवॉर्ड आयामों को पहले एकत्रित करने के बजाय, यह विधि पहले नमूनों के बीच एकत्रीकरण करती है। एक प्रॉम्प्ट $c$ के लिए, $k$ नमूनों का एक सेट $S_k(c)$ उत्पन्न किया जाता है। $D$ पूर्व-निर्धारित लक्ष्य मोड (अक्ष/axes) और एक निश्चित इवैल्यूएटर द्वारा दिए गए प्रत्येक मोड $d$ के लिए एक स्कोर $r_d(x, c) \in [0, 1]$ को देखते हुए, उद्देश्य स्कोर $G_k$ को इस प्रकार परिभाषित किया गया है:
$G_k(S_k, c) = \sum_{d=1}^{D} w_d(c) \max_{x_i \in S_k(c)} r_d(x_i, c)$
यहाँ, अधिकतम स्कोर को नमूना सेट के माध्यम से प्रति अक्ष (per axis) चुना जाता है, और फिर इन मैक्सिमा को जोड़ा जाता है। यह संरचना सुनिश्चित करती है कि एक नमूने को किसी विशिष्ट श्रेणी के लिए श्रेय तभी मिलता है जब वह उस श्रेणी के लिए समूह के अधिकतम स्कोर में सुधार करता है, जिससे अलग-अलग नमूने विभिन्न श्रेणियों में योगदान दे पाते हैं।

2. क्रेडिट असाइनमेंट तंत्र (Credit Assignment Mechanism):
इस सेट-स्तरीय उद्देश्य को अनुकूलित करने के लिए, लेखक एक पॉलिसी ग्रेडिएंट एस्टिमेटर व्युत्पन्न करते हैं।

लीव-वन-आउट (L2O) मार्जिनल कंट्रीब्यूशन: एक नमूना $x_i$ और अक्ष $d$ के लिए, क्रेडिट इस बात से निर्धारित होता है कि क्या $x_i$ को हटाने से समूह का उस अक्ष के लिए अधिकतम स्कोर कम हो जाता है।
एक्सपेक्टेड इम्प्रूवमेंट (EI) + L2O: व्यवहार में, जहाँ प्रशिक्षण बैच आकार $m$ , उद्देश्य विंडो आकार $k$ से भिन्न हो सकता है, लेखक 'लीव-टू-आउट बेसलाइन' के साथ एक एक्सपेक्टेड इम्प्रूवमेंट एस्टिमेटर का उपयोग करते हैं। यह $m$ उम्मीदवारों से लिए गए $k$ आकार के सभी संभावित उपसमुच्चयों पर सुधार के औसत के माध्यम से प्रति-नमूना लाभ (per-sample advantage) का अनुमान लगाता है।
एक्सिस-प्रिजर्विंग एग्रीगेशन (Axis-Preserving Aggregation): लाभों (advantages) की गणना स्वतंत्र रूप रूप से प्रत्येक अक्ष के लिए की जाती है और फिर एक एकल पॉलिसी वेट बनाने के लिए उन्हें जोड़ा जाता है। यह अंतिम एकत्रीकरण चरण तक रिवॉर्ड अक्षों के पृथक्करण को बनाए रखता है।

3. प्रशिक्षण लूप (Training Loop):
यह विधि डिफ्यूजन मॉडल के लिए एक मानक GRPO-शैली (Group Relative Policy Optimization) अपडेट का उपयोग करती है।

एक प्रॉम्प्ट के लिए $m$ उम्मीदवारों का ऑन-पॉलिसी समूह उत्पन्न करें।
सभी उम्मीदवारों को $D$ रिवॉर्ड अक्षों पर स्कोर दें।
एक्सिस-वाइज रिप्रजेंटेटिव क्रेडिट (max@K) की गणना करें और उन्हें प्रति-नमूना लाभों में बदलें।
बेस मॉडल के विरुद्ध KL रेगुलराइजेशन के साथ इन लाभों का उपयोग करके पॉलिसी को अपडेट करें।

मुख्य योगदान (Key Contributions)

रिप्रजेंटेटिव डायवर्सिटी का सूत्रीकरण: यह पेपर रिप्रजेंटेटिव डायवर्सिटी को टारगेट-मोड कवरेज के रूप में परिभाषित करता है, इसे एक व्यक्तिगत छवि गुण के बजाय एक सेट-स्तरीय उद्देश्य के रूप में फ्रेम करता है।
मल्टी-एक्सिस मैक्स@के एल्गोरिदम: वे एक विशिष्ट मल्टी-एक्सिस मैक्स@के उद्देश्य पेश करते हैं जो एकत्रीकरण से पहले प्रति रिवॉर्ड अक्ष मैक्स-सिलेक्शन करता है। इसे ReMax उद्देश्य के एक विशेष मामले के रूप में प्रस्तुत किया गया है, जो जेनेरेटिव मॉडलिंग के लिए अनुकूलित है जहाँ मोड परस्पर अनन्य होते हैं।
एक्सिस-प्रिजर्विंग क्रेडिट असाइनमेंट: यह विधि एक समूह-आधारित डिफ्यूजन RL एल्गोरिथ्म लागू करती है जो नमूनों को एक विशिष्ट मोड के लिए "सर्वश्रेष्ठ प्रतिनिधि" होने के आधार पर क्रेडिट असाइन करती है, जिससे संभाव्यता द्रव्यमान (probability mass) का किसी एक मोड पर पतन (collapse) होने से रोका जा सके।
व्यापक सत्यापन: इस विधि को तीन अलग-अलग सेटिंग्स में मान्य किया गया है:
- गौसियन मोड के एक नियंत्रित सिंथेटिक मिश्रण में।
- Stable Diffusion 3.5 Medium (SD3.5-M) पर एक नियतात्मक, नियम-आधारित कलर रिवॉर्ड सेटिंग में।
- SD3.5-M पर एक कथित-रूप (perceived-appearance) निष्पक्षता सेटिंग (नस्ल और लिंग) में।

प्रयोगात्मक परिणाम (Experimental Results)

1. सिंथेटिक और कलर मोड प्रयोग:

नौ परस्पर अनन्य गौसियन मोड वाले सिंथेटिक सेटिंग में, मल्टी-एक्सिस मैक्स@के ने सभी लक्षित मोड को कवर करने के लिए संभाव्यता द्रव्यमान को सफलतापूर्वक पुनर्वितरित किया। इसके विपरीत, एक स्केलर सिंगल-मोड रिवॉर्ड ने वितरण को एक पसंदीदा मोड पर केंद्रित (collapse) कर दिया।
सात नियम-आधारित कलर एक्सिस (जैसे लाल, हरा, गर्म, ठंडा) का उपयोग करके SD3.5-M पर, इस विधि ने बैच-स्तरीय कवरेज में महत्वपूर्ण सुधार किया। $k=7$ के प्रशिक्षण विंडो के साथ, विधि ने बेस मॉडल की तुलना में बैच-मैक्स कवरेज ( $C_{pix}$ ) में 57% की वृद्धि प्राप्त की, जबकि $k=1$ बेसलाइन (मानक सिंगल-इमेज GRPO) ने कोई सुधार नहीं दिखाया।

2. कथित-रूप निष्पक्षता (Perceived-Appearance Fairness):
इस विधि को कथित-नस्ल (5 श्रेणियाँ) और कथित-लिंग (2 श्रेणियाँ) को लक्षित मोड के रूप में उपयोग करके व्यक्ति-केंद्रित प्रॉम्प्ट्स में निष्पक्षता में सुधार करने के लिए लागू किया गया।

निष्पक्षता में सुधार: मल्टी-एक्सिस मैक्स@के ने तीन स्वचालित मूल्यांकनकर्ताओं (CLIP, VLM, और FairFace) के माध्यम से बेस SD3.5-M मॉडल की तुलना में फेयरनेस स्कोर (जो यूनिफॉर्म डिस्ट्रीब्यूशन के करीब होने को मापता है) में 0.23–0.36 का सुधार किया।
बेसलाइन्स के साथ तुलना: इस विधि ने मैच किए गए RL बेसलाइन्स (जैसे Fair-GRPO) और इन्फरेंस-टाइम हस्तक्षेपों (FairImagen, Weak Guidance) को पछाड़ दिया। उल्लेखनीय रूप से, जबकि अन्य विधियों ने टेक्स्ट एलाइनमेंट (CLIP-T स्कोर में गिरावट) की कीमत पर निष्पक्षता में सुधार किया, मल्टी-एक्सिस मैक्स@के ने इमेज क्वालिटी और टेक्स्ट एलाइनमेंट मेट्रिक्स को बनाए रखा या थोड़ा बेहतर बनाया।
गुणात्मक बदलाव: उत्पन्न बैचों के दृश्य निरीक्षण ने एक एकल श्रेणी (जैसे "श्वेत") के प्रभुत्व से हटकर एक ही प्रॉम्प्ट के बैच के भीतर सभी पांच कथित-नस्ल श्रेणियों के बीच एक संतुलित वितरण की ओर बदलाव दिखाया।

3. एब्लेशन अध्ययन (Ablation Studies):

विंडो साइज ( $k$ ): हाइपरपैरामीटर $k$ (मैक्स-सिलेक्शन के लिए विचार किए जाने वाले नमंडों की संख्या) महत्वपूर्ण है। जैसे-जैसे $k$ 1 से बढ़कर 5 (नस्ल श्रेणियों की संख्या के बराबर) हुआ, फेयरनेस स्कोर तेजी से सुधरा और उसके बाद संतृप्त (saturate) हो गया। $k=1$ सेटिंग (कोई सेट-स्तरीय क्रेडिट नहीं) विविधता में सुधार करने में विफल रही।
क्रेडिट मैकेनिज्म: विधि ने हार्ड-असाइनमेंट काउंट बेसलाइन्स से बेहतर प्रदर्शन किया, जिसका श्रेय लेखक दुर्लभ श्रेणियों के लिए सब-थ्रेशोल्ड साक्ष्य को पकड़ने की सॉफ्ट स्कोर की क्षमता और प्रति अक्ष "सर्वश्रेष्ठ उपलब्ध" प्रतिनिधि को दिए गए स्पष्ट क्रेडिट को देते हैं।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि मल्टी-एक्सिस मैक्स@के जनरेटिव मॉडलिंग में विविधता में सुधार करने के लिए एक सामान्य तंत्र प्रदान करता है, जो विविधता को पूर्वनिर्धारित मोड के ऊपर एक कवरेज समस्या के रूप में मानता है।

तंत्र की वैधता: मुख्य योगदान वह क्रेडिट असाइनमेंट नियम है जो नमूनों को एक बैच में अलग-अलग रिवॉर्ड अक्षों में विशेषज्ञता हासिल करने की अनुमति देता है, जो प्रभावी रूप से "परस्पर अनन्य मोड" की समस्या को हल करता है जिसे स्केलर रिवॉर्ड संबोधित करने में विफल रहते हैं।
व्यावहारिक प्रभाव: यह विधि प्रदर्शित करती है कि यह संभव है कि इमेज क्वालिटी या टेक्स्ट एलाइनमेंट का त्याग किए बिना T2I जनरेशन में जनसांख्यिकीय निष्पक्षता में महत्वपूर्ण सुधार किया जाए, जो कि पिछले निष्पक्षता हस्तक्षेपों में देखा जाने वाला एक सामान्य ट्रेड-ऑफ है।
सीमाएं और दायरा: लेखक विनम्रतापूर्वक नोट करते हैं कि इस विधि के लिए लक्षित मोड के मापने योग्य स्कोर की आवश्यकता होती है और यह केवल उन्हीं मोड को क्रेडिट दे सकती है जिन्हें जनरेटर पहले से ही नमूना लेने में सक्षम है; यह शून्य से अनुपप्त मोड नहीं बना सकती। इसके अलावा, परिणाम स्वचालित मूल्यांकनकर्ताओं पर निर्भर हैं, और लक्षित अक्षों (जैसे विशिष्ट नस्ल/लिंग श्रेणियाँ) का चयन एक टास्क-लेवल डिज़ाइन निर्णय है जो यह निर्धारित करता है कि कौन सी विविधता प्राप्त की जाएगी। इस विधि को एक सेट-स्तरीय एलाइनमेंट प्रिमिटिव के रूप में प्रस्तुत किया गया है जो विभिन्न डोमेन में लागू हो सकता है जहाँ उम्मीदवार सेट विशिष्ट अक्षों को कवर करते हैं।