💬 NLP

\textsc{DiARC}: Distinguishing Positive and Negative Samples Helps Improving ARC-like Reasoning Ability of Large Language Models

यह शोध पत्र \textsc{DiARC} का प्रस्ताव करता है, जो विज़ुअल ट्रांसफॉर्मेशन (visual transformation), रूल इनवर्जन (rule inversion) और टास्क-स्पेसिफिक एडिटिंग (task-specific editing) के माध्यम से सूचनात्मक नेगेटिव सैंपल्स (informative negative samples) के साथ प्रेफरेंस पेयर्स (preference pairs) का निर्माण करके लार्ज लैंग्वेज मॉडल्स की ARC-जैसी रीजनिंग क्षमताओं को बढ़ाता है, जिससे मॉडल्स को सही और गलत समाधानों के बीच अधिक प्रभावी ढंग से अंतर करने में सक्षम बनाया जा सके।

मूल लेखक: Yuxuan Yang, Feiyang Li, Yile Wang

प्रकाशित 2026-06-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuxuan Yang, Feiyang Li, Yile Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

DIARC का विवरण: सरल भाषा और रचनात्मक उपमाओं के साथ

बड़ी समस्या: AI को पहेलियाँ सुलझाना सिखाना

कल्पना कीजिए कि आप एक छात्र को एक विजुअल पहेली (visual puzzle) सुलझाना सिखाने की कोशिश कर रहे हैं। आप उसे कुछ उदाहरण दिखाते हैं: "यहाँ एक लाल वर्ग (red square) नीले वृत्त (blue circle) में बदल रहा है। यहाँ एक हरा त्रिकोण (green triangle) पीले सितारे (yellow star) में बदल रहा है।" फिर, आप उसे एक नया आकार देते हैं और पूछते हैं, "यह किसमें बदलेगा?"

यह ARC (Abstraction and Reasoning Corpus) चुनौती है। यह शुद्ध तर्क और पैटर्न पहचान का परीक्षण है। जबकि बड़े AI मॉडल (LLMs) कविता लिखने या गणित की समस्याओं को हल करने में माहिर हैं, वे इन विजुअल पहेलियों में संघर्ष करते हैं। वे अक्सर गलत अनुमान लगाते हैं या अटक जाते हैं क्योंकि उन्होंने उस बदलाव के पीछे के गहरे नियम को नहीं सीखा होता है।

पुराना तरीका: केवल सही उत्तर दिखाना

पहले, शोधकर्ताओं ने AI को केवल सही उत्तर दिखाकर इसे ठीक करने की कोशिश की।

उपमा: कल्पना कीजिए कि एक शिक्षक एक छात्र को गणित की एक समस्या दिखाता है और केवल कहता है, "उत्तर 5 है।" छात्र यह याद कर लेता है कि उस विशिष्ट समस्या के लिए "5" सही उत्तर है, लेकिन वह यह नहीं समझ पाता कि वह 5 क्यों है। यदि समस्या थोड़ी सी भी बदल दी जाए, तो छात्र असफल हो जाता है।
पेपर की आलोचना: लेखक तर्क देते हैं कि केवल "सही" उत्तर दिखाना पर्याप्त नहीं है। AI को यह सीखने की भी आवश्यकता है कि क्या नहीं करना है।

नया विचार: "निकट-विफल" (Near-Miss) गलतियों से सीखना

लेखक एक नई विधि प्रस्तावित करते हैं जिसे DIARC कहा जाता है। उनका मूल विचार सरल है: सही नियम सीखने के लिए, आपको गलत नियमों को पहचानना भी सीखना होगा।

उपमा: एक मास्टर शेफ (Master Chef) के बारे में सोचें जो एक प्रशिक्षु (Apprentice) को सिखा रहा है।
- पुराना तरीका: शेफ कहता है, "इस सूप का स्वाद एकदम सही है। इस स्वाद को याद रखो।"
- DIARC तरीका: शेफ कहता है, "इस सूप का स्वाद एकदम सही है। लेकिन इन तीन अन्य कटोरों को देखो: एक में नमक बहुत ज्यादा है, एक में जड़ी-बूटियाँ कम हैं, और एक जल गया है। ये सभी सूप जैसे दिखते हैं, लेकिन ये गलत हैं। क्या आप अंतर बता सकते हैं?"

AI को "लगभग सही" लेकिन वास्तव में गलत उत्तर दिखाकर, AI सही पैटर्न को नकली पैटर्नों से अलग करना सीखता है।

वे "गलत" उत्तर कैसे बनाते हैं (तीन तरकीबें)

पेपर इन "गलत" उत्तरों (negative samples) को बनाने के तीन चतुर तरीके बताता है, बिना मूल पहेली को बदले:

विजुअल ट्विक (Visual Tweak - आउटपुट-स्तर पर):
- वे क्या करते हैं: वे सही उत्तर लेते हैं और उसमें थोड़ा सा बदलाव (mess up) कर देते हैं। शायद वे पूरी तस्वीर को थोड़ा सा बाईं ओर खिसका देते हैं, या उसके किनारों को धुंधला (blur) कर देते हैं।
- रूपक (Metaphor): यह एक बेहतरीन फोटो लेने के बाद कैमरे को थोड़ा तिरछा करने या उसमें थोड़ा सा 'स्टैटिक नॉइज़' जोड़ने जैसा है। फोटो अभी भी दृश्य जैसी ही दिखती है, लेकिन वह बिल्कुल सही नहीं होती।
नियम का उलटफेर (Rule Flip - DSL-स्तर पर):
- वे क्या करते हैं: वे उस "कोड" या तर्क को देखते हैं जिसका उपयोग AI पहेली को हल करने के लिए करता है। यदि नियम है "सब कुछ ऊपर ले जाओ," तो वे इसे बदलकर "सब कुछ नीचे ले जाओ" कर देते हैं।
- रूपक: यदि किसी खेल का नियम है "लाल बत्ती दिखने पर कूदो," तो वे एक नकली नियम बनाते हैं: "हरी बत्ती दिखने पर कूदो।" यह तार्किक लगता है, लेकिन यह सच्चाई का ठीक उल्टा है।
स्मार्ट एडिट (Smart Edit - कार्य-विशिष्ट):
- वे क्या करते हैं: वे एक बहुत ही स्मार्ट AI (जैसे GPT-5.4) का उपयोग करके किसी विशिष्ट पहेली के नियम को उसके "सिमेंटिक विपरीत" (semantic opposite) में फिर से लिखते हैं।
- रूपक: यदि पहेली "बाल्टी भरने" के बारे में है, तो AI नियम को बदलकर "बाल्टी खाली करने" के बारे में कर देता है। यह एक बहुत ही विशिष्ट, चालाकी भरी गलती है जो सही लग सकती है लेकिन है नहीं।

परिणाम: एक स्मार्ट छात्र

शोधकर्ताओं ने इस पद्धति का परीक्षण छह अलग-अलग पहेली बेंचमार्क पर किया। उन्होंने तीन अलग-अलग ओपन-सोर्स AI मॉडल का उपयोग किया और उनकी तुलना उन मॉडलों से की जो केवल सही उत्तरों से सीखते थे।

परिणाम: DIARC (गलती-पकड़ने वाली विधि) के साथ प्रशिक्षित मॉडलों ने काफी बेहतर स्कोर प्राप्त किया।
मुख्य आकर्षण: Qwen3 नामक मॉडल का उपयोग करते हुए, उन्होंने कुछ सबसे कठिन पहेलियों पर 96% से अधिक सटीकता प्राप्त की। इसने कई महंगे, क्लोज्ड-सोर्स मॉडल्स और यहाँ तक कि इन कार्यों के लिए डिज़ाइन किए गए विशेष AI को भी पीछे छोड़ दिया।

सारांश

यह पेपर तर्क देता है कि AI को बेहतर बनाने के लिए, हमें उसे केवल सही उत्तर नहीं खिलाने चाहिए। हमें उसे गलत उत्तरों को खारिज करना सिखाना होगा। "निकट-विफल" गलतियाँ बनाकर और AI को लुभावने गलत रास्तों के बजाय सही रास्ता चुनने के लिए प्रशिक्षित करके, AI पहेलियों के पीछे के वास्तविक तर्क को बहुत तेज़ी से और अधिक प्रभावी ढंग से सीख जाता है।

DIARC का तकनीकी सारांश: बड़े भाषा मॉडलों (LLMs) की ARC-जैसी तर्क क्षमता में सुधार के लिए सकारात्मक और नकारात्मक नमूनों के बीच अंतर करना

समस्या विवरण (Problem Statement)

एब्स्ट्रैक्शन एंड रीजनिंग कॉर्पस (ARC) के लिए मॉडलों को इनपुट-आउटपुट ग्रिड उदाहरणों की एक छोटी संख्या से अंतर्निहित रूपांतरण नियमों (latent transformation rules) का अनुमान लगाने और उन्हें नए टेस्ट इनपुट पर लागू करने की आवश्यकता होती है। जबकि बड़े भाषा मॉडलों (LLMs) ने प्राकृतिक भाषा और गणितीय तर्क में प्रगति दिखाई है, वे ARC-जैसी अमूर्त प्रतीकात्मक कार्यों (abstract symbolic tasks) में संघर्ष करते हैं। ARC पर LLM के प्रदर्शन को सुधारने के मौजूदा दृष्टिकोण मुख्य रूप से अधिक प्रशिक्षण उदाहरण बनाने के लिए डेटा ऑग्मेंटेशन का उपयोग करके सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) पर निर्भर करते हैं। हालाँकि, ये विधियाँ ओपन-सोर्स मॉडलों के साथ असंतोषजनक परिणाम देती हैं और क्लोज्ड-सोर्स मॉडलों के साथ महंगी होती हैं।

लेखक वर्तमान SFT-आधारित दृष्टिकोणों में तीन प्रमुख सीमाओं की पहचान करते हैं:

जेनरेटिव कठिनाई (Generative Difficulty): ARC आउटपुट अनुक्रम अक्सर लंबे होते हैं, जिससे चरण-दर-चरण टोकन भविष्यवाणी करना कठिन हो जाता है।
स्थानीय बनाम वैश्विक (Local vs. Global): SFT स्थानीय टोकन जानकारी पर ध्यान केंद्रित करता है, जबकि ARC कार्यों के लिए वैश्विक ग्रिड विशेषताओं को समझने की आवश्यकता होती है।
नकारात्मक मार्गदर्शन का अभाव (Lack of Negative Guidance): मौजूदा विधियाँ केवल सकारात्मक नमूनों (सही इनपुट-आउटपुट जोड़े) पर निर्भर करती हैं और गलत आउटपुट से मिलने वाले मार्गदर्शन का अभाव होता है। लेखक तर्क देते हैं कि ARC को हल करने के लिए न केवल सही पैटर्न सीखने की आवश्यकता है, बल्कि सही नियमों को संभावित लेकिन गलत "नियर-मिस" (near-miss) विकल्पों से अलग करने की क्षमता की भी आवश्यकता है।

कार्यप्रणाली: DIARC

इन सीमाओं को दूर करने के लिए, लेखक DIARC का प्रस्ताव करते हैं, जो एक प्रिफरेंस अलाइनमेंट फ्रेमवर्क है जो LLMs को सही आउटपुट और अस्वीकृत नकारात्मक नमूनों के बीच अंतर करने के लिए अनुकूलित करता है। यह विधि तीन मुख्य घटकों से मिलकर बनी है:

1. नकारात्मक नमूना निर्माण (Negative Sample Construction)
केवल सही लक्ष्यों पर निर्भर रहने के बजाय, DIARC प्रिफरेंस पेयर्स $(x, y^+, y^-)$ का निर्माण करता है जहाँ $y^+$ सही आउटपुट है और $y^-$ उसी कार्य से प्राप्त एक नकारात्मक नमूना है। नकारात्मक नमूनों का निर्माण तीन अलग-अलग स्तरों पर किया जाता है ताकि यह सुनिश्चित हो सके कि वे सूचनात्मक "नियर-मिस" हों:

आउटपुट-लेवल विजुअल ट्रांसफॉर्मेशन ( $NG_{Vis}$ ): चार परिवारों में 28 परमाणु ऑपरेशन्स (atomic operations) का उपयोग करके आउटपुट ग्रिड को सीधे संशोधित करता है:
- ग्रिड-ब्लॉक ऑपरेटर्स: (जैसे, पूलिंग, मोड-सेंटरिंग, छोटे घटकों को हटाना) जो मोटे लेआउट को बनाए रखते हैं लेकिन सूक्ष्म संरचना को नुकसान पहुँचाते हैं।
- रिजिड शिफ्ट्स (Rigid shifts): आठ दिशाओं में 10% या 30% परिमाण के साथ ग्रिड सामग्री को खिसकाना।
- मॉर्फोलॉजिकल/ज्यामितीय ऑपरेटर्स: (जैसे, इरोशन, डाइलेशन, स्केलेटनाइजेशन) जो स्थानिक लेआउट को बनाए रखते हुए ऑब्जेक्ट के आकार को बदलते हैं।
- लोकल परटर्बेशन्स (Local perturbations): शोर (noise) इंजेक्ट करना या बाउंड्री पिक्सल को बदलना।
DSL-लेवल रूल इन्वर्जन ( $NG_{DSL}$ ): यह प्रोग्राम स्तर पर कार्य करता है। लेखक एक डोमेन-विशिष्ट भाषा (DSL) में लिखे गए कार्य-विशिष्ट रूपांतरण प्रोग्रामों का विश्लेषण करते हैं। वे आवर्ती स्थानीय नियम पैटर्न की पहचान करते हैं और इन पैटर्न पर एक सिमेंटिक रिवर्सल (इन्वर्जन) लागू करते हैं, जिससे एक ऐसा प्रोग्राम बनता है जो नियम-गलत आउटपुट उत्पन्न करता है लेकिन मूल तर्क के करीब रहता है।
टास्क-स्पेसिफिक रूल एडिटिंग ( $NG_{Edit}$ ): किसी विशिष्ट कार्य के लिए रूपांतरण नियम को संपादित करने में सहायता के लिए एक LLM (GPT-5.4) का उपयोग करता है। लक्ष्य एक वैकल्पिक नियम बनाना है जो मूल का सिमेंटिक विपरीत हो या एक करीबी वेरिएंट हो जो एक अलग रूपांतरण व्यवहार की ओर ले जाए, यह सुनिश्चित करते हुए कि नकारात्मक संरचनात्मक रूप से समान लेकिन तार्किक रूप से भिन्न हो।

2. प्रिफरेंस ऑप्टिमाइजेशन पाइपलाइन (Preference Optimization Pipeline)
एक बार प्रिफरेंस पेयर्स बन जाने के बाद, मॉडल को डायरेक्ट प्रिफरेंस ऑप्टिमाइजेशन (DPO) का उपयोग करके प्रशिक्षित किया जाता है। RLHF (रिवॉर्ड मॉडल की आवश्यकता वाले) के विपरीत, DPO सीधे पॉलिसी मॉडल $\pi_\theta$ को एक रेफरेंस मॉडल $\pi_{ref}$ के सापेक्ष चुने गए आउटपुट ( $y^+$ ) को अस्वीकृत आउटपुट ( $y^-$ ) की तुलना में उच्च संभावना प्रदान करने के लिए अनुकूलित करता है। लॉस फंक्शन है:
$L_{DPO} = -E \left[ \log \sigma \left( \beta \log \frac{\pi_\theta(y^+|x)}{\pi_{ref}(y^+|x)} - \beta \log \frac{\pi_\theta(y^-|x)}{\pi_{ref}(y^-|x)} \right) \right]$
पॉलिसी मॉडल को एक SFT मॉडल से इनिशियलाइज़ किया जाता है, और रेफरेंस मॉडल उस SFT मॉडल की एक फ्रीज की गई कॉपी होती है।

मुख्य योगदान (Key Contributions)

सुपरविजन प्रतिमान में बदलाव (Shift in Supervision Paradigm): पेपर का तर्क है कि ARC तर्क में सुधार के लिए शुद्ध सकारात्मक नमूना सुपरविजन से आगे बढ़कर नकारात्मक नमूनों के भेदभाव को शामिल करने की आवश्यकता है, जो संज्ञानात्मक विज्ञान के सिद्धांतों से प्रेरित है कि सीखना त्रुटियों को पहचानने और उन्हें ठीक करने में शामिल है।
तीन-स्तरीय नकारात्मक निर्माण (Three-Tier Negative Construction): विजुअल ट्रांसफॉर्मेशन, DSL नियम इन्वर्जन और टास्क-स्पेसिफिक रूल एडिटिंग के माध्यम से सूचनात्मक नकारात्मक नमूने उत्पन्न करने के लिए एक व्यवस्थित पद्धति का प्रस्ताव।
ARC के लिए प्रिफरेंस अलाइनमेंट: ARC कार्यों के लिए DPO का अनुप्रयोग, यह प्रदर्शित करते हुए कि सही और संभावित रूप से गलत आउटपुट के बीच अंतर करने के लिए अनुकूलित करना तर्क क्षमताओं को बढ़ाता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने छह बेंचमार्क पर DIARC का मूल्यांकन किया: ARC-AGI-1, ARC-AGI-2, MiniARC, ConceptARC, 1D-ARC, और ARCcommunity, जिसमें तीन ओपन-सोर्स LLM बैकबोन (Llama-3.2-3B, Mistral-NeMo-Minitron-8B, और Qwen3-4B) का उपयोग किया गया।

निरंतर सुधार: DIARC ने सभी डेटासेट और मॉडल आकारों में बेसलाइन SFT-ओनली मॉडलों की तुलना में लगातार बेहतर प्रदर्शन किया।
स्टेट-ऑफ-द-आर्ट प्रदर्शन: Qwen3 मॉडल का उपयोग करते हुए, DIARC ने ARC-AGI-1 पर 97.00% और ARC-AGI-2 पर 33.06% सटीकता प्राप्त की। MiniARC और ConceptARC पर, इसने क्रमशः 97.32% और 97.29% हासिल किया।
तुलना: ये परिणाम विभिन्न ARC-विशेषज्ञ मॉडलों (जैसे, HRM, GRAM, VARC) और मजबूत क्लोज्ड-सोर्स LLMs (जैसे, GPT-4, o1-mini, Kimi K2.5) से बेहतर हैं।
एब्लेशन (Ablation): प्रयोगों ने दिखाया कि तीनों नकारात्मक निर्माण रणनीतियों ने प्रदर्शन में वृद्धि में योगदान दिया, जिसमें "Random Perturb" और "Rigid Shift" अक्सर विशिष्ट बेंचमार्क पर महत्वपूर्ण सुधार प्रदान करते हैं।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि सही नियमों और संभावित नियर-मिस विकल्पों के बीच अंतर करने की क्षमता ARC तर्क के लिए एक महत्वपूर्ण कौशल है जिसे मानक SFT में अक्सर अनदेखा कर दिया जाता है। प्रिफरेंस अलाइनमेंट का लाभ उठाकर, DIARC मॉडलों को न केवल यह सीखने में सक्षम बनाता है कि उत्तर क्या है, बल्कि यह भी कि कुछ संभावित विकल्प क्यों गलत हैं। लेखक कहते हैं कि यह दृष्टिकोण ओपन-सोर्स मॉडलों को अमूर्त तर्क कार्यों पर महंगे क्लोज्ड-सोर्स सिस्टम के प्रतिस्पर्धी या उनसे बेहतर स्तर तक सुधारने का एक लागत प्रभावी तरीका प्रदान करता है, बिना फ्रंटियर मॉडल्स से जुड़ी भारी इन्फरेंस-टाइम लागतों के। यह कार्य सुझाव देता है कि ARC तर्क में भविष्य के सुधार केवल डेटा या मॉडल के आकार को बढ़ाने के बजाय नकारात्मक नमूना निर्माण और प्रिफरेंस ऑप्टिमाइजेशन की गुणवत्ता पर अधिक निर्भर हो सकते हैं।