← नवीनतम पेपर
🤖 AI

FLARE: Fine-Grained Diagnostic Feedback for LLM Code Refinement

FLARE एक पुनरावृत्ति ढांचा (iterative framework) है जो एक हल्के डायग्नोस्टिक मॉडल का उपयोग करके सूक्ष्म, लाइन-स्तरीय बग लोकलाइजेशन संकेतों को उत्पन्न करके लार्ज लैंग्वेज मॉडल कोड रिफाइनमेंट को बढ़ाता है, जिन्हें मौजूदा बेसलाइनों की तुलना में महत्वपूर्ण प्रदर्शन सुधार प्राप्त करने के लिए एक टॉप-के कैंडिडेट सर्च रणनीति के माध्यम से और अधिक अनुकूलित किया जाता है।

मूल लेखक: Yinsheng Yao, Hongxiang Zhang, Weixi Tong, Tianyi Zhang

प्रकाशित 2026-06-03
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Yinsheng Yao, Hongxiang Zhang, Weixi Tong, Tianyi Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही प्रतिभाशाली लेकिन थोड़े लापरवाह रोबोट से अपने लिए एक कंप्यूटर प्रोग्राम लिखने के लिए कहते हैं। वह रोबोट ज्यादातर समय बहुत अच्छा काम करता है, लेकिन कभी-कभी, वह अनजाने में एक छोटी सी गलती—एक "बग" (bug)—कर देता है जो प्रोग्राम को क्रैश कर देता है या गलत उत्तर देता है।

आमतौर पर, जब ऐसा होता है, तो हम रोबोट से कहते हैं, "हे, यह काम नहीं किया," और उसे फिर से कोशिश करने के लिए कहते हैं। लेकिन यह एक छात्र को यह बताने जैसा है कि, "आपने गणित का सवाल गलत किया है," बिना यह बताए कि उन्होंने कौन सी संख्या गलत जोड़ी थी। रोबोट बिना सोचे-समझे यह अनुमान लगाने में समय और ऊर्जा बर्बाद कर सकता है कि गलती कहाँ है।

यह शोध पत्र FLARE पेश करता है, जो इन AI रोबोट्स के लिए एक बहुत बेहतर "डीबगिंग कोच" (debugging coach) के रूप में डिज़ाइन किया गया है। यह कैसे काम करता है, यहाँ सरल अवधारणाओं में दिया गया है:

1. "एक्स-रे विजन" वाला कोच

अधिकांश वर्तमान तरीके केवल अंतिम परिणाम (क्रैश) को देखते हैं और अनुमान लगाते हैं। FLARE अलग है। इसके पास एक विशेष, हल्का "डायग्नोस्टिक मॉडल" है जो एक्स-रे मशीन की तरह काम करता है।

कोड को केवल देखने के बजाय, FLARE कोड लिखते समय रोबोट के दिमाग के अंदर झाँकता है। यह रोबोट के "कॉन्फिडेंस लेवल" (वह हर एक शब्द टाइप करते समय कितना आश्वस्त था) को देखता है।

  • उपमा: कल्पना कीजिए कि एक छात्र परीक्षा दे रहा है। यदि वह हिचकिचाता है, मिटाता है, या अनिश्चित दिखता है, तो शिक्षक को पता चल जाता है कि गलती कहाँ होने की संभावना है। FLARE यह काम स्वचालित रूप से करता है। यह कोड को स्कैन करता है और कहता है, "मुझे 90% यकीन है कि त्रुटि इस विशिष्ट पंक्ति में छिपी है," बजाय इसके कि केवल यह कहे कि "पूरा प्रोग्राम खराब है।"

2. "टॉप-के" (Top-K) सुरक्षा जाल

एक्स-रे विजन के साथ भी, कोच 100% सटीक नहीं हो सकता। कभी-कभी रोबोट की हिचकिचाहट एक गलत अलार्म हो सकती है। इस अनिश्चितता को संभालने के लिए, FLARE केवल सबसे संदिग्ध एक पंक्ति को नहीं चुनता है।

  • उपमा: कल्पना कीजिए कि एक जासूस खोई हुई चाबी की तलाश कर रहा है। एक सामान्य जासूस कह सकता है, "यह निश्चित रूप से रसोई में है।" FLARE एक ऐसे जासूस की तरह है जो कहता है, "यह शायद रसोई में है, लेकिन सावधानी के तौर पर आइए लिविंग रूम और बेडरूम की भी जांच कर लें।"
  • FLARE सबसे संदिग्ध शीर्ष 10 स्थानों (या जितने भी आप चाहें) को चुनता है और रोबोट से उन सभी को ठीक करने के लिए कहता है। फिर यह देखने के लिए सभी 10 संस्करणों को चलाता है कि वास्तव में कौन सा काम करता है। यह सुनिश्चित करता है कि यदि कोच ने नंबर #1 वाले स्थान पर गलत अनुमान लगाया है, तो भी उसके पास एक बैकअप योजना है।

3. परिणाम: तेज़ और स्मार्ट

लेखकों ने दो बड़े कोडिंग पहेलियों (LiveCodeBench और BigCodeBench) पर पांच अलग-अलग AI मॉडल का उपयोग करके FLAE का परीक्षण किया।

  • जीत: यहाँ तक कि जब FLARE ने केवल एक संदिग्ध पंक्ति को देखा (बिना किसी बैकअप योजना के), तो इसने मौजूदा सर्वोत्तम तरीकों की तुलना में अधिक बग्स को ठीक किया।
  • बड़ी जीत: जब FLARE ने अपने "टॉप-के" सुरक्षा जाल का उपयोग किया (10 संभावनाओं की जांच की), तो इसने सफलता दर में औसतन 8.5% का सुधार किया।
  • दक्षता: क्योंकि FLARE बग खोजने के लिए एक छोटे, तेज़ "कोच" का उपयोग करता है, इसे बड़े AI से यह पूछने में समय बर्बाद करने की आवश्यकता नहीं है कि बग कहाँ है। यह उन अन्य तरीकों की तुलना में समय बचाता है जो AI द्वारा खुद से ही गलती खोजने पर निर्भर करते हैं।

4. जहाँ यह लड़खड़ाता है

शोध पत्र इस बात के बारे में ईमानदार है कि FLARE कहाँ पूर्ण नहीं है। इसने विफलताओं के तीन मुख्य प्रकार पाए:

  1. "सही स्थान, गलत समाधान" की समस्या: FLARE सही संदिग्ध पंक्ति की ओर इशारा करता है, लेकिन AI रोबोट को अभी भी यह नहीं पता होता कि तर्क (logic) को कैसे ठीक किया जाए। यह इंजन के टूटे हुए हिस्से की ओर इशारा करने जैसा है, लेकिन मैकेनिक को उसे बदलने का तरीका नहीं पता।
  2. "काम को समझने में गलती" की समस्या: कभी-कभी रोबोट ऐसा कोड लिखता है जो दिखने में तो एकदम सही है लेकिन पूरी तरह से गलत समस्या को हल करता है। FLARE इसे ठीक नहीं कर सकता क्योंकि कोड तकनीकी अर्थों में "बगी" (buggy) नहीं है; रोबोट ने बस निर्देशों को गलत समझा है।
  3. "लंबी कहानी" की समस्या: यदि बग एक लंबी प्रक्रिया के दौरान होने वाली जटिल घटनाओं (जैसे कि एक सिमुलेशन) से जुड़ा है, तो FLARE शुरुआत और अंत के बीच के संबंध को मिस कर सकता है।

सारांश

FLARE एक ऐसी प्रणाली है जो AI को बेहतर कोडिंग करने में मदद करती है, क्योंकि यह उसे एक सटीक, पंक्ति-दर-पंक्ति मानचित्र देती है कि उसने कहाँ गलती की होने की संभावना है, बजाय इसके कि केवल एक अस्पष्ट "तुम गलत हो" का संकेत दे। एक साथ कुछ शीर्ष अनुमानों की जांच करके, यह पहली कुछ कोशिशों में ही कोड को सही करने की संभावना को नाटकीय रूप से बढ़ा देता है, जिससे AI कोडिंग असिस्टेंट अधिक विश्वसनीय और कुशल बन जाते हैं।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →