Bounding Boxes to Improve Small Language Model Performance on Vision-Based Grading Tasks
यह शोध पत्र यह प्रदर्शित करता है कि हस्तलिखित छात्र प्रतिक्रियाओं को क्रॉप करने के लिए बाउंडिंग बॉक्स का उपयोग करना विज़न-आधारित शैक्षिक मूल्यांकन कार्यों पर स्मॉल लैंग्वेज मॉडल्स की ग्रेडिंग सटीकता और कम्प्यूटेशनल दक्षता में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर आपकी लिखावट पढ़ सकते हैं, आपके विचारों को समझ सकते हैं, और यहाँ तक कि आपका होमवर्क भी ग्रेड कर सकते हैं। यह शिक्षा में आर्टिफिशियल इंटेलिजेंस का रोमांचक क्षितिज है, जहाँ "स्मॉल लैंग्वेज मॉडल्स" (SLMs) नए नायक हैं। इन मॉडल्स को चतुर, संक्षिप्त डिजिटल मस्तिष्क के रूप में सोचें जिन्हें एक साधारण लैपटॉप या स्कूल सर्वर पर चलाया जा सकता है, जो बड़े, क्लाउड-आधारित सुपरकंप्यूटरों की तुलना में छात्र डेटा को निजी रखते हैं और पैसे बचाते हैं। हालाँकि, इसमें एक पेंच है: जबकि ये छोटे मस्तिष्क टेक्स्ट पढ़ने में माहिर हैं, वे हाथ से लिखे गए नोट्स के पूरे पन्ने को देखते समय कभी-कभी घबरा जाते हैं। यह एक जासूस से हजारों असंबंधित वस्तुओं से भरे कमरे में एक विशिष्ट सुराग खोजने के लिए कहने जैसा है; दृश्य "शोर" (visual noise) की भारी मात्रा उन्हें भ्रमित कर सकती है, जिससे वे उत्तर मिस कर सकते हैं या उसे समझने में बहुत अधिक ऊर्जा बर्बाद कर सकते हैं।
ऑस्ट्रेलियाई नेशनल यूनिवर्सिटी के लैचलन मैकगिनीस का यह शोध पत्र ठीक इसी समस्या पर प्रहार करता है। लेखक एक सरल लेकिन शक्तिशाली प्रश्न पूछते हैं: क्या होगा यदि हम कंप्यूटर को पूरे अस्त-व्यस्त पन्ने के बजाय पन्ने का वह विशिष्ट हिस्सा दिखा दें जहाँ उत्तर मौजूद है? इसका परीक्षण करने के लिए, टीम ने 2025 के ऑस्ट्रेलियाई फिजिक्स ओलंपियाड के स्कैन किए गए परीक्षाओं का उपयोग किया, जहाँ छात्रों को चलने के बारे में एक प्रश्न के लिए एक शब्द का उत्तर ("friction") लिखना था। उन्होंने आठ अलग-अलग एआई मॉडल्स का परीक्षण किया, जिनमें छोटे 4-बिलियन-पैरामीटर वाले "पिल्ले" (puppies) से लेकर विशाल 72-बिलियन-पैरामीटर वाले "दानव" (giants) तक शामिल थे, और उन्हें दो प्रकार के निर्देश दिए: कुछ को "चरण-दर-चरण सोचने" (जिसे 'चेन ऑफ थॉट' तकनीक कहा जाता है) के लिए कहा गया, जबकि अन्य को बस उत्तर देने के लिए कहा गया। महत्वपूर्ण रूप से, उन्होंने दो विजुअल सेटअपों का परीक्षण किया: एक जहाँ एआई ने पूरे डबल-पेज परीक्षा स्कैन को देखा, और दूसरा जहाँ एआई ने केवल प्रश्न और उत्तर क्षेत्र के आसपास के क्रॉप किए गए "बाउंडिंग बॉक्स" को देखा।
परिणाम "क्रॉप" पद्धति की स्पष्ट जीत थे। अध्ययन में पाया गया कि जब एआई मॉडल्स को केवल प्रासंगिक बाउंडिंग बॉक्स दिखाया गया, तो वे उत्तरों को ग्रेड करने में काफी अधिक सटीक हो गए, चाहे वे छोटे मॉडल हों या बड़े। वास्तव में, पूरा पन्ना दिखाने से अक्सर मॉडल भ्रमित हो जाते थे, जिससे स्कोर कम हो जाता था। दिलचस्प बात यह है कि "चरण-दर-चरण सोचने" का निर्देश ज्यादा मददगार नहीं रहा; मॉडल उतने ही अच्छे प्रदर्शन करते रहे (या कभी-कभी बेहतर) जब उन्हें सीधे उत्तर देने के लिए कहा गया था। सबसे आश्चर्यजनक जीत दक्षता थी: इमेज को क्रॉप करके, मॉडल्स को बहुत कम "विजुअल टोकन" (इमेज के डिजिटल निर्माण खंड) को प्रोसेस करने की आवश्यकता पड़ी, जिससे कम्प्यूटेशनल लागत आधी से भी कम हो गई। उदाहरण के लिए, पूरे पन्ने को देखने पर औसत टोकन की संख्या लगभग 1,500 से गिरकर क्रॉप किए गए बॉक्स को देखने पर 700 से भी कम हो गई, जिससे प्रत्येक पेपर को ग्रेड करने के लिए आवश्यक ऊर्जा 45 ट्रिलियन ऑपरेशन्स से घटकर लगभग 17 ट्रिलियन रह गई।
शोध पत्र स्पष्ट रूप से इस विचार के विरुद्ध तर्क देता है कि केवल एआई को "अधिक गहराई से सोचने" (चेन ऑफ थॉट का उपयोग करना) से इन त्रुटियों को ठीक करने का सबसे अच्छा तरीका है; डेटा सुझाव देता है कि इस विशिष्ट कार्य के लिए, विजुअल इनपुट को साफ करना सोचने की प्रक्रिया को बदलने की तुलना में कहीं अधिक प्रभावी है। वे उल्लेख करते हैं कि हालांकि वास्तविक परीक्षा प्रश्न मानव चलने के बारे में था, मॉडल्स को दिए गए प्रॉम्प्ट टेक्स्ट में स्पष्ट रूप से प्रश्न का संदर्भ "घोंघे" (snails) के रूप में दिया गया था (संभवतः पन्ने पर एक बड़े घोंघे के आरेख के कारण), और मॉडल्स को उस संदर्भ में उत्तर खोजने का निर्देश दिया गया था। वे निष्कर्ष निकालते हैं कि जो स्कूल हस्तलिखित परीक्षाओं को ग्रेड करने के लिए इन किफायती, निजी एआई टूल्स का उपयोग करना चाहते हैं, उनके लिए "सीक्रेट सॉस" जरूरी नहीं कि एक बड़ा मॉडल या स्मार्ट प्रॉम्प्ट हो, बल्कि एक सरल प्री-प्रोसेसिंग स्टेप है: क्लटर (अव्यवस्था) को हटाने के लिए इमेज को क्रॉप करना। यह छोटा सा बदलाव यहाँ तक कि सबसे छोटे, सबसे ऊर्जा-कुशल मॉडल्स को भी चैंपियनों की तरह प्रदर्शन करने की अनुमति देता है, जिससे स्वचालित ग्रेडिंग शिक्षा के भविष्य के लिए एक बहुत अधिक यथार्थवादी और व्यावहारिक उपकरण बन जाती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।