compar:IA: The French Government's LLM arena to collect French-language human prompts and preference data
यह शोध पत्र compar:IA को प्रस्तुत करता है, जो एक ओपन-सोर्स फ्रांसीसी सरकारी प्लेटफॉर्म है जो लार्ज लैंग्वेज मॉडल्स (LLMs) को प्रशिक्षित करने और उनका मूल्यांकन करने के लिए गैर-अंग्रेजी डेटासेट की कमी को दूर करने हेतु ब्लाइंड पेयरवाइज तुलनाओं के माध्यम से बड़े पैमाने पर, फ्रांसीसी-भाषा के मानव वरीयता डेटा को एकत्र करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया एक विशाल पुस्तकालय की तरह है जहाँ किताबें लगभग पूरी तरह से अंग्रेजी में लिखी गई हैं। यदि आप फ्रेंच, स्पेनिश या किसी अन्य भाषा में किताब पढ़ने की कोशिश करते हैं, तो कहानी अजीब लग सकती है, पात्र अजीब व्यवहार कर सकते हैं, या सलाह सांस्कृतिक रूप से समझ से बाहर हो सकती है। ऐसा इसलिए होता है क्योंकि AI "छात्रों" ने अपना अधिकांश समय अंग्रेजी किताबों के साथ अध्ययन करने में बिताया और अन्य भाषाओं के साथ बहुत कम अभ्यास किया।
इसे ठीक करने के लिए, फ्रांसीसी सरकार ने एक विशेष खेल का मैदान बनाया जिसे compar:IA कहा जाता है। इसे एक विशाल, सार्वजनिक ब्लाइंड टेस्ट टेस्टिंग प्रतियोगिता के रूप में समझें, जहाँ आइसक्रीम के बजाय, आप सवालों के जवाबों को चख रहे हैं।
यह कैसे काम करता है, इसके सरल भाग यहाँ दिए गए:
1. ब्लाइंड टेस्ट टेस्टिंग (यह कैसे काम करता है)
कल्पना कीजिए कि आप एक कमरे में जाते हैं और दो रहस्यमय शेफ (AI मॉडल) को आपके प्रश्न का उत्तर तैयार करते हुए देखते हैं। आप अभी नहीं जानते कि वे कौन हैं।
- चरण 1: आप एक प्रश्न पूछते हैं (जैसे, "मैं क्रोइसैन्ट (croissant) कैसे बनाऊं?" या "मुझे एक चुटकुला सुनाओ")।
- चरण 2: दोनों शेफ एक प्रतिक्रिया लिखते हैं। आप उन्हें अगल-बगल पढ़ते हैं।
- चरण 3: आप उस विकल्प को चुनते हैं जो आपको बेहतर लगता है।
- चरण 4: वोट देने के बाद ही शेफ अपना नाम प्रकट करते हैं।
यह "ब्लाइंड" तरीका महत्वपूर्ण है। यह आपको किसी शेफ को केवल इसलिए चुनने से रोकता है क्योंकि आप उनका नाम या ब्रांड पहचानते हैं। यह सुनिश्चित करता है कि वोट पूरी तरह से उत्तर की गुणवत्ता पर आधारित हो।
2. इसे क्यों बनाया गया? (समस्या)
अधिकांश AI प्रशिक्षण डेटा केवल अंग्रेजी भोजन के आहार जैसा है। इस कारण से, AI फ्रांसीसी संस्कृति, स्लैंग और सुरक्षा नियमों के साथ संघर्ष करता है। AI को फ्रांसीसी भाषा में कुशल बनाने के लिए, आपको हजारों फ्रांसीसी लोगों की आवश्यकता है जो कहें, "मुझे यह उत्तर पसंद आया, लेकिन मुझे वह पसंद नहीं आया।"
compar:IA से पहले, यह डेटा या तो बड़ी तकनीकी कंपनियों के भीतर छिपा हुआ था या फ्रांसीसी बोलने वालों के लिए मौजूद ही नहीं था। compar:IA एक सार्वजनिक रसोई है जहाँ कोई भी डेटा बनाने में मदद कर सकता है, और फिर उस रेसिपी (डेटा) को सभी के साथ स्वतंत्र रूप से साझा किया जाता है।
3. कटाई (उन्होंने क्या एकत्र किया)
2024 के अंत में खुलने के बाद से, यह डिजिटल खेल का मैदान व्यस्त रहा है। 2026 की शुरुआत तक, उन्होंने एकत्र किया है:
- वास्तविक लोगों द्वारा पूछे गए 6,00,000+ प्रश्न।
- 2,50,000+ वोट जो तय करते हैं कि कौन सा AI उत्तर बेहतर था।
- 89% डेटा फ्रेंच में है, जो अंग्रेजी प्रधान दुनिया में एक बड़ी बात है।
उन्होंने केवल वोट ही एकत्र नहीं किए; उन्होंने उपयोगकर्ताओं को उत्तर के विशिष्ट हिस्सों पर प्रतिक्रिया देने के लिए भी कहा, जिससे एक समृद्ध मानचित्र तैयार हुआ कि फ्रांसीसी बोलने वाले वास्तव में किन चीजों की परवाह करते हैं।
4. इसका उपयोग कौन और क्यों करता है?
- आम लोगों के लिए: यह कई अलग-अलग AI मॉडल (कुछ प्रसिद्ध, कुछ ओपन-सोर्स) के साथ चैट करने का एक मुफ्त तरीका है ताकि यह देखा जा सके कि वे कैसे सोचते हैं। यह उन्हें यह भी दिखाता है कि AI उत्तर देने में कितनी ऊर्जा (बिजली) का उपयोग करता है, जो उन्हें पर्यावरण के बारे में सोचने के लिए प्रोत्साहित करता है।
- वैज्ञानिकों और कंपनियों के लिए: वे अपने AI मॉडल को फ्रांसीसी बेहतर ढंग से बोलने के लिए प्रशिक्षित करने हेतु "रेसिपी बुक" (डेटा) डाउनलोड कर सकते हैं।
- स्कूलों के लिए: शिक्षक इसका उपयोग छात्रों को यह दिखाने के लिए करते हैं कि AI कैसे काम करता है, जिससे यह मंच एक क्लासरूम टूल बन जाता है जहाँ छात्र बहस करते हैं कि कौन सा AI उत्तर सबसे निष्पक्ष या सटीक है।
5. खेल के नियम (गोपनीयता और सुरक्षा)
निर्माताओं ने गोपनीयता को लेकर बहुत सावधानी बरती।
- कोई साइन-अप नहीं: खेलने के लिए आपको अपना नाम या ईमेल देने की आवश्यकता नहीं है। यह प्रवेश की बाधा को कम करता है लेकिन इसका मतलब है कि उन्हें बाद में अतिरिक्त सावधानी बरतनी होगी।
- फ़िल्टर: सार्वजनिक रूप से साझा किए जाने से पहले, एक स्मार्ट कंप्यूटर हर बातचीत को स्कैन करता है। यदि यह किसी वास्तविक व्यक्ति का नाम, पता या निजी जानकारी पाता है, तो यह पूरी बातचीत को कचरे में डाल देता है। कुछ डेटा पॉइंट्स खो जाना बेहतर है बजाय इसके कि अनजाने में किसी के रहस्य लीक हो जाएं।
- ओपन सोर्स: डेटा को एक फ्रांसीसी सरकारी लाइसेंस के तहत जारी किया गया है, जिसका अर्थ है कि कोई भी अनुसंधान या नए उपकरण बनाने के लिए इसका उपयोग कर सकता है, जब तक कि वे नियमों का सम्मान करें।
6. स्कोरबोर्ड
प्लेटफ़ॉर्म एक लीडरबोर्ड (रैंकिंग सूची) भी रखता है। यह एक स्पोर्ट्स स्कोरबोर्ड की तरह है जो दिखाता है कि फ्रांसीसी लोग किन AI मॉडलों को सबसे अधिक पसंद करते हैं। हालाँकि, लेखक चेतावनी देते हैं कि यह "बुद्धिमत्ता" का पूर्ण परीक्षण नहीं है। यह केवल यह दिखाता है कि लोगों ने अनौपचारिक सेटिंग में क्या पसंद किया। यह एक अंतिम परीक्षा के बजाय लोकप्रियता प्रतियोगिता के अधिक करीब है।
7. भविष्य
फ्रांसीसी टीम इसे एक प्रोटोटाइप के रूप में देखती है। वे पहले से ही "टेस्ट" को अन्य भाषाओं (डेनमार्क से शुरू करते हुए) में विस्तारित करने पर काम कर रहे हैं ताकि अन्य देश अपने स्वयं के सार्वजनिक डेटा गार्डन बना सकें।
संक्षेप में: compar:IA एक सार्वजनिक सेवा है जो फ्रांसीसी भाषा की प्राथमिकताओं को क्राउडसोर्स करती है ताकि AI को यह सिखाया जा सके कि एक मानव फ्रांसीसी वक्ता की तरह कैसे बोला जाए, सोचा जाए और व्यवहार किया जाए, जबकि इस प्रक्रिया को सबके लिए खुला, निजी और मुफ्त रखा जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।