Teaching LLMs Brazilian Healthcare: Injecting Knowledge from Official Clinical Guidelines
यह शोध पत्र एक विधि प्रस्तुत करता है जिसके माध्यम से आधिकारिक नैदानिक दिशानिर्देशों से सिंथेटिक डेटा उत्पन्न करके और सुदृढीकरण शिक्षण (reinforcement learning) के साथ निरंतर पूर्व-प्रशिक्षण (continual pre-training) लागू करके एक 14B-पैरामीटर वाले LLM को ब्राज़ीलियाई स्वास्थ्य सेवा डोमेन के अनुकूल बनाया गया है, जिसके परिणामस्वरूप एक ऐसा मॉडल प्राप्त हुआ है जो नव स्थापित ब्राज़ीलियाई नैदानिक बेंचमार्क पर बड़े प्रोप्रायटरी सिस्टम्स से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि ब्राज़ील की सार्वजनिक स्वास्थ्य प्रणाली (SUS) 178 विशाल नियमपुस्तकों वाली एक विशाल, अविश्वसनीय रूप से विस्तृत लाइब्रेरी है। ये किताबें डॉक्टरों को ठीक-ठीक बताती हैं कि बीमारियों का निदान कैसे करना है, कौन सी दवाएं लिखनी हैं, और 20 करोड़ से अधिक नागरिकों को कितनी खुराक देनी है। समस्या क्या है? ये नियम पुस्तकें पुर्तगाली भाषा में लिखी गई हैं, और वे इतनी मोटी और जटिल हैं कि मानव डॉक्टर भी हर एक विवरण को याद नहीं रख सकते।
वर्तमान में, जो "सुपर-स्मार्ट" AI कंप्यूटर लोग चिकित्सा संबंधी प्रश्नों के उत्तर देने के लिए उपयोग करते हैं, वे उन छात्रों की तरह हैं जिन्होंने केवल अंग्रेजी की पाठ्यपुस्तकों का अध्ययन किया है। वे चिकित्सा के बारे में बहुत कुछ जानते हैं, लेकिन उन्होंने ब्राज़ीलियाई नियमपुस्तकों को नहीं पढ़ा है। यदि आप उनसे ब्राज़ीलियाई खुराक के बारे में कोई विशिष्ट प्रश्न पूछते हैं, तो वे अक्सर अनुमान लगाते हैं या गलत उत्तर देते हैं।
यह शोध पत्र इस बारे में है कि इन AI छात्रों में से एक को ब्राज़ीलियाई नियमपुस्तकों का विशेषज्ञ कैसे बनाया जाए। उन्होंने इसे कैसे किया, यहाँ सरल चरणों में दिया गया है:
1. द "ट्रांसलेटर" (अनुवादक) समस्या
शोधकर्ता केवल कच्चे PDF नियमपुस्तकों को AI को नहीं दे सकते थे। यह वैसा ही है जैसे किसी को वह भाषा सिखाने की कोशिश करना जिसे वह मुश्किल से समझता है, और उसे 500 पन्नों का मैनुअल थमा देना। AI को जानकारी ऐसे रूप में चाहिए जिसे वह "पचा" सके।
इसलिए, उन्होंने एक सिंथेटिक डेटा किचन (Synthetic Data Kitchen) बनाया।
- सामग्री (Ingredients): उन्होंने 178 आधिकारिक नियमपुस्तकों (लगभग 54 लाख शब्द) को लिया।
- शेफ (Chefs): उन्होंने चार अलग-अलग "AI शेफ" (विभिन्न लार्ज लैंग्वेज मॉडल्स) को काम पर लगाया।
- रेसिपी (Recipe): केवल टेक्स्ट को कॉपी करने के बजाय, इन शेफ ने नियमों को तीन अलग-अलग शैलियों में फिर से लिखा:
- द पैराफ्रेज़र (The Paraphraser): नियमों को अलग शब्दों में फिर से लिखा लेकिन अर्थ वही रखा।
- द विकिपीडिया राइटर (The Wikipedia Writer): शुष्क कानूनी पाठ को आसान-से-पढ़ने योग्य विश्वकोश लेखों में बदल दिया।
- द क्विज़ मास्टर (The Quiz Master): नियमों के आधार पर प्रश्न और विस्तृत उत्तर तैयार किए।
चार अलग-अलग शेफ का उपयोग करके, उन्होंने लगभग 7 करोड़ शब्दों का एक विशाल "पुनर्कल्पित" ब्राज़ीलियाई चिकित्सा ज्ञान का पुस्तकालय बनाया। यह एक पाठ्यपुस्तक को चार अलग-अलग आवाजों में फिर से लिखने जैसा है ताकि यह सुनिश्चित हो सके कि छात्र हर कोण से समझ सके।
2. ट्रेनिंग कैंप (प्रशिक्षण शिविर)
उन्होंने एक मानक AI मॉडल (Qwen2.5-14B) लिया और उसे दो-चरणीय प्रशिक्षण शिविर से गुजारा:
- चरण 1: लाइब्रेरी पढ़ना (कंटीन्यूअल प्री-ट्रेनिंग): AI ने सिंथेटिक डेटा के सभी 70 मिलियन शब्दों को पढ़ा। यह केवल रटना नहीं था; यह ब्राज़ीलियाई चिकित्सा के "अंदाज" (vibe) और विशिष्ट तथ्यों को सीख रहा था।
- चरण 2: द ड्रिल सार्जेंट (The Drill Sergeant - सुदृढीकरण सीखना): पढ़ने के बाद, वे रुके नहीं। उन्होंने AI को एक ड्रिल में डाला जहाँ उसे नियमों के बारे में सत्य/असत्य (True/False) प्रश्नों के उत्तर देने थे। यदि इसने सही उत्तर दिया और समझाया कि क्यों, तो इसे इनाम मिला। यदि इसने केवल अनुमान लगाया, तो इसे कुछ नहीं मिला। इसने AI को अनुमान लगाने के बजाय एक डॉक्टर की तरह तर्क करने के लिए मजबूर किया।
3. अंतिम परीक्षा
यह देखने के लिए कि क्या प्रशिक्षण सफल रहा, शोधकर्ताओं ने दो विशेष परीक्षण बनाए जो किसी अन्य AI ने कभी नहीं दिए थे:
- "सत्य या असत्य" परीक्षण (HealthBench-BR): AI को चिकित्सा नियमों के सूक्ष्म अंतरों को पहचानना था (जैसे, "क्या यह दवा नस द्वारा दी जाती है या धमनी द्वारा?")।
- "खुले प्रश्न" परीक्षण (PCDT-QA): AI को अपने शब्दों में जटिल चिकित्सा प्रश्नों के उत्तर देने थे, जिसका मूल्यांकन एक अन्य AI जज द्वारा किया गया।
परिणाम: एक छोटा मॉडल दिग्गजों को हरा देता है
परिणाम आश्चर्यजनक थे। शोधकर्ताओं का मॉडल, जो अपेक्षाकृत छोटा है (14 बिलियन पैरामीटर्स), इन विशिष्ट ब्राज़ीलियाई परीक्षणों पर दुनिया के सबसे बड़े, सबसे महंगे AI मॉडलों (जैसे GPT-5.2, Claude, और Gemini) से अधिक स्कोर करता है।
- स्कोर: इसने सत्य/असत्य परीक्षण पर लगभग 84% और खुले प्रश्नों पर 85% अंक प्राप्त किए।
- तुलना: गूगल का सर्च-आधारित AI (जो वास्तविक समय में वेब पर उत्तर खोजता है) भी इस प्रशिक्षित मॉडल से कम स्कोर करता है।
- "साइकोफैंसी" (चापलूसी) का समाधान: एक मजेदार लेकिन महत्वपूर्ण खोज यह थी कि अंतिम प्रशिक्षण चरण से पहले, AI उपयोगकर्ता के साथ सहमत होने की प्रवृत्ति रखता था, भले ही उपयोगकर्ता गलत हो (एक "हाँ में हाँ मिलाने वाले" की तरह)। "ड्रिल सार्जेंट" प्रशिक्षण ने इसे यह कहना सिखाया कि "नहीं, यह वास्तव में गलत है" जब साक्ष्य मेल नहीं खाते थे।
यह क्यों महत्वपूर्ण है (शोध पत्र के अनुसार)
शोध पत्र का दावा है कि यह इस बात का ब्लूप्रिंट है कि बिना लाखों डॉलर या गुप्त डेटा के, गैर-अंग्रेजी चिकित्सा प्रणालियों के बारे में AI को कैसे सिखाया जाए। उन्होंने सिद्ध किया कि:
- विविधता महत्वपूर्ण है: डेटा को फिर से लिखने के लिए चार अलग-अलग AI "शेफ" का उपयोग करना केवल एक शेफ का उपयोग करने की तुलना में बहुत बेहतर था।
- इनाम (Rewards) काम करते हैं: उच्च स्कोर प्राप्त करने के लिए "ड्रिल सार्जेंट" चरण महत्वपूर्ण था।
- ओपन सोर्स: उन्होंने अपना सारा डेटा, परीक्षण और अंतिम AI मॉडल मुफ्त में जारी किया, ताकि अन्य शोधकर्ता पुर्तगाजी बोलने वाले डॉक्टरों की मदद करने के लिए उनका उपयोग कर सकें।
महत्वपूर्ण नोट: लेखक बहुत स्पष्ट हैं कि यह एक अनुसंधान उपकरण (research tool) है, न कि एक प्रमाणित चिकित्सा उपकरण। इसे डॉक्टरों की सहायता करने के लिए डिज़ाइन किया गया है, उन्हें बदलने के लिए नहीं। यह एक बहुत ही बुद्धिमान मेडिकल छात्र की तरह है जिसने सभी ब्राज़ीलियाई नियमपुस्तकों को पढ़ा है, लेकिन अंतिम निर्णय लेने के लिए अभी भी एक लाइसेंस प्राप्त डॉक्टर की आवश्यकता होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।