Robust Learning of a Group DRO Neuron
यह शोध पत्र एक ग्रुप डिस्ट्रीब्यूशनली रोबस्ट ऑप्टिमाइज़ेशन समस्या को हल करके, जो समूह वितरणों के कॉनवेक्स कॉम्बिनेशन पर वर्स्ट-केस स्क्वेयर्ड लॉस को कम करता है, मनमाने लेबल नॉइज़ और ग्रुप-लेवल डिस्ट्रीब्यूशनल शिफ्ट्स के तहत एक सिंगल न्यूरॉन को मजबूती से सीखने के लिए एक कम्प्यूटेशनल रूप से कुशल प्राइमल-डुअल एल्गोरिदम प्रस्तुत करता है, जो कॉन्स्टेंट-फैक्टर कॉम्पिटिटिव गारंटी प्रदान करता है और LLM प्री-ट्रेनिंग बेंचमार्क पर अपनी क्षमता प्रदर्शित करता है।