EchoDistill:Alignment Noisy-to-Clean Self-Distillation for Robust Audio LLMs
EchoDistill एक संरेखण-आधारित नॉइज़ी-टू-क्लीन सेल्फ-डिस्टिलेशन फ्रेमवर्क है जो एक फ्रोजन क्लीन-ऑडियो टीचर का उपयोग करके ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) के माध्यम से एक नॉइज़ी स्टूडेंट को निर्देशित करता है, जिससे वास्तविक दुनिया के शोर के विरुद्ध ऑडियो लार्ज लैंग्वेज मॉडल्स की मजबूती बढ़ती है और बिना किसी अतिरिक्त इन्फरेंस लागत के सिमेंटिक विश्वसनीयता और टास्क परफॉर्मेंस में सुधार होता है।