💻 computer science
LIBERO-PRO: Towards Robust and Fair Evaluation of Vision-Language-Action Models Beyond Memorization
यह शोध पत्र LIBERO-PRO को पेश करता है, जो एक सुदृढ़ बेंचमार्क है जो वस्तुओं, अवस्थाओं, निर्देशों और वातावरण के सामान्यीकृत व्यवधानों (generalized perturbations) के तहत वर्तमान विजन-लैंग्वेज-एक्शन मॉडलों के प्रदर्शन के पूर्ण पतन को प्रदर्शित करके उनके रटने (rote memorization) पर अत्यधिक निर्भरता को उजागर करता है, जिससे समुदाय को निष्पक्ष मूल्यांकन मानकों को अपनाने के लिए प्रेरित किया जा सके।