Unveiling Downstream Performance Scaling of LLMs: A Clustering-Based Perspective
Dit paper introduceert het Clustering-On-Difficulty (COD)-framework, dat taken clusteren op basis van hun schaalingsmoeilijkheid om een nauwkeurige voorspelling van de downstream-prestaties van grote taalmodellen mogelijk te maken, zelfs bij het optreden van emergente fenomenen.