Information Capacity: Evaluating the Efficiency of Large Language Models via Text Compression
Dit paper introduceert 'information capacity', een nieuwe metriek die de inferentie-efficiëntie van grote taalmodellen kwantificeert door tekstcompressieprestaties te relateren aan rekencomplexiteit en tokeniseer-efficiëntie, waardoor inzicht wordt verkregen in de schaalbaarheid en linguïstische bias van diverse modellen.