Information Capacity: Evaluating the Efficiency of Large Language Models via Text Compression
Cet article propose la « capacité d'information », une nouvelle métrique évaluant l'efficacité des grands modèles de langage via la compression de texte et l'efficacité des tokenizers, permettant ainsi de prédire les performances et d'identifier des biais linguistiques tout en guidant le développement futur de modèles plus efficaces.