Information Capacity: Evaluating the Efficiency of Large Language Models via Text Compression
Este artigo propõe a "capacidade de informação", uma nova métrica que avalia a eficiência de modelos de linguagem grandes através do desempenho de compressão de texto em relação à complexidade computacional e à eficiência do tokenizer, demonstrando sua utilidade para prever o desempenho, identificar vieses linguísticos e orientar o desenvolvimento futuro de modelos mais eficientes.