Information Capacity: Evaluating the Efficiency of Large Language Models via Text Compression
Este artículo introduce la "capacidad de información", una nueva métrica que evalúa la eficiencia de los modelos de lenguaje grandes mediante el rendimiento de compresión de texto en relación con la complejidad computacional y la eficiencia del tokenizador, demostrando su utilidad para predecir el rendimiento, revelar sesgos lingüísticos y guiar el desarrollo futuro de modelos más eficientes.