Information Capacity: Evaluating the Efficiency of Large Language Models via Text Compression
Questo lavoro introduce la "capacità informativa", una nuova metrica che valuta l'efficienza inferenziale dei grandi modelli linguistici basandosi sulle prestazioni di compressione del testo e sull'efficienza del tokenizer, rivelando al contempo bias linguistici e fornendo uno strumento per prevedere le prestazioni e ottimizzare lo scaling futuro.