Hardware-Aware FP4 FlashAttention-4
Dit artikel introduceert Hardware-Aware FP4 FlashAttention-4, een methode die de beperkingen van Blackwell's FP4 tensor cores overwint door Direct-P te gebruiken voor niet-causale inferentie en een causaal pad met FP8 gradiënten, waarmee tot 2,13× snellere forward throughput en 1,14× snellere single-GPU training updates worden bereikt terwijl de divergentieproblemen die bij MXFP4 training worden waargenomen, worden vermeden.