An 84-Format Numeric Catalog with Bit-Exact Conformance Vectors: A Vendor-Neutral Reference for FP8, BF16, MXFP4, and Microscaling Formats
Este artículo presenta un catálogo independiente del proveedor de 84 formatos numéricos y seis paquetes de conformidad de bits exactos, junto con artefactos JSON validados de forma cruzada y una correspondencia IEEE P3109, para proporcionar una referencia compartida para diagnosticar divergencias silenciosas en las implementaciones de hardware de aprendizaje automático.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina que eres un maestro carpintero intentando construir una silla. Tienes un plano que dice: "Corta esta pata a 24 pulgadas". Pero cuando vas a la ferretería, encuentras tres reglas diferentes: una dice "24 pulgadas", otra dice "24.1 pulgadas" y una tercera dice "24 pulgadas, pero si cortas más allá de las 24, la madera se convierte en polvo".
Si usas la regla equivocada, tu silla podría verse bien al principio, pero tambaleará o se romperá cuando alguien se siente en ella.
Este artículo trata sobre un problema similar en el mundo de los chips de Inteligencia Artificial (IA). Los ingenieros están construyendo "reglas" (formatos numéricos) más rápidas y pequeñas para medir números para la IA. Han creado docenas de tipos nuevos, como FP8, BF16 y MXFP4. El problema es que, aunque todos están de acuerdo con el nombre de la regla (por ejemplo, "FP8 E4M3"), no siempre están de acuerdo en cómo se colocan exactamente las marcas. Un chip podría manejar un número enorme limitándolo a un valor máximo, mientras que otro chip podría simplemente lanzar un error (NaN) cuando ese número es demasiado grande.
Este artículo presenta una "Regla Maestra Compartida" para solucionar esta confusión.
¿Qué es este artículo?
El autor, Dmitrii Vasilev, ha creado dos herramientas principales para ayudar a los ingenieros a hablar el mismo idioma:
El "Catálogo de Formatos 84" (La Enciclopedia):
Piensa en esto como un diccionario masivo o un catálogo de fichas de biblioteca. Enumera 84 formas diferentes en las que las computadoras pueden almacenar números, organizadas en 13 familias. Para cada formato, enumera las reglas exactas: cuántos bits se utilizan, qué tan grandes pueden ser los números y qué sucede cuando un número es demasiado grande (¿se detiene en el límite o se convierte en un "No es un Número" [NaN]?).- Analogía: Es como una lista maestra de cada tipo de tornillo, perno y tuerca que existe, con un diagrama que muestra exactamente cuántas roscas tiene cada uno.
Los "Seis Paquetes de Conformidad" (Los Kits de Prueba):
El artículo no solo enumera las reglas; proporciona seis kits de prueba específicos para los formatos más populares utilizados actualmente en el hardware de IA real (GF16, MXFP4, BF16, FP8 E4M3, FP8 E5M2 y E8M0).- Cada kit es un archivo digital que contiene una lista de "números de prueba".
- Te dice exactamente qué debería devolver el chip de la computadora para cada número.
- Incluye un "Número Ancla" especial (el valor 3.0) que actúa como una verificación de coherencia. Si tu chip no puede procesar correctamente este número específico, sabes que algo está roto.
- Analogía: Estos son como "pesos de calibración" que pones en una báscula. Si la báscula no marca exactamente 3.0 libras cuando pones el peso de 3 libras, sabes que la báscula está rota.
El Gran Descubrimiento: "La Brecha de Interpretación"
La parte más importante del artículo no es solo que las reglas existen, sino que el autor encontró dos lugares específicos donde las reglas no coinciden, a pesar de que las reglas oficiales permiten ambas opciones.
Brecha 1 (El Problema del Desbordamiento/Overflow): Imagina que un número es tan grande que no cabe en el formato.
- El Chip A dice: "Simplemente lo limitaré al número más grande que pueda contener". (Saturación)
- El Chip B dice: "No puedo contener esto, así que lo convertiré en un mensaje de error (NaN)".
- Ambos chips están siguiendo el libro de reglas oficial, pero lo hacen de manera diferente. Este artículo expone esta diferencia para que los ingenieros no se confundan cuando su modelo de IA funciona en un chip pero falla en otro.
Brecha 2 (El Problema de la Estructura de Bloques): Algunos formatos agrupan los números en "bloques" (como una caja de 32 tornillos).
- El Formato A usa una caja de 32 tornillos con una etiqueta simple.
- El Formato B usa una caja de 16 tornillos con una etiqueta más detallada.
- Incluso si los tornillos individuales (los números) parecen iguales, la forma en que se empaquetan en la caja cambia cómo funciona todo el conjunto. El artículo destaca que no puedes simplemente intercambiar estos formatos sin verificar el "tamaño de la caja".
Lo que este artículo NO es
El autor es muy claro sobre lo que este artículo no hace:
- No dice qué formato es "mejor" o más rápido.
- No prueba qué tan bien se desempeñan los modelos de IA (como la precisión de un chatbot).
- No inventa nuevos formatos.
- Es puramente una herramienta de referencia para asegurar que todos midan de la misma manera.
¿Por qué es esto importante?
Antes de este artículo, si un ingeniero movía un modelo de IA de un chip de una empresa a otro, podrían obtener resultados diferentes y no saber por qué. Era como intentar construir un puente donde un equipo usaba pulgadas y el otro usaba centímetros, pero ninguno admitía la diferencia.
Este artículo proporciona la regla compartida y los pesos de prueba. Permite a los ingenieros decir: "Bien, mi chip pasa la prueba del ancla 3.0 y maneja el desbordamiento exactamente como el archivo de referencia". Si no es así, saben que tienen un error que corregir.
En resumen, este artículo es la cinta métrica estandarizada para el caótico mundo de los formatos numéricos de la IA, asegurando que cuando diferentes empresas construyan hardware de IA, todas estén hablando el mismo lenguaje matemático.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.