💻 computer science

Self-Verifying Measurement Records: Hash-Linked Evidence Graphs for Hardware Benchmarking

Este artículo propone un registro de transparencia con enlaces de hash y evidencia de manipulación para la evaluación de rendimiento de hardware que vincula las métricas de rendimiento reportadas con evidencia verificable mediante identidades probabilísticas y desafíos criptográficos, permitiendo la verificación sin confianza y fuera de línea de los resultados a través de diversas arquitecturas de GPU mientras se contabiliza el ruido de punto flotante y las amenazas adversarias.

Autores originales: Faruk Alpay, Baris Basaran

Publicado 2026-06-29

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Faruk Alpay, Baris Basaran

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que compras un coche y el vendedor te entrega un papel que dice: "Este coche alcanza los 200 millas por hora". Tienes que creer en su palabra. No puedes probarlo tú mismo porque el coche ya no está, la pista está cerrada y, aunque pudieras, el motor podría estar secretamente averiado de una forma que solo se manifiesta bajo condiciones específicas.

Este documento propone una nueva forma de reportar el rendimiento del hardware (como la velocidad de un chip informático) para que no tengas que confiar en la persona que escribió el informe. En su lugar, el informe viene con su propia "prueba de vida" y "prueba de verdad" adjunta a cada número.

Así es como lo hacen, explicado mediante analogías sencillas:

1. El "Diario a prueba de manipulaciones" (El Grafo de Evidencia)

Piensa en el informe de rendimiento no como un PDF estático, sino como un diario digital donde cada entrada está encadenada a la siguiente mediante un cierre digital especial (un hash).

Cómo funciona: Si alguien intenta cambiar un número en medio del diario (como cambiar "100 millas" por "200 millas"), el cierre digital se rompe y toda la cadena queda invalidada.
El beneficio: Puedes consultar el diario sin conexión (sin internet o sin la computadora original) y verificar que los números no han sido falsificados. Es como un notario que sella cada página, pero el sello es matemático e imposible de falsificar.

2. El "Control de muestra" para las matemáticas (Cantidades Lineales)

Cuando la computadora realiza un problema matemático masivo (como multiplicar dos enormes cuadrículas de números), verificar toda la respuesta toma demasiado tiempo. Los autores utilizan un truco ingenioso llamado "identidad probabilística".

La analogía: Imagina que un panadero afirma haber horneado 1,000 galletas perfectas. En lugar de probar las 1,000, un inspector elige un puñado al azar, añade una "especia de degustación" secreta (una sonda aleatoria) y comprueba si el sabor coincide con la receta.
El truco: Si el panadero hizo trampa, el inspector casi con seguridad lo atrapará. Si el inspector realiza 8 comprobaciones, la probabilidad de que un tramposo se salga con la suya es de menos de 1 entre 256.
La calibración del "suelo": Las computadoras no son perfectas; cometen errores de redondeo diminutos (como una báscula que está desajustada por un gramo). Los autores midieron exactamente qué tan "desajustados" se ponen sus chips específicos de forma natural. Establecieron una "zona de tolerancia" basada en este error natural. Si las matemáticas están ligeramente desviadas, se aceptan como normales. Si están muy desviadas, se marcan como una mentira o un chip defectuoso.

3. La "Doble comprobación" (Verificación entre dispositivos)

Para estar extra seguros, utilizaron dos chips idénticos para realizar exactamente el mismo cálculo al mismo tiempo.

La analogía: Es como tener a dos gemelos idénticos haciendo el mismo examen. Si ambos obtienen exactamente la misma respuesta hasta el último dígito, sabes que la respuesta es correcta. Si uno obtiene una respuesta diferente, sabes que uno de ellos está mintiendo o confundido.
El beneficio adicional: Aunque los gemelos son idénticos, corren a velocidades ligeramente diferentes (como si un gemelo fuera un poco más rápido al correr). El informe registra esta pequeña diferencia de velocidad como una "huella digital" para ese chip específico, demostando que es el original y no una imitación.

4. La "Prueba de esfuerzo" (Límites Físicos)

Los autores querían saber: ¿Puede un hacker engañar al chip para que dé una respuesta incorrecta sin que nos demos cuenta?

El experimento: Intentaron "estresar" el chip haciéndolo funcionar con calor y fluctuando su uso de energía (como una sobrecarga de energía).
El resultado: El chip no se rompió ni dio respuestas incorrectas. En su lugar, simplemente se ralentizó para protegerse. Esto sugiere que los "errores silenciosos" (donde un chip da una respuesta errónea sin avisar) son raros y generalmente solo ocurren en chips defectuosos, no en chips sanos que están siendo sometidos a estrés por un usuario normal.

5. La "Máquina del tiempo" (Reconstrucción)

¿Qué sucede cuando el chip de la computadora se rompe o se desecha? ¿Podemos seguir confiando en el informe antiguo?

La solución: El informe incluye "semillas" (como una receta) que permiten a cualquier persona volver a ejecutar las matemáticas en una computadora diferente.
El límite: Puedes volver a verificar la matemática y la lógica perfectamente. Sin embargo, no puedes volver a verificar la velocidad del chip antiguo, porque esa velocidad dependía de la condición física específica de ese chip muerto (su calor, su edad, sus peculiaridades de fabricación específicas). La "verdad" de la matemática sobrevive; la "velocidad" de la antigua máquina se pierde en el tiempo.

Resumen

Este documento construye un recibo autoverificable para el rendimiento de la computadora.

No se necesita confianza: No confías en el fabricante; confías en las matemáticas y en los cierres digitales.
Controles de muestra: Utiliza trucos matemáticos aleatorios para detectar mentiras instantáneamente.
Doble testigo: Utiliza dos chips para confirmarse mutuamente.
Honestidad: Admite que, si bien la matemática puede probarse como verdadera para siempre, la velocidad específica de un chip es un momento fugaz que no puede recrearse perfectamente después.

El objetivo no es hacer que los chips sean más rápidos, sino hacer que los números que leemos sobre ellos sean imposibles de falsificar y fáciles de verificar.

Resumen Técnico: Registros de Medición Autoverificables para Benchmarking de Hardware

Planteamiento del Problema
Los benchmarks de rendimiento de hardware se aceptan tradicionalmente basados en la confianza. Los números reportados (por ejemplo, tasas de FLOP/s) están desconectados de su evidencia subyacente: el estado específico del dispositivo, la versión del controlador y la forma exacta de la entrada suelen perderse para cuando se publica un resultado. Además, el hardware no es infalible; los estudios de flotas indican que una fracción pequeña pero constante de núcleos (aproximadamente uno de cada mil) puede producir resultados aritméticos incorrectos sin generar errores. En consecuencia, un número de rendimiento reportado carece de evidencia tanto de su origen de medición como de la corrección de la computación subyacente. El artículo aborda esto como un problema de integridad, con el objetivo de crear un registro de medición que sea a prueba de manipulaciones y verificable de forma independiente sin requerir que el lector confíe en el productor.

Metodología
Los autores proponen un grafo de evidencia vinculado por hashes, un registro de transparencia para mediciones de hardware donde cada cantidad reportada está vinculada a su observación y verificación mediante hashes de contenido. El sistema opera a través de varios mecanismos interconectados:

Estructura del Grafo de Evidencia: El registro es un grafo acíclico donde los nodos representan observaciones (mediciones brutas), reducciones (funciones puras como medianas o dispersiones) y afirmaciones (los números reportados finales). Las aristas son hashes de contenido (SHA-256). Una auditoría offline puede verificar todo el grafo recomputando los hashes y las reducciones sin necesidad del hardware o la red originales.
Verificación de Cantidades Lineales (Productos de Matrices): Para operaciones lineales como la multiplicación de matrices ($C=AB$), el sistema emplea una verificación de identidad probabilística (algoritmo de Freivalds). Se utiliza una matriz de prueba aleatoria $X$ $X$ para calcular el residuo $\|A(BX) - CX\|$ $∥ A (B X) - C X ∥$ .
- Tolerancia Calibrada: En lugar de un límite teórico, la tolerancia de aceptación ( $\tau$ ) se deriva del análisis de error de punto flotante y se calibra al "suelo de residuo" (residual floor) medido del dispositivo específico (el residuo más bajo observado para ejecuciones correctas). Esto distingue entre un redondeo legítimo de baja precisión y errores genuinos.
- Transcripción de Varias Etapas: La verificación se registra como una secuencia de etapas (adquisición, atestiguamiento, decisión, reparación). Si un resultado excede la tolerancia, se marca, se repara mediante recomputación de mayor precisión y se vuelve a atestiguar.
Verificación de Cantidades No Lineales: Para operaciones que carecen de verificaciones algebraicas rápidas (por ejemplo, mecanismos de atención, acumulaciones atómicas), el sistema utiliza:
- Guardas Algebraicas: Descomposición de la atención en productos de matrices (verificados mediante Freivalds) y una invariante de softmax (verificación de sumas de filas).
- Sumas de Comprobación Ponderadas: Para acumulaciones atómicas, una suma ponderada detecta fallos consistentes que las verificaciones de divergencia de ejecución a ejecución podrían pasar por alto.
- Clases de Reproducibilidad: Las cantidades se clasifican como estables de bits ( $S_0$ ) o limitadas por divergencia medida ( $S_{nd}$ ).
Corroboración entre Dispositivos: Utilizando dos tarjetas idénticas, el sistema mide el diferencial $D[q] = q(\text{card}_1) - q(\text{card}_0)$ . Los kernels deterministas producen un diferencial de cero, proporcionando un testigo independiente bit a bit. Los diferenciales de throughput sirven como una huella digital por pieza.
Mejoras de Seguridad: Para evitar que un adversario explote una semilla de prueba comprometida (que podría ocultar errores en el espacio nulo de la prueba), el sistema deriva la semilla de la prueba de un desafío Fiat-Shamir basado en la salida reclamada. Esto asegura que el desafío dependa de que la salida sea verificada.

Resultados Clave
Los autores demostraron la construcción en arquitecturas Blackwell (RTX PRO 6000 Max-Q) y Hopper, así como en configuraciones de consumo (RTX 5090) y de servidor.

Suelos de Residuo (Residual Floors): El estudio midió el suelo de residuo de los productos de matrices a través de diversas precisiones (FP16, TF32, BF16, FP8) y tamaños. Estos suelos se encontraron como invariantes independientes de la arquitectura (estables a través de diferentes dispositivos Blackwell) pero distintos del throughput del dispositivo.
Capacidades de Detección:
- Un solo cambio de bit en un producto de matrices fue rechazado con alta probabilidad ( $1 - 2^{-k}$ ).
- Los fallos consistentes en operaciones no lineales (que pasan las verificaciones de reproducibilidad) fueron capturados por las guardas algebraicas.
- Un producto FP8 que excedía la tolerancia calibrada por FP16 fue marcado y reparado con éxito mediante acumulación FP32.
Independencia de Dispositivo: Los "invariantes transferibles" (suelos de residuo y clases numéricas) fueron reconstruidos con éxito en diferentes dispositivos (RTX 5090, RTX PRO 6000 Server) utilizando semillas comprometidas, logrando una recuperación del 100% de estas afirmaciones específicas. Las métricas locales del dispositivo (throughput) no fueron recuperables, como era de esperar.
Pruebas de Estrés Físico: Bajo estrés de saturación térmica y virus de potencia $di/dt$, el suelo de residuo permaneció invariante, y no se observaron errores silenciosos naturales en 139,264 verificaciones. Esto sugiere que los errores silenciosos son raros (partes defectuosas) o requieren acceso privilegiado, en lugar de ser inducidos por cargas de trabajo estándar de inquilinos.
Análisis de Seguridad: El desafío Fiat-Shamir cerró con éxito la superficie de ataque donde un adversario consciente de la prueba podría ocultar el 50% de un error en el espacio nulo. Un ataque coordinado a través de 4 testigos bit a bit idénticos también fue detectado por el desafío derivado de la salida.

Significado y Reivindicaciones
El artículo afirma que desplaza el benchmarking de hardware de un modelo "basado en la confianza" a un modelo "basado en la evidencia". Su principal significación radica en:

Registros a Prueba de Manipulación: Proporcionar una estructura donde un lector puede verificar la corrección y el origen de un número de forma offline, sin confiar en el productor.
Confianza Calibrada: Establecer que la confianza en un número debe ser proporcional a la evidencia adjunta. El método separa la dependencia apropiada de la fe mal aplicada al calibrar las tolerancias con la realidad física del silicio (el suelo de residuo).
Hardware como Testigo: Tratar al propio hardware como el testigo y firmante de la medición, no solo como el sujeto de la prueba.
Reconstructibilidad: Demostrar que incluso después de que un dispositivo sea retirado, sus "invariantes transferibles" (las propiedades matemáticas de su computación) pueden ser re-derivados en hardware sucesor, preservando la integridad del registro histórico.

Los autores posicionan esto no como un reemplazo de las raíces de confianza del hardware (que son necesarias si el host que produce el registro es físamente subvertido), sino como una aplicación disciplinada de identidades probabilísticas y direccionamiento de contenido para hacer que las mediciones de hardware sean autoverificables. El trabajo se presenta como un archivo completo y auditable donde el código, las observaciones y las transcripciones de verificación están vinculados a un único hash raíz, permitiendo una auditoría offline de un solo paso.