TAO: Tolerance-Aware Optimistic Verification for Floating-Point Neural Networks

El artículo presenta TAO, un protocolo de verificación optimista y tolerante a errores para redes neuronales de punto flotante que garantiza la integridad de los resultados en hardware heterogéneo sin requerir confianza en el proveedor ni hardware especializado, mediante el uso de límites de error teóricos y empíricos combinados con un juego de disputas basado en Merkle.

Lo esencial

Imagina que contratas a un chef de renombre (un servidor en la nube) para que prepare un plato muy complejo, como un pastel de tres pisos con decoraciones intrincadas (una Inteligencia Artificial). Tú le das la receta exacta y los ingredientes.

El problema es que no estás en la cocina. No puedes ver qué hace el chef. ¿Usó realmente la receta que prometió? ¿O cambió un poco los ingredientes para ahorrar dinero? ¿O quizás usó un molde más barato que hace que el pastel se vea casi igual, pero el sabor sea ligeramente diferente?

En el mundo de la Inteligencia Artificial, esto es un gran problema. Las empresas usan "servicios de IA" donde no tienen control sobre el hardware (las computadoras) que ejecutan los modelos. A veces, los proveedores pueden hacer trampas silenciosas: usar un modelo más pequeño, reducir la calidad o cambiar cosas sin que el cliente se dé cuenta.

Aquí es donde entra TAO, la solución propuesta en este paper.

¿Qué es TAO? (La Analogía del "Chef Tolerante")

TAO es como un nuevo sistema de inspección de restaurantes que entiende una verdad fundamental: en la cocina, la perfección absoluta es imposible y no necesaria.

Si dos chefs excelentes preparan el mismo pastel usando las mismas recetas, pero en cocinas diferentes (una con hornos viejos y otra con hornos nuevos), el resultado será casi idéntico, pero no bit a bit igual. Quizás un glaseado tenga una burbuja más, o el color sea un tono más claro.

Los sistemas antiguos de verificación exigían que el pastel fuera exactamente igual (bit a bit). Esto era imposible en las computadoras modernas porque el orden en que se hacen los cálculos cambia ligeramente según el hardware, creando pequeñas diferencias inevitables.

TAO cambia las reglas:
En lugar de exigir que el pastel sea idéntico, TAO define un "Zona de Tolerancia".

• Si el pastel cae dentro de esta zona (tiene un glaseado ligeramente diferente pero sigue siendo un pastel de chocolate delicioso), se considera aprobado.
• Si el pastel está fuera de la zona (es un pastel de zanahoria disfrazado, o tiene un sabor terrible), se considera fraude.

¿Cómo funciona el sistema? (El Juego de Detectives)

TAO funciona como un juego de "detectives optimistas" con tres pasos:

1. La Promesa (El Chef Confía):
   El proveedor de IA (el chef) hace el trabajo y dice: "Aquí está el resultado, te aseguro que es correcto". Como es un sistema "optimista", asumen que es honesto y el cliente paga rápidamente.

2. El Desafío (Si algo huele mal):
   Si el cliente (o un inspector) sospecha que algo anda mal, no necesita revisar todo el pastel de nuevo. En su lugar, inicia un juego de disputa.
   Imagina que el pastel está dividido en capas. El inspector dice: "Creo que el problema está en la capa del medio".
   El sistema divide el pastel en pedazos más pequeños (como un juego de "¿dónde está Wally?" o un árbol genealógico) y busca dónde está la diferencia.

   • La magia: Gracias a un sistema de "árbol de confianza" (Merkle Tree), pueden aislar el problema hasta llegar a un solo ingrediente o una sola acción (un solo "operador" en la red neuronal).

3. El Juicio Final (El Juez):
   Una vez que han aislado el problema a un solo ingrediente (por ejemplo, "¿cuánto azúcar se usó en este paso?"), hay dos formas de juzgar:

   • La Teoría: Se calcula matemáticamente cuál es el margen de error máximo posible por la física de la cocina. Si el ingrediente está dentro de ese margen, está bien.
   • La Prueba Real (El Jurado): Si la teoría es muy amplia, se llama a un pequeño grupo de jueces honestos (un comité) que prueban ese ingrediente específico en sus propias cocinas. Si la mayoría dice "esto está dentro de lo normal", el chef gana. Si dice "esto es una trampa", el chef pierde su depósito de dinero.

¿Por qué es genial esto?

1. No necesitas supercomputadoras mágicas: A diferencia de otros sistemas que requieren tecnología muy costosa y lenta (como la criptografía compleja llamada zkML), TAO permite usar las computadoras normales y rápidas que ya existen.
2. Es rápido y barato: Como no tienen que verificar cada pequeño detalle, solo buscan las diferencias grandes, el proceso es muy eficiente.
3. Acepta la realidad: Entiende que las computadoras modernas no son perfectas y que pequeñas diferencias son normales, pero que las grandes trampas no deben pasar.

En resumen

TAO es un sistema que permite confiar en la Inteligencia Artificial en la nube sin tener que confiar ciegamente en el proveedor. Funciona como un inspector de calidad inteligente que sabe que un poco de variación es normal, pero que tiene herramientas matemáticas y un sistema de jueces para atrapar a cualquier tramposo que intente cambiar la receta o la calidad del producto.

Es como decir: "No necesito que mi pastel sea idéntico al de la foto, solo necesito saber que no me están vendiendo una caja de zapatos disfrazada de pastel". Y TAO es el sistema que te garantiza eso.

Resumen técnico

Resumen Técnico: TAO

1. El Problema

El aprendizaje automático (ML) se está desplazando masivamente hacia infraestructuras de terceros (nubes públicas, mercados de inferencia, aceleradores especializados) para entrenamiento e inferencia. Esto plantea un desafío crítico de verificabilidad:

• Falta de transparencia: Los usuarios no pueden verificar si el modelo ejecutado es el acordido, si se utilizaron los datos de entrada correctos o si el resultado refleja fielmente la computación deseada.
• Degradación silenciosa: Los proveedores de servicios pueden realizar "downgrades" no declarados, como cambiar modelos, reducir la precisión (cuantización), reescribir grafos o alterar incrustaciones (embeddings) de publicidad.
• No determinismo inherente: La ejecución de punto flotante en aceleradores heterogéneos (GPUs) es inherentemente no determinista debido a la no asociatividad de la aritmética IEEE-754, la reordenación de operaciones por los kernels del proveedor y la planificación de hilos.
• Limitaciones de las soluciones existentes:
  • zkML (Zero-Knowledge ML): Es demasiado lento y costoso en memoria para modelos de punto flotante reales.
  • Entornos de Ejecución Confiables (TEEs): Requieren confiar en un solo proveedor de hardware y sufren penalizaciones de rendimiento.
  • Reproducción determinista: Requiere descartar bibliotecas maduras de proveedores y restringe la heterogeneidad del hardware.
  • Replicación: Es prohibitivamente costoso para modelos grandes.

2. Metodología: TAO

El authors proponen TAO (Tolerance-Aware Optimistic), un protocolo de verificación optimista que acepta resultados dentro de regiones de aceptación basadas en tolerancia en lugar de exigir igualdad bit a bit.

Conceptos Clave:

• Verificación Optimista: El proveedor (proposer) ejecuta el modelo y publica un compromiso. Si no hay desafíos dentro de una ventana de tiempo, el resultado se considera final.
• Juego de Disputa Interactivo: Si un verificador (challenger) detecta una discrepancia, se inicia un juego interactivo anclado en un árbol de Merkle. Este juego divide recursivamente el grafo de computación hasta aislar un único operador (nodo del grafo) donde ocurre la discrepancia.
• Dos Modelos de Error Complementarios:
  1. Límites Teóricos IEEE-754: Cálculos de peor caso para el error de redondeo por operador. Son seguros y portátiles, pero a menudo demasiado conservadores (laxos) para redes profundas.
  2. Perfiles de Percentiles Empíricos: Umbrales calibrados offline ejecutando el modelo en múltiples hardware (GPUs) con datos representativos. Estos perfiles capturan la distribución real de desviaciones entre hardware y son mucho más ajustados (tight) que los límites teóricos.

Flujo del Protocolo:

1. Fase 0 (Configuración): El propietario del modelo compromete las raíces de Merkle de los pesos, la topología del grafo y los umbrales de error empíricos calibrados.
2. Fase 1 (Ejecución Optimista): El proveedor ejecuta la inferencia y publica un compromiso del resultado.
3. Fase 2 (Localización de Disputa): Si hay un desafío, el proveedor y el challenger dividen el grafo en subgrafos. Utilizando los umbrales empíricos, el challenger identifica el primer subgrafo donde el error excede el límite aceptable. Este proceso se repite en $O(\log N)$ rondas hasta llegar a un solo operador.
4. Fase 3 (Adjudicación de Operador Único):
   • Si el error excede el límite teórico, se descarta inmediatamente como fraude.
   • Si el error está dentro del límite teórico pero fuera del umbral empírico, se invoca un comité (un grupo pequeño de nodos honestos) para ejecutar el operador y votar según los umbrales empíricos.

3. Contribuciones Clave

1. Semántica para ML Verificable Económicamente: Formalizan la corrección "tolerante" para programas de tensores, logrando finalidad económica sin requerir determinismo bit a bit.
2. Análisis de Error y Ataques Adversarios: Desarrollan modelos duales (teóricos y empíricos) y demuestran mediante ataques adaptativos que las desviaciones admisibles por operador no se acumulan para causar errores a nivel de tarea.
3. Resolución de Disputas Eficiente: Diseñan un juego de disputa guiado por umbrales que reduce la carga de verificación de todo el modelo a un solo operador, permitiendo adjudicación de bajo costo.
4. Sistema Implementable: Implementan un runtime compatible con PyTorch y contratos inteligentes en Ethereum (testnet Holesky), demostrando viabilidad en entornos de modelo abierto.

4. Resultados y Evaluación

El sistema se evaluó en modelos representativos (ResNet-152, BERT-large, Qwen3-8B, Stable Diffusion) y múltiples GPUs (A100, H100, RTX 4090, etc.).

• Precisión de Umbrales: Los umbrales empíricos son 100 a 1000 veces más ajustados ($10^2$–$10^3\times$) que los límites teóricos de peor caso para transformadores.
• Seguridad contra Ataques:
  • Bajo umbrales empíricos, la tasa de éxito de ataques adversarios (ASR) es 0% incluso cuando los límites se relajan por un factor de 3.
  • Bajo límites teóricos puros, se observó una ASR de hasta el 2.4% en modelos LLM (Qwen3-8B), demostrando que los límites teóricos son demasiado laxos para detectar perturbaciones maliciosas sutiles.
• Rendimiento y Costos:
  • Overhead de Ejecución: El runtime introduce un retraso insignificante (0.3%) en la inferencia optimista (ej. en Qwen3-8B).
  • Costo de Disputa: El costo computacional para llegar a la hoja (operador único) en una disputa es aproximadamente 0.4x a 1.2x el costo de una inferencia completa, mucho menor que la replicación total.
  • Costo en Cadena: Las disputas consumen ~2 millones de gas en Ethereum, escalando logarítmicamente con el tamaño del modelo.
• Falsos Positivos: No se observaron falsos positivos en ejecuciones honestas bajo los umbrales empíricos.

5. Significado e Impacto

TAO representa un cambio de paradigma en la verificación de ML:

• Reconcilia Escalabilidad y Verificabilidad: Permite ejecutar modelos en hardware heterogéneo y de alto rendimiento sin sacrificar la capacidad de auditoría.
• Aceptación de la Realidad del Hardware: En lugar de luchar contra la no determinidad del punto flotante (lo cual es costoso o imposible en GPUs modernas), TAO la modela y la utiliza como base para la verificación.
• Viabilidad Práctica: Al evitar la necesidad de TEEs o pruebas criptográficas masivas (zkML), TAO ofrece una solución desplegable hoy mismo para servicios de inferencia en la nube y mercados descentralizados, garantizando que los usuarios reciban el modelo y la calidad que pagaron, incluso si los resultados numéricos varían ligeramente entre hardware.

En resumen, TAO demuestra que es posible construir un sistema de confianza para la computación de IA distribuida sin sacrificar el rendimiento ni la heterogeneidad del hardware, basándose en principios matemáticos de tolerancia al error y mecanismos económicos de incentivos.