VeriLLM: A Lightweight Framework for Publicly Verifiable Decentralized Inference

Resumen Técnico: VeriLLM

Planteamiento del Problema

La inferencia descentralizada ofrece un paradigma escalable para el servicio de Modelos de Lenguaje Extensos (LLM) mediante la utilización de recursos globales fragmentados, reduciendo así la dependencia de proveedores centralizados. Sin embargo, en entornos sin permisos que carecen de nodos de confianza, garantizar la corrección de los resultados del modelo sigue siendo un desafío crítico. Los proveedores están económicamente incentivados para realizar "free-riding" (aprovecharse sin pagar) saltándose la computación, utilizando modelos cuantizados o aplicando optimizaciones ocultas que degradan la fidelidad de la salida.

Los enfoques de verificación existentes enfrentan compromisos inherentes:

• Replicación Exacta: Implica costos computacionales prohibitivos y sufre del "Dilema del Verificador", donde los verificadores racionales omiten la computación.
• Pruebas de Conocimiento Cero (ZK): Aunque atestiguan formalmente la corrección, incurren en sobrecargas varios órdenes de magnitud superiores a la inferencia nativa, lo que las hace impracticables para modelos de escala transformer.
• Enfoques Basados en Consenso: Sufren problemas de escalabilidad, no determinismo de punto flotante en hardware heterogéneo y la necesidad de conjuntos de nodos honestos de forma impracticable para mantener la seguridad.

El desafío central es lograr una corrección públicamente verificable con un overhead mínimo, robustez contra el no determinismo de punto flotante y resistencia contra participantes perezosos o coludidos sin depender de una mayoría de confianza en cada comité local.

Metodología

VeriLLM aborda estos desafíos a través de un protocolo ligero, públicamente verificable, que aprovecha la asimetría estructural de la ejecución de Transformers y un marco de incentivos de teoría de juegos.

1. Asimetría Estructural y Verificación Paralela

VeriLLM explota la separación entre las fases de Prefill (prellenado) y Autoregressive Decode (decodificación autorregresiva) de la inferencia de LLM.

• Inferencia: Requiere decodificación secuencial, la cual está limitada por el ancho de banda de memoria y es serial.
• Verificación: Dado que el verificador posee la secuencia completa de entrada-salida, puede omitir el bucle de decodificación secuencial. En su lugar, concatena el prompt y los tokens de salida generados y procesa toda la secuencia como una operación de Prefill única y totalmente paralelizable.
• Resultado: Esto desplaza la carga de trabajo a una operación paralela limitada por cómputo, saturando los Tensor Cores de la GPU. Empíricamente, esto reduce el overhead de verificación a aproximadamente el 1% del costo de la inferencia completa.

2. Arquitectura de Inferencia-Verificación Isomorfa

Para evitar que los nodos optimicen específicamente para la verificación o la inferencia, VeriLLM emplea una arquitectura de red isomórfica:

• Indistinguibilidad de Tareas: Los inferidores y los verificadores reciben formatos de mensaje y llamadas de API idénticos. Un nodo no puede distinguir si está realizando inferencia en vivo o una sonda de verificación.
• Roles Multiplexados: Los mismos trabajadores de GPU realizan ambos roles, mejorando la utilización y ampliando el conjunto de validadores efectivos.
• Asignación Dinámica de Roles: Una Función de Registro Verificable (VRF) selecciona los nodos para los roles y los índices de muestreo, asegurando la imprevisibilidad y evitando ataques dirigidos.

3. Protocolo de Compromiso y Muestreo (Commit-Then-Sample)

Para resolver el Dilema del Verificador y prevenir la verificación perezosa, VeriLLM implementa un mecanismo de verificación de dos capas:

• Compromiso (Commitment): Los verificadores se comprometen con sus estados ocultos calculados (mediante raíces de Merkle) antes de revelarlos.
• Muestreo (Sampling): Un contrato inteligente utiliza una VRF para generar índices de desafío aleatorios. Los verificadores deben abrir estados ocultos específicos y proporcionar pruebas de inclusión.
• Adjudicación: El contrato compara los estados muestreados contra los estados comprometidos del Inferidor utilizando un algoritmo de comparación tolerante al ruido, calibrado para el no determinismo de punto flotante. Las desviaciones activan el slashing (penalización); la alineación otorga recompensas.
• Resolución de Disputas: Si se sospecha que un comité local ha sido capturado (falla de la mayoría local), se dispara una única ronda de reverificación con un nuevo conjunto más grande de verificadores. El análisis de teoría de juegos muestra que esta escalación única es suficiente para anclar las decisiones a la mayoría honesta global, haciendo que el voto honesto sea el único Equilibrio de Nash.

4. Primitivas Criptográficas

• VRFs: Aseguran la selección de nodos y el muestreo sin sesgos.
• Pruebas de Merkle: Anclan datos fuera de la cadena (off-chain) para una verificación sucinta en la cadena (on-chain).
• Esquemas de Compromiso-Revelación (Commit-Reveal): Previenen el front-running y la modificación ex-post facto de los resultados.

Contribuciones Clave

1. Costo de Verificación Mínimo: Al explotar la separación estructural de las fases de Prefill y Decoder, VeriLLM reduce el overhead de verificación a aproximadamente el 1% del costo de la inferencia completa.
2. Requisito de Mayoría Honesta Global: El protocolo garantiza la seguridad basándose en un supuesto relajado de mayoría honesta global en lugar de requerir una mayoría honesta en cada comité local, mejorando la robustez.
3. Verificación Pública y Resistente a la Colusión: Un mecanismo de dos capas basado en blockchain asegura la computación honesta manteniendo las operaciones on-chain ligeras. Evita el Dilema del Verificador mediante un marco de consistencia de pares.
4. Diseño de Red Isomorfa: La multiplexación de roles de inferencia y verificación en trabajadores de GPU idénticos evita el comportamiento adversarial específico de la tarea y mejora el rendimiento.
5. Diseño Resistente al Ruido: El protocolo incluye un algoritmo de comparación calibrado que distingue entre errores benignos de punto flotante y desviaciones maliciosas.
6. Evaluación Integral: El artículo proporciona un análisis de seguridad teórica y resultados empíricos que demuestran la escalabilidad, el bajo overhead y las altas tasas de detección para diversos vectores de ataque.

Resultados Experimentales

Los autores implementaron VeriLLM y lo evaluaron utilizando un modelo de 7 billones de parámetros (Qwen2.5-7B-Instruct) en dispositivos heterogéneos (por ejemplo, NVIDIA RTX 5090 y Apple M4).

• Latencia y Overhead: Para una salida de 128 tokens, la latencia total fue de 1.37 segundos. El overhead de verificación promedió el 0.78% del tiempo total de inferencia.
• Capacidad de Detección: El sistema detectó con éxito la cuantización, la terminación prematura, las salidas falsificadas y la verificación perezosa con probabilidades superiores al 99.8%.
• Latencia de Detección: Los ataques fueron detectados y finalizados en un lapso de 1.2 a 2.8 segundos.
• Tolerancia de Punto Flotante: Los experimentos confirmaron que las desviaciones de los estados ocultos causadas por la cuantización son estadísticamente significativas y distinguibles del ruido benigno inducido por el hardware, permitiendo una verificación precisa sin falsos positivos.
• Costo On-Chain: La verificación cuesta aproximadamente $0.004 por verificación en Ethereum L2, con costos de gas dominados por las pruebas de Merkle y la verificación de la VRF.

Significado

El artículo afirma que VeriLLM proporciona una base práctica para la inferencia de LLM descentralizada, confiable y escalable. Al desacoplar la verificación de la replicación completa e integrar la transparencia en los trazos de inferencia, permite:

• Verificabilidad Pública: Cualquier participante puede auditar la corrección de la inferencia sin depender de terceros de confianza.
• Viabilidad Económica: El overhead insignificante (1%) hace que la inferencia descentralizada sea económicamente viable en comparación con las alternativas centralizadas o las pruebas criptográficas pesadas.
• Robustez: El sistema permanece seguro incluso ante el no determinismo de punto flotante y adversarios racionales que intentan minimizar los costos de computación.

El trabajo demuestra que la inferencia descentralizada de alta seguridad es alcanzable sin los costos prohibitivos asociados con el Aprendizaje Automático de Conocimiento Cero (ZKML) o las limitaciones de escalabilidad de los mecanismos de consenso tradicionales.