TensorCommitments: A Lightweight Verifiable Inference for Language Models

Resumen Técnico: TensorCommitments

1. El Problema

A medida que los Modelos de Lenguaje Grandes (LLMs) se integran en sistemas críticos (finanzas, salud, agentes autónomos), los usuarios deben confiar en inferencias realizadas en infraestructuras externas (nubes) sin poder verificar su ejecución.

• Riesgos: Fallos de hardware, configuraciones erróneas o servicios comprometidos pueden alterar silenciosamente los resultados (activaciones ocultas o estados), llevando a decisiones catastróficas.
• Limitaciones de las soluciones actuales:
  • Criptográficas (ZK-SNARKs): Ofrecen garantías de seguridad fuertes pero son computacionalmente prohibitivas para LLMs a gran escala (minutos de tiempo de prueba por consulta).
  • No criptográficas (Aprendizaje automático): Requieren GPUs potentes en el lado del verificador para re-ejecutar el modelo o entrenar modelos auxiliares, lo que es costoso y no ofrece garantías criptográficas.
  • Enfoques existentes (ej. TOPLOC): Se basan en firmas de la última capa o vectores planos, ignorando la estructura tensorial natural de los LLMs, lo que infla el tamaño de las pruebas y no detecta manipulaciones "de lenta combustión" (slow-burn) que preservan la salida final pero alteran el proceso interno.

Objetivo central: Diseñar un mecanismo práctico que permita a clientes ligeros verificar la corrección de una inferencia compleja de un LLM sin re-ejecutar el modelo ni exponer sus estados internos, manteniendo bajos costos computacionales.

2. Metodología

La propuesta, TensorCommitments (TCs), se basa en la idea de que los esquemas de compromiso (commitments) deben ser nativos de tensores y no de vectores planos, aprovechando la interpolación multivariada para reducir la complejidad.

El pipeline consta de tres componentes principales:

A. TensorCommitments (TCs) - Compromisos Nativos de Tensores

• En lugar de aplanar los tensores de activación en vectores largos y usar polinomios univariados (como en los compromisos vectoriales clásicos KZG), TC trata los tensores como polinomios multivariados.
• Mecanismo:
  1. Compromiso: Se interpola un tensor de activación $T$ en un polinomio multivariado $f_T$ sobre una cuadrícula. Se genera un compromiso $C_T$ evaluando este polinomio en puntos secretos (trapdoors) usando una cadena de referencia estructurada (SRS).
  2. Apertura (Opening): Para probar un valor en un punto específico $\omega$, el probador realiza divisiones polinómicas iterativas (peeling) a lo largo de cada dimensión del tensor, generando pruebas de cociente.
  3. Ventaja: La interpolación multivariada es significativamente más rápida que la univariada a medida que aumenta la dimensionalidad, reduciendo drásticamente el tiempo de prueba.

B. Terkle Trees (Árboles Terkle)

• Para manejar diálogos largos y múltiples inferencias, los TCs se organizan en una estructura de árbol de alta aridad llamada Terkle Tree.
• Estructura: A diferencia de los Árboles de Merkle (que usan hashes y destruyen la estructura algebraica) o los Árboles Verkle (que usan compromisos vectoriales 1D), los Terkle Trees organizan los nodos internos como tensores.
• Beneficio: Permite autenticar todo el estado del LLM con una sola raíz, pero permite consultas locales a subconjuntos estructurados (ej. capas específicas o regiones espaciales) con pruebas mucho más cortas y eficientes.

C. Algoritmo de Selección de Capas (Layer Selection)

• Dado que verificar todas las capas de un LLM masivo es costoso, el sistema identifica dinámicamente qué capas son más críticas para la robustez.
• Estrategia: Utiliza puntuaciones espectrales de "cola pesada" (heavy-tailed spectral scores) derivadas de la matriz de correlación de pesos de cada capa. Las capas con colas más pesadas (menor $\alpha$) son más sensibles a perturbaciones.
• Optimización: Se formula como un problema de programación lineal entera (resuelto con programación dinámica) para seleccionar un conjunto de capas que maximice la cobertura de ataques bajo un presupuesto de verificación limitado.

3. Contribuciones Clave

1. Esquema de Compromiso Multivariado: Un diseño nuevo que se adapta a la estructura tensorial de los LLMs, evitando la inflación de costos asociada a los enfoques univariados.
2. Terkle Trees: Una estructura de autenticación nativa de tensores que rastrea estados ocultos evolutivos con una sola raíz de pruebas multivariadas, superando a Merkle y Verkle en escalabilidad para LLMs.
3. Selección Inteligente de Capas: Un algoritmo que prioriza la verificación de las capas más vulnerables, mejorando la robustez sin aumentar linealmente el costo.
4. Implementación Open Source: Un sistema completo listo para integrarse en pipelines de inferencia, validado en modelos reales como LLaMA2.

4. Resultados Experimentales

Los experimentos se realizaron en modelos como LLaMA2-7B/13B y OPT-125M, comparando contra ZK-LLM, SVIP, TOPLOC y activaciones crudas.

• Eficiencia (Overhead):
  • Probador (Servidor): Solo añade un 0.97% de tiempo adicional sobre la inferencia normal.
  • Verificador (Cliente): Añade solo un 0.12% de tiempo de inferencia.
  • Comparación: Es hasta 30% más rápido en generación de pruebas y 85% más rápido en verificación que el estado del arte (TOPLOC), sin requerir GPU en el verificador.
• Robustez:
  • Mejora la detección de ataques personalizados hasta un 48% en comparación con TOPLOC (especialmente en ataques de manipulación de prompts y ruido inyectado).
  • Detecta manipulaciones que TOPLOC pasa por alto (como alteraciones en capas tempranas que no cambian la salida final inmediata).
• Privacidad:
  • No requiere re-ejecutar el modelo ni exponer los pesos o activaciones completas al verificador.
  • El verificador consume 0 GB de memoria de GPU (solo realiza emparejamientos criptográficos ligeros).
• Escalabilidad:
  • Los árboles Terkle muestran una velocidad de construcción y verificación superior a los árboles Verkle y Merkle a medida que crece el número de hojas y la dimensionalidad.

5. Significado e Impacto

• Viabilidad Práctica: TensorCommitments cierra la brecha entre la seguridad criptográfica y la eficiencia operativa, haciendo posible la verificación de inferencias de LLMs en entornos de producción sin sacrificar la latencia.
• Paradigma de Verificación: Cambia el enfoque de "verificar vectores planos" a "verificar tensores", alineándose con la arquitectura real de las redes neuronales profundas.
• Confianza en Agentes Autónomos: Habilita el uso seguro de LLMs en sistemas multi-agente y de toma de decisiones críticas, donde la integridad del cálculo es tan importante como la precisión del texto generado.
• Futuro: Abre la puerta a protocolos híbridos que combinen compromisos de tensores con cifrado homomórfico para entornos totalmente confidenciales.

En resumen, el trabajo demuestra que es posible lograr una verificación ligera, privada y robusta de inferencias de LLMs masivos mediante la explotación inteligente de la estructura tensorial y la interpolación multivariada.