Resumen Técnico: Los Rankings de Tokens son Inforjables

Planteamiento del Problema

Los avances recientes en la seguridad de los modelos de lenguaje (LM) han explorado el uso de las salidas del modelo como "firmas" para identificar el modelo específico que generó un texto. Las firmas geométricas anteriores dependían del acceso a las probabilidades de los tokens (logits). Sin embargo, esta dependencia presenta una vulnerabilidad de seguridad crítica: el acceso a los logits permite a los atacantes robar los parámetros de la última capa del modelo (la matriz de desembebido o unembedding). Una vez robados estos parámetros, un atacante puede forjar la firma construyendo un nuevo modelo que replique las restricciones geométricas del original.

A medida que los proveedores de API restringen cada vez más el acceso a las probabilidades de los tokens para evitar el robo de parámetros y la inversión de prompts, surge la necesidad de un mecanismo de firma que:

1. No requiera acceso a las probabilidades de los tokens.
2. Sea computacionalmente inforjable (es decir, imposible de construir un modelo diferente con la misma firma).
3. No filtre los parámetros del modelo incluso cuando la firma es expuesta.

Metodología

La Firma de Ranking

Los autores proponen una nueva firma basada en los rankings de tokens en lugar de las probabilidades. Un ranking de tokens es el ordenamiento de los tokens por probabilidad (por ejemplo, $r = \text{arg sort}(\ell)$), sin revelar los valores de probabilidad en sí mismos.

• Rankings Factibles: Debido al "cuello de botella de softmax" (la naturaleza de bajo rango de la capa de desembebido donde la dimensión de incrustación $d$ es mucho menor que el tamaño del vocabulario $v$), un modelo solo puede producir un subconjunto minúsculo de los $v!$ posibles rankings de tokens.
• Unicidad: El conjunto de rankings factibles para una matriz de desembebido $W$ específica es único para ese modelo. Los autores caracterizan teóricamente esta dispersión, demostrando que la proporción de rankings factibles disminuye super-exponencialmente a medida que $v$ crece.
• Firmas Top-$k$: Los autores investigan si los rankings truncados (los $k$ mejores tokens) mantienen esta unicidad. Determinan empíricamente el $k$ mínimo requerido para diferenciar entre modelos, encontrando que ocurre una transición brusca donde los rankings top-$k$ se vuelven únicos para un modelo específico.

Prueba de Inforjabilidad

El artículo aborda la dureza computacional de forjar una firma. La forja se define como encontrar una nueva matriz de desembebido $W'$ que produzca exactamente el mismo conjunto de rankings factibles que el modelo objetivo.

• Clase de Complejidad: Los autores demuestran que encontrar una matriz de rango-$d$ que se ajuste a un conjunto dado de rankings es $\exists\mathbb{R}$-duro (Teoría Existencial de los Reales).
• Reducción: Reducen el problema de decidir la realizabilidad de "secuencias simples permisibles" (un problema conocido como $\exists\mathbb{R}$-completo) al problema de la forja de la firma.
• Implicación: Dado que $\text{NP} \subseteq \exists\mathbb{R} \subseteq \text{PSPACE}$, forjar la firma es computacionalmente intratable, incluso si el atacante tiene acceso a todos los rankings factibles. Esto contrasta con las firmas geométricas previas (por ejemplo, basadas en elipses) que solo eran duras de forjar en tiempo polinomial.

Robo de Parámetros vía Rankings

Los autores también investigan si la exposición de los rankings filtra los parámetros del modelo.

• Mecanismo de Ataque: Demuestran que los rankings completos de tokens pueden recuperar asintóticamente el espacio de columnas de la matriz de desembebido $W$. Esto se basa en la suposición de que los estados ocultos siguen una distribución Gaussiana y que los logits de los tokens tienen una varianza marginal igual.
• Método: Mediante el cálculo de las correlaciones de Spearman de los rankings y la aplicación de la Descomposición en Valores Singulares (SVD), un atacante puede aproximar el espacio de columnas de $W$.
• Limitaciones: Aunque el ataque recupera una aproximación de $W$, dicha aproximación es demasiado gruesa para forjar la firma. Los rankings factibles de la matriz recuperada son casi enteramente disjuntos de los rankings del modelo real.

Resultados Clave

1. Unicidad de los Rankings: Pruebas empíricas en los modelos Pythia y OLMo muestran que los rankings completos son únicos para el modelo específico. Incluso un solo paso de entrenamiento o una ligera perturbación de los pesos hace que los rankings previamente factibles sean infactibles.
2. Inforjabilidad: La prueba teórica establece que forjar la firma de ranking es $\exists\mathbb{R}$-duro. Los intentos empíricos de ajustar una nueva matriz a un conjunto de rankings mediante descenso de gradiente fallaron en reproducir la firma, incluso con 48–50 rankings.
3. Fuga de Parámetros vs. Seguridad de la Firma:
   • Los rankings completos permiten la recuperación aproximada del espacio de columnas de la matriz de desembebido.
   • Sin embargo, esta aproximación es insuficiente para forjar la firma.
   • El "Punto Dulce" (Sweet Spot): Los autores identifican un rango de $k$ (por ejemplo, $k \approx 370$ para Pythia 70M) donde:
     • Los rankings top-$k$ son únicos para el modelo (preservando la firma).
     • La información es demasiado gruesa para reconstruir la matriz de desembebido (evitando el robo de parámetros).
   • Específicamente, establecer $k = d$ (la dimensión oculta) suele ser suficiente para diferenciar el modelo mientras mantiene los parámetros recuperados menos similares al modelo objetivo que un modelo base entrenado con datos diferentes.

Significancia y Reivindicaciones

El artículo afirma introducir la primera firma de modelo de lenguaje polinomialmente inforjable que no requiere acceso a las probabilidades de los tokens.

• Mejora de Seguridad: A diferencia de las firmas geométricas previas que dependen de los logits (que filtran parámetros) y son forjables en tiempo polinomial, la firma de ranking requiere solo rankings, es computacionalmente difícil de forjar y permite a los proveedores presentar la firma sin filtrar los pesos del modelo.
• Aplicación Forense: La firma permite la forense de modelos. Si un repositorio afirma contener pesos filtrados, uno puede verificar dichos pesos comprobando si los rankings de tokens del API del modelo son factibles para los pesos filtrados. Si los rankings son infactibles, los pesos son fraudulentos; si son factibles, el filtrador probablemente posee los pesos reales (debido a la unicidad e inforjabilidad de la firma).
• Compromiso Práctico: El artículo concluye que los proveedores de API pueden exponer de forma segura los rankings top-$k$ para proporcionar una firma verificable y, al mismo tiempo, mitigar el riesgo de robo de parámetros, siempre que $k$ se elija dentro del rango "seguro" identificado (lo suficientemente grande para la unicidad, lo suficientemente pequeño para prevenir la reconstrucción).

Los autores se mantienen modestos respecto a la seguridad criptográfica de la firma, señalando que, si bien la dureza $\exists\mathbb{R}$ es una barrera teórica fuerte, la dureza del caso promedio de estos problemas no se comprende completamente, y la firma aún no ha sido probada como criptográficamente segura en el sentido tradicional.