Resumen Técnico: Explorando los Límites Criptográficos de las Redes Transformer

Planteamiento del Problema

Investigaciones recientes han demostrado que agentes de IA coludidos pueden utilizar la esteganografía para intercambiar información maliciosa sin ser detectados por observadores [1]. Una implicación de seguridad crítica de este hallazgo es que, si un modelo transformer puede implementar una función de hash criptográfico, posee "acceso a aleatoriedad sin fuente" (source-free randomness access), lo que le permite generar canales esteganográficos. Si bien trabajos previos han establecido los límites de la teoría de circuitos de los transformers saturados (clase $\text{TC}^0$) [2] y destacado los riesgos de seguridad de los agentes en interacción, ningún trabajo concreto ha mapeado construcciones criptográficas específicas —a saber, funciones Keccak, construcciones Merkle–Damgård (MDC) y Árboles de Merkle (MT)— a arquitecturas transformer. Este vacío deja abierta la cuestión de qué recursos estructurales específicos (profundidad y anchura) requiere un transformer para computar estas primitivas criptográficas, lo cual es esencial para evaluar la capacidad computacional y la seguridad de los sistemas de IA basados en transformers.

Metodología

Los autores adoptan un enfoque sistemático de análisis a nivel de circuito, vinculando las construcciones criptográficas y las arquitecturas transformer a través de la lente de los circuitos de umbral.

1. Compilación de Circuitos: Utilizando la biblioteca Reifier [15], los autores compilan funciones booleanas que representan Keccak, MDC y MT en circuitos de umbral por capas. Estos circuitos se implementan como Perceptrones Multicapa (MLP) con capas con compuertas SwiGLU. El compilador traza las operaciones de bits (AND, OR, NOT) hacia puertas de umbral, insertando nodos de identidad para satisfacer la estructura estrictamente por capas requerida por los MLP.
2. Derivación de Leyes de Escalamiento: Los autores analizan los circuitos compilados para derivar leyes de escalamiento verificadas para la profundidad y la anchura. Examinan la topología de los circuitos para determinar cómo el tamaño de la entrada, el conteo de bloques y los parámetros criptográficos (por ejemplo, número de rondas, ancho del estado) influyen en las dimensiones del circuito.
3. Mapeo a Transformers: Se proponen dos mapeos distintos desde los circuitos de umbral derivados hacia arquitecturas transformer:
   • Mapeo Sin Atención (No-Attention Mapping): Este enfoque ignora el mecanismo de atención, reduciendo el transformer a sus subcapas de Redes de Alimentación hacia Adelante (FFN). El estado completo del circuito se almacena dentro de un único token, donde la dimensión del token debe acomodar la anchura máxima del circuito. Cada capa FFN simula una capa del circuito.
   • Mapeo de Tokens como Puertas (Tokens-as-Gates Mapping): Este enfoque asigna cada token para representar una única puerta del circuito. Las puertas intermedias y de salida se almacenan en "tokens de descarte" (scratch tokens). El mecanismo de atención simula el cableado del circuito (sumando los valores de los predecesores), mientras que la FFN simula la computación de la puerta (comparando la suma contra un umbral). Este mapeo utiliza atención dura no normalizada para simular la lógica de umbral.

Contribuciones Clave

El artículo realiza tres contribuciones primarias:

• Derivación de Leyes de Escalamiento: Los autores derivan y verifican leyes de escalamiento constructivas para la profundidad y la anchura de los circuitos de umbral que implementan funciones Keccak, construcciones Merkle–Damgård y Árboles de Merkle. Estas leyes consideran longitudes de entrada y tamaños de salida arbitrarios.
• Mapeos Concretos a Transformers: Se proponen dos mapeos específicos que establecen límites superiores constructivos sobre la profundidad requerida y la anchura de la FFN para implementar estas construcciones criptográficas.
• Metodología para la Evaluación de Capacidades: El trabajo establece una metodología para derivar garantías estructurales sobre la capacidad computacional de los transformers, ofreciendo una base fundamentada para evaluar qué puede computar plausiblemente un transformer de una profundidad y anchura dadas.

Resultados

Los experimentos se realizaron en instancias de juguete de las construcciones criptográficas (por ejemplo, anchos de estado y conteos de rondas pequeños) para comprender la topología del circuito. Los resultados confirvman que las leyes de escalamiento derivadas coinciden exactamente con los circuitos compilados en todas las configuraciones probadas.

• Funciones Keccak: La profundidad del circuito escala linealmente con el número de rondas ($O(n_{rounds})$) y el número de bloques de entrada ($O(n_b)$). La anchura depende del tamaño del estado y de las longitudes de entrada/salida, identificándose cuellos de botella específicos durante las fases de absorción (absorb) y extracción (squeeze).
• Merkle–Damgård (MDC): Estas construcciones producen circuitos más profundos pero más estrechos en comparación con los Árboles de Merkle. La profundidad escala linealmente con el número de bloques de entrada ($O(n_b)$), mientras que la anchura escala con el ancho de la función de compresión más los bits no absorbidos.
• Árboles de Merkle (MT): Estas construcciones producen circuitos más superficiales pero más anchos. La profundidad escala logarítmicamente con el número de hojas ($O(\log n_{leaves})$), mientras que la anchura escala linealmente con el número de hojas ($O(n_{leaves})$).
• Comparación de Mapeos:
  • El Mapeo Sin Atención resulta en transformers con una profundidad proporcional a la profundidad del circuito, pero requiere anchuras de FFN que crecen linealmente con la anchura del circuito (y, por ende, con el tamaño de la entrada).
  • El Mapeo de Tokens como Puertas mantiene una anchura de FFF constante (independiente del tamaño de la entrada), pero requiere un número de tokens proporcional al número total de puertas en el circuito y depende de un enrutamiento de atención específico.

Significado y Limitaciones

El artículo afirma proporcionar el primer análisis sistemático a nivel de circuito de estas construcciones criptográficas en el contexto de la expresividad de los transformers. Al establecer límites superiores constructivos, el trabajo ofrece un marco teórico para las evaluaciones de seguridad de la IA impulsadas por la capacidad computacional del agente. Esto permite obtener garantías estructurales sobre lo que un sistema basado en transformer podría computar, lo cual es vital para evaluar los riesgos relacionados con la esteganografía y las puertas traseras (backdoors).

Los autores señalan explícitamente varias limitaciones y advertencias:

• Constructivo vs. Empírico: Los mapeos son constructivos; sigue siendo una cuestión abierta si el descenso de gradiente puede aprender a implementar estas construcciones en la práctica.
• Supuestos Teóricos: El mapeo de "tokens-como-puertas" asume una atención dura no normalizada, la cual difiere de los transformers estándar basados en softmax utilizados en la práctica.
• Instancias de Juguete: Los experimentos se realizaron en instancias de juguete. Las leyes de escalamiento contienen constantes que son artefactos del compilador Reifier, y no se ha confirmado si estas leyes se mantienen sin cualificación para permutaciones Keccak a gran escala (como las usadas en SHA-3) o MDCs de escala de producción.

A pesar de estas limitaciones, el trabajo sienta las bases para una nueva clase de evaluaciones de seguridad de la IA y sugiere direcciones futuras, tales como la construcción de transformers explícitos con cabezales de atención especificados, la prueba de capacidades de aprendizaje mediante descenso de gradiente y el desarrollo de mapeos alternativos como "tokens-como-estados".