Resumo Técnico: Explorando os Limites Criptográficos de Redes Transformer

Declaração do Problema

Pesquisas recentes demonstraram que agentes de IA colusivos podem utilizar esteganografia para trocar informações maliciosas sem serem detectados por observadores [1]. Uma implicação de segurança crítica desta descoberta é que, se um modelo transformer puder implementar uma função de hash criptográfico, ele possui "acesso a aleatoriedade sem fonte" (source-free randomness access), permitindo que gere canais esteganográficos. Embora trabalhos anteriores tenham estabelecido os limites teoria-dos-circuitos de transformers saturados (classe $\text{TC}^0$) [2] e destacado os riscos de segurança de agentes interagentes, nenhum trabalho concreto mapeou construções criptográficas específicas — nomeadamente funções Keccak, construções Merkle–Damgård (MDC) e Árvores de Merkle (MT) — para arquiteturas transformer. Esta lacuna deixa em aberto a questão de quais recursos estruturais específicos (profundidade e largura) um transformer requer para computar essas primitivas criptográficas, o que é essencial para avaliar a capacidade computacional e a segurança de sistemas de IA baseados em transformer.

Metodologia

Os autores adotam uma abordagem sistemática de análise ao nível de circuito, unindo construções criptográficas e arquiteturas transformer através da lente de circuitos de limiar (threshold circuits).

1. Compilação de Circuito: Usando a biblioteca Reifier [15], os autores compilam funções booleanas que representam Keccak, MDC e MT em circuitos de limiar em camadas. Esses circuitos são implementados como Perceptrons Multicamadas (MLPs) com camadas com portão SwiGLU. O compilador rastreia operações de bits (AND, OR, NOT) em portas de limiar, inserindo nós de identidade para satisfazer a estrutura estritamente em camadas exigida pelos MLPs.
2. Derivação de Leis de Escala: Os autores analisam os circuitos compilados para derivar leis de escala verificadas para profundidade e largura. Eles examinam a topologia dos circuitos para determinar como o tamanho da entrada, contagens de blocos e parâmetros criptográficos (ex: número de rodadas, largura do estado) influenciam as dimensões do circuito.
3. Mapeamento para Transformers: Dois mapeamentos distintos de circuitos de limiar derivados para arquiteturas transformer são propostos:
   • Mapeamento Sem-Atenção: Esta abordagem ignora o mecanismo de atenção, reduzindo o transformer às suas subcamadas de Rede Feed-Forward (FFN). Todo o estado do circuito é armazenado dentro de um único token, onde a dimensão do token deve acomodar a largura máxima do circuito. Cada camada FFN simula uma camada do circuito.
   • Mapeamento Tokens-como-Portas: Esta abordagem atribui cada token para representar uma única porta do circuito. Portas intermediárias e de saída são armazenadas em "tokens de rascunho" (scratch tokens). O mecanismo de atenção simula a fiação do circuito (somando valores predecessores), enquanto a FFN simula a computação da porta (comparando a soma contra um limiar). Este mapeamento utiliza atenção rígida (hard attention) não normalizada para simular a lógica de limiar.

Principais Contribuições

O artigo apresenta três contribuições primárias:

• Derivação de Leis de Escala: Os autores derivam e verificam leis de escala construtivas para a profundidade e largura de circuitos de limiar implementando funções Keccak, construções Merkle–Damgård e Árvores de Merkle. Estas leis consideram comprimentos de entrada e tamanhos de saída arbitrários.
• Mapeamentos Concretos de Transformer: Dois mapeamentos específicos são propostos, estabelecendo limites superiores construtivos para a profundidade de transformer e largura de FFN necessária para implementar estas construções criptográficas.
• Metodologia para Avaliação de Capacidade: O trabalho estabelece uma metodologia para derivar garantias estruturais sobre a capacidade computacional de transformers, oferecendo uma base principiológica para avaliar o que um transformer de determinada profundidade e largura pode plausivelmente computar.

Resultados

Os experimentos foram conduzidos em instâncias de brinquedo (toy instances) das construções criptográficas (ex: pequenas larguras de estado e contagens de rodadas) para entender a topologia do circuito. Os resultados confirmam que as leis de escala derivadas coincidem exatamente com os circuitos compilados em todas as configurações testadas.

• Funções Keccak: A profundidade do circuito escala linearmente com o número de rodadas ($O(n_{rounds})$) e o número de blocos de entrada ($O(n_b)$). A largura depende do tamanho do estado e dos comprimentos de entrada/saída, com gargalos específicos identificados durante as fases de absorção (absorb) e extração (squeeze).
• Merkle–Damgård (MDC): Estas construções produzem circuitos mais profundos, porém mais estreitos, comparados às Árvores de Merkle. A profundidade escala linearmente com o número de blocos de entrada ($O(n_b)$), enquanto a largura escala com a largura da função de compressão mais os bits não absorvidos.
• Árvores de Merkle (MT): Estas construções produzem circuitos mais rasos, porém mais largos. A profundidade escala logaritmicamente com o número de folhas ($O(\log n_{leaves})$), enquanto a largura escala linearmente com o número de folhas ($O(n_{leaves})$).
• Comparação de Mapeamento:
  • O Mapeamento Sem-Atenção resulta em transformers com profundidade proporcional à profundidade do circuito, mas requer larguras de FFN que crescem linearmente com a largura do circuito (e, portanto, o tamanho da entrada).
  • O Mapeamento Tokens-como-Portas mantém a largura de FFN constante (independente do tamanho da entrada), mas requer um número de tokens proporcional ao número total de portas no circuito e depende de roteamento de atenção específico.

Significância e Limitações

O artigo afirma fornecer a primeira análise sistemática ao nível de circuito destas construções criptográficas no contexto da expressividade de transformers. Ao estabelecer limites superiores construtivos, o trabalho oferece um arcabouço teórico para avaliações de segurança de IA impulsionadas pela capacidade computacional do agente. Isso permite garantias estruturais sobre o que um sistema baseado em transformer poderia computar, o que é vital para avaliar riscos relacionados a esteganografia e backdoors.

Os autores explicitamente notam várias limitações e ressalvas:

• Construtivo vs. Empírico: Os mapeamentos são construtivos; permanece uma questão aberta se o gradiente descendente consegue aprender a implementar estas construções na prática.
• Premissas Teóricas: O mapeamento "tokens-como-portas" assume atenção rígida (hard attention) não normalizada, que difere dos transformers padrão baseados em softmax usados na prática.
• Instâncias de Brinquedo: Os experimentos foram conduzidos em instâncias de brinquedo. As leis de escala contêm constantes que são artefatos do compilador Reifier, e não está confirmado se estas leis se mantêm sem qualificações para permutações Keccak de escala total (como usadas em SHA-3) ou MDCs de escala de produção.

Apesar destas limitações, o trabalho estabelece a base para uma nova classe de avaliações de segurança de IA e sugere direções futuras, tais como construir transformers explícitos com cabeças de atenção especificadas, testar capacidades de aprendizado via gradiente descendente e desenvolver mapeamentos alternativos como "tokens-como-estados".