Technische Samenvatting: Het verkennen van de cryptografische grenzen van Transformer-netwerken

Probleemstelling

Recent onderzoek heeft aangetoond dat samenzwerende AI-agenten steganografie kunnen gebruiken om kwaadaardige informatie uit te wisselen zonder detectie door waarnemers [1]. Een kritische veiligheidsimplicatie van deze bevinding is dat als een transformer-model een cryptografische hashfunctie kan implementeren, het beschikt over "bronvrije willekeurige toegang" (source-free randomness access), waardoor het steganografische kanalen kan genereren. Hoewel eerder werk de circuittheoretische limieten van verzadigde transformers (klasse $\text{TC}^0$) heeft vastgesteld [2] en de beveiligingsrisico's van interagerende agenten heeft benadrukt, is er geen concreet werk dat specifieke cryptografische constructies — namelijk Keccak-functies, Merkle–Damgård-constructies (MDC) en Merkle-trees (MT) — heeft gekoppeld aan transformer-architecturen. Dit gat laat de vraag open welke specifieke structurele middelen (diepte en breedte) een transformer nodig heeft om deze cryptografische primitieven te berekenen, wat essentieel is voor het evalueren van de computationele capaciteit en veiligheid van op transformers gebaseerde AI-systemen.

Methodologie

De auteurs hanteren een systematische circuit-niveau analyse-aanpak, waarbij ze cryptografische constructies en transformer-architecturen overbruggen via de lens van drempelcircuits (threshold circuits).

1. Circuit Compilatie: Gebruikmakend van de Reifier-bibliotheek [15], compileren de auteurs booleaanse functies die Keccak, MDC en MT vertegenwoordigen naar gelaagde drempelcircuits. Deze circuits worden geïmplementeerd als Multi-Layer Perceptrons (MLP's) met SwiGLU-gated lagen. De compiler vertaalt bit-operaties (AND, OR, NOT) naar drempelpoorten (threshold gates) en voegt identiteitsnodes in om te voldoen aan de strikt gelaagde structuur die vereist is door MLP's.
2. Afleiding van Schalingswetten: De auteurs analyseren de gecompileerde circuits om geverifieerde schalingswetten voor diepte en breedte af te leiden. Ze onderzoeken de topologie van de circuits om te bepalen hoe de invoeromvang, het aantal blokken en cryptografische parameters (bijv. aantal rondes, staatbreedte) de circuitdimensies beïnvloeden.
3. Mapping naar Transformers: Er worden twee verschillende mappings van de afgeleide drempelcircuits naar transformer-architecturen voorgesteld:
   • No-Attention Mapping: Deze benadering negeert het aandachtmechanisme (attention mechanism) en reduceert de transformer tot zijn Feed-Forward Network (FFN) sublagen. De volledige circuittoestand wordt opgeslagen binnen een enkele token, waarbij de token-dimensie de maximale breedte van het circuit moet kunnen huisvesten. Elke FFN-laag simuleert één laag van het circuit.
   • Tokens-as-Gates Mapping: Deze benadering wijst elke token toe aan een enkele poort in het circuit. Tussenliggende en uitvoerpoorten worden opgeslagen in "scratch tokens". Het aandachtmechanisme simuleert de bedrading van het circuit (het sommeren van voorgaande waarden), terwijl de FFN de poortberekening simuleert (het vergelijken van de som met een drempelwaarde). Deze mapping maakt gebruik van ongenormaliseerde harde aandacht om de drempellogica te simuleren.

Belangrijkste Bijdragen

Het artikel levert drie primaire bijdragen:

• Afleiding van Schalingswetten: De auteurs leiden drempelcircuits af en verifiëren constructieve schalingswetten voor de diepte en breedte van drempelcircuits die Keccak-functies, Merkle–Damgård-constructies en Merkle-trees implementeren. Deze wetten houden rekening met willekeurige invoerlengtes en uitvoeromvang.
• Concrete Transformer Mappings: Er worden twee specifieke mappings voorgesteld die constructieve bovengrenzen vaststellen voor de vereiste transformer-diepte en FFN-breedte om deze cryptografische constructies te implementeren.
• Methodologie voor Capaciteitsevaluatie: Het werk vestigt een methodologie voor het afleiden van structurele garanties op de computationele capaciteit van transformers, wat een principieel fundament biedt voor het evalueren van wat een transformer met een bepaalde diepte en breedte plausibiliter kan berekenen.

Resultaten

De experimenten werden uitgevoerd op speelgoedinstanties (toy instances) van de cryptografische constructies (bijv. kleine staatbreedtes en ronde-aantallen) om de circuittopologie te begrijpen. De resultaten bevestigen dat de afgeleide schalingswetten exact overeenkomen met de daadwerkelijk gecompileerde circuits over alle geteste configuraties.

• Keccak Functies: De circuitdiepte schaalt lineair met het aantal rondes ($O(n_{rounds})$) en het aantal invoerblokken ($O(n_b)$). De breedte hangt af van de staatgrootte en de invoer-/uitvoerlengtes, waarbij specifieke bottlenecks zijn geïdentificeerd tijdens de absorb- en squeeze-fasen.
• Merkle–Damgård (MDC): Deze constructies produceren diepere maar smallere circuits vergeleken met Merkle-trees. De diepte schaalt lineair met het aantal invoerblokken ($O(n_b)$), terwijl de breedte schaalt met de breedte van de compressiefunctie plus de niet-geabsorbeerde bits.
• Merkle Trees (MT): Deze constructies produceren ondiepere maar bredere circuits. De diepte schaalt logaritmisch met het aantal bladeren ($O(\log n_{leaves})$), terwijl de breedte lineair schaalt met het aantal bladeren ($O(n_{leaves})$).
• Vergelijking van de Mappings:
  • De No-Attention Mapping resulteert in transformers met een diepte proportioneel aan de circuitdiepte, maar vereist FFN-breedtes die lineair groeien met de circuitbreedte (en dus de invoeromvang).
  • De Tokens-as-Gates Mapping behoudt een constante FFN-breedte (onafhankelijk van de invoeromvang), maar vereist een aantal tokens dat proportioneel is aan het totale aantal poorten in het circuit en vertrouwt op specifieke aandacht-routing.

Betekenis en Beperkingen

Het artikel beweert de eerste systematische circuit-niveau analyse van deze cryptografische constructies te bieden in de context van de expressiviteit van transformers. Door constructieve bovengrenzen vast te stellen, biedt het werk een theoretisch kader voor AI-veiligheidsevaluaties die gedreven worden door de computationele capaciteit van de agent. Dit maakt structurele garanties mogelijk over wat een transformer-gebaseerd systeem zou kunnen berekenen, wat cruciaal is voor het beoordelen van risico's gerelateerd aan steganografie en backdoors.

De auteurs vermelden expliciet enkele beperkingen en kanttekeningen:

• Constructief versus Empirisch: De mappings zijn constructief; het blijft een open vraag of gradiëntafdaling (gradient descent) in de praktijk kan leren om deze constructies te implementeren.
• Theoretische Aannames: De "tokens-as-gates" mapping gaat uit van ongenormaliseerde harde aandacht, wat verschilt van de standaard softmax-gebaseerde transformers die in de praktijk worden gebruikt.
• Speelgoedinstanties (Toy Instances): Experimenten werden uitgevoerd op speelgoedinstanties. De schalingswetten bevatten constanten die artefacten zijn van de Reifier-compiler, en het is niet bevestigd of deze wetten zonder kwalificatie gelden voor volledige Keccak-permutaties (zoals gebruikt in SHA-3) of productie-schaal MDCs.

Ondanks deze beperkingen legt het werk de basis voor een nieuwe klasse van AI-veiligheidsevaluaties en suggereert het toekomstige richtingen, zoals het construeren van expliciete transformers met gespecificeerde aandachtkoppen, het testen van leervermogen via gradiëntafdaling, en het ontwikkelen van alternatieve mappings zoals "tokens-as-states".