Technische Samenvatting: AnalogFed

Probleemstelling

Generatieve AI (GenAI) bezit transformatieve potentie voor Electronic Design Automation (EDA), met name voor de ontdekking van analoge circuittopologieën. De adoptie van GenAI voor hardwareontwerp wordt echter ernstig beperkt door gegevensprivacy en datasilovorming. In tegen afstelling tot taal- of visiedomeinen, die profiteren van enorme open corpora, zijn praktische hardware-datasets (bijv. Verilog-codebases, analoge circuitbibliotheken) eigendom van organisaties en verspreid over verschillende entiteiten, wat gecentraliseerde modeltraining onmogelijk maakt vanwege zorgen over intellectueel eigendom (IP).

Hoewel Federated Learning (FedL) een mechanisme biedt voor collaboratieve training zonder ruwe data te delen, introduceert het toepassen van FedL op GenAI-gestuurd hardwareontwerp unieke beveiligingskwetsbaarheden:

1. Model Inversion Attacks: Aanvallers (of een semi-eerlijke server) kunnen propriëtaire circuittopologieën reconstrueren uit de verzonden modelgradiënten.
2. Membership Inference Attacks (MIAs): Vanwege het autoregressieve karakter van GenAI-modellen, die memorisatie en hoog-betrouwbare voorspelling van de volgende token stimuleren, kunnen aanvallers bepalen of specifieke circuitontwerpen deel uitmaakten van de trainingsset door de modeloutputs te analyseren.
3. Implementatiecomplexiteit: Een praktisch framework moet niet alleen de circuittopologie IP van de ontwerper beschermen, maar ook de halfgeleiderfabricagetechnologie (procesparameters) die wordt gebruikt om de prestaties van het circuit te evalueren.

Bestaande verdedigingen, zoals Differential Privacy (DP), pruning of regularisatie, zijn vaak ontoereikend voor grote autoregressieve modellen, omdat ze leiden tot significante degradatie van de bruikbaarheid (utility) of onvoldoende bescherming bieden tegen geavanceerde aanvallen.

Methodologie: Het AnalogFed Framework

De auteurs stellen AnalogFed voor, het eerste privacy-bewarende framework voor grootschalige analoge circuittopologie-ontdekking met behulp van FedL en GenAI. Het framework integreert drie kerntechnische strategieën:

1. Tweestaps Privacy-Bewarende Implementatie

Om de dubbellaagse privacyvereisten (ontwerper IP en fabrikant procestechnologie) aan te pakken, hanteert AnalogFed een tweestapsstrategie:

• Federated Pre-training: Cliënten trainen gezamenlijk een gedeeld generatief model (gebaseerd op de state-of-the-art AnalogGenie backbone) met behulp van gedistribueerde private topologie-datasets. Deze fase legt de fundamentele kennis van circuitconnectiviteit vast zonder de ruwe data bloot te leggen.
• Gedecentraliseerde Fine-tuning: Cliënten voeren lokale fine-tuning uit op specifieke taken (bijv. het ontwerpen van hoogwaardige Op-Amps) met behulp van hun private datasets en specifieke halfgeleiderprocesrestricties. Dit zorgt ervoor dat gevoelige fabricagetechnologie lokaal bij de cliënt blijft. De fine-tuning maakt gebruik van Reinforcement Learning with Human Feedback (RLHF) via Proximal Policy Optimization (PPO) om te optimaliseren voor prestatie-indicatoren zoals de Figure-of-Merit (FoM).

2. Dynamische Homomorfe Encryptie (DHE)

Om Model Inversion Attacks tijdens de pre-training fase te bestrijden, introduceert AnalogFed een mechanisme voor Dynamische Homomorfe Encryptie.

• Observatie: Gradiënten in diepe neurale netwerken vertonen een convergentiegedrag waarbij de magnitudes groot zijn in de vroege trainingsstadia (zeer informatief) en aanzienlijk afnemen in latere stadia.
• Mechanisme: DHE versleutelt adaptief alleen de vroeoche, grote-magnitude gradiënten. De encryptie wordt automatisch uitgeschakeld zodra de reductie in loss onder een drempelwaarde van 20% zakt voor vijf opeenvolgende epochs (meestal na ~600 rondes).
• Voordeel: Deze aanpak vermindert de computationele en communicatieve overhead die gepaard gaat met volledige homomorfe encryptie aanzienlijk, terwijl het effectief voorkomt dat aanvallers modelparameters reconstrueren uit de meest informatieve updates.

3. Dummy Token Input Perturbatie

Om Membership Inference Attacks (MIAs) te mitigeren zonder de bruikbaarheid van het model te verslechteren, stelt AnalogFed een nieuwe input-perturbatiestrategie voor:

• Mechanisme: Het framework injecteert "dummy tokens" (die dummy draden vertegenwoordigen die knooppunten verbinden met power/ground, bijv. VDD/VSS) in de circuittopologie-sequenties tijdens de training. Deze tokens bootsen industriestandaard praktijken voor lay-out symmetrie na, maar dienen als privacyverdediging.
• Trainingsstrategie: De dummy tokens worden met een specifieke ratio (bijv. 6%) in de input-sequenties geïnjecteerd. Cruciaal is dat de loss-functie gemaskeerd is voor deze dummy tokens, wat betekent dat ze fungeren als input-perturbaties maar niet bijdragen aan de gradiënt-updates.
• Effect: Dit verschuift de distributie van de trainingsdata, waardoor de overmatige vertrouwdheid van het model met specifieke trainingspatronen wordt verminderd en het voor aanvallers moeilijker wordt om tussen member en non-member circuits te onderscheiden op basis van voorspellingszekerheid.

Belangrijkste Bijdragen

1. Eerste FedL Framework voor GenAI-gestuurde EDA: AnalogFed pioniert de integratie van Federated Learning met Generatieve AI specifiek voor analoge ontwerpautomatisering, waarmee een fundament wordt gelegd voor schaalbare, privacy-bewarende hardwareontwerp.
2. Tweelaagse Privacy-Collaboratie: Het framework adresseert uniek de bescherming van zowel propriëtaire topologie-datasets (ontwerper IP) als halfgeleiderfabricagetechnologieën (fabrikant IP) via een gestaffelde implementatiestrategie.
3. Domeinspecifieke Verdedigingsmechanismen:
   • Dummy Token Perturbatie: Een nieuwe, laag-overhead strategie om MIAs in circuit-generatieve modellen te mitigeren door inputs te verstoren in plaats van ruis toe te voegen aan modelupdates.
   • Dynamische Homomorfe Encryptie: Een geoptimaliseerd encryptieschema dat een balans vindt tussen veiligheid en efficiëntie door alleen de meest informatieve vroege-fase gradiënten te versleutelen.
4. Uitgebreide Evaluatie: Het werk biedt uitgebreide experimenten die de haalbaarheid, schaalbaarheid en robuustheid van het framework aantonen in diverse federated settings, inclus_ief gebalanceerde en ongebalanceerde datadistributies.

Experimentele Resultaten

De auteurs hebben AnalogFed geëvalueerd met de AnalogGenie dataset (3.350 unieke analoge topologieën) en een 11,8M parameter decoder-only Transformer model.

• Federated Discovery Capability: De prestaties (Validiteit, Nieuwigheid, FoM, Schaalbaarheid) verbeterden consistent naarmate het aantal deelnemende cliënten toenam (van 3 naar 16), wat aantoont dat FedL gedistribueerde data kan benutten om krachtigere modellen te bouwen dan single-client training. De dummy token injectiestrategie degradeerde de bruikbaarheid van het model niet vergeleken met gecentraliseerde training zonder dummy tokens.
• DHE Efficiëntie: Door alleen de eerste 600 rondes te versleutelen, bereikte DHE een 5,1× reductie in communicatiekosten vergeleken met volledig versleutelde baselines (FEDML-HE) en reduceerde het de trainingstijd van 184 uur (statische encryptie) naar 48,5 uur, terwijl de modelnauwkeurigheid vergelijkbaar bleef met plaintext training.
• MIA Defensie: De dummy token verdediging verminderde het succespercentage van zeven standaard MIA-strategieën (bijv. Loss, Zlib, Mink) aanzienlijk. Met een dummy token ratio van 6% en een blokgrootte van 4, daalden de Area Under the Receiver Operating Characteristic Curve (AUC-ROC) scores naar bijna willekeurige gokniveaus (~0,5), wat wijst op sterke privacybescherming. De verdediging bleef robuust, zelfs wanneer de aanval-inputs mismatched dummy-configuraties bevatten.

Betekenis en Claims

Het artikel claimt dat AnalogFed de basis legt voor schaalbare, multi-party samenwerking in de volgende generatie hardwareontwerpautomatisering. Door de kritieke knelpunten van datasilovorming en privacyrisico's op te lossen, maakt het framework de ontwikkeling van fundamentele design-agents mogelijk die in staat zijn tot het ontdekken van nieuwe analoge circuits die voorheen onbereikbaar waren door dataschaarste.

De auteurs positioneren AnalogFed niet enkel als een theoretische bijdrage, maar als een praktische oplossing die de specifieke kwetsbaarheden van GenAI in het hardwaredomein aanpakt. Zij stellen dat dit werk de weg vrijmaakt voor toekomstige grootschalige GenAI-gestuurde EDA, waardoor organisaties kunnen samenwerken aan innovatie zonder de vertrouwelijkheid van hun propriëtaire ontwerpen of fabricageprocessen in gevaar te brengen. Het framework wordt gepresenteerd als een stap naar een breder paradigma van privacy-bewarende, cross-organisatorische GenAI voor hardwareontwerp.