🤖 machine learning

Finding the Needle in a Haystack: Test-Time Analog Circuit Representation Adaptation for Bayesian Optimization

Dit artikel introduceert TTARO, een test-time adaptatieframework voor Bayesiaanse optimalisatie dat analoge circuitrepresentaties tijdens het zoekproces dynamisch verfijnt door gezamenlijk feature-transformaties en Gaussian process-surrogaten te leren, waardoor het methoden met vaste embeddings aanzienlijk overtreft in het verminderen van regret over diverse optimalisatie-instellingen heen.

Oorspronkelijke auteurs: Fin Amin, Sounak Dutta, Paul D. Franzon

Gepubliceerd 2026-08-14

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Fin Amin, Sounak Dutta, Paul D. Franzon

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een schatzoeker bent die probeert de ene beste verborgen edelsteen te vinden in een enorme, chaotische grot vol met miljoenen stenen. Je hebt een kaart, maar die is een beetje wazig. Elke keer als je een steen oppakt om te controleren of het een edelsteen is, moet je deze door een trage, dure machine halen die er uren over doet om een resultaat te geven. Je kunt niet elke steen controleren; je hebt slechts genoeg tijd om een paar honderd te testen. Dit is de dagelijkse strijd van het ontwerpen van analoge circuits—complexe elektronische blauwdrukken waarbij het vinden van de perfecte lay-out lijkt op het zoeken naar een speld in een hooiberg, en het testen van elk ontwerp ongelooflijk kostbaar is.

Om dit op te lossen, gebruiken wetenschappers een slimme strategie genaamd "Bayesiaanse optimalisatie". Denk aan een slimme gids die leert van elke steen die je test. Na het controleren van een paar stenen bouwt de gids een mentaal model om te raden welke ongeteste stenen edelstenen zouden kunnen zijn. Maar hier zit de adder onder het gras: de gids heeft een goede kaart nodig om mee te beginnen. Als de kaart de stenen groepeert op kleur of grootte in plaats van op hun "edelsteen-waardigheid", raakt de gids in de war en verspilt hij tijd. Meestal worden deze kaarten één keer getekend en daarna bevroren, zelfs als de gids beseft dat de kaart hem in cirkels laat lopen. Dit artikel stelt een simpele maar krachtige vraag: Wat als de gids de kaart in realtime opnieuw zou kunnen tekenen, door de stenen rond te verschuiven terwijl hij meer leert over wat een edelsteen een edelsteen maakt?

De auteurs van dit artikel, Fin Amin, Sounak Dutta en Paul D. Franzon, introduceren een nieuwe methode genaamd TTARO (Test-Time Analog Representation Adaptation for Bayesian Optimization). Ze behandelen het ontwerpproces als een spelletje "Warm of Koud". Op de oude manier is de kaart (de representatie van het circuit) vastgesteld voordat het spel begint. Als de kaart een klein beetje afwijkt, blijft de gids struikelen, niet in staat om te zien dat de "warme" (goede) stenen eigenlijk bij elkaar gegroepeerd zijn in een specifieke hoek van de grot. TTARO verandert de regels: elke keer dat de gids een nieuwe steen test en een resultaat krijgt, past hij de kaart onmiddellijk aan. Het hervormt de grot zodat stenen met vergelijkbare prestatieniveaus dichter bij elkaar drijven, en stenen met verschillende niveaus verder van elkaar af drijven.

In hun experimenten testte het team deze idee op twee enorme bibliotheken van circuitontwerpen, met respectievelijk 10.000 en 50.000 kandidaten. Ze vergeleken TTARO met de standaardmethode (waarbij de kaart nooit verandert) en een iets slimmere methode waarbij de kaart één keer aan het begin wordt bijgewerkt en daarna bevroren. De resultaten waren duidelijk: door de kaart constant aan te passen aan de "edelsteen-waardigheid" van de stenen terwijl ze deze vonden, vond TTARO veel sneller betere circuits. Gemiddeld verminderde het de "regret" (de hoeveelheid tijd verspild aan slechte gissingen) met ongeveer 15% vergeleken met de standaardmethode en met meer dan 20% vergeleken met de methode waarbij de kaart slechts één keer werd bijgewerkt. In sommige specifieke scenario's was de verbetering zelfs zo hoog als 46,7%.

Het artikel pleit tegen het idee dat een statische kaart goed genoeg is voor deze complexe zoektochten. Ze laten zien dat zelfs een kaart die aan het begin goed lijkt, misleidend kan worden naarmate je meer leert over het specifieke doel dat je nastreeft. Door de kaart flexibel te houden en het toe te staan dat deze evolueert met elke nieuwe stukje data, wordt de zoektocht veel efficiënter. Hoewel de methode wat meer computerkracht vereist om de kaart bij elke stap opnieuw te tekenen, suggereren de auteurs dat deze kosten het waard zijn, omdat het de veel grotere kosten van het draaien van onnodige, dure simulaties bespaart. Uiteindelijk suggereert TTARO dat, in de jacht op het perfecte circuit, de beste manier om de naald te zien, het voortdurend hervormen van de hooiberg is terwijl je zoekt.

Technische Samenvatting: Test-Time Analog Representation Adaptation voor Bayesian Optimization (TTARO)

Probleemstelling
Het ontwerp van analoge circuittopologieën is een uitdagend optimalisatieprobleem dat wordt gekenmerkt door een discrete, gestructureerde zoekruimte en kostbare evaluatiekosten (simulatie, sizing, controle van constraints). Bayesian Optimization (BO) is een sample-efficiënt framework dat vaak wordt gebruikt om deze ruimte te navigeren. Bestaande op representatie gebaseerde BO-methoden vertrouiden echter meestal op vaste circuit-embeddings die worden gegenereerd door vooraf getrainde encoders (bijv. graph neural networks) voordat de optimalisatie begint.

Het kernprobleem is een mismatch tussen representatieleer en optimalisatie-objectieven. Encoders zijn meestal getraind om de circuitstructuur te reconstrueren of topologische semantiek te vangen, en niet om circuits te organiseren volgens het specifieke Figure of Merit (FoM) dat wordt geoptimaliseerd. Bijgevolg weerspiegelt de geometrie van de latente ruimte mogelijk niet de prestatiegelijkenis; hoogpresterende circuits kunnen verspreid zijn, terwijl structureel gelijke maar laagpresterende circuits geclusterd kunnen zijn. Bovendien leren methoden zoals Deep Kernel Learning (DKL) een feature-transformatie alleen vanuit een initiële set geëvalueerde ontwerpen en bevriezen deze vervolgens, waardoor ze er niet in slagen om nieuwe FoM-bewijslast die tijdens de zoektocht wordt verzameld, te incorporeren.

Methodologie: TTARO
Het artikel introduceert Test-Time Analog Representation Adaptation for Bayesian Optimization (TTARO), een online deep-kernel BO-framework dat is ontworpen om de representatieruimte dynamisch af te stemmen op het optimalisatie-objectief.

Framework Overzicht: TTARO begint met een eindige bank van kandidaat-circuittopologieën die door een vooraf getrainde encoder worden toegewezen aan vaste initiële representaties ( $h_i$ ).
Online Adaptatie: In tegen tegenstelling tot fixed-representation BO of standaard DKL, behandelt TTARO de feature-transformatie als een leerbare parameter die gedurende het BO-proces evolueert. In elke iteratie $t$ $t$ :
1. Het systeem observeert de FoM-labels ( $y_i$ ) van de tot nu toe geëvalueerde circuits.
2. Het traint gezamenlijk een niet-lineaire feature map (een twee-laags MLP) en een Gaussian Process (GP) surrogate met behulp van de huidige dataset $D_t$ .
3. De feature map transformeert de vaste initiële representaties naar een aangepaste latente ruimte ( $z_i^{(t)}$ ) die specifiek is afgestemd op de geobserveerde FoM-distributie.
4. De GP-surrogate, gedefinieerd over deze aangepaste representaties, berekent acquisitie-scores (met behulp van EI, UCB of TS) om de volgende kandidaat te selecteren.
5. De nieuwe evaluatie wordt toegevoegd aan de dataset, waarna het proces wordt herhaald door de feature map en de surrogate te hertrainen met de uitgebreide data.
Surrogate Structuur: Het framework ondersteunt zowel lineaire als Radial Basis Function (RBF) kernels. De adaptatie van de feature map $\phi_{\theta_t}$ wijzigt direct de covariantiestructuur van de GP-kernel, waardoor circuits met vergelijkbare FoM's dichter bij elkaar worden geplaatst in de aangepaste ruimte naarmate er meer data beschikbaar komt.

Belangrijkste Bijdragen

Nieuw Framework: De introductie van TTARO, het eerste framework dat online, objectief-bewuste adaptatie van vooraf getrainde circuit-embeddings onderzoekt, specifiek voor de zoektocht naar analoge circuittopologieën.
Generaliseerbaarheid: De demonstratie dat TTARO compatibel is met diverse acquisitie-functies (Expected Improvement, Upper Confidence Bound, Thompson Sampling) en kerneltypen (Lineair, RBF).
Uitgebreide Evaluatie: Een grootschalige studie met 160 hoofdconfiguraties over twee publieke benchmarks (Ckt-Bench-101 en Ckt-Bench-301), acht encoder/benchmark-combinaties en meerdere kernel/acquisitie-instellingen, geëvalueerd over 20 willekeurige seeds elk.

Resultaten
Het artikel rapporteert uitgebreide experimentele resultaten waarbij TTARO wordt vergeleken met:

Fixed GP: BO over vaste vooraf getrainde embeddings.
DKL: Deep Kernel Learning waarbij de transformatie één keer wordt geleerd van initiële data en vervolgens wordt bevroren.
GP-Oracle: Een upper-bound baseline waarbij de feature map wordt getraind op alle beschikbare FoM-labels voordat de BO begint (niet-inzetbaar maar informatief).
Prestatiewinst: Over 40 encoder/kernel/acquisitie-instellingen verminderde TTARO de Regret Area Under the Curve (AUC) gemiddeld met 15,2% ten opzichte van Fixed GP en met 20,7% ten opzichte van DKL.
Specifieke Benchmarks:
- Op Ckt-Bench-101 verminderde TTARO de gemiddelde regret AUC met 19,6% vergeleken met GP.
- Op Ckt-Bench-301 was de reductie 12,2% vergeleken met GP.
- In specifieke configuraties (bijv. D-VAE encoder met Lineair/EI op Ckt-Bench-101) bereikten de reducties in regret AUC wel 46,7%.
Vergelijking met DKL: Hoewel DKL gemengde resultaten liet zien (het degradeerde soms de prestaties op grotere, heterogene zoekruimtes zoals Ckt-Bench-301), voorkomde TTARO consequent deze degradatie door de representatie continu bij te werken.
Geometrische Afstemming: Visualisaties (UMAP) en KNN-metrieken geven aan dat TTARO erin slaagt de latente ruimte te reorganiseren, waarbij hoogpresterende circuits in coherente regio's worden geconcentreerd, wat de generalisatiecapaciteit van de surrogate verbetert.

Betekenis en Claims
Het artikel claimt dat de kwaliteit van het surrogaatmodel in representatie-gebaseerde BO kritisch afhankelijk is van de afstemming tussen de kernel-geometrie en het optimalisatie-objectief. Terwijl vaste representaties en een eenmalig geleerde transformatie (DKL) statisch zijn, demonstreert TTARO dat het voortdurend integreren van nieuw geobserveerde FoM-labels in de representatieleer de zoekruimte in staat stelt om zich aan te passen aan het objectief. Dit leidt tot effectievere acquisitie-beslissingen en verbeterde sample-efficiëntie.

De auteurs positioneren TTARO als een algemene oplossing voor het "mismatch"-probleem in analoge design automatisering, met het argument dat naarmate de circuit-evaluaties zich ophopen, de representatie moet evolueren om de werkelijke prestatielandschappen te reflecteren. Het werk suggereert dat toekomstige implementaties schaalbare GP-technieken kunnen gebruiken (bijv. structured kernel interpolation, sparse variational methods) om de computationele overhead van het hertrainen van de feature map bij elke stap te beperken, hoewel de huidige studie zich richt op de effectiviteit van het adaptatiemechanisme zelf.

Technische Samenvatting: Test-Time Analog Representation Adaptation voor Bayesian Optimization (TTARO)

Meer zoals dit