Finding the Needle in a Haystack: Test-Time Analog Circuit Representation Adaptation for Bayesian Optimization

Resumo Técnico: Adaptação de Representação Analógica em Tempo de Teste para Otimização Bayesiana (TTARO)

Definição do Problema
O design de topologia de circuitos analógicos é um problema de otimização desafiador, caracterizado por um espaço de busca discreto e estruturado e custos de avaliação elevados (simulação, dimensionamento, verificação de restrições). A Otimização Bayesiana (BO) é um framework de eficiência de amostragem frequentemente utilizado para navegar nesse espaço. No entanto, os métodos de BO baseados em representação existentes normalmente dependem de embeddings de circuitos fixos gerados por codificadores pré-treinados (ex: redes neurais de grafos) antes do início da otimização.

O problema central identificado é um descompasso entre o aprendizado de representação e os objetivos de otimização. Os codificadores são geralmente treinados para reconstruir a estrutura do circuito ou capturar a semântica da topologia, não para organizar os circuitos de acordo com a Figura de Mérito (FoM) específica que está sendo otimizada. Consequentemente, a geometria do espaço latente pode não refletir a similaridade de desempenho; circuitos de alto desempenho podem estar dispersos, enquanto circuitos estruturalmente similares, mas de baixo desempenho, podem estar agrupados. Além disso, métodos como o Deep Kernel Learning (DKL) aprendem uma transformação de características apenas a partir de um conjunto inicial de designs avaliados e a congelam, falhando em incorporar novas evidências de FoM acumuladas durante a busca.

Metodologia: TTARO
O artigo introduz o Test-Time Analog Representation Adaptation for Bayesian Optimization (TTARO), um framework de BO de kernel profundo online projetado para alinhar dinamicamente o espaço de representação com o objetivo de otimização.

• Visão Geral do Framework: O TTARO parte de um banco finito de topologias de circuitos candidatas mapeadas para representações iniciais fixas ($h_i$) por um codificador pré-treinado.
• Adaptação Online: Diferente da BO de representação fixa ou do DKL padrão, o TTARO trata a transformação de características como um parâmetro aprendível que evolui ao longo do processo de BO. Em cada iteração $t$:
  1. O sistema observa os rótulos de FoM ($y_i$) dos circuitos avaliados até o momento.
  2. Ele treina conjuntamente um mapa de características não linear (um MLP de duas camadas) e um substituto de Processo Gaussiano (GP) usando o conjunto de dados atual $D_t$.
  3. O mapa de características transforma as representações iniciais fixas em um espaço latente adaptado ($z_i^{(t)}$) que é especificamente alinhado com a distribuição de FoM observada.
  4. O substituto GP, definido sobre essas representações adaptadas, computa pontuações de aquisição (usando EI, UCB ou TS) para selecionar o próximo candidato.
  5. A nova avaliação é adicionada ao conjunto de dados, e o processo se repete, retreinando o mapa de características e o substituto com os dados expandidos.
• Estrutura do Substituto: O framework suporta kernels lineares e de Função de Base Radial (RBF). A adaptação do mapa de características $\phi_{\theta_t}$ modifica diretamente a estrutura de covariância do kernel do GP, garantindo que circuitos com FoMs semelhantes sejam colocados mais próximos uns dos outros no espaço adaptado à medida que mais dados tornam-se disponíveis.

Principais Contribuições

1. Framework Inovador: A introdução do TTARO, o primeiro framework que explora a adaptação de embeddings de circuitos pré-treinados de forma online e consciente do objetivo, especificamente para a busca de topologia de circuitos analógicos.
2. Generalizabilidade: Demonstração de que o TTARO é compatível com várias funções de aquisição (Melhoria Esperada, Limite Superior de Confiança, Thompson Sampling) e tipos de kernel (Linear, RBF).
3. Avaliação Abrangente: Um estudo em larga escala envolvendo 160 configurações principais em dois benchmarks públicos (Ckt-Bench-101 e Ckt-Bench-301), oito pares de codificador/benchmark e múltiplas configurações de kernel/aquisição, avaliado sobre 20 sementes aleatórias cada.

Resultados
O artigo reporta extensos resultados experimentais comparando o TTARO contra:

• GP Fixo: BO sobre embeddings pré-treinados fixos.

• DKL: Deep Kernel Learning, onde a transformação é aprendida uma única vez a partir dos dados iniciais e congelada.

• GP-Oracle: Um baseline de limite superior onde o mapa de características é treinado em todos os rótulos de FoM disponíveis antes do início da BO (não implantável, mas informativo).

• Ganhos de Desempenho: Em 40 configurações de codificador/kernel/aquisição, o TTARO reduziu a Área Sob a Curva (AUC) de Regret em uma média de 15,2% em relação ao GP Fixo e 20,7% em relação ao DKL.

• Benchmarks Específicos:

  • No Ckt-Bench-101, o TTARO reduziu a AUC média de regret em 19,6% comparado ao GP.
  • No Ckt-Bench-301, a redução foi de 12,2% comparado ao GP.
  • Em configurações específicas (ex: codificador D-VAE com Linear/EI no Ckt-Bench-101), as reduções de AUC de regret chegaram a 46,7%.

• Comparação com DKL: Embora o DKL tenha mostrado resultados mistos (por vezes degradando o desempenho em espaços de busca maiores e heterogêneos como o Ckt-Bench-301), o TTARO evitou consistentemente essa degradação ao atualizar continuamente a representação.

• Alinhamento de Geometria: Visualizações (UMAP) e métricas KNN indicam que o TTARO reorganiza com sucesso o espaço latente, concentrando circuitos de alto desempenho em regiões coerentes, melhorando assim a capacidade de generalização do substituto.

Significância e Alegações
O artigo afirma que a qualidade do modelo substituto em BO baseado em representação depende criticamente do alinhamento entre a geometria do kernel e o objetivo de otimização. Enquanto as representações fixas e as transformações aprendidas em tempo único (DKL) são estáticas, o TTARO demonstra que incorporar continuamente novos rótulos de FoM observados no aprendizado de representação permite que o espaço de busca se adapte ao objetivo. Isso leva a decisões de aquisição mais eficazes e melhor eficiência de amostragem.

Os autores posicionam o TTARO como uma solução geral para o problema de "descompasso" na automação de design analógico, argumentando que, à medida que as avaliações de circuitos se acumulam, a representação deve evoluir para refletir o verdadeiro panorama de desempenho. O trabalho sugere que implementações futuras poderiam utilizar técnicas de GP escaláveis (ex: interpolação de kernel estruturada, métodos variacionais esparsos) para mitigar o custo computacional de retreinar o mapa de características a cada etapa, embora o estudo atual foque na eficácia do próprio mecanismo de adaptação.