Resumo Técnico: Caliper-in-the-Loop: Otimização de Caixa Preta para Ajuste de Desempenho do Hyperledger Fabric

Declaração do Problema

O Hyperledger Fabric (HLF) é um framework de blockchain modular e permissionado amplamente utilizado em ambientes empresariais. Sua flexibilidade decorre de um vasto espaço de configuração que abrange definições de peers e ordenadores, políticas de canais e opções de banco de dados de estado. No entanto, essa modularidade cria um ônus operacional significativo: o espaço de configuração contém centenas de parâmetros interagentes (317 dimensões neste estudo) que influenciam o desempenho de forma não linear. O ajuste manual é caro, demorado e difícil de reproduzir. Além disso, o desempenho é sensível a contextos de implantação específicos, tornando configurações "tamanho único" ineficazes.

Os autores enquadram a tarefa de ajuste como um problema de otimização de caixa preta ruidoso. O objetivo é maximizar a taxa de transferência (Transactions Per Second, ou TPS) selecionando um vetor de configuração $x$. A mapeamento da configuração para o desempenho é desconhecido, não diferenciável e caro de avaliar (requerendo implantação completa da rede e testes de referência). Adicionalmente, as avaliações estão sujeitas a ruído estocástico devido à não determinismo do sistema e à variabilidade da infraestrutura em nuvem.

Metodologia: Caliper-in-the-Loop

O artigo propõe um pipeline de malha fechada de ponta a ponta que automatiza o processo de ajuste, integrando geração de configuração, implantação de rede e testes de referência.

1. O Pipeline de Malha Fechada

O sistema opera iterativamente através de cinco etapas:

1. Materialização da Configuração: Um vetor candidato $x$ é decodificado em artefatos implantáveis do HLF usando modelos parametrizados, aplicando restrições de tipo e intervalo.
2. Instanciação da Rede: Uma rede HLF é implantada (peers, serviço de ordenação, canais, chaincode) com base na configuração candidata.
3. Execução do Teste de Referência: O Hyperledger Caliper executa uma carga de trabalho fixa e padronizada contra a rede em execução. A carga de trabalho (chaincode FabCar) e a duração permanecem constantes entre as iterações para isolar os efeitos da configuração.
4. Extração de Métricas: O Caliper gera um relatório do qual a taxa de transferência (TPS) é extraída como o valor objetivo $y(x)$.
5. Atualização do Otimizador: O par de observação $(x, y(x))$ é alimentado em um motor de Otimização Bayesiana (BO), que atualiza seu modelo substituto e propõe a próxima configuração candidata.

2. Estratégia de Otimização

Para abordar a "maldição da dimensionalidade" inerente ao espaço de busca de 317 dimensões, os autores combinam Otimização Bayesiana (BO) com estratégias de Redução de Dimensionalidade (DR).

• Funções de Aquisição (AF): Quatro estratégias são avaliadas para equilibrar exploração e exploração: Melhoria Esperada (EI), Probabilidade Máxima de Melhoria (MPI), Limite Superior de Confiança (UCB) e DYCORS (uma estratégia dinâmica de busca por coordenadas).
• Redução de Dimensionalidade (DR): Quatro técnicas são usadas para comprimir o espaço de busca para o modelo substituto:
  • PCA: Análise de Componentes Principais para encontrar um subespaço linear.
  • REMBO: Otimização Bayesiana de Incorporação Aleatória, mapeando candidatos de um espaço latente de baixa dimensão para o espaço original.
  • SA: Análise de Sensibilidade, classificando parâmetros pela influência observada.
  • SHAP: Atribuição de recursos baseada em um modelo preditivo ajustado.
• Protocolo Experimental: O estudo avalia todas as $4 \times 4 = 16$ combinações de AF e DR, juntamente com uma linha de base de busca aleatória. As tentativas são executadas em paralelo em 17 máquinas virtuais em um ambiente Yandex Cloud. Cada tentativa tem um orçamento fixo de 300 avaliações, inicializado com um desenho de Amostragem Hipercúbica Latina (LHS) para garantir cobertura inicial.

3. Tratamento de Ruído

Para mitigar a variabilidade de execução para execução, as medições de taxa de transferência são normalizadas contra uma configuração de referência fixa ($x_{ref}$) avaliada repetidamente ($K=10$ vezes). A métrica relatada é a razão entre a taxa de transferência do candidato e a taxa de transferência média da referência.

Contribuições Principais

1. Implementação do Sistema: Design e implementação de um ambiente de teste automatizado de malha fechada de ponta a ponta que implanta o HLF e o avalia usando o Hyperledger Caliper sem intervenção manual.
2. Formulação do Problema: Formalização do ajuste de taxa de transferência do HLF como um problema de otimização de caixa preta ruidoso sobre um espaço de configuração de alta dimensão e tipos mistos, derivado diretamente dos arquivos de configuração do HLF.
3. Avaliação Empírica: Uma avaliação abrangente da BO aumentada com estratégias de DR em um ambiente em nuvem, demonstrando que combinações específicas de funções de aquisição e redução de dimensionalidade podem produzir ganhos de desempenho mensuráveis.

Resultados

Sob a carga de trabalho e infraestrutura testadas:

• Ganhos de Desempenho: Várias variantes de BO+DR alcançaram melhorias mensuráveis na taxa de transferência em relação à primeira configuração avaliada.
  • A abordagem de melhor desempenho, DYCORS combinado com PCA, alcançou um aumento de 12% no TPS.
  • MPI combinado com REMBO alcançou um aumento de 9%.
  • Outras combinações produziram ganhos moderados na faixa de 4–8%.
• Ruído e Estabilidade: As pontuações de ruído de medição (variabilidade da configuração de referência) variaram de 0,014 a 0,032. As melhorias observadas (9–12%) excederam essa faixa de ruído, sugerindo que os ganhos não são meramente artefatos de flutuação de medição.
• Sensibilidade do Método: Nenhuma função de aquisição única dominou em todas as estratégias de DR. A eficácia da otimização dependeu altamente do pareamento específico da função de aquisição e da técnica de redução de dimensionalidade.
• Comportamento de Busca: A análise das alterações de configuração mostrou que os métodos bem-sucedidos frequentemente exibiam comportamento de busca localizado (pequenas alterações sucessivas) uma vez que regiões promissoras foram identificadas, embora alguns métodos exibissem uma exploração mais agressiva.

Significado e Limitações

O artigo afirma que Otimização Bayesiana combinada com Redução de Dimensionalidade é uma alternativa eficaz e eficiente em termos de amostras ao método de tentativa e erro manual para ajustar o Hyperledger Fabric em espaços de alta dimensão. O framework "Caliper-in-the-Loop" demonstra como métodos de aprendizado de máquina podem ser integrados ao gerenciamento de configuração de blockchain para automatizar a otimização de desempenho.

No entanto, os autores mantêm uma postura modesta quanto à generalizabilidade desses resultados:

• Dependência de Contexto: Os ganhos relatados são condicionais à topologia de rede específica (5 organizações), chaincode (FabCar), carga de trabalho e perfil de VM em nuvem utilizados. Diferentes políticas de endosso, bancos de dados de estado ou níveis de concorrência poderiam deslocar os gargalos de desempenho.
• Sensibilidade de Medição: Embora a normalização mitigue a deriva, pequenas diferenças de desempenho entre métodos classificados de perto ainda podem cair dentro da faixa de variabilidade das medições em nuvem.
• Restrições de Viabilidade: A abordagem atual trata configurações inviáveis (por exemplo, combinações de parâmetros inválidas) como avaliações falhas que consomem o orçamento, em vez de modelar restrições explicitamente.

Trabalhos futuros são identificados como a extensão da avaliação para cargas de trabalho adicionais e a exploração de critérios de ajuste multiobjetivo que capturem conjuntamente taxa de transferência, latência e confiabilidade. Os autores também observam que, embora este artigo foque na otimização de rede única, a metodologia foi projetada com o objetivo futuro de aprendizado de transferência entre diferentes implantações de blockchain.