Resumo Técnico: Projeto Experimental Bayesiano Constrained via Planejamento Online (COPEx)

Formulação do Problema

O Projeto Experimental Bayesiano (BED) fornece uma estrutura para selecionar adaptativamente experimentos ótimos a fim de maximizar o ganho de informação, tipicamente medido pelo Ganho de Informação Esperado (EIG). No entanto, os métodos BED de última geração existentes, particularmente as abordagens baseadas em políticas amortizadas, lutam para se adaptar a restrições dinâmicas inerentes à implantação no mundo real. Essas restrições incluem:

• Restrições de Transição: Limitações físicas que restringem como os projetos podem evoluir (por exemplo, limites de movimento de sensores exigindo trajetórias suaves onde $\|x_t - x_{t-1}\| \leq \delta$).
• Restrições de Orçamento: Limites globais sobre recursos ou custos totais que variam entre instrumentos e ao longo do tempo.
• Restrições de Viabilidade: Restrições operacionais que ditam experimentos futuros admissíveis.

Os métodos amortizados atuais treinam políticas offline para maximizar o EIG total sob uma noção fixa de viabilidade. Quando as restrições mudam na implantação (por exemplo, um novo limite de orçamento ou uma restrição de movimento mais estrita), essas políticas frequentemente falham em se adaptar sem um re-treinamento dispendioso. O mascaramento pós-hoc ingênuo de ações inválidas força a política a trajetórias não vistas durante o treinamento, levando a projetos sub-ótimos e alta incerteza posterior.

Metodologia: COPEx

Os autores propõem o COPEx (Planejamento Online Constrained para Projeto Experimental), um método semi-amortizado que combina pré-treinamento offline com planejamento de olhar para frente multi-etapa online. A inovação central é resolver o problema BED constrained via busca em árvore de cenários sobre resultados experimentais hipotéticos.

1. Pré-treinamento Offline (Amortização)

Para tornar o planejamento online computacionalmente viável, o COPEx pré-treina duas redes neurais:

• Rede Posterior Amortizada ($q_\phi$): Um estimador de densidade condicional (especificamente uma Rede de Densidade de Mistura baseada em Processos Neurais Transformer) que aprende a mapear conjuntos de dados $D$ para uma posterior aproximada $q_\phi(\theta|D)$. Isso permite atualizações rápidas de crença e a geração de resultados "fantasia" sem re-treinamento.
• Política de Projeto Amortizada ($\pi_\psi$): Uma política treinada offline (usando aprendizado por reforço em tarefas sem restrições) para propor projetos iniciais de alta qualidade. Isso serve como um "início quente" para o otimizador online, enviesando a busca para regiões de alta utilidade.

2. Planejamento Online de Olhar para Frente Multi-etapa

Em cada passo de tempo $t$, o COPEx constrói uma árvore de cenários de horizonte finito de profundidade $H$:

• Construção da Árvore: A raiz representa o estado atual $(D_{t-1}, z_t)$, onde $z_t$ codifica estados de restrição (por exemplo, orçamento restante, projeto anterior). A árvore alterna entre selecionar um projeto $x$ e ramificar sobre um conjunto de observações de fantasia $\tilde{y}$ amostradas da distribuição preditiva posterior amortizada.
• Objetivo: O planejador otimiza o EIG cumulativo sobre a árvore, sujeito a restrições impostas em cada nó. O objetivo é aproximado via estimativa de Monte Carlo sobre os ramos de fantasia.
• Otimização One-Shot: Para evitar programação dinâmica aninhada, o COPEx emprega um truque de reparametrização. Variáveis de ruído base são amostradas uma vez e fixadas, tornando todos os resultados de fantasia funções determinísticas das variáveis de decisão. Isso transforma o problema em uma otimização não-linear one-shot sobre toda a estrutura da árvore.
• Inicialização: A otimização é inicializada usando a política amortizada $\pi_\psi$. Para lidar com casos em que as restrições deslocam significativamente a região viável, é usada uma estratégia de inicialização híbrida, combinando propostas baseadas em políticas com exploração aleatória.

3. Tratamento de Restrições

As restrições são integradas diretamente na otimização:

• Restrições de Transição: Impostas localmente restringindo o conjunto viável $X(z_t)$ em cada nó com base no projeto anterior.
• Restrições de Orçamento: Modeladas como uma variável de estado $b_t$ que evolui deterministicamente ($b_{t+1} = b_t - c(x_t)$). O conjunto viável é definido pelo orçamento restante.

Contribuições Principais

1. Estrutura COPEx: Uma abordagem semi-amortizada nova que permite otimização não míope sob restrições dinâmicas e de tempo de teste sem exigir re-treinamento.
2. Planejamento em Árvore de Cenários: Um método para construir e otimizar árvores de olhar para frente multi-etapa usando substitutos amortizados para contornar a intratabilidade computacional de expectativas aninhadas em BED sequencial.
3. Estratégia de Início Quente: O uso de uma política amortizada pré-treinada para inicializar o otimizador da árvore, reduzindo significativamente o custo computacional de encontrar soluções de alta qualidade em comparação com a inicialização aleatória.
4. Validação Empírica: Demonstração de que o COPEx se adapta a restrições (transição e orçamento) onde as linhas de base amortizadas e não amortizadas existentes falham ou performam de forma sub-ótima.

Resultados Experimentais

Os autores avaliaram o COPEx em três tarefas:

1. Localização (Restrições de Transição): Em uma tarefa de localização de fonte 2D com restrições de movimento limitadas ($\|x_t - x_{t-1}\| \leq \delta$), o COPEx alcançou consistentemente um EIG cumulativo mais alto do que as linhas de base (VPCE e ALINE). A lacuna de desempenho aumentou à medida que as restrições se tornavam mais apertadas ($\delta$ diminuiu). Um horizonte de planejamento de $H=1$ a $3$ ofereceu o melhor compromisso entre ganho de EIG e tempo de execução.
2. Elasticidade Constante de Substituição (Restrições de Orçamento): Em uma tarefa de economia comportamental com um orçamento global, o COPEx com olhar para frente ($H=1$) superou significativamente o COPEx míope e todas as linhas de base (VPCE, RL-BOED, ALINE) em termos de EIG acumulado antes do esgotamento do orçamento.
3. Aprendizado Ativo Consciente de Custo: Em funções de referência (Ackley, Branin, Goldstein-Price) com paisagens de custo heterogêneas (por exemplo, "Centro de Perigo"), o COPEx alcançou um Erro Quadrático Médio (RMSE) menor para o mesmo custo acumulado em comparação com as linhas de base de Processo Gaussiano. O planejamento não míope ($H>0$) forneceu vantagens claras, particularmente quando o orçamento restante era pequeno em relação ao horizonte de planejamento.

Significado e Alegações

O artigo alega que o COPEx aborda uma lacuna crítica no projeto experimental sequencial: a incapacidade dos métodos atuais de lidar com restrições dinâmicas e dependentes do caminho durante a implantação.

• Adaptabilidade: Ao contrário de políticas totalmente amortizadas que são rígidas a mudanças de restrição, o COPEx realiza planejamento online que leva explicitamente em conta o estado atual de restrição.
• Eficiência: Ao aproveitar substitutos amortizados para atualizações posteriores e estimativa de EIG, o COPEx alcança ganho de informação superior com apenas uma sobrecarga computacional modesta (tempo de execução na escala de segundos) em comparação com os custos proibitivos do planejamento não míope exato.
• Praticidade: O método é aplicável a cenários do mundo real, como sensoriamento móvel, ensaios clínicos e design de materiais, onde limites de movimento físico e restrições de orçamento são fundamentais para a estratégia experimental.

Os autores reconhecem limitações, incluindo a acumulação de erros de aproximação da posterior amortizada ao longo de horizontes longos e a dependência de otimização baseada em gradiente, que é mais adequada para espaços de projeto contínuos. Eles sugerem trabalhos futuros em modelos generativos mais expressivos e extensões para espaços de ação discretos.