Resumo Técnico: Aquisição de Dados Adaptativa Eficiente via Representações de Crença Pré-treinadas (POLAR)

Declaração do Problema

A aquisição adaptativa de dados abrange problemas de aprendizagem sequencial, como o Design Experimental Bayesiano (BED), Otimização Bayesiana (BO) e Aprendizagem Ativa (AL). Nestes cenários, um aprendiz deve selecionar sequencialmente consultas (designs) para maximizar uma utilidade subsequente (ex: ganho de informação, identificação de ótimo global ou precisão preditiva) sob um orçamento finito.

As abordagens existentes para aprender políticas de aquisição geralmente se enquadram em duas categorias problemáticas:

1. Métodos baseados em posterior: Dependem do ajuste de um modelo probabilístico aos dados observados para computar uma posterior, que é então usada para avaliar uma função de aquisição (ex: Melhoria Esperada, Ganho de Informação Esperada). Estes métodos são limitados pela qualidade da aproximação da posterior. A especificação incorreta do modelo ou erros de aproximação podem distorcer a regra de aquisição, e esses erros se acumulam ao longo das rodadas sequenciais.
2. Métodos de aprendizagem de política direta: Mapeiam históricos de observações brutos diretamente para decisões (ex: via Aprendizagem por Reforço). Embora evitem a inferência de posterior explícita, eles devem aprender um mapeamento complexo de dados brutos para decisões do zero. Isso exige aprender simultaneamente como representar o conjunto de dados e como agir sobre essa representação, o que frequentemente leva à ineficiência de amostra e dificuldades de treinamento.

Metodologia: POLAR

Os autores introduzem o POLAR (Policy Learning with Belief Representations - Aprendizagem de Política com Representações de Crença), um framework que desacopla a aprendizagem de representação da aprendizagem de política. A ideia central é que a decisão sequencial ótima depende do histórico de observações apenas através de um estado de crença (belief state). Em vez de aprender este estado do zero ou depender de aproximações de posterior explícitas, o POLAR utiliza modelos de fundação preditivos pré-treinados como codificadores de estado de crença.

Arquitetura

1. Codificador de Crença (Backbone): O POLAR utiliza um Modelo de Fundação Tabular (TFM), como o TabPFN ou TabICL, pré-treinado em diversas tarefas sintéticas. Dada uma história de observações $D_{t-1}$ e um candidato $x$, o TFM produz uma representação oculta condicionada ao candidato $r_\psi(x, D_{t-1})$.

   • Ao contrário da distribuição preditiva final produzida pelo TFM, esta representação oculta é tratada como a representação de crença. Ela codifica como as previsões mudam com os dados (incerteza preditiva, estrutura local, comportamento dependente de contexto) sem se comprometer com uma aproximação de posterior específica.
   • O framework opera em um cenário baseado em pool, onde a política seleciona de um conjunto finito de candidatos $C_t$. O backbone processa o histórico uma única vez para gerar representações para todos os candidatos no pool.

2. Cabeça de Política (Policy Head): Uma cabeça de política leve e treinável $g_\eta$ mapeia a representação de crença $r_\psi$ para um logit escalar para cada candidato. Um softmax sobre estes logits define a política estocástica $\pi_\eta$. No momento da implantação, o candidato com a maior pontuação é selecionado.

3. Objetivo de Treinamento:

   • Perda de Política (Policy Loss): A política é treinada via gradientes de política em rollouts simulados. O objetivo maximiza uma utilidade específica da tarefa (ex: Ganho de Informação Esperada para BED, melhor valor terminal para BO). Os autores utilizam uma estratégia de atribuição de crédito local (incrementos de um passo) para reduzir a variância, em vez de uma função de valor de horizonte longo completa.
   • Adaptação do Backbone (Opcional): Para alinhar o backbone pré-treinado com a distribuição específica da tarefa subsequente, uma perda de predição supervisionada auxiliar ($L_{pred}$) é aplicada aos parâmetros do backbone.
   • Desacoplamento: Uma escolha de design crítica é que os gradientes da política não são propagados para o backbone. O backbone é atualizado apenas via perda de predição supervisionada, enquanto a cabeça de política é atualizada via gradiente de política. Isso evita que sinais de alta variância da aprendizagem por reforço desestabilizem as representações pré-treinadas.

Fundamentação Teórica

O artigo fornece uma visão decisória unificada, mostrando que a política Bayesiana ótima $\pi^*$ é uma função da posterior relevante para a tarefa $p(w|D_{t-1})$. Como a posterior é uma função do histórico, qualquer representação $e_t$ que permita a recuperação da posterior (via um decodificador) é uma representação de crença válida. O POLAR postula que os TFMs pré-treinados fornecem tais representações que são ricas o suficiente para determinar ações ótimas, mas estruturadas o suficiente para tornar o mapeamento para a cabeça de política fácil de aprender, evitando os extremos do histórico bruto (complexo demais) ou da posterior explícita (propensa a erros de aproximação).

Principais Contribuições

1. Visão Unificada: Os autores formalizam a aquisição de dados adaptativa como a aprendizagem de políticas sobre representações de crença, preenchendo a lacuna entre abordagens baseadas em histórico bruto e baseadas em posterior.
2. Arquitetura Desacoplada: Eles propõem uma arquitetia simples que utiliza modelos de fundação pré-treinados como codificadores de crença (fixos ou com ajuste fino) e treina uma cabeça de política separada, separando a aprendizagem de representação da tomada de decisão.
3. Eficiência de Amostra: Resultados empíricos demonstram que o POLAR atinge um desempenho de estado da arte em diversas tarefas (BED, BO, AL) enquanto requer significativamente menos amostras de treinamento (até $100\times$ menos) em comparação com métodos amortizados existentes.

Resultados Experimentais

Os autores avaliam o POLAR em três benchmarks principais:

1. Design Experimental Bayesiano (BED):

   • Tarefas: Localização de Posição (2D e 5D) e Substituição de Elasticidade Constante (CES).
   • Resultados: O POLAR supera significativamente os métodos amortizados de estado da arte (DAD, RL-BOED, ALINE). Na tarefa de Localização de Posição 5D, o POLAR supera o desempenho de pico do RL-BOED e DAD usando 10.000$\times$ menos amostras de treinamento e excede o ALINE com 100$\times$ menos amostras.
   • Ablações:
     • Backbone Congelado vs. Ajustado (Finetuned): O ajuste fino do backbone com perda de predição auxiliar produz melhor desempenho do que manter o backbone congelado, embora a versão congelada seja competitiva.
     • Gradientes Desacoplados vs. Acoplados: Permitir que os gradientes da política atualizem o backbone (acoplado) degrada severamente o desempenho, confirmando a necessidade de desacoplamento.
     • Pré-treinado vs. Do Zero: Treinar a arquitetura do zero converge muito mais devagar e apresenta desempenho inferior, destacando o valor do modelo de fundação pré-treinado.

2. Otimização Bayesiana (Otimização de Hiperparâmetros):

   • Benchmark: HPO-B (Hyperparameter Optimisation Benchmark).
   • Resultados: O POLAR atinge o menor regret médio e o melhor ranking médio através de seis espaços de busca, superando GPs clássicos, Meta-GPs e métodos amortizados de ponta a ponta como o NAP. Demonstra que o uso de um backbone TFM pré-treinado gera um desempenho mais forte do que aprender representações do zero.

3. Otimização Molecular:

   • Benchmark: DOCKSTRING (docking molecular de alta dimensão).
   • Resultados: Em um espaço discreto de 512 dimensões, o POLAR atinge o menor regret comparado a GPs com kernels Tanimoto, Florestas Aleatórias e uma linha de base TabICL com uma função de aquisição desenhada à mão. Isso confirma que aprender a regra de aquisição diretamente da representação de crença supera estratégias de aquisição fixas.

Significância e Alegações

O artigo afirma que o POLAR representa um passo significativo na escalabilidade e eficiência da aquisição de dados amortizada. Ao mudar o paradigma de aprender conjuntamente representações e decisões para agir sobre representações de crença pré-treinadas, o POLAR mitiga a ineficiência de amostra e a instabilidade de treinamento associadas à aprendizagem de política direta e aos erros de aproximação dos métodos baseados em posterior.

Os autores enfatizam que sua abordagem não é sobre projetar um novo estimador ou algoritmo de treinamento, mas sim reutilizar um modelo preditivo pré-treinado como um codificador de crença. Isso permite que uma pequena cabeça de política seja treinada com gradientes de política padrão, alcançando um desempenho superior com custos computacionais de treinamento drasticamente reduzidos. O framework é apresentado como uma solução unificada aplicável a BED, BO e AL, diferenciando-se apenas pela utilidade específica da tarefa usada para o treinamento.