🤖 machine learning

Bootstrap-Conditioned Action Selection with Tabular Foundation Models

Este artigo propõe o BC-ICL, uma nova política de bandit contextual que aproveita modelos fundacionais tabulares pré-treinados com aprendizado em contexto e reamostragem bootstrap para alcançar uma tomada de decisão online robusta e com eficiência de amostra, superando baselines estabelecidos em cenários esparsos e de cold-start.

Autores originais: Devansh Gupta, Shiv Tavker, Dmitry Efimov, Suchitra Sathyanarayana, Gitanjali Bhutani, Boris N. Oreshkin

Publicado 2026-08-10

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Devansh Gupta, Shiv Tavker, Dmitry Efimov, Suchitra Sathyanarayana, Gitanjali Bhutani, Boris N. Oreshkin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é o capitão de uma nave espacial tentando encontrar a melhor rota através de uma vasta galáxia nebulosa. Cada vez que você escolhe um caminho, recebe uma pequena dica — talvez um flash de luz ou um surto de estática — dizendo se você chegou perto do tesouro ou se estava apenas voando para um beco sem saída. Este é o coração de um problema que os cientistas chamam de "bandidos contextuais" (contextual bandits). Esta é a matemática por trás de como os computadores aprendem a fazer escolhas personalizadas, como sugerir um filme que você vá amar ou uma música para você dançar, com base em quem você é e no que você já gostou antes. A parte complicada é o "cold start" (início a frio): quando o computador sabe quase nada sobre você, ele tem que adivinhar loucamente para aprender. Os métodos tradicionais muitas vezes ficam presos adivinhando a mesma coisa errada repetidamente, ou ficam tão nervosos com a possibilidade de errar que param de tentar coisas novas. Eles precisam ser corajosos, mas inteligentes: explorar o desconhecido sem bater a nave.

Apresente um novo membro para a sua tripulação de nave espacial: um "modelo de fundação" (foundation model). Pense nisso como um detetive superinteligente e pré-treinado que já leu milhões de romances de mistério e sabe identificar padrões em dados melhor do que qualquer um. Normalmente, esses detetives apenas ficam sentados e dão respostas. Mas e se pudéssemos transformar esse detetive em um explorador? Foi exatamente isso que os pesquisadores deste artigo, Devansh Gupta e sua equipe, tentaram fazer. Eles perguntaram: podemos pegar este detetive pré-treinado, que está congelado e não consegue aprender novos truques sobre a hora, e fazê-lo jogar um jogo de "adivinhar o melhor movimento" sacudindo as pistas que ele vê?

Eles construíram um método chamado BC-ICL (Bootstrap-conditioned action selection using ICL). Veja como funciona em linguagem simples: Imagine que o detetive está olhando para um histórico de todas as viagens passadas da nave espacial. Em vez de olhar para todo o histórico de uma vez, o computador tira uma amostra de "bootstrap". Isso é como fazer uma fotocópia do registro histórico, mas com um toque: ele escolhe aleatoriamente alguns registros para incluir duas vezes e deixa outros de fora inteiramente, criando uma versão ligeiramente diferente, um "e se" do passado. O detetive congelado então olha para essa versão de história ligeiramente distorcida e faz um palpite sobre o melhor caminho. Como o registro histórico mudou ligeiramente, o palpite do detetive também muda. Ao repetir esse processo — embaralhando as pistas, perguntando ao detetive e escolhendo o melhor palpite — o computador cria uma estratégia que naturalmente explora novos caminhos sem precisar treinar o detetive do zero novamente.

Para tornar isso ainda melhor, a equipe adicionou um recurso especial de "arm-context" (contexto do braço). Imagine que a nave espacial tem muitos motores diferentes (ações) que ela pode usar. Normalmente, um computador trata cada motor como uma máquina separada e isolada. Mas este novo método trata os motores como um time. Ele usa um mapa "multiplicativo" que permite ao detetive ver como a situação atual (o contexto) interage com cada motor ao mesmo tempo. Isso significa que, se o detetive aprende algo sobre como o motor de "velocidade" funciona em uma tempestade, ele pode aplicar instantaneamente essa sabedoria ao motor de "direção" na mesma tempestade. É como um chef que, após aprender como o sal afeta um tomate, imediatamente sabe como o sal afetará um cogumelo, em vez de ter que testar cada vegetal separadamente.

Os pesquisadores testaram essa ideia em uma variedade de quebra-cabeças desafiadores, desde prever se um cogumelo é venenoso até classificar dígitos escritos à mão. Eles descobriram que o BC-ICL foi um jogador de destaque. Em muitos casos, ele cometeu menos erros (uma métrica chamada "regret" ou arrependimento) do que os métodos tradicionais que dependem de matemática linear ou redes neurais complexas treinadas do zero. Por exemplo, em um conjunto de dados chamado "Mushroom", o novo método cometeu 8% menos erros do que uma abordagem popular de rede neural. Mais impressionante ainda, ele fez isso sendo surpreendentemente eficiente; ao usar uma maneira inteligente de escolher quais registros históricos olhar (como lembrar apenas das viagens mais recentes ou das mais semelhantes), ele podia rodar quase tão rápido quanto os métodos antigos, apesar de realizar pensamentos mais complexos.

No entanto, o artigo também traça uma linha clara na areia. Eles testaram o que acontece se você apenas deixar o detetive adivinhar o "melhor" caminho todas as vezes sem embaralhar o histórico (uma abordagem "greedy" ou gananciosa). Os resultados mostraram que essa estratégia gananciosa frequentemente falha, ficando presa em caminhos ruins no início e nunca se recuperando. Da mesma forma, apenas deixar a incerteza natural do detetive guiar as escolhas não foi suficiente para vencer o novo método. O artigo sugere que a magia não está apenas no céreio do detetive, mas no ato de sacudir as pistas antes de pedir uma opinião. Os pesquisadores estão confiantes nesses resultados baseados em suas simulações em oito conjuntos de dados diferentes, mas também observam que esta abordagem depende fortemente de o detetive ter o tipo certo de pré-treinamento. Se o treinamento passado do detetive não corresponder à galáxia atual, o método pode ter dificuldades. Ainda assim, para o tipo certo de dados, essa estratégia de "sacudir e adivinhar" oferece uma maneira poderosa e prática de transformar um modelo estático e pré-treinado em um tomador de decisões dinâmico e exploratório.

Resumo Técnico: Seleção de Ações Condicionada por Bootstrap com Modelos Fundacionais Tabulares

Declaração do Problema

Bandidos contextuais fornecem um arcabouço para personalização com eficiência de amostragem, mas a implementação prática é dificultada por dados de interação esparsos e enviesados, estimativas de incerteza não confiáveis e cenários severos de cold-start. Embora abordagens de política global sejam o padrão em sistemas de larga escala para evitar a ineficiência de dados de bandidos por usuário, alcançar uma exploração principiada sem sacrificar a expressividade do modelo de recompensa continua sendo difícil.

Métodos clássicos frequentemente dependem de modelos de recompensa lineares com otimismo ou amostragem posterior, limitando o poder representacional. Por outro vez, métodos de bandido contextual neural podem modelar recompensas complexas, mas exigem o treinamento de redes específicas para a tarefa do zero usando apenas o feedback do bandido. Suas estimativas de incerteza (frequentemente baseadas em linearização ou dropout) são sensíveis a hiperparâmetros e frágeis em regimes de baixos dados. Enquanto isso, avanços recentes em Aprendizado em Contexto (ICL) para dados tabulares produziram preditores poderosos (ex: TabPFN, TabICL) que se adaptam a novas tarefas via uma única passagem direta (forward pass), amortizando efetivamente a inferência Bayesiana. No entanto, permanece uma questão em aberto se esses preditores de ICL pré-treinados podem ser diretamente utilizados para a seleção de ações em bandidos contextuais.

Metodologia: BC-ICL

Os autores propõem o BC-ICL (Bootstrap-conditioned action selection using ICL), um método que transforma um preditor de ICL tabular pré-treinado e congelado em uma política randomizada para tomada de decisão online.

Mecanismo Central

Em vez de atualizar os parâmetros do modelo online, o BC-ICL induz a exploração randomizando o histórico de condicionamento visto pelo modelo de backbone fixo. O algoritmo opera da seguinte forma em cada rodada $t$ :

Reamostragem por Bootstrap: Uma reamostragem de bootstrap $\tilde{D}_t$ é extraída do histórico de interação observado $D_t$ (amostrando $|D_t|$ observações com reposição).
Condicionamento: O preditor de ICL congelado $M$ é condicionado a este conjunto de dados reamostrado $\tilde{D}_t$ .
Pontuação: O modelo pontua todas as ações candidatas $a \in \mathcal{A}$ dado o contexto atual $x_t$ .
Seleção: A ação com a maior pontuação amostrada é selecionada: $a_t \in \arg\max_a \hat{\mu}_{\tilde{D}_t}(x_t, a)$ .
Atualização: A recompensa observada é anexada ao histórico, e o processo se repete.

Arquitetura de Condicionamento Braço-Contexto

Para abordar os modos de falha de bandidos de braços isolados e promover o compartilhamento de força estatística, os autores introduzem um mapeamento de características específico $\Phi_{mult}(x, a)$ :
$\Phi_{mult}(x, a) = [x; e_a; (x^\top P) \odot e_a]$
Onde:

$x$ é o contexto bruto.
$e_a$ é um embedding de braço fixo.
$P$ é uma matriz de projeção compartilhada.
$\odot$ denota multiplicação elemento a elemento.

Esta representação preserva o contexto bruto, codifica a identidade do braço e modela explicitamente as interações braço-contexto via o contexto projetado compartilhado. Crucialmente, as perturbações no histórico de condicionamento propagam-se através desta representação comum, afetando as pontuações para múltiplos braços simultaneamente, permitindo assim a exploração compartilhada.

Principais Contribuições

Proposta de Algoritmo: A introdução do BC-ICL, que acopla a reamostragem por bootstrap com um preditor de ICL congelado para converter um modelo supervisionado em uma regra de decisão capaz de exploração sem retreinamento online.
Inovação Arquitetônica: O design de um mapa de características multiplicativo braço-contexto que facilita a exploração compartilhada entre ações através de uma representação de contexto projetado comum.
Validação Empírica: Avaliação abrangente demonstrando que o BC-ICL (instanciado com TabPFN ou TabICL) supera as linhas de base de bandidos contextuais lineares, kernelizados e neurais sob protocolos online rigorosos.

Resultados Experimentais

Os autores avaliaram o BC-ICL em oito conjuntos de dados (incluindo repositórios UCI como Covertype, ISOLET, Letter e MNIST) convertidos em problemas de bandido contextual.

Desempenho: O BC-ICL alcançou o menor regret cumulativo na maioria dos conjuntos de dados, superando substancialmente as linhas de base estabelecidas como Linear TS, LinUCB, Kernel UCB/TS, NeuralUCB, NeuralTS e BootstrapNN.
- Exemplo: No dataset Mushroom, o BC-ICL-TabICL alcançou um regret de 37.7 comparado a 252.3 do NeuralTS (uma redução de 85%).
- Exemplo: No ISOLET, o BC-ICL manteve um regret consistentemente menor durante todo o processo de aprendizado em comparação com as linhas de base neurais.
Mecanismo de Exploração: Estudos de ablação revelaram que a incerteza preditiva interna do modelo de ICL sozinha (via seleção gananciosa ou amostragem da distribuição preditiva) é insuficiente para uma tomada de decisão sequencial eficaz. O mecanismo de reamostragem por bootstrap mostrou reduzir o regret em 5–19% sobre as linhas de base gananciosa e de amostragem em conjuntos de dados desafiadores, provando que o bootstrapping de dados é necessário para uma exploração eficaz.
Codificação de Características: O mapa de características multiplicativo ( $\Phi_{mult}$ ) superou significativamente a codificação one-hot simples ( $\Phi_{one-hot}$ ), reduzindo o regret final em 30–40% no ISOLET, confirmando a importância de modelar explicitamente as interações braço-contexto.
Eficiência Computacional: Embora usar o histórico completo de interações torne o BC-ICL mais lento que as linhas de base neurais (ex: 7x mais lento para TabPFN), os autores demonstraram que estratégias de seleção de contexto como KNN (nearest neighbors) ou FIFO (sliding window) reduzem significativamente o tempo de execução mantendo um desempenho de regret comparável ao uso do histórico completo.

Significância e Alegações

O artigo afirma que o BC-ICL oferece uma abordagem prática e eficaz para bandidos contextuais ao aproveitar os vieses indutivos de modelos fundacionais tabulares pré-treinados. Ao evitar a necessidade de treinar redes específicas para a tarefa do zero, o método alcança uma forte eficiência de amostragem, particularmente em regimes de cold-start e de baixos dados.

Os autores observam que o método assume o acesso a um modelo pré-treinado cujos vieses indutivos se alinham com a tarefa alvo; o desempenho pode degradar se houver um descompasso significativo entre a tarefa anterior e a atual. Além disso, embora o procedimento de bootstrap introduza um custo computacional, o uso de estratégias de seleção de contexto (KNN/FIFO) torna a abordagem escalável. Teoricamente, os autores sugerem que, sob suposições de estabilidade suaves, o regret do BC-ICL pode ser decomposto em um termo de estabilidade e um termo de representação, embora a formalização disso permaneça como uma direção para trabalhos futuros.

O trabalho apoia a intuição de que representações multiplicativas braço-contexto permitem um útil compartilhamento estatístico entre ações e que modelos de ICL pré-treinados, quando combinados com condicionamento por bootstrap, podem servir como políticas robustas e capazes de exploração para tomada de decisão online.