Resumo Técnico: PFN-TS

Declaração do Problema

Bandits contextuais abordam a tomada de decisão sequencial sob incerteza, onde um agente observa um contexto, seleciona uma ação e recebe uma recompensa estocástica. O objetivo é minimizar o arrependimento cumulativo ao longo do tempo. A Amostragem de Thompson (TS) é uma estratégia padrão que mantém uma distribuição posterior bayesiana sobre funções de recompensa e amostra ações de forma gananciosa a partir dessa posterior. No entanto, a eficácia da TS depende da qualidade do modelo de recompensa subjacente.

Em aplicações tabulares (por exemplo, saúde móvel, recomendações), modelos de recompensa lineares são frequentemente mal especificados porque falham em capturar comportamentos humanos complexos, como interações, efeitos de limiar e heterogeneidade. Embora existam alternativas mais ricas (métodos de kernel, redes neurais, ensembles de árvores), elas sofrem com problemas de escalabilidade, alto custo computacional ou suposições estruturais rígidas. Além disso, esses modelos geralmente exigem hiperparâmetros difíceis de ajustar em configurações online.

Redes Ajustadas a Dados Prioritários (PFNs), como TabPFN e TabICL, oferecem uma alternativa promissora. São modelos baseados em transformers treinados para aproximar distribuições preditivas posteriores (PPDs) bayesianas através de um amplo prior de processos geradores de dados. Elas operam via aprendizado em contexto (ICL), não exigindo atualizações de parâmetros nem ajuste de hiperparâmetros. Contudo, existe uma lacuna crítica: as PFNs output PPDs (incerteza sobre recompensas futuras ruidosas), enquanto a TS requer incerteza sobre a função de recompensa média latente. Amostragem direta da PPD não equivale a amostragem da posterior da função média, levando a uma exploração subótima.

Metodologia: PFN-TS

Os autores propõem o PFN-TS, um algoritmo de Amostragem de Thompson que preenche essa lacuna convertendo preditivos posteriores de PFN em amostras da função de recompensa média latente. A metodologia consiste em três componentes principais:

1. Teorema do Limite Central Preditivo Subamostrado (SubCLT)

Para recuperar a distribuição posterior da média latente $f_0(x)$ a partir da sequência preditiva da PFN, os autores aproveitam um Teorema do Limite Central (CLT) preditivo.

• Base Teórica: Sob suposições específicas (variância assintótica, condições de quasi-martingala e momentos limitados), a cauda da sequência de médias preditivas converge para uma distribuição Gaussiana centrada na média latente.
• Inovação de Eficiência: Abordagens tradicionais para estimar a variância posterior exigem o cálculo da média preditiva sobre todos os $n$ prefixos do conjunto de dados, o que é computacionalmente proibitivo para bandits online ($O(n)$ passagens forward). O PFN-TS introduz um estimador subamostrado que calcula a variância usando apenas $O(\log n)$ prefixos espaçados geometricamente ($t_0, t_1, \dots, t_J$).
• Estimação de Variância: A variância é estimada usando incrementos de bloco $D_j = m_{t_j}(x) - m_{t_{j-1}}(x)$ ponderados harmonicamente ($w_j$). Os autores provam que esse estimador subamostrado é consistente ($\hat{V}_{s_n} \xrightarrow{p} V(x)$) e satisfaz o CLT, permitindo uma aproximação Gaussiana tratável $N(m_{s_n}(x), \hat{V}_{s_n}(x)/s_n)$ para a amostragem de Thompson.

2. Cache e Otimização Computacional

Para reduzir ainda mais o custo por rodada, o PFN-TS explora a arquitetura do TabICL (a PFN específica utilizada):

• Reutilização de Cache KV: O TabICL armazena em cache matrizes de atenção chave-valor para um conjunto de treinamento fixo. O PFN-TS reutiliza essas representações em cache entre rodadas.
• Pontos de Atualização: O algoritmo realiza apenas novas passagens forward nos "pontos de atualização" geométricos ($t_j$) definidos pela grade do SubCLT. Entre os pontos de atualização, utiliza a aproximação Gaussiana de instantâneo derivada do estado em cache mais recente. Isso reduz a complexidade de $O(n)$ para $O(\log n)$ passagens forward por braço por rodada.

3. Estratégia de Codificação Adaptativa

O artigo aborda a escolha de design de como representar a identidade do braço na entrada:

• Codificação Disjunta: Mantém modelos independentes por braço.
• Codificação Conjunta: Anexa a identidade do braço como um vetor one-hot ao contexto, permitindo compartilhamento de informações entre braços.
• Seleção Adaptativa: Como nenhuma codificação domina universalmente, o PFN-TS executa ambas em paralelo durante uma fase de "codificação dupla". Seleciona a codificação ativa com base no Score de Probabilidade Ranqueada Contínua (CRPS), uma regra de pontuação estritamente própria que mede a calibração. A codificação com CRPS cumulativo menor é mantida, e o desafiante é descartado após um tempo de troca pré-especificado.

Contribuições Principais

1. Ponte Algorítmica: O PFN-TS é o primeiro método a adaptar com sucesso PFNs (que output PPDs) para Amostragem de Thompson, derivando um estimador consistente para a variância posterior da média latente via um CLT subamostrado.
2. Garantias Teóricas:
   • Consistência: Prova a consistência do estimador de variância subamostrado sob suposições suaves.
   • Limite de Arrependimento: Deriva um limite de arrependimento bayesiano para o PFN-TS. O limite decompõe-se no arrependimento da Amostragem de Thompson exata sob o prior da PFN mais um termo de erro dependente da qualidade de aproximação da PFN e do processo de subamostragem.
3. Eficiência: Demonstra que $O(\log n)$ passagens forward são suficientes para estimação consistente de variância, tornando bandits baseados em PFN viáveis para implantação online.
4. Desempenho Empírico:
   • Benchmarks Sintéticos: O PFN-TS alcança o melhor rank médio em tarefas sintéticas não lineares (variantes de Friedman) e permanece competitivo em tarefas lineares.
   • Benchmarks OpenML: Supera as linhas de base (LinTS, NeuralTS, BFTS, XGBoostTS) em seis de oito conjuntos de dados de classificação para bandit.
   • Aplicação do Mundo Real: Em uma avaliação offline do ensaio de saúde móvel Drink Less, o PFN-TS atinge o maior valor de política estimado (SNIPS) no horizonte final, superando o BFTS e outras linhas de base.

Significado e Alegações

O artigo afirma que o PFN-TS demonstra que aprendizado em contexto tabular pode servir como um modelo de recompensa eficaz para tomada de decisão sequencial uma vez que a extração eficiente de incerteza e a codificação adaptativa sejam implementadas.

• Flexibilidade do Modelo: Diferentemente de modelos tradicionais, o PFN-TS não requer ajuste de hiperparâmetros e adapta-se automaticamente à estrutura dos dados (espalhamento, suavidade, não linearidade) inerente ao amplo prior da PFN.
• Viabilidade Prática: Ao reduzir o gargalo computacional da estimação de incerteza de linear para logarítmico em relação ao tamanho do conjunto de dados, o método torna a implantação de modelos fundamentais em configurações de bandit online prática.
• Robustez: O método mostra-se robusto através de diversos processos geradores de dados, performando bem tanto em tarefas sintéticas não lineares quanto em dados reais de saúde móvel.

Os autores permanecem modestos quanto às limitações, observando que o tempo de execução ainda é uma restrição devido às avaliações repetidas do modelo, e que a calibração em amostras finitas pode ser pobre quando os históricos dos braços são curtos ou pouco informativos. Eles sugerem trabalhos futuros em estimação de variância regularizada e limites de arrependimento mais precisos para os priores específicos TabPFN/TabICL.