Resumo Técnico: Bandidos Mediados por Geradores (GAMBITTS)

Formulação do Problema

Este artigo aborda uma classe específica de problemas de tomada de decisão sequencial onde a ação do agente não determina diretamente a recompensa do ambiente. Em vez disso, o agente seleciona uma ação (por exemplo, uma consulta ou prompt), que aciona um gerador estocástico (como um Grande Modelo de Linguagem - LLM) para produzir um tratamento (por exemplo, uma resposta de texto). O ambiente então reage a este tratamento gerado, produzindo uma recompensa.

Os autores formalizam isso como o problema do Bandido Mediado por Gerador (GAMBIT). Neste framework:

1. Divisão Ação/Tratamento: O agente escolhe uma ação $A_t$ (consulta), mas o ambiente recebe um tratamento estocástico $G_t$ (saída gerada).
2. Alta Dimensionalidade: O espaço de tratamento $G$ (por exemplo, texto em linguagem natural) é de alta dimensão, tornando a modelagem direta intratável.
3. Embedding Latente: Assume-se que o efeito do tratamento na recompensa $Y_t$ ocorre através de um embedding suficiente de menor dimensão $Z^*$. Como $Z^*$ não é observado, o agente deve confiar em um embedding de trabalho $Z = h(G)$.
4. Mediação Estocástica: Ao contrário dos bandidos contextuais padrão onde as ações mapeiam diretamente para recompensas, aqui a ação influencia a recompensa apenas indiretamente através da distribuição estocástica do tratamento. Algoritmos de bandidos padrão falham em explorar a estrutura da distribuição do tratamento, levando a um aprendizado ineficiente.

Metodologia: GAMBITTS

Os autores propõem o Bandido de Thompson Sampling Mediado por Gerador (GAMBITTS), um framework que modela explicitamente tanto o processo de geração do tratamento quanto o processo de geração da recompensa. A abordagem utiliza um procedimento de amostragem de dois estágios para capturar a incerteza através do processo de intervenção.

Componentes Principais

O framework modela duas distribuições condicionais:

1. Modelo de Tratamento: $Z_t \sim f_1(z; A_t, X_t, \theta_1)$, representando a distribuição do embedding do tratamento dado a ação e o contexto.
2. Modelo de Recompensa: $E[Y_t | Z_t, X_t] = m_2(Z_t, X_t; \theta_2)$, representando a recompensa esperada dado o embedding do tratamento e o contexto.

Variantes Algorítmicas

O artigo introduz duas instâncias primárias de GAMBITTS:

1. GAMBITTS Totalmente Online (foGAMBITTS):

   • Atualiza tanto o modelo de tratamento ($\theta_1$) quanto o modelo de recompensa ($\theta_2$) sequencialmente usando dados observados.
   • Adequado quando o agente não possui acesso a um simulador ou dados offline para o gerador.
   • Seleciona ações integrando sobre as distribuições posteriores de ambos os parâmetros: $E[Y | a, x] = \int m_2(z, x; \theta_2) f_1(z; a, x, \theta_1) dz$.

2. GAMBITTS Parcialmente Online (poGAMBITTS):

   • Alavanca o acesso a um simulador de gerador ou dados offline para aprender a distribuição do tratamento ($f_1$) independentemente das interações com o usuário.
   • O modelo de tratamento é pré-treinado (ou estimado empiricamente) e fixo, enquanto apenas o modelo de recompensa ($\theta_2$) é atualizado online.
   • Esta decomposição permite uma adaptação online mais eficiente ao transferir o aprendizado da complexa distribuição de tratamento para uma fase prévia.

Extensões Baseadas em Ensemble

Para lidar com relações de recompensa não lineares e evitar suposições paramétricas restritivas, os autores estendem ambas as variantes usando amostragem de ensemble (seguindo Lu e Van Roy, 2017). Estas variantes (ens-foGAMBITTS e ens-poGAMBITTS) mantêm um ensemble de modelos de recompensa para aproximar a posterior, permitindo o uso de modelos flexíveis como Perceptrons Multicamadas (MLPs).

Contribuições Principais

1. Definição de Framework: A formalização do problema GAMBIT, distinguindo-o de bandidos padrão e de bandidos causais ao focar na estrutura de mediação específica onde as ações resultam em tratamentos estocásticos e de alta dimensão.
2. Instanciações Algorítmicas: O desenvolvimento de algoritmos GAMBITTS (totalmente online, parcialmente online e baseados em ensemble) que modelam explicitamente a divisão tratamento-recompensa.
3. Garantias Teóricas:
   • Derivação de limites de regret bayesiano para foGAMBITTS e poGAMBITTS.
   • Decomposição das fontes de regret em incerteza de tratamento e incerteza de recompensa.
   • Prova de que o GAMBITTS alcança limites de regret mais agudos do que o Thompson Sampling padrão quando a dimensão do embedding do tratamento $d$ é significativamente menor que o produto dos espaços de contexto e ação ($d \ll \sqrt{CK}$).
   • Demonstração de que o poGAMBITTS com recompensas lineares alcança um escalonamento de regret de $\tilde{O}(\sigma_2 d \sqrt{T})$, independente do número de braços $K$ no cenário linear, desde que o modelo de tratamento seja suficientemente preciso.
4. Validação Empírica: Estudos de simulação demonstrando que o GAMBITTS supera o Thompson Sampling contextual e não contextual padrão, particularmente em cenários com grandes espaços de ação e ao aproveitar os tratamentos observados para estimar recompensas esperadas.

Resultados

Os autores avaliaram o GAMBITTS usando um estudo de simulação modelado no 2023 Intern Health Study (IHS), onde um agente seleciona prompts para um LLM gerar mensagens de apoio à saúde mental.

• Desempenho: O GAMBITTS consistentemente alcançou um regret cumulativo menor em comparação ao Thompson Sampling padrão (tanto contextual quanto não contextual).
• Escalabilidade: Em experimentos variando o número de braços de ação ($K$), o regret do algoritmo linear poGAMBITTS permaneceu estável, enquanto os métodos padrão degradaram conforme $K$ aumentava.
• Sensibilidade à Especificação Incorreta: O estudo destacou que o desempenho do GAMBITTS é sensível à qualidade do embedding de tratamento de trabalho ($Z$). Quando o embedding é mal correlacionado com a dimensão real relevante para a recompensa, o desempenho degrada e pode cair abaixo dos métodos padrão. No entanto, modelos de recompensa flexíveis (baseados em ensemble) ajudaram a mitigar alguns desses problemas.
• Impacto do Ruído: A vantagem do GAMBITTS sobre os métodos padrão mostrou-se maior com maior ruído de recompensa ($\sigma_2$), pois a capacidade de generalizar entre braços via o modelo de tratamento torna-se mais crítica.

Significância e Alegações

O artigo afirma que o GAMBITTS fornece uma ponte teórica e algorítmica necessária entre o aprendizado de bandidos clássicos e as aplicações modernas de IA generativa. Ao modelar explicitamente a natureza estocástica das intervenções mediadas por geradores, o framework permite que os agentes:

• Alavanquem Informações de Tratamento: Utilizem o tratamento observado (por exemplo, o texto gerado) para acelerar o aprendizado da política, em vez de descartar essa informação como ruído.
• Generalizem entre Ações: Explorem estruturas compartilhadas no espaço de tratamento para aprender eficientemente mesmo quando o número de possíveis prompts (ações) é grande.
• Suportem mHealth Adaptativo: Ofereçam um framework viável para Intervenções Adaptativas Just-in-Time (pJTAIs) que utilizam LLMs para geração de conteúdo em tempo real, um cenário onde bibliotecas de intervenção fixas são insuficientes.

Os autores sustentam que, embora o framework assuma um gerador fixo e estruturas de embedding específicas, ele abre novos caminhos para a personalização em domínios como marketing, educação e saúde, onde os tratamentos são gerados dinamicamente em vez de selecionados de uma biblioteca estática. Eles observam que trabalhos futuros podem abordar o aprendizado de embedding online, o ajuste fino (fine-tuning) do gerador e restrições de segurança, mas o presente trabalho estabelece os fundamentos dos limites de regret e a eficácia empírica da abordagem proposta.