Resumo Técnico: Aprendizado de Políticas Adaptativas sob Interferência de Rede Desconhecida

Declaração do Problema

Em muitos cenários experimentais, o resultado de uma unidade depende não apenas do seu próprio tratamento, mas também dos tratamentos atribuídos aos seus vizinhos dentro de uma rede subjacente. Este fenômeno, conhecido como interferência ou transbordamento, viola a Hipótese de Valor de Tratamento Estável para Unidades (SUTVA). Embora a literatura de inferência causal tenha desenvolvido métodos robustos para experimentos estáticos sob interferência (por exemplo, Sussman e Airoldi, 2017; Aronow e Samii, 2017), essas abordagens geralmente assumem que a rede de interferência é conhecida ou dependem de randomizações grosseiras em nível de cluster.

Métodos existentes de experimentação adaptativa (sequencial) enfrentam limitações significativas:

1. Hipótese de Rede Conhecida: Métodos escaláveis, como Gleich et al. (2025), assumem que a estrutura da rede é totalmente observada, o que é irrealista em muitas aplicações onde laços sociais ou comportamentais são latentes.
2. Problemas de Escalabilidade: Métodos que tentam aprender a estrutura da rede, como Agarwal et al. (2024), dependem de análise de Fourier sobre todas as configurações possíveis de vizinhos, resultando em contagens de parâmetros exponenciais no tamanho do bairro. Esses métodos falham em escalar além de aproximadamente $n \approx 12$ unidades.
3. Perda de Granularidade: Outros desenhos adaptativos (por exemplo, Viviano e Rudder, 2024) operam em clusters predefinidos, contornando a otimização em nível individual e falhando em recuperar a própria rede de interferência.

O desafio central abordado por este artigo é aprender conjuntamente a rede de interferência desconhecida e otimizar alocações de tratamento em nível individual em um cenário sequencial para maximizar resultados cumulativos (por exemplo, receita, métricas de saúde).

Metodologia

Os autores propõem uma estrutura de Amostragem de Thompson (TS) que infera conjuntamente a rede de interferência e os parâmetros de recompensa usando um amostrador de Gibbs.

1. Configuração do Modelo

• Cenário: Alocação sequencial de tratamentos binários $Z_t \in \{0, 1\}^n$ para $n$ unidades ao longo de $T$ rodadas, sujeita a uma restrição orçamentária $\|Z_t\|_1 \le B$.
• Hipótese de Interferência de Bairro (NIA): O resultado da unidade $i$ depende apenas do seu próprio tratamento e dos tratamentos de seus vizinhos definidos por uma matriz de adjacência desconhecida $A$.
• Modelo de Recompensa: O resultado esperado é linear em um vetor de parâmetros $\theta$, ou seja, $r(Z; A, \theta) = H(Z; A)\theta$. A matriz de design $H$ depende da rede $A$.

2. Amostragem Posterior Conjunta via Gibbs

Como a verossimilhança é não linear em $A$ (devido às contagens de vizinhos), uma posterior fechada não está disponível. Os autores empregam um amostrador de Gibbs por aresta para obter amostras conjuntas aproximadas da posterior $\pi(\theta, A | \mathcal{D}_{t-1})$:

• Atualização de Parâmetros ($\theta | A$): Com $A$ fixo, o modelo reduz-se a uma regressão Gaussiana conjugada padrão. A posterior para $\theta$ é Gaussiana.
• Atualização de Arestas ($A | \theta$): Com $\theta$ fixo, o amostrador percorre todas as arestas $(i, j)$. A condicional completa para a aresta $A_{ij}$ depende apenas dos fluxos de recompensa dos nós $i$ e $j$. A regra de atualização é derivada via uma transformação logit da razão de verossimilhança, permitindo amostragem eficiente sem enumerar todas as $2^{\binom{n}{2}}$ configurações de grafos.

3. Algoritmo (Gibbs-TS)

Em cada rodada $t$:

1. Realize $K$ varreduras de Gibbs para obter uma amostra conjunta aproximada $(\theta^{(t)}, A^{(t)})$.
2. Selecione o vetor de tratamento $Z_t$ que maximiza a recompensa total esperada amostrada: $Z_t = \arg\max_{Z: \|Z\|_1 \le B} \mathbf{1}^\top H(Z; A^{(t)}) \theta^{(t)}$.
3. Observe as recompensas e atualize o histórico $\mathcal{D}_t$.
4. Inicie a cadeia de Gibbs da próxima rodada com a amostra final da rodada atual.

4. Variante Explorar-Depois-Comprometer (ETC)

Para recompensas NIA gerais onde o colapso modular não se sustenta, os autores analisam uma estratégia ETC:

• Fase 1: Trate cada nó isoladamente por $m$ rodadas para estimar probabilidades de aresta com base em transbordamentos observados.
• Fase 2: Execute um algoritmo padrão de Amostragem de Thompson (assumindo que a rede é conhecida) usando o grafo estimado $\hat{A}$.

Contribuições Principais

1. Estrutura de Aprendizado Conjunta: O artigo formula o problema conjunto de recuperação de rede e alocação adaptativa de tratamento sob NIA. Introduz um algoritmo de Amostragem de Thompson que usa varreduras de Gibbs por aresta para amostrar a posterior conjunta da rede e dos parâmetros de recompensa.
2. Inferência Causal a jusante: A rede estimada $\hat{A}$ não é meramente um subproduto, mas um produto científico. Ela suporta a estimação pós-experimento de efeitos diretos, indiretos e totais do tratamento, bem como o desenho de experimentos de acompanhamento.
3. Limites Teóricos de Regret:
   • Modelos de Transbordamento Aditivo: Para modelos onde a recompensa total é linear no vetor de tratamento com coeficientes de pontuação latentes (por exemplo, linear nas médias), os autores provam um limite de regret bayesiano da ordem de $O(\sqrt{nT \cdot B \log(en/B)})$ para amostragem posterior exata. Este limite depende da dimensão da pontuação latente $n$, e não da dimensão ambiente de $\theta$.
   • NIA Geral: Para recompensas gerais, a variante ETC alcança um limite de regret com um custo de descoberta de grafo de $O(n^2 \log T)$.
   • Limite Inferior: Um limite inferior teórico da informação de $\Omega(n \log T)$ é estabelecido, demonstrando que qualquer algoritmo consistente deve pagar um custo linear em $n$ para a descoberta de rede.
4. Escalabilidade: O método escala para redes com centenas de nós (até $n=1000$ sob linear nas médias), superando significativamente os métodos existentes limitados a $n \approx 12$.

Resultados Empíricos

• Desempenho de Regret: Em duas redes do mundo real (uma rede de empréstimo entre famílias com $n=63$ e uma rede de amizade escolar com $n=121$), o algoritmo Gibbs-TS alcança regret sublinear. Embora haja uma lacuna em comparação com um oráculo que conhece a rede verdadeira, o regret é significativamente menor do que nas linhas de base que ignoram a interferência (que sofrem regret linear).
• Comparação com o Estado da Arte: Em comparações diretas em redes pequenas ($n=8$) onde Agarwal et al. (2024) é viável, o Gibbs-TS alcança mais de uma ordem de magnitude de redução no regret (por exemplo, regret mediano de 141 vs. 1571 para Agarwal et al. sob condições específicas).
• Recuperação de Rede: O algoritmo recupera com sucesso a rede de interferência com alta precisão (escores F1 > 0,98 em cenários sintéticos e 0,74 em cenários do mundo real).
• Estimação a jusante: Usando a rede recuperada $\hat{A}$, o artigo demonstra que as estimativas de efeitos diretos, indiretos e totais do tratamento seguem de perto aquelas obtidas usando a rede verdadeira, com pequenos Erros Quadráticos Médios (RMSE).

Significado e Alegações

O artigo afirma fornecer o primeiro desenho experimental adaptativo que aprende conjuntamente a rede de interferência e otimiza alocações de tratamento em nível individual em um cenário sequencial sem exigir estruturas de cluster predefinidas.

• Valor Científico: A rede recuperada serve como um produto científico direto, permitindo análises causais (efeitos diretos/indiretos) que anteriormente eram inacessíveis em cenários adaptativos.
• Impacto Prático: O método preenche a lacuna entre a inferência causal teórica sob interferência e a experimentação adaptativa prática e em grande escala. Permite que plataformas e agências otimizem intervenções (por exemplo, distribuição de vacinas, marketing) em tempo real, ao mesmo tempo em que mapeiam as dinâmicas sociais ou comportamentais subjacentes.
• Insight Teórico: O trabalho estabelece que, sob modelos de transbordamento aditivo, a complexidade do problema reduz-se à dimensão do vetor de pontuação latente, permitindo limites de regret independentes da complexidade da topologia do grafo.

Os autores reconhecem limitações, incluindo a dependência de uma especificação correta da função de recompensa, o gargalo computacional da programação linear inteira para seleção de tratamento em cenários NIA gerais e a lacuna entre o limite superior $O(n^2)$ e o limite inferior $\Omega(n)$ para custos de descoberta de grafo. No entanto, afirmam que sua abordagem representa um passo significativo em direção à experimentação adaptativa escalável sob interferência de rede desconhecida.