What Do We Care About in Bandits with Noncompliance? BRACE: Bandits with Recommendations, Abstention, and Certified Effects

O artigo apresenta o BRACE, um algoritmo sem parâmetros para bandits com não conformidade que resolve o dilema de escolha de objetivos entre o bem-estar das recomendações e o aprendizado de tratamentos, garantindo validação simultânea de políticas e intervalos estruturais honestos mesmo sob identificação fraca ou falha de homogeneidade.

O essencial

Imagine que você é um chef de cozinha tentando decidir qual prato servir aos seus clientes. Mas há um problema: você não coloca o prato na mesa. Você apenas recomenda o prato, e um garçom (que tem seus próprios segredos e preferências) decide o que realmente vai para a mesa do cliente.

Às vezes, o garçom segue sua recomendação. Às vezes, ele troca o prato porque o cliente parece cansado, ou porque ele acha que o cliente vai gostar mais de outra coisa, ou simplesmente porque ele tem um "palpite" que você não tem.

Este artigo, chamado BRACE, trata exatamente desse problema: como aprender a fazer as melhores recomendações quando você não tem o controle total sobre o que realmente acontece?

Aqui está a explicação simples, dividida em três partes principais:

1. O Grande Dilema: O que você quer aprender?

O artigo diz que, nesse cenário, existem três objetivos diferentes e eles nem sempre são a mesma coisa. É como se você estivesse jogando um jogo de tabuleiro, mas não soubesse qual era a regra de vitória:

• Objetivo A (O "Agora"): Queremos que os clientes fiquem felizes agora, com o sistema atual (recomendação + garçom).
  • Analogia: "Qual prato eu devo sugerir para que o cliente coma o que ele mais gosta neste momento, considerando que o garçom pode mudar de ideia?"
• Objetivo B (O "Futuro"): Queremos descobrir qual é o melhor prato absoluto, ignorando o garçom.
  • Analogia: "Se eu pudesse tirar o garçom do jogo e colocar o prato diretamente na mesa, qual seria o prato perfeito?"
• Objetivo C (A "Ciência"): Queremos ter certeza absoluta de que nossa conclusão é verdadeira, mesmo que demore mais para chegar a uma resposta.
  • Analogia: "Não quero errar. Se eu não tiver certeza de qual é o prato perfeito, é melhor eu dizer 'não sei' do que arriscar servir algo ruim."

O problema: O melhor prato para o "Agora" (com o garçom) pode ser totalmente diferente do "Melhor Prato Absoluto" (sem o garçom). Se você tentar aprender um objetivo pensando que é o outro, você vai falhar.

2. A Solução: O Algoritmo BRACE

Os autores criaram um algoritmo inteligente chamado BRACE (que significa algo como "Braço de Recomendação com Abstenção e Efeitos Certificados"). Pense nele como um chef muito cauteloso e inteligente.

O BRACE funciona assim:

1. Ele Experimenta: Ele tenta recomendar pratos aleatórios para ver o que acontece.
2. Ele Verifica a "Ficha": Ele olha para o garçom. O garçom é confiável? Ele segue as recomendações? Ou ele é caótico?
3. O Truque da "Certificação":
   • Se o garçom for muito imprevisível (o que os matemáticos chamam de "identificação fraca"), o BRACE não tenta adivinhar o prato perfeito absoluto. Em vez disso, ele diz: "Não tenho certeza suficiente para garantir que este prato é o melhor. Vou manter uma margem de segurança e não vou prometer nada."
   • Isso é chamado de Abstenção. É melhor não ter uma resposta errada do que ter uma resposta falsa.
4. Ele Escolhe o Caminho:
   • Se o seu objetivo é o "Agora", ele aprende a lidar com o garçom e otimiza a recomendação para o sistema atual.
   • Se o seu objetivo é o "Futuro" (tirar o garçom), ele só dá uma resposta se tiver certeza matemática de que o garçom não vai atrapalhar a descoberta.

3. As Lições Importantes (Metáforas Finais)

O artigo nos ensina três coisas fundamentais usando exemplos do mundo real:

• Não confunda "Recomendação" com "Controle":
  Imagine que você é um médico. Você recomenda um remédio, mas o paciente decide não tomar. Se você quer saber como ajudar o paciente hoje, você deve aprender a fazer a melhor recomendação possível, sabendo que ele pode recusar. Se você quer saber qual é o remédio biologicamente perfeito para o futuro, você precisa de um estudo onde você força o paciente a tomar o remédio. São dois jogos diferentes.
• O Perigo de "Adivinhar" quando não se sabe:
  Em situações difíceis (quando o garçom é muito estranho ou os dados são ruins), algoritmos comuns tentam adivinhar e erram feio. O BRACE, em vez disso, levanta a mão e diz: "Parece que não temos dados suficientes para garantir a segurança. Vamos esperar." Isso evita desastres.
• Às vezes, ter mais informações ajuda:
  Se você tiver mais garçons (ou mais formas de recomendar), você consegue entender melhor o que está acontecendo. O artigo mostra que, com mais "instrumentos" (mais dados), você consegue transformar uma situação de "não sei" em uma "agora eu sei com certeza".

Resumo em uma frase

Este artigo nos diz que, quando você não tem controle total sobre o resultado (como em medicina, publicidade ou políticas públicas), você precisa decidir antes de começar se quer otimizar o sistema atual (com todas as suas falhas) ou tentar descobrir a verdade absoluta para o futuro, e usar um algoritmo inteligente que saiba quando parar e admitir que não sabe para não cometer erros graves.

Resumo técnico

Resumo Técnico: Bandits com Não Conformidade e o Algoritmo BRACE

1. O Problema: Bandits com Não Conformidade e Escolha de Objetivos

O artigo aborda uma lacuna fundamental na teoria de Multi-Armed Bandits (MAB) e experimentação adaptativa: a separação entre a ação recomendada pelo algoritmo (instrumento $Z$) e o tratamento efetivamente realizado pelo agente ($X$). Em muitos cenários do mundo real (medicina, sistemas de recomendação com supervisão humana, políticas públicas), o aprendizado não controla diretamente o tratamento, mas apenas uma recomendação que pode ser ignorada ou modificada por um ator downstream (ex: um paciente que recusa uma medicação, um médico que altera uma sugestão de algoritmo).

O problema central não é apenas técnico, mas de definição de objetivo. O autor argumenta que existem três objetivos distintos que não são intercambiáveis:

1. Welfare de Recomendação (REC): Maximizar o bem-estar no fluxo de trabalho atual, onde a recomendação é filtrada pela decisão humana. O alvo é a política de recomendação $\pi_{rec}$.
2. Welfare Estrutural de Tratamento (TRT): Aprender a melhor regra de tratamento para um regime futuro de controle direto (onde não há intermediários). O alvo é a política estrutural $\pi_{str}$.
3. Inferência Científica (INF): Fornecer intervalos de confiança válidos "a qualquer momento" (anytime-valid) para um dos alvos acima, sob amostragem adaptativa.

Insight Crítico: Em regimes de controle direto, REC e TRT coincidem. No entanto, em regimes mediados, a melhor política de recomendação pode estritamente superar qualquer política de tratamento direta mensurável pelo aprendiz, especialmente se houver informação privada usada pelo ator downstream (ex: um médico que conhece detalhes do paciente que o algoritmo não vê). Escolher o objetivo errado (ex: otimizar TRT quando o sistema real é REC) pode levar a sub-otimização ou falhas de segurança.

2. Metodologia: O Algoritmo BRACE

Para resolver esse problema em contextos finitos (square-IV problems), o autor propõe o BRACE (Bandits with Recommendations, Abstention, and Certified Effects).

• Características Principais:

  • Sem Parâmetros (Parameter-free): Não requer ajuste fino de hiperparâmetros de exploração.
  • Dobramento de Fase (Phase Doubling): O algoritmo opera em fases ($r = 0, 1, 2, \dots$) onde o tempo termina em $t_r = 2^r$.
  • Exploração Uniforme: Durante a exploração, as recomendações são amostradas uniformemente para garantir que a matriz de conformidade seja estimada consistentemente.
  • Certificação de Matriz (Matrix Certification): O núcleo da segurança do BRACE. Antes de inverter a matriz de conformidade empírica $\hat{P}(w)$ para estimar o efeito estrutural ($\mu$), o algoritmo verifica se a inversão é estável.
    • Se a norma da inversa multiplicada pelo raio de erro for pequena ($\|\hat{P}^{-1}\|_\infty \cdot a_r \leq 1/2$), o contexto é "certificado".
    • Se não for certificado, o algoritmo abstém-se de fazer uma afirmação estrutural pontual e retorna intervalos de confiança amplos (full-range), evitando conclusões erradas devido à identificação fraca (weak identification).
  • Intervalos Estruturais e Operacionais: O algoritmo mantém intervalos separados para REC (baseados diretamente nas médias observadas) e TRT (baseados na inversão IV).

• Mecanismo de Parada: O algoritmo continua explorando até que haja uma separação estatística clara (gap fixo) entre a melhor política candidata e as demais, garantindo identificação com alta probabilidade.

3. Contribuições Chave

O artigo apresenta cinco contribuições principais:

1. Formalização da Escolha de Objetivo: Define rigorosamente os regimes de controle direto vs. mediado, provando que a melhor política de recomendação pode ser estritamente superior à melhor política de tratamento direta quando há informação privada downstream.
2. Algoritmo BRACE: Um algoritmo sem parâmetros que realiza inversão IV apenas após certificação de estabilidade, oferecendo garantias de segurança (abstensão) sob identificação fraca.
3. Garantias Teóricas Simultâneas: Em contextos finitos, prova validade simultânea de:
   • Validação de valor da política (Policy-value validity).
   • Identificação de gap fixo para a política operacional ótima (REC).
   • Identificação de gap fixo para a política estrutural ótima (TRT) sob homogeneidade e invertibilidade.
4. Benchmark Empírico: Um conjunto de simulações abrangente que testa o algoritmo em cenários de:
   • Equivalência de controle direto.
   • Vantagem operacional de sinais privados.
   • Falha de homogeneidade.
   • Identificação fraca e casos retangulares (superidentificados).
5. Score Ortogonal para Contextos Ricos: Para contextos contínuos, deriva um score ortogonal onde o viés condicional fatora em erros do modelo de conformidade e do modelo de resultado, esclarecendo os requisitos para inferência semiparamétrica válida.

4. Resultados e Evidências Empíricas

Os experimentos validam a teoria e mostram como a "segurança" se manifesta de diferentes formas dependendo do cenário:

• Problemas Fáceis (Identificação Forte): A segurança do BRACE aparece como um custo de regret (exploração mais lenta) comparado a baselines não seguras, mas garante a política correta.
• Identificação Fraca: O BRACE abstém-se de tomar decisões estruturais e retorna intervalos amplos, enquanto baselines inseguras (como UCB padrão ou 2SLS adaptativo) cometem erros graves ao agir sobre ruído.
• Falha de Homogeneidade: Quando a suposição de homogeneidade estrutural falha, o objetivo TRT torna-se indefinido ou não confiável. O BRACE demonstra que o objetivo REC permanece aprendível e operacionalmente útil, enquanto tentativas de forçar uma estimativa TRT levam a políticas ruins.
• Superidentificação (Casos Retangulares): A adição de braços de recomendação extras (mais instrumentos que tratamentos) permite "resgatar" a identificação estrutural, estreitando os intervalos de confiança e permitindo a implantação correta onde o caso quadrado (square) falharia.
• Vantagem Operacional: Em cenários com sinais privados, o BRACE-REC atinge o valor ótimo (1.0), enquanto métodos focados em TRT ficam limitados a 0.5, provando que otimizar para o futuro (TRT) pode ser prejudicial para o presente (REC).

5. Significado e Impacto

O trabalho é significativo por mudar a perspectiva de como experimentos adaptativos devem ser desenhados em cenários de não conformidade:

• Mudança de Paradigma: Argumenta que a escolha entre "otimizar o fluxo atual" (REC) e "aprender a regra ideal futura" (TRT) é uma decisão de regime de implantação e não apenas um detalhe técnico. Stakeholders (pacientes, reguladores, designers de sistema) podem ter preferências conflitantes que devem ser explicitadas antes do algoritmo.
• Segurança como Prioridade: O BRACE introduz a ideia de que, sob identificação fraca, a resposta correta não é "adivinhar" o tratamento, mas sim abster-se e reportar incerteza. Isso é crucial para aplicações de alto risco como saúde.
• Ponte entre Teoria e Prática: Ao fornecer um benchmark que cobre desde a equivalência clássica até falhas de modelagem, o paper oferece um guia prático para quando confiar em estimativas estruturais e quando focar em melhorias operacionais imediatas.

Em suma, o paper estabelece que em bandits com não conformidade, o objetivo define o algoritmo, e a segurança deve ser garantida através de certificação de estabilidade e, se necessário, pela capacidade de não agir (abstention) quando a estrutura causal não suporta uma decisão pontual.