Inference for relative sparsity

Título: Inferência para Esparsidade Relativa

Autores: Samuel J. Weisenthal, Sally W. Thurston e Ashkan Ertefaie.
Contexto: Departamento de Bioestatística e Biologia Computacional, Universidade de Rochester.

1. O Problema

Na área da saúde, há um interesse crescente em estimar políticas de tratamento (mapeamentos de covariáveis do paciente para decisões de tratamento). Recentemente, surgiu a necessidade de restringir essas políticas estimadas para que se aproximem do "padrão de cuidado" (a política comportamental que gerou os dados observados), facilitando a adoção clínica.

O trabalho anterior de Weisenthal et al. (2023) introduziu uma penalidade de esparsidade relativa, que busca derivar políticas com diferenças esparsas e explicáveis em relação ao padrão de cuidado. No entanto, esse trabalho anterior focou apenas na estimação, não na inferência estatística.

Existem desafios fundamentais para realizar inferência nesse contexto:

1. Estimandos Infinitos: No caso de ações binárias, a função de valor não penalizada (valor esperado) é otimizada por políticas determinísticas. Sob modelos de regressão logística (expit), isso implica que os coeficientes da política ótima divergem para infinito, tornando a inferência estatística impossível.
2. Penalidade Não Diferenciável: O uso de penalidades Lasso (norma L1) cria não diferenciabilidade, complicando a derivada da função objetivo.
3. Inferência Pós-Seleção: A seleção de variáveis (quais covariáveis diferem do padrão de cuidado) introduz viés se a inferência for feita no mesmo conjunto de dados usado para a seleção.
4. Instabilidade: A função de valor em cenários de múltiplos estágios (MDP) pode ser instável.

2. Metodologia Proposta

Os autores propõem um framework completo para inferência em políticas de esparsidade relativa, estendendo o problema para o caso de múltiplos estágios (Processos de Decisão de Markov - MDP).

A. Restrição Dupla de Comportamento (Double Behavior Constraint)

Para resolver o problema dos coeficientes infinitos, os autores não otimizam apenas o valor bruto. Eles propõem aninhar uma restrição de comportamento dentro da penalidade de esparsidade:

• Base: Utilizam o Trust Region Policy Optimization (TRPO) ponderado como a função objetivo base. Isso adiciona uma restrição de divergência de Kullback-Leibler (KL) entre a política sugerida e a política comportamental (padrão de cuidado).
• Objetivo: A função objetivo combina o valor esperado, a penalidade KL (para estabilidade e proximidade do padrão) e a penalidade Lasso relativa (para esparsidade).
  $$W_0(\beta) = V_0(\beta) - \gamma KL_0(\beta, b) - \lambda \sum w_k |\beta_k - b_k|$$
  Onde $\gamma$ controla a proximidade ao padrão de cuidado e $\lambda$ controla a esparsidade.

B. Esparsidade Relativa Adaptativa

Inspira-se no Adaptive Lasso de Zou (2006). Os pesos da penalidade ($w_k$) são definidos como o inverso da diferença estimada entre os coeficientes da política ótima e os do padrão de cuidado, elevados a um parâmetro $\delta$. Isso permite que o método penalize mais fortemente os coeficientes que são verdadeiramente iguais ao padrão de cuidado, facilitando a seleção correta.

C. Framework de Divisão de Amostra (Sample Splitting)

Para evitar os problemas de viés na inferência pós-seleção:

1. Divisão 1 (Seleção): Otimiza-se a função objetivo para selecionar o conjunto de covariáveis ativas ($A$) e estimar os parâmetros de ajuste ($\gamma, \lambda, \delta$).
2. Divisão 2 (Inferência): Realiza-se a inferência estatística apenas nos coeficientes selecionados, mantendo os coeficientes não selecionados fixos nos seus valores comportamentais (estimados na Divisão 1).
3. Representação da Política: Propõe-se uma representação onde os parâmetros não selecionados são fixados em $b$, permitindo a derivação correta das derivadas parciais para a inferência, lidando com o fato de que o parâmetro de "ruído" (nuisance) aparece tanto na política comportamental quanto na política sugerida.

3. Contribuições Chave

1. Solução para Estimandos Infinitos: Demonstram que a otimização do TRPO ponderado gera estimandos finitos, permitindo inferência válida, ao contrário da otimização direta do valor bruto.
2. Teoria Assintótica para TRPO Ponderado: Desenvolvem teoria nova para a consistência e normalidade assintótica do estimador TRPO ponderado, algo não explorado anteriormente na literatura (focada em robótica/predição).
3. Inferência Pós-Seleção Rigorosa: Estabelecem a distribuição assintótica dos coeficientes selecionados em um framework de divisão de amostra, lidando com a dependência complexa entre a seleção e a inferência.
4. Generalização para Múltiplos Estágios: Estendem o conceito de esparsidade relativa de decisões únicas para MDPs, essencial para tratamentos médicos sequenciais.
5. Validação Empírica: Aplicação em dados reais de prontuários eletrônicos (MIMIC-III) e simulações extensivas.

4. Resultados

Simulações

• Estabilidade: Mostraram que o parâmetro $\gamma$ é crucial para a estabilidade da função objetivo. Valores muito baixos de $\gamma$ levam a instabilidade devido à variância da função de valor, enquanto valores altos estabilizam a inferência às custas de um ganho menor de valor.
• Cobertura: As simulações demonstraram que os intervalos de confiança construídos com a teoria proposta possuem cobertura nominal (aproximadamente 95%) para os parâmetros ativos, validando a normalidade assintótica derivada.
• Seleção: O método consegue identificar corretamente quais covariáveis diferem do padrão de cuidado, mantendo a esparsidade desejada.

Análise de Dados Reais (MIMIC-III)

• Cenário: Administração de vasopressores em pacientes com hipotensão na Unidade de Terapia Intensiva (UTI).
• Dados: 11.715 pacientes, 2 estágios (15 minutos cada).
• Resultado: O método derivou uma política relativamente esparsa. Apenas a covariável Pressão Arterial Média (MAP) foi selecionada para diferir do padrão de cuidado.
• Inferência: Foi possível construir um intervalo de confiança de 95% para o coeficiente da MAP na política sugerida. O intervalo mostrou que a nova política sugere um ajuste diferente (mais positivo) em relação ao padrão de cuidado, com incerteza quantificada, algo impossível sem a metodologia proposta.

5. Significado e Impacto

Este trabalho é fundamental para a tradução de estratégias de tratamento baseadas em dados da pesquisa para a prática clínica ("do laboratório para o consultório"):

• Explicabilidade e Adoção: Ao forçar a nova política a ser esparsa em relação ao padrão de cuidado, facilita-se a justificativa clínica. Médicos podem entender por que a nova política difere (apenas em poucos pontos críticos) em vez de ser uma "caixa preta" totalmente nova.
• Gestão de Incerteza: A capacidade de fornecer intervalos de confiança para as decisões de tratamento é vital para que médicos e pacientes avaliem os riscos e benefícios antes de adotar novas estratégias.
• Rigor Estatístico: Preenche uma lacuna crítica na literatura de Aprendizado por Reforço (RL) na saúde, onde métodos de otimização são comuns, mas a inferência estatística rigorosa (com testes de hipóteses e intervalos de confiança) é frequentemente negligenciada.

Em resumo, o artigo fornece a base teórica e prática necessária para usar políticas de tratamento otimizadas por dados de forma segura, explicável e estatisticamente validada em ambientes clínicos complexos.