Differential Subgroup Discovery: Characterizing Where Two Populations Differ, and Why

1. Definição do Problema

O artigo aborda o desafio de identificar onde e por que duas populações distintas (por exemplo, homens vs. mulheres, tratamento vs. controle, Modelo A vs. Modelo B) diferem dentro de um espaço de características.

• Limitação dos Métodos Existentes: A Descoberta de Subgrupos (SD) tradicional encontra grupos com comportamento excepcional em relação à média global de uma única população (por exemplo, "um grupo com altas taxas de doença cardíaca"). A Mineração de Conjuntos de Contraste encontra diferenças de características entre grupos, mas não analisa diferenças nos resultados. A análise de justiça quantifica disparidades, mas frequentemente carece de explicações interpretáveis do "porquê".
• A Lacuna: Os métodos existentes falham em identificar subgrupos onde a diferença na distribuição do resultado-alvo entre duas populações é máxima, enquanto controlam covariáveis de confusão.
• Objetivo: Descobrir um Subgrupo Diferencial — um subconjunto de indivíduos de ambas as populações que compartilham características semelhantes, mas exibem uma diferença excepcional na distribuição da variável-alvo entre os dois grupos.

2. Metodologia: DiffSub

Os autores propõem o DiffSub, um framework de otimização baseado em gradiente para descobrir subgrupos diferenciais interpretáveis em dados tabulares.

A. Definição Formal de um Subgrupo Diferencial

Um subgrupo diferencial $s$ é definido por três desiderata:

1. Excepcionalidade ($E$): As distribuições-alvo $P_0(Y)$ e $P_1(Y)$ (para os grupos $A=0$ e $A=1$) dentro do subgrupo devem diferir significativamente. Isso é medido usando uma métrica de divergência $D$ (por exemplo, Divergência de Jensen-Shannon).
   $$E(s) = D(P_{0,s}(Y), P_{1,s}(Y))$$
2. Generalidade ($G$): O subgrupo deve ser suportado por uma parte significativa de ambas as populações para garantir confiabilidade estatística. Isso é medido pela média geométrica do suporte em ambos os grupos.
   $$G_\gamma(s) = (\mathbb{E}[s(X)|A=0] \cdot \mathbb{E}[s(X)|A=1])^{\gamma/2}$$
3. Independência de Covariáveis ($C$): A diferença observada não deve ser impulsionada por variações em outras características $X$ dentro do subgrupo. O subgrupo deve capturar todas as informações relevantes sobre $Y$ de modo que $Y$ seja condicionalmente independente de $X$ dado $s(X)$ e $A$.
   $$C(s) = \mathbb{E}_{X|A,s} [D(P(Y|X), P(Y))]$$
   Minimizar $C(s)$ garante que a diferença seja atribuível à própria membresia do grupo $A$, e não a características de confusão.

B. Objetivo de Otimização

O problema é formulado como uma otimização com restrições:
$$\max_{s \in \mathcal{S}} G_\gamma(s) \cdot E(s) - \lambda C(s)$$
Onde $\lambda$ controla o compromisso entre encontrar uma diferença forte e garantir independência de covariáveis (interpretabilidade causal).

C. Implementação do Algoritmo (DiffSub)

• Aprendizado de Regras Diferenciável: Em vez de busca discreta, o DiffSub utiliza um aprendedor de regras suave (baseado no framework SyFlow). Ele representa a função de membresia do subgrupo $s(x)$ como uma conjunção lógica diferenciável de limiares de características.
  • As características são codificadas como condições suaves de sigmoide: $\pi(x_j; a_j, b_j)$.
  • Uma média harmônica ponderada agrega essas condições.
  • Os parâmetros (limiares $a_j, b_j$ e pesos $w_j$) são aprendidos via descida de gradiente.
• Recozimento de Temperatura: Para transicionar de uma aproximação suave e diferenciável para uma regra rígida e interpretável, um parâmetro de temperatura $t$ é recozido de um valor alto para próximo de zero durante o treinamento.
• Estimadores:
  • Excepcionalidade: Utiliza Estimativa de Densidade de Kernel (KDE) ou distribuições empíricas para estimar $P(Y|A, s)$.
  • Dependência de Covariáveis: Utiliza Florestas Aleatórias (ou outros regressores) para estimar distribuições condicionais locais $P(Y|X, A)$ e computa a divergência da distribuição do subgrupo.

3. Contribuições Principais

1. Formalização de Subgrupos Diferenciais: O artigo introduz uma definição rigorosa que distingue subgrupos diferenciais da descoberta de subgrupos padrão, enfatizando a comparação de duas populações dentro de um espaço de características localizado.
2. Interpretação Causal: Os autores estabelecem condições teóricas sob as quais subgrupos diferenciais admitem uma interpretação causal:
   • Estudos Observacionais: Se a dependência de covariáveis for minimizada ($C(s)=0$), o subgrupo captura a distribuição intervencional (Efeito Médio de Tratamento Local).
   • Grupos Demográficos: O método isola o Efeito Direto Controlado (CDE) ao neutralizar caminhos indiretos através de características mediadoras.
   • Mediação Total: Prova teoricamente que, se um modelo de mediação total se mantém ($A \to X \to Y$), nenhum subgrupo pode simultaneamente ter $C(s)=0$ e $E(s)>0$. Encontrar tal subgrupo refuta a mediação total.
3. Algoritmo DiffSub: Uma abordagem escalável, ponta a ponta e diferenciável que produz regras legíveis por humanos (por exemplo, "Idade $\in$ (36, 63) E Colesterol $\in$ (235, 500)") sem exigir pré-processamento restritivo ou heurísticas de busca discreta.

4. Resultados Experimentais

Os autores avaliaram o DiffSub em benchmarks sintéticos e conjuntos de dados do mundo real (Médico, Efeitos de Tratamento, Auditoria de Modelos).

• Benchmarks Sintéticos:
  • O DiffSub superou consistentemente as linhas de base (PySubgroup, SyFlow, UpliftTree, HonestTree) em configurações Observacionais, Randomizadas e Demográficas.
  • Métodos SD padrão falharam porque otimizavam para o desvio da média global, não para a diferença entre grupos.
  • UpliftTree e HonestTree tiveram dificuldades em configurações demográficas onde efeitos indiretos distorceram os contrastes de tratamento.
  • Escalabilidade: O DiffSub escala linearmente com a dimensionalidade das características e quadraticamente com o tamanho da amostra (devido ao KDE), lidando com $N=10.000$ de forma eficiente.
• Estudos de Caso do Mundo Real:
  • Mortalidade por COVID-19: O DiffSub identificou um subgrupo (Não-Preto, Diabetes, Sem Doença Cerebrovascular/Hipertensão) onde a mortalidade masculina excedeu significativamente a feminina. O SD padrão encontrou grupos com baixa mortalidade geral, mas sem disparidade de gênero.
  • Efeitos de Tratamento (IHDP): O DiffSub alcançou menor Precisão na Estimativa de Efeitos Heterogêneos (PEHE) do que métodos baseados em árvores (HonestTree, CausalForest) e desempenho comparável a modelos de caixa-preta, confirmando que a regularização de covariáveis é crucial para estimativas de efeito precisas.
  • Auditoria de Modelos: Aplicado ao conjunto de dados Adult, o DiffSub encontrou um subgrupo (Não-Doutorado, Ganhos de Capital Médio-Alto) onde um modelo de Regressão Logística teve uma taxa de erro de 20% versus 3% para o Gradient Boosting, revelando onde modelos lineares falham em relação aos não lineares.

5. Significado e Impacto

• Ponte entre Análise Descritiva e Causal: O trabalho transforma a descoberta de subgrupos de uma ferramenta puramente descritiva de busca de padrões em um método capaz de identificar drivers causais de disparidades populacionais.
• Interpretabilidade: Ao produzir regras lógicas em vez de pontuações de caixa-preta, o DiffSub permite que profissionais (clínicos, formuladores de políticas, cientistas de dados) entendam por que uma disparidade existe (por exemplo, combinações específicas de fatores de risco).
• Versatilidade: O framework é agnóstico ao processo de geração de dados (observacional, randomizado ou demográfico), tornando-o aplicável a ensaios clínicos, auditoria de justiça e depuração de modelos.
• Geração de Hipóteses: Os autores enfatizam que os subgrupos descobertos servem como hipóteses fortes para investigação adicional, particularmente em contextos médicos e de ciências sociais onde estabelecer causalidade requer expertise de domínio e validação externa.

Em resumo, o DiffSub fornece uma solução matematicamente fundamentada, eficiente e interpretável para o problema de caracterizar diferenças populacionais, oferecendo uma nova lente para analisar heterogeneidade em dados.