Fused Multinomial Logistic Regression Utilizing Summary-Level External Machine-learning Information

Resumo Técnico: Regressão Logística Multinomial Fundida com Informações Externas de ML

1. Problema e Motivação

Em muitas aplicações modernas, existe uma dicotomia entre os dados disponíveis:

• Estudo Primário: Geralmente bem desenhado, fornece dados de nível individual de alta qualidade, mas com tamanho de amostra limitado ($n$). O objetivo é realizar inferência estatística interpretável (ex: coeficientes de regressão).
• Fonte Externa: Possui tamanhos de amostra muito maiores ($N \gg n$), mas apenas fornece estatísticas de resumo ou previsões geradas por modelos de aprendizado de máquina (ML) "caixa-preta" (não paramétricos, como XGBoost, Florestas Aleatórias, Redes Neurais).

O desafio central é como integrar essas previsões externas robustas, mas não interpretáveis, para melhorar a eficiência da inferência no estudo primário, lidando simultaneamente com:

• Deslocamento de Covariáveis (Covariate Shift): Diferenças nas distribuições das covariáveis entre as fontes.
• Deslocamento de Conceito (Concept Shift): Diferenças nos mecanismos geradores de resultados (ex: proporções de classes diferentes devido a viés de amostragem).
• Dados Incompletos/Granulares: A fonte externa pode ter covariáveis parciais ($Z \subset X$) e rótulos de saída coarsened (agrupados ou menos detalhados).

A literatura existente foca em dados de nível individual ou assume modelos paramétricos na fonte externa, o que pode não ser robusto. Este trabalho preenche essa lacuna propondo um framework que utiliza previsões não paramétricas de ML.

2. Metodologia Proposta

Os autores propõem um framework de Verossimilhança Empírica (Empirical Likelihood - EL) para fundir os dados.

A. Estrutura do Modelo:

• Modelo Primário: Assume-se uma Regressão Logística Multinomial para a variável de saída $Y$ dado $X$ no estudo primário ($S=1$), com parâmetros $\theta$.
• Fonte Externa: Possui dados $(U, Z)$ onde $U$ é um rótulo coarsened (agrupado) e $Z$ é um subconjunto de $X$. Um modelo de ML não paramétrico, treinado na fonte externa, gera uma previsão de probabilidade $\hat{q}(Z)$.

B. Assunções Estruturais:
Para conectar as duas fontes, o modelo assume que os parâmetros da fonte externa ($\phi$) e do primário ($\theta$) compartilham uma estrutura comum:

• $\theta = (\psi, \vartheta)$ e $\phi = (A_m\psi, \varphi)$, onde $\psi$ é um vetor de parâmetros compartilhados (transportáveis) e $\vartheta, \varphi$ são parâmetros livres específicos de cada fonte (ex: interceptos diferentes para lidar com deslocamento de conceito).
• Assunção de Ausência Aleatória (Missing at Random): Assume-se que as covariáveis ausentes na fonte externa ($X \setminus Z$) são independentes da fonte de dados condicionadas às covariáveis observadas $Z$. Isso permite evitar a estimação explícita da razão de densidades (density ratio).

C. Estimação via Verossimilhança Empírica:
O estimador fundido (FMLE - Fused Maximum Likelihood Estimator) é obtido maximizando uma pseudo-verossimilhança que combina:

1. A log-verossimilhança do modelo primário (MLE padrão).
2. Restrições de momentos derivadas da fonte externa.

As restrições de momentos são construídas como:
$$\sum_{i=1}^n \delta_i \left( \sum_{k \in C_l} p_k(X_i | \phi) - \sum_{k \in C_l} \hat{q}_k(Z_i) \right) h(Z_i) = 0$$
Onde:

• $\delta_i$ são pesos não negativos.
• $p_k$ é a probabilidade prevista pelo modelo logístico (usando parâmetros compartilhados e livres).
• $\hat{q}_k$ é a previsão do modelo de ML externo.
• $h(Z)$ é uma função base (ex: componentes de $Z$ ou splines) para aumentar a flexibilidade e eficiência.
• A soma é feita sobre grupos de classes $C_l$ (para lidar com rótulos coarsened).

O estimador final $\hat{\theta}_{FMLE}$ é extraído do vetor de parâmetros maximizado, que inclui os multiplicadores de Lagrange das restrições.

D. Estabilidade Numérica:
Para evitar instabilidades numéricas (quando os multiplicadores de Lagrange divergem), o método utiliza uma penalização $L_2$ (regularização) sobre os multiplicadores durante a maximização.

3. Contribuições Principais

1. Framework Geral de Fusão: Propõe um método que integra previsões de ML não paramétricos (caixa-preta) em modelos paramétricos interpretáveis (Regressão Logística Multinomial) sem exigir dados individuais da fonte externa.
2. Tratamento de Heterogeneidade: Desenvolve mecanismos teóricos para lidar com:
   • Covariate Shift: Sem estimar razões de densidade, aproveitando a robustez do ML não paramétrico.
   • Concept Shift: Separando parâmetros em componentes compartilhados e específicos de fonte.
   • Dados Parciais/Coarsened: Lidando com covariáveis faltantes e rótulos agrupados na fonte externa.
3. Propriedades Assintóticas: Estabelece rigorosamente a consistência e a normalidade assintótica do estimador fundido sob condições de regularidade.
4. Condições de Ganho de Eficiência: Deriva condições necessárias e suficientes para que a fusão resulte em um ganho estrito de eficiência em relação ao MLE tradicional. Mostra que o ganho ocorre se o número de funções de momento ($H$) for suficientemente grande em relação aos parâmetros livres da fonte externa, garantindo que a informação externa não seja totalmente absorvida pelos parâmetros de ruído.

4. Resultados

A. Estudos de Simulação:

• Cenário: Classificação multinomial (3 classes), $n=500$ (primário) vs $N=10.000$ (externo).
• Desempenho: O FMLE demonstrou redução significativa no desvio padrão (SD) dos coeficientes de regressão em comparação ao MLE padrão (redução de ~25% em cenários de recursos completos).
• Robustez: O método manteve a eficiência mesmo sob deslocamentos de média, variância ou ambos nas covariáveis externas.
• Rótulos Coarsened: O ganho de eficiência foi maior para classes que não foram agrupadas na fonte externa, mas ainda houve melhoria na estimativa de probabilidades de classe.
• Cobertura: As taxas de cobertura dos intervalos de confiança (95%) foram bem calibradas, embora ligeiramente subestimadas em alguns casos devido à incerteza não contabilizada da previsão do ML externo.

B. Aplicação em Dados Reais (NHANES):

• Dados: Classificação de pressão arterial (Normal, Pré-hipertensão, Hipertensão) usando dados do NHANES.
• Configuração: Estudo primário com 9.186 unidades (com exames laboratoriais) e fonte externa com 12.425 unidades (sem exames laboratoriais, apenas demografia).
• Resultados:
  • O FMLE produziu intervalos de confiança substancialmente mais estreitos para covariáveis demográficas (idade, IMC, etc.) em comparação ao MLE, especialmente quando o tamanho da amostra primária foi reduzido artificialmente para simular cenários de dados escassos.
  • As estimativas pontuais foram comparáveis, mas a precisão aumentou significativamente ao fundir os dados.

5. Significado e Conclusão

Este trabalho oferece uma solução prática e teoricamente fundamentada para o problema de "Big Data" em estatística: como aproveitar grandes conjuntos de dados externos (muitas vezes apenas previsões ou estatísticas resumidas) para melhorar modelos estatísticos em conjuntos de dados menores e mais ricos em detalhes.

• Interpretabilidade vs. Precisão: Permite manter a interpretabilidade dos coeficientes de regressão logística (essencial em áreas como saúde e ciências sociais) enquanto ganha a eficiência preditiva de modelos de ML complexos.
• Flexibilidade: O método é robusto a problemas comuns de qualidade de dados, como covariáveis faltantes e rótulos desalinhados, que frequentemente impedem a fusão direta de dados.
• Impacto: A abordagem é particularmente valiosa em contextos onde a coleta de dados individuais é cara ou restrita por privacidade, mas modelos preditivos robustos já foram treinados em grandes bases de dados públicas ou privadas.

O código para a implementação está disponível publicamente, facilitando a adoção por pesquisadores e praticantes.