On the choice of using raw or demographically-corrected scores

Resumo Técnico: Sobre a Escolha de Utilizar Pontuações Brutas ou Demograficamente Corrigidas

Definição do Problema
As correções demográficas (por exemplo, ajustes para idade e escolaridade) são uma prática padrão na neuropsicologia e nas ciências da saúde, particularmente para testes de triagem cognitiva como o Mini-Mental State Examination (MMSE). Essas correções visam normalizar as pontuações em relação a normas de referência para garantir a equidade e evitar o sobrediagnóstico em grupos demográficos vulneráveis. No entanto, evidências empíricas e alguns argumentos teóricos sugerem que tais correções podem reduzir a precisão da classificação (sensibilidade e especificidade) em comparação ao uso de pontuações brutas. O debate centra-se em saber se o potencial de perda de precisão é justificado pelos ganhos em equidade ou insensibilidade demográfica. A literatura existente baseia-se frequentemente em suposições paramétricas restritivas, modelos de simulação específicos ou observações empíricas que carecem de um arcabouço teórico geral para explicar quando e por que as pontuações brutas podem superar as corrigidas.

Metodologia
Os autores desenvolvem um arcabouço não paramétrico geral para comparar a precisão da classificação de pontuações brutas ($X$) versus pontuações demograficamente corrigidas ($Z$).

• Formalismo: O estudo define a correção demográfica como uma transformação $Z = g_V(X)$ baseada na distribuição condicional das pontuações brutas na população não prejudicada ($D=0$). Eles distinguem diferentes tipos de correções, com foco nas Correções do Tipo I (por exemplo, padronização por escore-z), que dependem da distribuição de $X$ dado $V$ e $D=0$.
• Suposições: A análise baseia-se em três suposições fundamentais:
  1. Teste bem desenhado: A razão de verossimilhança da pontuação bruta é decrescente (implicando curvas ROC específicas de covariável côncavas).
  2. Correção bem desenhada: O escore corrigido $Z$ é condicionalmente independente de demografia $V$ dado o status de não prejudicado ($Z \perp \perp V | D=0$).
  3. Comonotonicidade probabilística: A associação entre demografia e a pontuação bruta no grupo não prejudicado move-se na mesma direção que a associação entre a demografia e o status da doença ($D$) condicional a um determinado limiar de pontuação.
• Interpretação Causal: Os autores utilizam um arcabouço de DAG (Grafo Acíclico Dirigido) causal para interpretar essas suposições. Eles modelam a demografia ($V$) tendo efeitos diretos tanto na pontuação do teste ($X$) quanto no status da doença ($D$). Eles analisam como o condicionamento em $X$ cria um caminho de "colisor" (collider) que pode alterar a associação observada entre $V$ e $D$.
• Análise de Equidade: O artigo formaliza o conceito de "insensibilidade demográfica" (tanto forte quanto fraca) usando raciocínio contrafactual. Eles definem um escore como insensível se a performance da regra de decisão (Taxas de Verdadeiro/Falso Positivo) permanecer invariante sob intervenções hipotéticas nos atributos sensíveis (por exemplo, mudar a sensibilidade do teste à escolaridade ou habilidades sensoriais).
• Aplicação Empírica: Os resultados teóricos são aplicados ao conjunto de dados OASIS-3 (1.317 participantes) utilizando pontuações do MMSE. Os autores estimam a condição de superioridade ($\tau(t)$) usando métodos não paramétricos e modelos hierárquicos paramétricos para testar a validade da Suposição 3. Eles também testam a insensibilidade demográfica tanto em pontuações brutas quanto em pontuações corrigidas pela idade.

Principais Contribuições

1. Condições Suficientes para a Superioridade da Pontuação Bruta: O artigo fornece condições formais e suficientes (Teorema 1) sob as quais as pontuações brutas produzem maior precisão de classificação marginal (maior TPR para um FPR fixo) do que as pontuações demograficamente corrigidas. Isso ocorre sem depender de modelos paramétricos restritivos ou noções vagas de "associações fortes".
2. Interpretação Causal do Prejuízo da Correção: Os autores esclarecem que as correções tornam-se prejudiciais quando as variáveis demográficas são fortes preditores da condição de interesse (por exemplo, a idade é um forte fator de risco para demência) e a correção remove a variação na pontuação bruta que está causalmente ligada ao risco da doença.
3. Formalização da Equidade: O artigo distingue entre "equalizar taxas de erro" (o que as correções frequentemente alcançam para Taxas de Falsos Positivos) e "insensibilidade demográfica" (onde as regras de decisão são invariantes a intervenções demográficas). Eles demonstram que as correções padrão não garantem a insensibilidade demográfica, particularmente em relação às Taxas de Verdadeiros Positivos.
4. Validação Empírica: Usando os dados do OASIS-3, o estudo fornece evidências que apoiam a afirmação teórica de que as pontuações brutas do MMSE possuem precisão de classificação superior às pontuações corrigidas pela idade e demonstra que as pontuações corrigidas pela idade não são demograficamente insensíveis entre indivíduos com comprometimento cognitivo.

Resultos

• Teóricos: Sob a suposição de que o teste é bem desenhado e a correção alcança a independência do escore em relação à demografia no grupo não prejudicado, as pontuações brutas superam as corrigidas se o efeito da variável demográfica na pontuação (na população saudável) e seu efeito no risco da doença (condicional ao escore) forem comonotônicos.
• Aplicação OASIS-3:
  • Precisão: As estimativas não paramétricas do limite de superioridade $\tau(t)$ foram positivas para a maioria dos limiares, embora os intervalos de confiança fossem amplos. No entanto, a análise paramétrica (assumindo um modelo linear hierárquico) rejeitou fortemente a hipótesa nula de não-superioridade ($p < 0,05$), fornecendo evidência estatística de que as pontuações brutas do MMSE têm melhor precisão de classificação do que as pontuações corrigidas pela idade em todos os FPRs.
  • Insensibilidade: O estudo rejeitou a hipótese de que as pontuações brutas do MMSE são insensíveis à idade. Crucialmente, descobriu que mesmo as pontuações corrigidas pela idade (escores-z) não eram demograficamente insensíveis entre indivíduos com comprometimento cognitivo ($D=1$), falhando em alcançar a propriedade de equidade desejada para a população alvo.

Significância e Alegações
Os autores alegam trazer clareza ao debate sobre correções demográficas ao estabelecer que as pontuações brutas podem ser teoricamente e empiricamente superiores em precisão de classificação sem depender de modelos geradores de dados restritivos. Eles argumentam que a intuição de que "correções são justas" é falha porque as correções padrão não garantem a insensibilidade demográfica no processo de decisão, particularmente para aqueles com a condição.

O artigo conclui que, embora as correções demográficas possam equalizar as Taxas de Falsos Positivos entre grupos, elas podem ser prejudiciais à utilidade diagnóstica global de testes de triagem quando a demografia é um fator de risco forte para a condição. Os autores enfatizam que suas descobertas aplicam-se amplamente onde as correções demográficas são utilizadas (por exemplo, função renal, função pulmonar, diagnósticos neurológicos), sugerindo que o equilíbrio entre precisão e equidade percebida requer uma avaliação cuidadosa e específica ao contexto, em vez da aplicação rotineira de correções.