Detecting and Quantifying Circularity Bias When Composite Quality Ratings Are Used as Covariates: A Methodological Demonstration Using CMS Hospital Excess Readmissions Data

Resumo Técnico: Detecção e Quantificação do Viés de Circularidade em Classificações Compostas de Qualidade

Definição do Problema
Medidas de qualidade ajustadas ao risco e reportadas publicamente são cada vez mais utilizadas para comparar provedores de saúde e alocar pagamentos. Uma prática metodológica comum envolve incluir classificações compostas de qualidade (ex: classificação geral de estrelas do CMS) como covariáveis em modelos de regressão para ajustar a qualidade global ao estudar desfechos específicos (ex: readmissões hospitalares). Este artigo identifica um perigo metodológico crítico nesta prática: o viés de circularidade (uma forma de sobreajuste).

Quando uma classificação composta $R$ é construída, em parte, como uma função do desfecho de interesse $Y$ (ex: a classificação de estrelas inclui o desempenho em readmissões), $R$ torna-se um descendente do desfecho. Incluir tal classificação como um regressor em um modelo onde $Y$ é a variável dependente coloca efetivamente um substituto (proxy) do desfecho no lado direito da equação. Consequentemente, o coeficiente da classificação absorve parte da relação mecânica entre o desfeço e si mesmo, fazendo com que os coeficientes de preditores estruturais genuínos (ex: propriedade hospitalar) sejam sistematicamente atenuados em direção a zero. Isso se distingue do ajuste por confusão ou do viés de colisor; trata-se de um erro estrutural onde o analista condiciona em uma variável pós-tratamento que é parcialmente determinada pelo desfecho.

Metodologia
O artigo propõe uma abordagem metodológica de duas frentes: um teste diagnóstico e uma decomposição de variância.

1. O Diagnóstico de Circularidade:

   • Procedimento: Estimar o modelo estrutural duas vezes na mesma subamostra:
     • Modelo A: Regredir o desfecho $Y$ sobre os preditores estruturais $X$ (excluindo a classificação composta).
     • Modelo B: Regredir $Y$ sobre $X$ incluindo a classificação composta $R$.
   • Interpretação: Comparar o coeficiente focal de $X$ entre os dois modelos. Um movimento material em direção a zero no Modelo B indica atenuação. Embora a atenuação também possa resultar de um ajuste de confusão legítimo, o diagnóstico baseia-se no conhecimento estrutural: se a variável adicionada é um descendente do desfecho (como as classificações compostas frequentemente são), a atenuação representa viés, e o Modelo A não ajustado fornece a estimativa menos enviesada da associação estrutural.

2. Decomposição de Variância:

   • Para complementar o diagnóstico, os autores realizam uma decomposição de variância entre grupos versus dentro de grupos. Isso particiona a soma total dos quadrados do desfecho para determinar quanta variação é atribuível a características de nível de grupo (ex: regiões do censo) versus a variação dentro do grupo. Isso protege contra a interpretação excessiva de coeficientes geográficos estatisticamente significativos, mas substantivamente pequenos.

3. Dados e Simulação:

   • Dados Empíricos: O estudo utiliza dados do CMS para o Ano Fiscal 2026, cobrindo 2.446 hospitais de cuidados agudos. O desfecho é a razão de excesso de readmissão ponderada pela alta (uma medida de readmissões de 30 dias ajustada ao risco). O preditor focal é a propriedade hospitalar (com fins lucrativos vs. sem fins lucrativos).
   • Simulação de Monte Carlo: Para confirmar a natureza sistemática do viés, os autores simularam dados com um efeito real conhecido de um indicador binário sobre um desfecho. Uma classificação composta foi construída para incorporar o desfecho. A simulação comparou estimadores com e sem a classificação para verificar que a inclusão da classificação descendente enviesa sistematicamente a estimativa em direção a zero.

Principais Resultados

• Achados Empíricos: No modelo primário excluindo a classificação de estrelas do CMS (Modelo A), a propriedade com fins lucrativos foi associada a uma razão de excesso de readmissão mais alta em comparação com a propriedade sem fins lucrativos ($+0,0196$, $p < 0,001$).
• Quantificação do Viés: Quando a classificação de estrelas (que incorpora o desfecho de readmissão) foi incluída (Modelo B), o coeficiente para a propriedade com fins lucrativos atenuou em 48% para $+0,0113$. A própria classificação de estrelas foi um preditor forte ($-0,0209$ por estrela), explicando 19,8% da variância, mas esse aumento foi amplamente mecânico devido à construção da classificação.
• Confirmação por Simulação: A simulação de Monte Carlo, com um efeito real conhecido de $+0,020$, recuperou esse efeito quase exatamente quando a classificação foi excluída. Quando a classificação que incorpora o desfecho foi incluída, a estimativa tendeu para zero (média de $+0,0099$), resultando em uma atenuação média de 50%. Isso correspondeu de perto à atenuação de 48% observada nos dados reais do CMS, confirmando que o viés é sistemático.
• Decomposição de Variância: Apenas 1,1% da variação na razão de excesso de readmissão situava-se entre as regiões do censo, enquanto 98,9% estava dentro das regiões. Isso indica que, embora os coeficientes regionais possam ser estatisticamente significativos, a participação regional explica uma dispersão substantiva negligenciável na medida.
• Robustez: A associação positiva entre a propriedade com fins lucrativos e o excesso de readmissões foi estável em seis condições clínicas específicas (ex: insuficiência cardíaca, pneumonia), embora a magnitude tenha variado.

Significância e Alegações
O artigo alega três contribuições primárias:

1. Formalização do Perigo: Ele identifica e formaliza explicitamente o problema do "descendente do desfecho" no contexto das classificações compostas de qualidade reportadas publicamente, distinguindo-o da confusão padrão ou do viés de colisor.
2. Um Diagnóstico Simples: Propõe um diagnóstico de baixo custo e transparente (comparando modelos com e sem a classificação) que permite aos analistas detectar e quantificar este viés de sobreajuste específico sem a necessidade de dados adicionais.
3. Esclarecimento da Variação: Através da decomposição de variância, demonstra que coeficientes de agrupamento estatisticamente significativos (ex: por região) podem explicar quase nada da variação real nas medidas de qualidade, alertando contra a equiparação de significância estatística com importância substantiva.

Limitações e Escopo
Os autores mantêm uma postura modesta em relação às suas descobertas:

• Não é uma Estimativa Causal: A estimativa "não ajustada" (excluindo a classificação) é menos enviesada em relação à circularidade, mas não é uma estimativa causal dos efeitos de propriedade. Ela permanece sujeita à confusão padrão pelo perfil do paciente, pois a razão de excesso de readmissão do CMS é ajustada ao risco dentro de seus grupos pares, mas não ao nível do hospital.
• Natureza Composta: O estudo reconhece a ironia de que o próprio desfecho é um composto de seis condições, embora a ponderação seja transparente e não incorpore os preditores estruturais, evitando assim o problema específico de circularidade estudado.
• Generalização: As ferramentas de diagnóstico e decomposição são apresentadas como transferíveis para qualquer cenário onde uma classificação composta que incorpore o desfecho seja considerada como uma covariável (ex: lares de idosos, unidades de diálise).

O artigo conclui que incluir classificações compostas que incorporam o desfecho como covariáveis não é um ajuste neutro, mas uma fonte de viés de atenuação. As ferramentas propostas permitem que pesquisadores detectem este viés e reformulem a interpretação das associações estruturais e das variações geográficas nos dados de qualidade.