📈 economia

Q-squared as a mapping model performance metric: comparison of models mapping to EQ-5D in gastrointestinal disease

Este estudo avalia o estatístico Q-squared como uma nova métrica de desempenho para o mapeamento de medidas de qualidade de vida para o EQ-5D em doenças gastrointestinais, constatando que ele classifica efetivamente a precisão preditiva e revela que os modelos de validação interna geralmente superam os de validação externa.

Autores originais: Kristian Mallon, Rositsa Koleva-Kolarova, Richeal Burns, Yaling Yang, Helen Dakin

Publicado 2026-09-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kristian Mallon, Rositsa Koleva-Kolarova, Richeal Burns, Yaling Yang, Helen Dakin

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da pesquisa médica, médicos e economistas perguntam constantemente uma questão simples, mas vital: quão boa é a vida de um paciente agora e como um novo tratamento a mudará? Para responder a isso, pesquisadores utilizam questionários que pedem às pessoas para avaliarem sua própria saúde, abrangendo aspectos como mobilidade, dor e humor. Esses questionários produzem um número único, uma pontuação que representa a qualidade de vida de uma pessoa. Essa pontuação é tão útil que agências de saúde dependem dela para decidir quais tratamentos merecem financiamento e apoio. No entanto, surge um problema quando um estudo clínico utiliza um questionário específico projetado para uma doença particular, como o câncer de estômago ou a síndrome do intestino irritável, mas as agências de financiamento precisam da pontuação de saúde genérica para tomar suas decisões. Como os dois questionários fazem perguntas diferentes, eles não podem ser comparados diretamente. Para preencher essa lacuna, cientistas utilizam um método chamado "mapeamento". Eles constroem modelos matemáticos que atuam como tradutores, pegando os resultados dos questionários específicos da doença e prevendo qual teria sido a pontuação de saúde genérica.

O desafio é saber qual tradutor é o melhor. Durante anos, pesquisadores utilizaram ferramentas padrão para verificar se esses modelos funcionam bem, mas essas ferramentas frequentemente falham ao comparar modelos construídos com diferentes grupos de pessoas ou diferentes questionários. Um novo estudo de Kristian Mallon e seus colegas da Atlantic Technological University e da University of Oxford sugere uma maneira melhor de julgar esses tradutores. Eles testaram uma métrica chamada Q-squared, uma medida de quanto um modelo é melhor em prever a pontuação de saúde de um paciente em comparação com o simples ato de adivinhar a pontuação média de todos. Ao aplicar essa métrica a uma grande coleção de estudos focados em doenças gastrointestinais, a equipe descobriu que o Q-squared fornece uma forma clara e justa de ver quais modelos realmente funcionam e quais estão apenas dando palpites.

Os pesquisadores propuseram-se a examinar quatorze estudos que já haviam criado esses modelos de mapeamento para pessoas com doenças digestivas, variando de problemas comuns como a constipação a condições graves como cânceres de fígado e estômago. Esses estudos envolveram dados de quase 15.000 indivíduos e incluíram 118 fórmulas matemáticas diferentes projetadas para traduzir questionários específicos de doenças na pontuação de saúde padrão. A equipe pegou os resultados relatados nesses estudos e calculou o valor de Q-squared para cada um deles. Esse cálculo mede essencialmente a precisão da previsão ao comparar os erros cometidos pelo modelo contra a variação natural nas pontuações de saúde dos pacientes. Se um modelo performa não melhor do que apenas adivinhar a média, o score é zero ou negativo; se prevê perfeitamente, a pontuação aproxima-se de um.

Os resultados revelaram uma ampla gama de desempenho entre os modelos. Os valores de Q-squared das 118 fórmulas variaram de um número negativo, indicando um modelo que foi pior do que um palpite simples, até um valor alto de 0,91, que representa uma previsão muito forte. Em média, cerca de metade dos modelos mostrou um poder preditivo moderado, o que significa que eram razoavelmente precisos, mas não perfeitos. Apenas uma pequena fração, cerca de 8 por cento, alcançou uma precisão substancial. O estudo também destacou que o tipo de doença e os questionários específicos utilizados importavam muito. Modelos que traduziam um questionário de qualidade de vida geral de câncer para a pontuação de saúde padrão tendiam a performar melhor do que aqueles que tentavam traduzir questionários projetados especificamente para a síndrome do intestino irritável ou constipação. De fato, alguns modelos para constipação performaram tão mal que foram piores do que simplesmente assumir que cada paciente tinha a média de saúde.

Outra descoberta fundamental foi a diferença entre como os modelos performaram nos dados com os quais foram construídos versus como performaram em novos dados não vistos. Os pesquisadores descobriram que os modelos frequentemente pareciam muito mais precisos quando testados no mesmo grupo de pacientes usado para criá-los, em comparação com quando foram testados em um grupo de pacientes completamente diferente de outro estudo. Este é um problema comum em estatística, onde um modelo pode memorizar os detalhes de um grupo em vez de aprender as regras gerais que se aplicam a todos. O estudo mostrou que, embora muitos modelos parecessem fortes em seus testes iniciais, sua precisão caía significativamente quando aplicados a novas populações. Isso sugere que os pesquisadores precisam ser muito cuidadosos ao confiar em um modelo apenas porque ele funcionou bem no estudo original.

Os autores concluem que o Q-squared é uma ferramenta valiosa para classificar os muitos modelos disponíveis. Diferente de outras medidas que podem ser enganosas ao comparar diferentes estudos, esta métrica permite uma comparação direta e justa de precisão através de diferentes grupos e diferentes tipos de questionários. Ela ajuda pesquisadores e formuladores de políticas a identificar quais modelos são confiáveis o suficiente para serem usados na tomada de decisões reais sobre financiamento de saúde. O estudo não afirma ter resolvido o problema do mapeamento de uma vez por todas, mas oferece uma lente mais clara através da qual visualizar as ferramentas existentes. Ao usar esta métrica, a comunidade médica pode evitar depender de modelos que performam mal e, em vez disso, selecionar aqueles que verdadeiramente refletem a saúde e a qualidade de vida dos pacientes com doenças digestivas.

Resumo Técnico: Q-quadrado como Métrica de Desempenho de Modelos de Mapeamento em Doenças Gastrointestinais

Definição do Problema
Na economia da saúde, algoritmos de mapeamento são frequentemente empregados para prever valores de utilidade EQ-5D a partir de instrumentos de qualidade de vida relacionada à saúde (QVRS) específicos de doenças, quando os dados do EQ-5D não estão disponíveis. O desempenho desses modelos de mapeamento é tradicionalmente avaliado utilizando métricas como o Erro Quadrático Médio (RMSE), o Erro Quadrático Médio (MSE) e o Erro Absoluto Médio (MAE). No entanto, essas métricas são sensíveis ao desvio padrão (DP) da amostra, o que torna as comparações diretas da precisão preditiva entre diferentes estudos ou populações difíceis. Embora o $R^2$ seja por vezes utilizado, ele mede a força da correlação, e não a precisão da predição, e falha em penalizar predições enviesadas. Embora o estatístico Q-quadrado ( $Q^2$ ) — definido como a redução proporcional do erro — tenha sido proposto como uma métrica superior para avaliar a precisão da predição entre diferentes amostras, ele não foi previamente aplicado para avaliar modelos de mapeamento em estudos de qualidade de vida. Este artigo aborda essa lacuna investigando a utilidade do $Q^2$ como uma métrica de desempenho especificamente no contexto de estudos de mapeamento de doenças gastrointestinais (GI).

Metodologia
Os autores realizaram uma análise secundária utilizando o Banco de Dados de Estudos de Mapeamento do Centro de Pesquisa em Economia da Saúde de Oxford (HERC) (versão 10.0).

Seleção de Dados: O estudo identificou 14 estudos publicados (12 estudos de mapeamento primários e 2 estudos de validação externa) focados em populações com doenças GI (incluindo cânceres colorretal, esofagogástrico e pancreático, bem como SII e constipação). Os estudos deveriam mapear vários instrumentos de origem para EQ-5D-3L ou EQ-5D-5L e relatar estatísticas suficientes (MSE ou RMSE, e o DP do instrumento alvo) para permitir o cálculo do $Q^2$ .
Cálculo: O $Q^2$ foi calculado para 118 funções de mapeamento usando a fórmula: $Q^2 = 1 - (MSE / SD^2)$ . Onde apenas o RMSE foi relatado, este foi elevado ao quadrado para derivar o MSE.
Estrutura de Interpretação: Para categorizar o desempenho, os autores adotaram valores de corte comumente usados para $R^2$ $R^{2}$ na literatura metodológica:
- Substancial: $\ge 0,75$
- Moderado: $0,50 - 0,74$
- Fraco: $0,25 - 0,49$
- Pobre: $0 - 0,24$
- Negativo: $< 0$ (indicando que o modelo tem um desempenho inferior à predição da média).
Análise: O estudo explorou variações de $Q^2$ entre combinações de instrumentos de origem-alvo, tipos de modelos (ex: OLS, Tobit, CLAD), tamanhos de amostra e tipos de validação (estimação, interna e externa).

Principais Resultados

Desempenho Geral: Através de 118 funções de mapeamento envolvendo 14.609 indivíduos, os valores de $Q^2$ $Q^{2}$ variaram de -0,69 a 0,91 (mediana: 0,52).
- Desempenho substancial ( $\ge 0,75$ ) foi observado em 8% (10/118) dos algoritmos.
- Desempenho moderado (0,50–0,74) foi observado em 50% (59/118).
- Desempenho fraco e pobre representaram 24% e 16%, respectivamente, dos algoritmos.
- Desempenho negativo ( $<0$ ) foi encontrado em dois casos (um modelo OLS e um modelo CLAD), indicando um viés severo.
Especificidade do Instrumento:
- Modelos que mapeiam o EORTC QLQ-C30 para o EQ-5D geralmente demonstraram o desempenho mais forte. Para o mapeamento do EORTC QLQ-C30 para EQ-5D-5L, 97% das funções mostraram desempenho moderado ou substancial.
- Modelos que mapeiam o IBS-QOL e o PAC-QOL mostraram um desempenho significativamente mais fraco. Para o IBS-QOL para EQ-5D-5L, 53% das funções foram classificadas como pobres. O valor mais baixo (-0,69) ocorreu no mapeamento do PAC-QOL para EQ-5D-3L em uma população com constipação induzida por opioides.
Diferenças de Validação: Os valores de $Q^2$ nas amostras de validação interna foram consistentemente mais altos do que nas amostras de validação externa. 81% das funções de validação interna mostraram desempenho moderado ou substancial, comparado a 62% das funções de validação externa que mostraram desempenho fraco.
Tipos de Modelo: O Mínimos Quadrados Ordinários (OLS) foi o tipo de modelo mais comum. Não surgiu um padrão claro de superioridade de $Q^2$ entre diferentes especificações de modelos (ex: OLS vs. CLAD vs. modelos de mistura).
Tamanho da Amostra: O desempenho preditivo foi mais variável em amostras pequenas ( $n \le 200$ ). O desempenho moderado a substancial mais consistente foi observado no grupo de tamanho de amostra de 501–800.

Significância e Alegações
O artigo postula que o $Q^2$ é uma métrica informativa e prática para estudos de mapeamento entre medidas de QVRS. Sua principal significância reside na sua capacidade de:

Permitir a Comparação entre Estudos: Ao contrário do RMSE ou MSE, o $Q^2$ considera a variabilidade da amostra (SD), permitindo a comparação direta da precisão preditiva entre diferentes amostras e estudos.
Facilitar a Seleção de Modelos: Fornece uma forma padronizada de comparar algoritmos e selecionar o modelo de mapeamento mais apropriado para uma população ou avaliação econômica específica.
Suportar a Média de Modelos: Os autores sugerem que o $Q^2$ poderia ser usado para ponderar modelos na média de modelos, levando em conta a variabilidade e o poder preditivo em amostras de validação.
Identificar Modelos Ruins: A métrica sinaliza efetivamente modelos com valores negativos, que apresentam desempenho inferior a uma simples predição da média e não devem ser utilizados.

Os autores concluem que, embora os limiares propostos para categorizar o desempenho sejam pragmáticos e baseados na literatura existente de $R^2$ em vez de uma validação empírica para o $Q^2$ , eles oferecem uma estrutura valiosa para interpretar o poder preditivo. Eles recomendam que futuros estudos de mapeamento relatem rotineiramente o $Q^2$ juntamente com as métricas de erro tradicionais para aumentar a transparência e a comparabilidade no campo. O estudo reconhece limitações, observando que os achados são específicos para doenças GI e podem não se generalizar para outras condições, e que os cortes de desempenho requerem maior validação.

Mais como este