MAP-DyS: An Interactive Framework for Mapping Analytic Decision Pathways in Subtyping Research

Este artigo apresenta o MAP-DyS, um aplicativo interativo Shiny de código aberto projetado para aumentar a transparência e a reprodutibilidade na pesquisa de subtipagem, visualizando e comparando os diversos caminhos de decisão metodológica encontrados em estudos sobre dislexia do desenvolvimento, com uma estrutura adaptável a outros campos da psicologia e do comportamento.

O essencial

Imagine que você está tentando organizar uma pilha enorme e bagunçada de peças de quebra-cabeça em caixas distintas. Algumas pessoas dizem: "Coloque todas as peças azuis na Caixa A e as vermelhas na Caixa B." Outras dizem: "Não, coloque as peças brilhantes na Caixa A e as foscas na Caixa B." Um terceiro grupo diz: "Vamos apenas colocar as peças grandes na Caixa A e as pequenas na Caixa B."

Se você olhar para as caixas finais, elas parecerão completamente diferentes, mesmo que todos tenham começado com a mesma pilha de peças de quebra-cabeça. Este é exatamente o problema que os pesquisadores enfrentam ao estudar a dislexia (uma dificuldade de aprendizagem relacionada à leitura). Eles tentam classificar pessoas com dificuldades de leitura em diferentes "subtipos" (como "dislexia fonológica" ou "dislexia de superfície") para entendê-las melhor. Mas, como cada equipe de pesquisa usa um conjunto diferente de regras para organizar as peças, eles acabam com caixas diferentes, tornando difícil comparar seus trabalhos.

Este artigo apresenta uma nova ferramenta chamada MAP-DyS para ajudar a resolver essa confusão. Aqui está uma explicação simples do que eles fizeram e do que descobriram:

1. O Problema: O Caos da "Receita"

Pense em cada estudo sobre subtipos de dislexia como um chef tentando assar um bolo.

• Os Ingredientes: Alguns chefs usam farinha e açúcar; outros usam farinha de amêndoas e mel.
• O Forno: Alguns assam a 175°C; outros a 200°C.
• O Temporizador: Alguns verificam o bolo após 20 minutos; outros após 45.

Como todos usam uma "receita" diferente (teorias diferentes, testes diferentes e matemática diferente), eles acabam com bolos muito diferentes. No mundo da pesquisa sobre dislexia, isso significa que um estudo pode dizer que existem dois tipos de dislexia, enquanto outro diz que existem quatro. O artigo argumenta que precisamos parar de olhar apenas para o bolo final e começar a olhar para as receitas para entender por que elas são tão diferentes.

2. A Solução: O "Mapa de Receitas" (MAP-DyS)

Os autores criaram um site interativo (um aplicativo Shiny) chamado MAP-DyS. Você pode pensar nisso como um livro de receitas gigante e interativo ou um simulador de voo para pesquisa.

• Como funciona: Em vez de apenas ler um estudo, você pode inserir seus próprios "filtros". Por exemplo, você pode pedir ao aplicativo: "Mostre-me apenas os estudos que usaram a teoria da 'Rota Dupla' e testaram crianças em inglês."
• Os Visuais: O aplicativo desenha mapas e gráficos coloridos. Ele mostra exatamente quais "ingredientes" (teorias, testes, métodos matemáticos) foram usados em 63 estudos diferentes e como essas escolhas levaram a resultados diferentes.
• O Objetivo: Ele não diz qual receita é "correta". Em vez disso, torna as diferenças transparentes. Permite que os pesquisadores vejam: "Ah, aquele estudo encontrou três subtipos porque usou um truque matemático específico, não porque as pessoas que estudaram eram realmente diferentes."

3. O Que Eles Encontraram no "Livro de Receitas"

Ao mapear esses 63 estudos (principalmente de 2014 a 2023), os autores descobriram algumas coisas surpreendentes sobre como o campo opera:

• O "Segredo" Está Faltando: Cerca de 76% dos estudos nem sequer disseram qual software ou programa de computador usaram para fazer a matemática. É como um chef dizendo: "Asssei este bolo", mas se recusando a dizer se usou um forno, um micro-ondas ou uma fogueira. Isso torna muito difícil para outros copiarem a receita.
• Não Há Receita Padrão: Não existe uma única maneira "oficial" de fazer isso. Alguns estudos usam regras estritas (como "se sua pontuação for abaixo de X, você é do Tipo A"), enquanto outros usam algoritmos complexos de computador para encontrar padrões.
• Amostras Pequenas: A maioria dos estudos usou grupos muito pequenos de pessoas (muitas vezes menos de 100). É como tentar adivinhar o sabor de um oceano inteiro provando uma única colherada. Isso limita o quão confiáveis os "subtipos" podem ser.
• Falta de Verificação Cruzada: Mais da metade dos estudos não verificou se seus resultados eram estáveis. Eles não tentaram ver se a mesma "receita" funcionaria se usassem um grupo ligeiramente diferente de pessoas.
• As "Caixas" são Simples: Apesar da matemática complexa, a maioria dos estudos acabou encontrando apenas 2 a 4 subtipos. Isso sugere que a maneira como os pesquisadores configuram suas "regras de classificação" pode estar limitando o número de caixas que eles encontram, em vez de as pessoas se encaixarem naturalmente em apenas alguns grupos.

4. Por Que Isso Importa

O artigo argumenta que não devemos apenas discutir qual "caixa" é a correta. Em vez disso, precisamos entender que a caixa é criada pelas regras que escolhemos para classificar.

Ao usar o MAP-DyS, os pesquisadores podem:

• Ver exatamente como suas escolhas (como qual teste usar) alteram o resultado.
• Parar de tratar "subtipos" como fatos fixos e imutáveis e começar a vê-los como o resultado de decisões específicas.
• Projetar estudos melhores que sejam mais transparentes e mais fáceis de repetir.

Em Resumo

O artigo é um chamado para parar de adivinhar e começar a mapear. Ele diz: "Temos tentado classificar pessoas com dificuldades de leitura há anos, mas temos usado máquinas de classificação diferentes. Vamos construir uma ferramenta (MAP-DyS) que nos mostre exatamente como cada máquina funciona, para que finalmente possamos entender por que estamos obtendo resultados diferentes e como tornar nossa pesquisa mais clara para todos."

A ferramenta atualmente está focada na dislexia, mas os autores dizem que a mesma ideia de "máquina de classificação" poderia ser usada em qualquer campo onde os pesquisadores tentam agrupar pessoas em subtipos, como autismo ou TDAH.

Resumo técnico

Resumo Técnico: MAP-DyS – Um Framework Interativo para Mapear Trajetórias de Decisão Analítica na Pesquisa de Subtipagem

Declaração do Problema

Abordagens de subtipagem são amplamente utilizadas em pesquisas psicológicas e cognitivas para classificar indivíduos em subgrupos com base em características comportamentais ou cognitivas compartilhadas, particularmente para abordar a heterogeneidade em condições do desenvolvimento, como a dislexia do desenvolvimento. No entanto, essas análises envolvem um pipeline multietapa complexo, compreendendo inúmeras decisões metodológicas, incluindo a seleção de modelos teóricos, estratégias de pré-processamento de dados, índices de desempenho e técnicas estatísticas.

O problema central identificado é que a variabilidade nessas decisões analíticas leva à identificação inconsistente de subgrupos e complica as comparações entre estudos. Embora o campo reconheça os "graus de liberdade do pesquisador", o espaço de decisão específico na pesquisa de subtipagem raramente é definido ou mapeado sistematicamente. Sem um mapa sistemático dessas decisões, é difícil projetar análises multiverso informadas, interpretar a variabilidade entre estudos ou determinar se os resultados de subtipagem são robustos ou meramente artefatos de escolhas analíticas específicas.

Metodologia

Construção do Corpus e Revisão Sistemática

Para abordar essa lacuna, os autores realizaram uma busca sistemática na literatura seguindo as diretrizes PRISMA (sem pré-registro) em quatro bases de dados: Embase (incluindo MEDLINE/PubMed), APA PsycInfo, ERIC e OSF Preprints.

• Estratégia de Busca: A string de busca combinou termos para dislexia/dificuldades de leitura com termos para subtipagem/subgrupagem.
• Critérios de Elegibilidade: Estudos foram incluídos se relatassem resultados empíricos originais identificando perfis cognitivos/comportamentais ou subtipos de leitores com dificuldades de leitura. Estudos foram excluídos se dependessem exclusivamente de medidas neurais (por exemplo, fMRI) ou dados genéticos sem medidas comportamentais, ou se não incluíssem indivíduos com dislexia do desenvolvimento.
• Triagem: Dois avaliadores triaram títulos e resumos. A confiabilidade interavaliador (κ de Cohen) foi calculada em uma subamostra aleatória de 20%. O κ inicial foi 0,592; discrepâncias foram resolvidas por discussão, e o avaliador principal reanalisou a lista completa para finalizar o conjunto de dados.
• Corpus Final: O conjunto de dados resultante compreende 63 estudos (provenientes de 52 itens) publicados entre 2014 e 2023.

Framework de Codificação

Os autores extraíram 168 variáveis categorizadas em cinco domínios:

1. Informações de Publicação: (por exemplo, disponibilidade de código/dados).
2. Características da Amostra: (por exemplo, tamanho da amostra, idioma, comorbidade).
3. Medidas: (por exemplo, construtos, nomes de testes, tipos de variáveis, indicadores de desempenho).
4. Métodos: (por exemplo, software, modelos teóricos, modelos estatísticos, valores de corte, padronização de dados, tratamento de dados ausentes/valores atípicos).
5. Resultados: (por exemplo, nomes de subtipos, prevalência, status de validação, robustez).

O Framework MAP-DyS

Os autores desenvolveram o MAP-DyS ("Mapeamento de Subtipos de Dislexia"), um aplicativo interativo de código aberto, desenvolvido em Shiny, projetado para visualizar essas trajetórias de decisão. O framework opera no nível de artigos publicados, tratando o conjunto de dados como um "multiverso" de escolhas analíticas.

O aplicativo consiste em três componentes principais:

1. Exploração do Conjunto de Dados: Permite que os usuários filtrem o conjunto de dados por categorias de variáveis (publicação, amostra, medidas, métodos, resultados) e gerem tabelas personalizadas ("Criar Sua Tabela").
2. Multiverso de Etapas de Decisão:
   • Dados Descritivos: Visualizações univariadas (distribuições de frequência) e bivariadas (cruzamentos) das características dos estudos.
   • Subconjunto do Multiverso: Os usuários podem filtrar estudos com base em combinações específicas de decisões analíticas (por exemplo, modelo teórico específico + método estatístico).
   • Mapa de Decisão de Artigo Individual: Visualiza o pipeline analítico de um artigo selecionado, destacando decisões que se sobrepõem a outros estudos no banco de dados.
3. Explorador de Resultados de Subtipagem:
   • Modelo Teórico e Subtipos: Um mapa de calor que liga estruturas teóricas aos subtipos identificados.
   • Idioma e Subtipos: Um mapa de calor que liga os idiomas dos participantes aos subtipos identificados.

Resultados Chave e Demonstrações

Utilizando o framework MAP-DyS, os autores demonstraram variabilidade significativa na literatura sobre subtipagem de dislexia:

• Metadados e Características da Amostra:

  • Os tamanhos das amostras são predominantemente pequenos (a maioria dos estudos $n < 100$), restringindo potencialmente a estabilidade de soluções complexas.
  • A literatura é fortemente enviesada para contextos ocidentais (inglês e francês), com representação limitada de outros idiomas (por exemplo, chinês, árabe, coreano).
  • As idades dos participantes agrupam-se em torno da adolescência precoce (11–15 anos), com menos estudos cobrindo a primeira infância ou a idade adulta.

• Variabilidade nas Decisões Analíticas:

  • Estruturas Teóricas: O Modelo de Dupla Rota/Hipótese de Duplo Déficit foi o mais comum, mas ~20% dos estudos não especificaram um modelo teórico. A Visão Simples da Leitura foi a segunda mais citada.
  • Seleção de Construtos: Não há consenso sobre a operacionalização de construtos; rótulos para construtos semelhantes (por exemplo, "identificação de palavras" vs. "reconhecimento de palavras") variam, e as composições de baterias de testes diferem amplamente.
  • Abordagens Estatísticas: A classificação por média-desvio padrão (usando cortes clínicos) foi o método mais prevalente (~46%). Métodos orientados por dados (por exemplo, análise de clusters, Análise de Perfil Latente) foram usados com menos frequência e de forma inconsistente.
  • Validação: Mais da metade dos estudos não relatou qualquer validação formal de seus subtipos.
  • Transparência: ~76% dos estudos não relataram o software específico ou a versão utilizada. Entre aqueles que relataram, o SPSS dominou; ambientes de código aberto (R/Python) foram raramente relatados.

• Resultados de Subtipagem:

  • A maioria dos estudos identificou entre dois e quatro subtipos.
  • Embora alguns perfis (por exemplo, dislexia fonológica e de superfície) pareçam consistentes entre idiomas, perfis específicos de idioma também emergiram (por exemplo, subtipos de memória de trabalho em francês, déficits de RAN/morfológicos em chinês). No entanto, os autores observam que essas diferenças podem refletir escolhas analíticas em vez de perfis cognitivos puramente linguísticos.

Significado e Alegações

O artigo afirma que o MAP-DyS desloca o foco da pesquisa de subtipagem de "identificar subtipos" para "entender como os subtipos são construídos".

• Transparência e Reprodutibilidade: Ao tornar a variabilidade analítica transparente e navegável, a ferramenta apoia os pesquisadores na avaliação crítica das práticas existentes e no desenho de estudos mais reprodutíveis. Ela destaca a falta de padronização na reportagem de software e procedimentos de validação.
• Perspectiva Multiverso: O framework fornece uma base para pesquisas conscientes do multiverso, permitindo que os pesquisadores identifiquem trajetórias analíticas alternativas e avaliem quão comuns elas são na literatura.
• Generalizabilidade: Embora demonstrado na dislexia, os autores afirmam que o framework é adaptável a outras áreas da pesquisa psicológica e comportamental que empregam abordagens de subtipagem ou classificação (por exemplo, autismo, TDAH).
• Utilidade Prática: A ferramenta destina-se a apoiar a reflexão informada por evidências para clínicos e educadores em relação às práticas de diagnóstico e intervenção, embora seja explicitamente não uma ferramenta de diagnóstico.

Os autores concluem que os resultados de subtipagem são contingentes a uma série de decisões analíticas. Ao visualizar essas trajetórias de decisão, o MAP-DyS permite uma interpretação mais cautelosa de achados heterogêneos e apoia esforços para aprimorar a replicabilidade e a generalizabilidade da pesquisa em ciências comportamentais.