MAP-DyS: An Interactive Framework for Mapping Analytic Decision Pathways in Subtyping Research

Questo articolo presenta MAP-DyS, un'applicazione interattiva Shiny open source progettata per migliorare la trasparenza e la riproducibilità nella ricerca sulla sottomissione, visualizzando e confrontando le diverse vie decisionali metodologiche riscontrate negli studi sulla dislessia evolutiva, con un quadro adattabile ad altri ambiti psicologici e comportamentali.

L'essenziale

Immagina di dover ordinare un enorme e disordinato mucchio di pezzi di puzzle in scatole distinte. Alcuni dicono: "Metti tutti i pezzi blu nella Scatola A e quelli rossi nella Scatola B". Altri dicono: "No, metti i pezzi lucidi nella Scatola A e quelli opachi nella Scatola B". Un terzo gruppo dice: "Mettiamo semplicemente i pezzi grandi nella Scatola A e quelli piccoli nella Scatola B".

Se guardi le scatole finali, appariranno completamente diverse, anche se tutti sono partiti dallo stesso mucchio di pezzi di puzzle. Questo è esattamente il problema che i ricercatori affrontano quando studiano la dislessia (una difficoltà di apprendimento nella lettura). Cercano di ordinare le persone con difficoltà di lettura in diversi "sottotipi" (come "dislessia fonologica" o "dislessia di superficie") per comprenderle meglio. Ma poiché ogni équipe di ricerca utilizza un diverso insieme di regole per ordinare i pezzi, finiscono con scatole diverse, rendendo difficile confrontare il loro lavoro.

Questo articolo presenta un nuovo strumento chiamato MAP-DyS per aiutare a risolvere questa confusione. Ecco una semplice spiegazione di ciò che hanno fatto e di ciò che hanno scoperto:

1. Il Problema: Il Caos della "Ricetta"

Pensa a ogni studio sui sottotipi di dislessia come a uno chef che cerca di preparare una torta.

• Gli Ingredienti: Alcuni chef usano farina e zucchero; altri usano farina di mandorle e miele.
• Il Forno: Alcuni cuociono a 175°C; altri a 200°C.
• Il Timer: Alcuni controllano la torta dopo 20 minuti; altri dopo 45.

Poiché tutti usano una "ricetta" diversa (teorie diverse, test diversi e matematica diversa), finiscono con torte molto diverse. Nel mondo della ricerca sulla dislessia, questo significa che uno studio potrebbe affermare che esistono due tipi di dislessia, mentre un altro ne afferma quattro. L'articolo sostiene che dobbiamo smettere di guardare solo la torta finale e iniziare a guardare le ricette per capire perché sono così diverse.

2. La Soluzione: La "Mappa delle Ricette" (MAP-DyS)

Gli autori hanno creato un sito web interattivo (un'app Shiny) chiamato MAP-DyS. Puoi pensare a questo come a un enorme libro di ricette interattivo o a un simulatore di volo per la ricerca.

• Come funziona: Invece di leggere semplicemente uno studio, puoi inserire i tuoi stessi "filtri". Ad esempio, potresti chiedere all'app: "Mostrami solo gli studi che hanno utilizzato la teoria del 'Dual-Route' e hanno testato bambini in inglese".
• Le Visualizzazioni: L'app disegna mappe e grafici colorati. Ti mostra esattamente quali "ingredienti" (teorie, test, metodi matematici) sono stati utilizzati in 63 studi diversi e come queste scelte hanno portato a risultati diversi.
• L'Obiettivo: Non ti dice quale ricetta è "giusta". Invece, rende le differenze trasparenti. Permette ai ricercatori di vedere: "Oh, quello studio ha trovato tre sottotipi perché hanno usato un trucco matematico specifico, non perché le persone che hanno studiato fossero effettivamente diverse".

3. Cosa Hanno Trovato nel "Libro delle Ricette"

Mappando questi 63 studi (principalmente dal 2014 al 2023), gli autori hanno scoperto alcune cose sorprendenti su come opera il campo:

• Manca la "Salsa Segreta": Circa il 76% degli studi non ha nemmeno specificato quale software o programma informatico hanno utilizzato per fare i calcoli matematici. È come se uno chef dicesse: "Ho fatto questa torta", ma si rifiutasse di dirti se ha usato un forno, un microonde o un fuoco. Questo rende molto difficile per gli altri copiare la ricetta.
• Nessuna Ricetta Standard: Non esiste un unico modo "ufficiale" per farlo. Alcuni studi usano regole rigide (come "se il tuo punteggio è inferiore a X, sei di Tipo A"), mentre altri usano complessi algoritmi informatici per trovare modelli.
• Campioni Piccoli: La maggior parte degli studi ha utilizzato gruppi di persone molto piccoli (spesso meno di 100). È come cercare di indovinare il sapore di un intero oceano assaggiando un singolo cucchiaino. Questo limita l'affidabilità dei "sottotipi".
• Mancanza di Verifica Incrociata: Più della metà degli studi non ha verificato se i loro risultati fossero stabili. Non hanno cercato di vedere se la stessa "ricetta" avrebbe funzionato se avessero utilizzato un gruppo di persone leggermente diverso.
• Le "Scatole" sono Semplici: Nonostante la matematica complessa, la maggior parte degli studi ha finito per trovare solo 2-4 sottotipi. Questo suggerisce che il modo in cui i ricercatori impostano le loro "regole di ordinamento" potrebbe limitare il numero di scatole che trovano, piuttosto che le persone stesse cadere naturalmente in pochi gruppi.

4. Perché Questo è Importante

L'articolo sostiene che non dovremmo semplicemente discutere su quale "scatola" sia quella corretta. Invece, dobbiamo capire che la scatola è creata dalle regole che scegliamo per ordinare.

Utilizzando MAP-DyS, i ricercatori possono:

• Vedere esattamente come le loro scelte (come quale test utilizzare) cambiano l'esito.
• Smettere di trattare i "sottotipi" come fatti fissi e immutabili e iniziare a vederli come il risultato di decisioni specifiche.
• Progettare studi migliori che siano più trasparenti e più facili da ripetere.

In Sintesi

L'articolo è un invito a smettere di indovinare e iniziare a mappare. Dice: "Abbiamo cercato di ordinare le persone con difficoltà di lettura per anni, ma abbiamo usato macchine di ordinamento diverse. Costruiamo uno strumento (MAP-DyS) che ci mostri esattamente come funziona ogni macchina, così potremo finalmente capire perché otteniamo risultati diversi e come rendere la nostra ricerca più chiara per tutti".

Lo strumento è attualmente focalizzato sulla dislessia, ma gli autori affermano che la stessa idea di "macchina di ordinamento" potrebbe essere utilizzata in qualsiasi campo in cui i ricercatori cercano di raggruppare le persone in sottotipi, come l'autismo o l'ADHD.

Sommario tecnico

Riepilogo Tecnico: MAP-DyS – Un Framework Interattivo per Mappare i Percorsi Decisionali Analitici nella Ricerca sui Sottotipi

Enunciato del Problema

Gli approcci di sottotipizzazione sono ampiamente utilizzati nella ricerca psicologica e cognitiva per classificare gli individui in sottogruppi basati su caratteristiche comportamentali o cognitive condivise, in particolare per affrontare l'eterogeneità nelle condizioni dello sviluppo come la dislessia evolutiva. Tuttavia, queste analisi coinvolgono una pipeline multistadio complessa composta da numerose decisioni metodologiche, tra cui la selezione di modelli teorici, strategie di pre-elaborazione dei dati, indici di performance e tecniche statistiche.

Il problema centrale identificato è che la variabilità in queste decisioni analitiche porta a un'identificazione incoerente dei sottogruppi e complica i confronti tra studi. Sebbene il settore riconosca i "gradi di libertà del ricercatore", lo spazio decisionale specifico nella ricerca sui sottotipi è raramente definito o mappato in modo sistematico. Senza una mappa sistematica di queste decisioni, è difficile progettare analisi multiverso informate, interpretare la variabilità tra gli studi o determinare se i risultati della sottotipizzazione siano robusti o semplicemente artefatti di scelte analitiche specifiche.

Metodologia

Costruzione del Corpus e Revisione Sistematica

Per colmare questa lacuna, gli autori hanno condotto una ricerca sistematica della letteratura seguendo le linee guida PRISMA (senza pre-registrazione) su quattro database: Embase (inclusi MEDLINE/PubMed), APA PsycInfo, ERIC e OSF Preprints.

• Strategia di Ricerca: La stringa di ricerca ha combinato termini relativi alla dislessia/difficoltà di lettura con termini relativi alla sottotipizzazione/sottogruppazione.
• Criteri di Idoneità: Sono stati inclusi gli studi che riportavano risultati empirici originali sull'identificazione di profili cognitivi/comportamentali o sottotipi di lettori con difficoltà di lettura. Sono stati esclusi gli studi che si basavano esclusivamente su misure neurali (es. fMRI) o dati genetici senza misure comportamentali, o che non includevano individui con dislessia evolutiva.
• Screening: Due valutatori hanno esaminato titoli e abstract. L'affidabilità inter-valutatore (Cohen's $\kappa$) è stata calcolata su un sottoinsieme casuale del 20%. Il $\kappa$ iniziale era 0,592; le discrepanze sono state risolte tramite discussione e il valutatore principale ha riesaminato l'elenco completo per finalizzare il dataset.
• Corpus Finale: Il dataset risultante comprende 63 studi (da 52 voci) pubblicati tra il 2014 e il 2023.

Framework di Codifica

Gli autori hanno estratto 168 variabili categorizzate in cinque domini:

1. Informazioni sulla Pubblicazione: (es. disponibilità di codice/dati).
2. Caratteristiche del Campione: (es. dimensione del campione, lingua, comorbilità).
3. Misure: (es. costrutti, nomi dei test, tipi di variabili, indicatori di performance).
4. Metodi: (es. software, modelli teorici, modelli statistici, valori di cut-off, standardizzazione dei dati, trattamento dei dati mancanti/outlier).
5. Risultati: (es. nomi dei sottotipi, prevalenza, stato di validazione, robustezza).

Il Framework MAP-DyS

Gli autori hanno sviluppato MAP-DyS ("Mapping Dyslexia Subtypes"), un'applicazione interattiva open-source basata su Shiny progettata per visualizzare questi percorsi decisionali. Il framework opera a livello di articoli pubblicati, trattando il dataset come un "multiverso" di scelte analitiche.

L'applicazione è composta da tre componenti principali:

1. Esplorazione del Dataset: Consente agli utenti di filtrare il dataset per categorie di variabili (pubblicazione, campione, misure, metodi, risultati) e generare tabelle personalizzate ("Crea la tua Tabella").
2. Multiverso dei Passaggi Decisionali:
   • Dati Descrittivi: Visualizzazioni univariate (distribuzioni di frequenza) e bivariata (tabelle di contingenza) delle caratteristiche degli studi.
   • Sottosezione del Multiverso: Gli utenti possono filtrare gli studi in base a combinazioni specifiche di decisioni analitiche (es. modello teorico specifico + metodo statistico).
   • Mappa Decisionale di un Articolo Individuale: Visualizza la pipeline analitica di un articolo selezionato, evidenziando le decisioni sovrapposte con altri studi nel database.
3. Esploratore dei Risultati di Sottotipizzazione:
   • Modello Teorico e Sottotipi: Una mappa di calore che collega i quadri teorici ai sottotipi identificati.
   • Lingua e Sottotipi: Una mappa di calore che collega le lingue dei partecipanti ai sottotipi identificati.

Risultati Chiave e Dimostrazioni

Utilizzando il framework MAP-DyS, gli autori hanno dimostrato una significativa variabilità nella letteratura sulla sottotipizzazione della dislessia:

• Metadati e Caratteristiche del Campione:

  • Le dimensioni del campione sono prevalentemente piccole (la maggior parte degli studi $n < 100$), potenzialmente limitando la stabilità di soluzioni complesse.
  • La letteratura è fortemente sbilanciata verso contesti occidentali (inglese e francese), con una rappresentazione limitata di altre lingue (es. cinese, arabo, coreano).
  • Le età dei partecipanti si raggruppano intorno alla prima adolescenza (11–15 anni), con meno studi che coprono la prima infanzia o l'età adulta.

• Variabilità delle Decisioni Analitiche:

  • Quadri Teorici: Il Modello a Doppia Via/Ipotesi del Doppio Deficit era il più comune, ma circa il 20% degli studi non specificava un modello teorico. La Visione Semplice della Lettura era il secondo più citato.
  • Selezione dei Costrutti: Non esiste un consenso sull'operazionalizzazione dei costrutti; le etichette per costrutti simili (es. "identificazione di parole" vs "riconoscimento di parole") variano e la composizione delle batterie di test differisce ampiamente.
  • Approcci Statistici: La classificazione basata sulla deviazione standard media (utilizzando cut-off clinici) è stata il metodo più prevalente (~46%). I metodi guidati dai dati (es. analisi dei cluster, Analisi delle Profili Latenti) sono stati utilizzati meno frequentemente e in modo incoerente.
  • Validazione: Più della metà degli studi non ha riportato alcuna validazione formale dei propri sottotipi.
  • Trasparenza: Circa il 76% degli studi non ha riportato il software specifico o la versione utilizzata. Tra quelli che l'hanno fatto, SPSS dominava; gli ambienti open-source (R/Python) sono stati raramente riportati.

• Esiti della Sottotipizzazione:

  • La maggior parte degli studi ha identificato tra due e quattro sottotipi.
  • Sebbene alcuni profili (es. dislessia fonologica e superficiale) appaiano coerenti tra le lingue, sono emersi anche profili specifici della lingua (es. sottotipi di memoria di lavoro in francese, deficit RAN/morfologici in cinese). Tuttavia, gli autori notano che queste differenze potrebbero riflettere scelte analitiche piuttosto che profili cognitivi puramente linguistici.

Significato e Affermazioni

Il paper afferma che MAP-DyS sposta il focus della ricerca sulla sottotipizzazione dall'"identificazione dei sottotipi" alla "comprensione di come i sottotipi sono costruiti".

• Trasparenza e Riproducibilità: Rendendo la variabilità analitica trasparente e navigabile, lo strumento supporta i ricercatori nella valutazione critica delle pratiche esistenti e nella progettazione di studi più riproducibili. Evidenzia la mancanza di standardizzazione nella segnalazione del software e delle procedure di validazione.
• Prospettiva Multiverso: Il framework fornisce una base per la ricerca consapevole del multiverso, consentendo ai ricercatori di identificare percorsi analitici alternativi e valutare quanto siano comuni nella letteratura.
• Generalizzabilità: Sebbene dimostrato sulla dislessia, gli autori affermano che il framework è adattabile ad altre aree della ricerca psicologica e comportamentale che impiegano approcci di sottotipizzazione o classificazione (es. autismo, ADHD).
• Utilità Pratica: Lo strumento è destinato a supportare la riflessione informata dalle evidenze per clinici ed educatori riguardo alle pratiche diagnostiche e di intervento, sebbene sia esplicitamente non uno strumento diagnostico.

Gli autori concludono che gli esiti della sottotipizzazione sono contingentati da una serie di decisioni analitiche. Visualizzando questi percorsi decisionali, MAP-DyS permette un'interpretazione più cauta dei risultati eterogenei e supporta gli sforzi per migliorare la replicabilità e la generalizzabilità della ricerca nelle scienze comportamentali.