Bridging SCED and Group Designs: Demonstrating the Ratio-Metric BC-IRR Effect Size in a Meta-Analysis

Nel mondo dell'educazione e della terapia, i ricercatori si trovano di fronte a un enigma persistente: come misurare se un nuovo metodo aiuti effettivamente una persona a imparare o a comportarsi meglio. Per decenni, la comunità scientifica si è affidata a due modi molto diversi di raccogliere prove. Un approccio, noto come disegno di gruppo, raccoglie un gran numero di persone, le divide in squadre e confronta i risultati medi del team che riceve un nuovo trattamento con un team che riceve l'assistenza standard. Questo metodo è potente per osservare tendenze generali nelle popolazioni. L'altro approccio, chiamato disegno sperimentale a caso singolo, si concentra intensamente su un singolo individuo alla volta. I ricercatori osservano attentamente una singola persona, introducono un intervento specifico e monitorano come il comportamento di quella persona cambi nel tempo, cercando spesso cambiamenti immediati in azioni specifiche come fare una richiesta o rimanere concentrati sul compito. Sebbene entrambi i metodi siano rigorosi, storicamente hanno parlato lingue diverse. Gli studi di gruppo producono numeri che descrivono come è cambiato un intero gruppo, mentre gli studi a caso singolo producono numeri che descrivono come è cambiato un individuo. Poiché questi numeri sono calcolati in modo diverso, è stato difficile combinarli in un unico quadro chiaro di ciò che funziona meglio per gli studenti con disturbo dello spettro autistico.

Questa difficoltà crea un punto cieco per educatori e decisori politici. Se una nuova tecnologia aiuta un gruppo di bambini a migliorare le proprie abilità sociali di una certa entità, ma aiuta un altro gruppo di bambini a migliorare la propria comunicazione di un'entità diversa, come possiamo sapere se la tecnologia è veramente efficace complessivamente? Il problema non è solo che gli studi appaiono diversi, ma che gli strumenti utilizzati per misurare il successo sono incompatibili. Gli strumenti tradizionali spesso confondono la dimensione del miglioramento con quanto i risultati varino da persona a persona, o cambiano il loro significato a seconda di quanto sia durata l'osservazione. Per risolvere questo problema, un team di ricercatori guidato da Wen Luo della Texas A&M University si è posto l'obiettivo di costruire un nuovo metro di misura. Volevano un modo per tradurre i risultati dei singoli individui e dei gruppi nella stessa lingua, permettendo loro di essere confrontati fianco a fianco. Si sono concentrati su un tipo specifico di misurazione chiamato rapporto di incidenza (incidence rate ratio). In termini semplici, questo è un semplice confronto di tassi: chiede quante volte un comportamento si è verificato durante il trattamento rispetto a quante volte si è verificato prima dell'inizio del trattamento. Utilizzando questo rapporto, i ricercatori potevano esprimere l'effetto di un intervento come un diretto aumento o diminuzione percentuale, piuttosto che un complesso punteggio statistico che richiede una formazione specializzata per essere compreso.

I ricercatori hanno testato questo nuovo approccio riesaminando una vasta collezione di studi precedenti sull'istruzione assistita dalla tecnologia per studenti con autismo. Questa collezione originale, compilata da altri scienziati nel 2017, includeva decine di studi che utilizzavano sia disegni di gruppo che disegni a caso singolo. Il team ha riesaminato i dati di trentasei esiti specifici, che spaziavano dal riconoscimento delle espressioni facciali alla frequenza con cui i bambini chiedevano aiuto o partecipavano a una conversazione. Hanno applicato il loro nuovo metodo basato sui rapporti agli studi a caso singolo e un metodo di rapporto corrispondente agli studi di gruppo. L'obiettivo era vedere se i due tipi di ricerca avrebbero raccontato una storia coerente se visti attraverso questa nuova lente. I risultati hanno rivelato una differenza chiara e quantificabile nel modo in cui i due disegni misuravano il successo. Gli studi di gruppo hanno mostrato che gli interventi tecnologici hanno portato a un miglioramento medio di circa il 23 percento rispetto alle condizioni di controllo. In altre parole, gli studenti nei gruppi di trattamento hanno ottenuto prestazioni circa un quarto migliori rispetto a coloro che non hanno ricevuto l'ausilio tecnologico specifico.

Tuttavia, gli studi a caso singolo hanno raccontato una storia molto più drammatica. Quando i ricercatori hanno applicato la stessa logica basata sui rapporti ai casi individuali, hanno scoperto che gli interventi avevano prodotto un aumento di oltre quattro volte degli esiti positivi rispetto alla linea di base. Ciò significa che, per gli studenti individuali in questi studi, il comportamento che si cercava di migliorare si è verificato più di quattro volte rispetto a prima dell'intervento. La differenza tra un aumento del 23 percento e un aumento di quattro volte è sorprendente, e inizialmente sembrava suggerire una contraddizione. Eppure, i ricercatori non hanno scartato questo divario come un errore o un difetto nei dati. Al contrario, hanno usato la nuova metrica per spiegare perché i numeri apparissero così diversi. Hanno scoperto che i due tipi di studi partivano essenzialmente da punti di partenza differenti. Gli studi di gruppo spesso confrontavano la nuova tecnologia con un ambiente scolastico standard o con un diverso tipo di istruzione, dove gli studenti possedevano già un livello moderato di abilità. Gli studi a caso singolo, al contrario, partivano spesso da studenti che presentavano livelli molto bassi del comportamento target prima dell'inizio dell'intervento. Poiché il punto di partenza era così basso, anche un modesto miglioramento assoluto risultava in un massiccio aumento percentuale.

Questa distinzione è cruciale perché cambia il modo in cui interpretiamo il successo di questi interventi. Il nuovo metodo ha mostrato che i grandi numeri osservati negli studi a caso singolo non erano necessariamente un segno che il trattamento funzionasse meglio per gli individui rispetto ai gruppi, ma piuttosto che gli individui partivano da un livello di base molto più basso. La misura basata sul rapporto ha reso chiaro questo aspetto, concentrandosi sul cambiamento relativo piuttosto che sulla differenza assoluta. Ha anche evidenziato una debolezza chiave nei vecchi metodi utilizzati per confrontare questi studi. Gli strumenti tradizionali spesso mescolavano la dimensione del miglioramento con la variabilità dei dati, rendendo difficile capire se un grande effetto fosse reale o semplicemente il risultato di quanto fossero dispersi i punteggi. Il nuovo approccio basato sul rapporto ha evitato completamente questa trappola, offrendo un risultato che rimaneva stabile indipendentmente da quanto variassero i punteggi o da quanto durassero le sessioni di osservazione. Ha inoltre fornito un numero che chiunque può comprendere: un aumento di quattro volte è un concetto tangibile, mentre un complesso punteggio statistico non lo è.

Lo studio ha affrontato anche la questione se questi risultati differenti fossero causati da un pregiudizio nel modo in cui gli studi vengono pubblicati. È una preoccupazione comune che i ricercatori siano più propensi a pubblicare studi a caso singolo che mostrano enormi miglioramenti, ignorando quelli con effetti piccoli o nulli. Sebbene i ricercatori abbiano riconosciuto che tale pregiudizio potrebbe esistere, la loro analisi ha suggerito che non fosse l'intera storia. I dati indicavano che la differenza nei risultati era dovuta in gran parte alle differenze fondamentali nel modo in cui gli studi erano stati impostati e in ciò che stavano misurando. Gli studi di gruppo stavano testando se la tecnologia fosse migliore di ciò che era già disponibile, mentre gli studi a caso singolo stavano testando se la tecnologia potesse creare un cambiamento radicale partendo da uno stato di scarsa o nulla capacità. Entrambe le scoperte sono valide, ma rispondono a domande diverse. Gli studi di gruppo suggeriscono che la tecnologia offre un vantaggio modesto ma significativo rispetto alle pratiche standard, mentre gli studi a caso singolo dimostrano che la tecnologia può essere trasformativa per gli studenti che partono da un livello di funzionamento molto basso.

Colmando questo divario tra i due mondi, i ricercatori hanno fornito un percorso più chiaro per la sintesi delle prove. Hanno dimostrato che è possibile combinare i risultati di diversi tipi di ricerca senza forzarli in un unico numero fuorviante. Il nuovo metodo permette agli scienziati di vedere il quadro completo: che l'istruzione assistita dalla tecnologia è efficace, ma il suo impatto appare diverso a seconda del contesto e del punto di partenza degli studenti. Lo studio conclude che nessun singolo numero può catturare l'intera verità sull'efficacia di un intervento. Inveve, i ricercatori e i professionisti dovrebbero guardare sia al cambiamento relativo che al cambiamento assoluto per comprendere l'intera portata di un intervento. Questo approccio assicura che le decisioni sull'educazione e sulla terapia siano basate su una comprensione completa e accurata delle prove, piuttosto che su una visione parziale che potrebbe mancare le sfumature di come diversi studenti rispondano all'aiuto. Il lavoro dimostra che quando utilizziamo gli strumenti giusti per misurare il cambiamento, possiamo vedere non solo che qualcosa funziona, ma esattamente come e per chi funziona meglio.