Implementation and student outcomes of an implementation strategy for the sustainability of group evidence-based practices in schools

Technische Samenvatting: Implementatie en Resultaten van Studenten bij een Strategie voor het Instandhouden van Groepsgebonden Evidence-Based Praktijken in Scholen

Probleemstelling
Ondanks de klinische effectiviteit en acceptatie van schoolgebonden mentale gezondheidseffectieve praktijken (evidence-based practices, EBP's), worstelen scholen vaak met het langdurig handhaven van deze interventies. Een primaire barrière is de beperkte professionele training die beschikbaar is voor implementatoren, zoals schoolbegeleiders. Hoewel initiële training gevolgd door voortdurende supervisie bekend staat om het behoud van vaardigheden, is het handhaven van supervisie met volledige intensiteit vaak onhaalbaar in onderbediende stedelijke schoolomgevingen. Bijgevolg is er behoefte aan efficiënte trainingsmodellen die de implementatiegetrouwheid (fidelity) en studentresultaten behouden, terwijl de belasting voor schoolsystemen wordt geminimaliseerd. Deze studie adresseert het gat in onderzoek naar de effectiviteit en kosteneffectiviteit van specifieke trainingsstrategieën die ontworpen zijn om mentale gezondheid-EBP's in stedelijke basisscholen in stand te houden.

Methodologie
De studie maakte gebruik van een hybride Type 2 cluster-gerandomiseerde trial-ontwerp om twee implementatiestrategieën te vergelijken: Prepare for Sustainment (PFS) en Sustainment as Usual (SAU).

• Deelnemers: De studie omvatte 40 implementatoren op masterniveau (schoolbegeleiders en SEL-leraren), twee districtscoaches en 435 K–8 leerlingen in een grote stedelijke schoolwijk in het noordoosten. Leerlingen werden geïdentificeerd als zijnde in aanmerking komend voor Tier 2-ondersteuning voor externaliserende of internaliserende problemen.
• Interventies: Twee groepseffectieve praktijken (EBP's) werden geïmplementeerd: het Coping Power Program (CPP) voor externaliserend gedrag en CBT for Anxiety Treatment in Schools (CATS) voor angst.
• Studiefases:
  • Fase 1 (Initiële Implementatie): Alle implementatoren ontvingen identieke, intensieve ondersteuning (één jaar directe training en consultatie) van externe onderzoeksconsultants. Scholen werden 1:1 gerandomiseerd naar PFS of SAU aan het einde van deze fase.
  • Fase 2 (Verminderde Ondersteuning): PFS-implementatoren ontvingen consultatie van districtscoaches (die zelf weer werden ondersteund door externe consultants) met een frequentie van één consultatie per twee EBP-sessies. SAU-implementatoren ontvingen standaard districtssupervisie zonder ondersteuning van externe consultants.
  • Fase 3 (Geen Ondersteuning): Beide condities ontvingen supervisie zoals gebruikelijk van districtscoaches, zonder externe consultantondersteuning.
• Metingen: De uitkomsten omvatten inhoudelijke en procesgetrouwheid (met behulp van checklists), de mate van dienstverleningspenetratie (percentage van in aanmerking komende leerlingen dat bediend werd), mentale gezondheidssymptomen van leerlingen (ouder- en leerlingrapportages via BASC-3, BFS-YR, SCARED) en academische betrokkenheid (lerarenrapportages via EvsD). Kwalitatieve gegevens werden verzameld via interviews met implementatoren en bestuurders.
• Analyse: De analyses volgden een intention-to-treat (ITT) kader; implementatie-uitkomsten werden geanalyseerd met behulp van veranderingsscores en t-testen, terwijl studentresultaten gebruikmaakten van mixed models for repeated measures (MMRM) om effectgroottes (Cohen's d) voor de conditie × tijd interactie te schatten.

Belangrijkste Bijdragen
Deze studie draagt bij aan de velden van schoolmentale gezondheid en implementatiewetenschap door:

1. Aan te tonen dat een instandhoudingsstrategie bestaande uit initiële training gevolgd door consultatie met verminderde intensiteit voor districtscoaches (PFS), een hoge procesgetrouwheid kan handhaven vergeleken met standaard supervisie (SAU).
2. Bewijs te leveren dat leerlingen in de PFS-conditie een grotere betrokkenheid bij academisch leren en grotere reducties in mentale gezondheidssymptomen vertoonden vergeleken met SAU-leerlingen, met name tijdens de fase met verminderde ondersteuning.
3. De specifieke behoeften van implementatoren te belichten, waarbij naar voren kwam dat zij zonder voorafgaande steun van getrainde coaches verlangden naar supervisie over effectieve EBP-uitvoering, en dat zij die te maken hadden met verminderde ondersteuning meer frequente begeleiding vroegen.
4. Te suggereren dat het bieden van ongeveer de helft van de oorspronkelijke trainingsintensiteit aan districtscoaches voldoende is om de klinische vaardigheden van implementatoren te behouden tijdens de instandhoudingsfase.

Resultaten

• Implementatiegetrouwheid: PFS-implementatoren vertoonden een superieure procesgetrouwheid vergeleken met SAU. In Fase 2 vertoonden PFS-implementatoren significant hogere scores in "Actieve Betrokkenheid" bij leerlingen. In Fase 3, ondanks de afwezigheid van externe ondersteuning, leverden PFS-implementatoren behandeling af met significant hogere scores in "Georganiseerd Onderwijs" (warmere, duidelijkere en meer georganiseerde uitvoering). Inhoudelijke getrouwheid en de mate van dienstverleningspenetratie vertoonden geen significante verschillen tussen de condities in de of de andere fase.
• Studentresultaten:
  • Academische Betrokkenheid: In Fase 2 vertoonden PFS-leerlingen verbeteringen met een gemiddelde effectgrootte in de gedragsmatige en emotionele betrokkenheid bij het leren vergeleken met SAU. In Fase 3 vertoonden PFS-leerlingen een verbetering met een grote effectgrootte in emotionele betrokkenheid en een reductie met een gemiddelde effectgrootte in gedragsmatige onverschilligheid.
  • Mentale Gezondheidssymptomen: Leerlingen die CPP ontvingen in de PFS-conditie tijdens Fase 2, vertoonden een reductie met een grote effectgrootte in zelfgerapporteerd externaliserend gedrag vergeleken met SAU. Leerlingen die CATS ontvingen in Fase 2, vertoonden een reductie met een gemiddelde effectgrootte in internaliserende symptomen. Deze effecten waren kleiner of niet-significant in Fase 3.
• Kwalitatieve Bevindingen: Implementatoren waardeerden de externe consultatie ontvangen in Fase 1. Degenen in Fase 2 uitten een verlangen naar frequentere supervisie en specifieke feedback op de groepsdynamiek. Bestuurders merkten op dat voortgezette samenwerking met districtscoaches hun vermogen om implementatoren te ondersteunen zou hebben verbeterd.

Betekenis en Claims
Het artikel concludeert dat een instandhoudingsstrategie bestaande uit een initiële uitgebreide training voor implementatoren, gevolgd door incidentele consultatie voor schooldistrictscoaches, effectief is. Specifiek bereikt deze aanpak een hoge procesgetrouwheid en levert het gemiddelde tot grote effecten op de betrokkenheid van leerlingen bij leeractiviteiten en mentale gezondheidsresultaten vergeleken met een "Sustainment as Usual"-strategie.

De auteurs claimen bescheiden dat hun bevindingen suggereren dat onderbediende scholen in staat zijn om evidence-based praktijken effectief in stand te houden wanneer implementatoren een sterke initiële training krijgen gevolgd door supervisie-zoals-gebruikelijk, mits de districtscoaches zelf een verminderde maar gerichte mate van externe ondersteuning ontvangen. De studie geeft aan dat hoewel verminderde consultatie niet de volume van de geleverde diensten (penetratie) of de specifieke inhoud die werd behandeld verhoogde, het de kwaliteit van de uitvoering (procesgetrouwheid) en de daaropvolgende betrokkenheid van leerlingen en symptoomreductie aanzienlijk verbeterde.