Evaluating the Impact of Rhode Island's Self-Sustaining Reemployment Services and Eligibility Assessment (RESEA) Program on Employment Outcomes

Dit artikel presenteert een grootschalige gerandomiseerde gecontroleerde studie die aantoont dat het RESEA-programma van Rhode Island de arbeidsuitkomsten en lonen voor werkloze werknemers aanzienlijk heeft verbeteren, waarbij vooral oudere en minder draagkrachtige personen werden bevoordeeld, terwijl er een kostenbesparing werd gegenereerd van $2,64 voor elke uitgegeven dollar.

De kern

Stel je het werkloosheidsverzekeringssysteem voor als een gigantisch vangnet. Wanneer mensen hun baan verliezen, vangt dit net hen op en geeft het hen geld terwijl ze naar een nieuwe baan zoeken. Maar er is een addertje onder het gras: als mensen te lang in het net blijven hangen, wordt het net zwaar en duur voor de staat om te onderhouden, en kunnen de mensen in het net hun "baanzoekspieren" verliezen.

Om dit op te lossen, probeerde Rhode Island een nieuwe strategie genaamd RESEA. Denk aan RESEA als een "afspraak voor een check-in" met een jobcoach. De staat koos willekeurig ongeveer de helft van de mensen die werkloosheidsuitkeringen aanvragen en stuurde hen een brief met de tekst: "U moet binnenkort een jobcoach ontmoeten, anders moeten we mogelijk uw uitkeringen pauzeren." De andere helft kreeg de brief niet en ging gewoon door met wat ze deden.

De onderzoekers, Harrison Li, Shanna Pearson-Merkowitz en David Yokum, voerden een grootschalig experiment uit (zoals een wetenschappelijke smaaktest) met meer dan 23.000 mensen om te zien of deze "check-in" daadwerkelijk werkte. Dit is wat zij vonden, eenvoudig uitgelegd:

1. De belangrijkste resultaten: Het werkte

De mensen die gedwongen werden om een jobcoach te ontmoeten, deden het beter dan de mensen die dat niet hoefden.

• Ze verdienden meer geld: Gemiddeld verdiende de "check-in"-groep ongeveer $1.153 meer per jaar dan de groep die de brief niet kreeg.
• Ze vonden sneller een baan: Ongeveer 1,5% meer mensen in de "check-in"-groep vonden binnen een jaar een baan vergeleken met de anderen.
• Ze brachten minder tijd door op werkloosheid: De "check-in"-groep bleef bijna twee weken korter op werkloosheidsuitkeringen dan de andere groep.

2. De "magie" van de brief

Hier komt een verrassende wending: je hoefde de ontmoeting met de jobcoach niet eens te voltooien om het voordeel te krijgen. Ongeveer 31% van de mensen die de brief kregen, verscheen niet op de afspraak. Toch vonden zij sneller een baan en verdienden zij meer.

De analogie: Denk aan de brief als een "wekker". Zelfs als je niet uit bed komt om de wekker uit te zetten, kan het horen van de wekker je er al van bewust maken: "O, ik moet echt opstaan en aan mijn dag beginnen." De brief zelf herinnerde mensen eraan dat ze werk moesten vinden, waardoor ze hun zoektocht naar werk versnelden zonder dat ze de hulp van de coach zelfs maar nodig hadden.

zig 3. Wie profiteerde het meest?

De onderzoekers gebruikten een speciale computertool (een "causal forest", wat een soort digitale boom is die mensen in groepen sorteert) om te zien wie de grootste boost kreeg.

• Oudere werknemers en werknemers met een lager inkomen zagen de grootste sprongen in hun lonen.
• Interessant genoeg bespaarden zelfs mensen die het al redelijk goed deden (hogere verdiener, hoger opgeleid) ook tijd op werkloosheid, hoewel hun loonstijging minder groot was.

4. De rekensom van het geld: Een goede deal voor de staat

De staat gaf geld uit aan het draaien van dit programma, maar ze bespaarden nog meer.

• Omdat mensen sneller een baan vonden, betaalde de staat minder aan werkloosheidsuitkeringen.
• De onderzoekers berekenden dat voor elke $1 die de staat aan het programma uitgaf, zij $2,64 bespaarden aan werkloosheidsuitkeringen. Het was alsof je een ticket van $1 kocht en $2,64 aan wisselgeld terugkreeg.

5. Het geheime ingrediënt: Hoe ze de berekening maakten

Het artikel wijst ook op een "truc" die de onderzoekers gebruikten en die andere studies soms missen.

• Het probleem: Ze voerden het experiment week per week uit. Sommige weken waren er veel aanvragers; sommige weken weinig. Sommige weken waren er meer oudere werknemers; sommige weken meer jonge werknemers. Als je alles gewoon bij elkaar zou gooien en de groepen zou vergelijken, zouden de resultaten vertekend (bevooroordeeld) kunnen zijn omdat de weken zelf verschillend waren.
• De oplossing: Ze behandelden elke week als een apart "mini-experiment" en combineerden de resultaten vervolgens zorgvuldig. Dit zorgde ervoor dat de "week" de berekening niet zou verstoren. Ze stellen dat veel eerdere studies deze stap hebben gemist, wat hun resultaten minder nauwkeurig had kunnen maken.

Samenvatting

Kortom, het sturen van een brief naar werkloze werknemers waarin hen werd gevraagd een jobcoach te ontmoeten, was een win-win situatie. Het hielp werknemers sneller een baan te vinden en meer te verdienen, en het bespaarde de staat in dat proces ook nog eens veel geld. De "enge" brief zelf werkte als een krachtige duw in de rug, waardoor mensen in beweging kwamen, zelfs als ze niet volledig deelnamen aan het programma.

Technische samenvatting

Technische Samenvatting: Evaluatie van de Impact van het Rhode Island RESEA-programma

Probleem en Context
Langdurige werkloosheid brengt aanzienlijke economische, gezondheids- en welzijnskosten met zich mee voor individuen en de staat. Hoewel Werkloosheidsverzekering (WV) een cruciaal vangnet biedt, bestaat de zorg dat dit onbedoeld werkloosheid kan verlengen door de prikkel voor snelle herplaatsing te verminderen. Om dit aan te pakken, exploiteren de Amerikaanse federale overheid en de meeste staten Reemployment Services and Eligibility Assessment (RESEA) programma's. Deze programma's, de opvolgers van eerdere Reemployment and Eligibility Assessment (REA) initiatieven, verplichten gerichte diensten voor WV-claimers om hun terugkeer naar de beroepsbevolking te versnellen. Ondanks de brede adoptie is er behoefte aan rigoureuze, eigentijdse causale evaluaties van deze programma's onder huidige macro-economische en demografische omstandigheden, met name om te bepalen of het RESEA-model nog steeds effectief en kostenefficiënt is.

Methodologie
De auteurs voerden een grootschalige, vooraf geregistreerde gerandomiseerde gecontroleerde studie (RCT) uit in Rhode Island met $N = 23.549$ WV-claimers tussen februari 2022 en september 2023.

• Experimenteel Ontwerp: De studie maakte gebruik van een geblokt randomisatieontwerp waarbij blokken overeenkwamen met weken. Elke woensdag werden ongeveer 150 (later verminderd tot 135) nieuw in aanmerking komende WV-aanvragers willekeurig geselecteerd voor de behandelgroep (RESEA-selectie), terwijl de overige de controlegroep vormden. Veteranen werden deterministisch toegewezen aan de behandeling vanwege wettelijke vereisten en werden uit de causale analyse uitgesloten.
• Interventie: Geselecteerde claimers ontvingen een brief waarin zij werden verplicht tot een gesprek met een jobcoach binnen 18 dagen. De interventie omvatte verificatie van de geschiktheid, vaardigheidsevaluatie, begeleiding bij het zoeken naar werk, informatie over de arbeidsmarkt en verwijzingen. Naleving werd afgedwongen door de dreiging van opschorting van uitkeringen, hoewel ongeveer 31% van de behandelgroep niet naar de afspraak kwam.
• Uitkomstmaten: De studie richtte zich op drie vooraf geregistreerde primaire uitkomsten:
  1. Jaarlijks Loon: De som van de twee hoogste kwartaallonen in de tweede tot vijfde kwartalen na randomisatie, geannualiseerd.
  2. Herplaatsing: Een binaire indicator van positieve lonen in ten minste twee van de voornoemde kwartalen.
  3. WV-Duur: Het aantal weken dat WV-uitkeringen zijn opgenomen binnen 78 weken na de ingangsdatum van de claim.
     Kortetermijnvarianten van deze uitkomsten werden evene kind geanalyseerd voor het tweede kwartaal na randomisatie.
• Statistische Analyse:
  • Primaire Schatter: De auteurs schatten het Intention-to-Treat (ITT) effect met behulp van blokgrootte-gewogen gemiddelden van verschil-in-gemiddelden schatters.
  • Precisiewinst: Om de precisie te verbeteren zonder bias te introduceren, gebruikten zij covariaat-gecorrigeerde ITT-schattingen met de geïnteracteerde lineaire regressiemethode van Lin (2013) binnen blokken, waarbij gecorrigeerd werd voor pre-behandeling covariaten (afhankelijke personen, geslacht, leeftijd, basisloon).
  • Heterogeniteit: Causal forests (Wager & Athey, 2018) werden gebruikt om Conditional Average Treatment Effects (CATE) te schatten om subgroepen te identificeren die het meest profiteren van het programma.
  • Methodologische Verfijning: Een belangrijke methodologische bijdrage was de expliciete controle voor de week van toewijzing van de behandeling. De auteurs stellen dat het niet corrigeren voor het blok (de week) in geblokte randomisatieontwerpen kan leiden tot een verstorende bias (confounding bias), omdat de proportie behandelde individuen en de kenmerken van aanvragers aanzienlijk varieerden per week.

Belangrijkste Resultaten
De studie vond dat selectie in het RESEA-programma statistisch significante positieve effecten produceerde over alle primaire uitkomsten:

• Loon: Selectie verhoogde de jaarlijkse lonen met $1.153 (95% BI: [$166, $2.141];$p=0,022), wat een stijging van 3,5% betekent ten opzichte van het gemiddelde van de controlegroep.
• Herplaatsing: Selectie verhoogde de waarschijnlijkheid van herplaatsing met 1,47 procentpunt (95% BI: [0,32, 2,62]; $p=0,013).
• WV-Duur: Selectie verminderde de duur van de WV-uitkeringen met 1,99 weken (95% BI: [1,75, 2,24]; $p<0,001$), een reductie van 11,5% ten opzichte van het gemiddelde van de controlegroep.
• Timing: De effecten op loon en herplaatsing traden snel op, manifest binnen twee kwartalen na de eerste betaaldatum, en hielden aan tot ten minste het volgende jaar. Kortetermijnramingen waren substantieel vergelijkbaar met langetermijnramingen.
• Heterogene Effecten: De causal forest-analyse onthulde dat hoewel alle deelnemers positieve loonvoordelen ervoeren, de effecten bijzonder groot waren voor oudere en lager inkomen hebbende werknemers. Daarentegen vertoonden werknemers met hogere inkomens en een betere opleiding kleinere herplaatsingseffecten, maar ervoeren nog steeds significante reducties in de WV-duur en uitputtingspercentages.
• Kosten-batenanalyse: De reductie in opgenomen WV-uitkeringen resulteerde in een besparing van ongeveer $676 per behandelde persoon tijdens het claimjaar. Met een totale programmatiekosten van $2,99 miljoen bespaarde de staat naar schatting $7,9 miljoen aan WV-uitbetalingen, wat een rendement opleverde van $2,64 bespaard voor elke uitgegeven $1.

Significantie en Claims
Het artikel beweert sterke causale bewijzen te leveren dat het Rhode Island RESEA-programma effectief beide doelen bereikt: het helpen van werknemers om sneller terug te keren naar werk en het beschermen van de middelen van de staat voor de WV.

• Beleidsrelevantie: De bevindingen ondersteunen de voortzetting van investeringen in RESEA-programma's, door aan te tonen dat ze effectief zijn, zelfs onder omstandigheden die verschillen van de oorspronkelijke studies die de federale adoptie motiveerden.
• Methodologische Bijdrage: De auteurs benadrukken een cruciale methodologische verfijning die vaak ontbreekt in eerdere RCT's van jobtraining-programma's: de noodzaak om expliciet te controleren voor de week van toewijzing van de behandeling (het blok) in geblokte randomisatieontwerpen. Zij laten zien dat het negeren van het blok kan leiden tot vertekende schattingen door confounding door tijdvariërende kenmerken van aanvragers. Zij pleiten voor het gebruik van blokgrootte-gewogen gemiddelden van verschil-in-gemiddelden of binnen-blok gecorrigeerde ITT-schatters om onbevooroordeelde en precieze schattingen te garanderen.
• Robuustheid: De resultaten bleven statistisch significant na correctie voor meervoudig testen met de Holm-methode. De auteurs hebben ook mogelijke biases met betrekking tot werkgelegenheid buiten de staat en zelfstandig ondernemerschap geadresseerd, waarbij zij geen bewijs vonden dat RESEA-selectie deze niet-geobserveerde vormen van werkgelegenheid differentiëel beïnvloedde.

Concluderend valideert de studie het RESEA-model als een kosteneffectieve interventie die herplaatsing versnelt en de afhankelijkheid van werkloosheidsuitkeringen vermindert, met bijzondere voordelen voor kwetsbare subgroepen zoals oudere en lager inkomen hebbende werknemers.