Measuring the impact of lived experience and caregiver engagement in research on the research conducted: development and pilot testing of an assessment tool

Dit artikel beschrijft de ontwikkeling en pilottest van de METRE, een nieuw meetinstrument om de impact van de betrokkenheid van mensen met levenservaring en zorgverleners op onderzoek te evalueren.

De kern

De METRE: Een nieuwe meetlat voor echte samenwerking in onderzoek

Stel je voor dat onderzoek doen als het bouwen van een groot, complex huis is. Vroeger bouwden alleen de architecten en de ingenieurs (de academische onderzoekers) dit huis. Ze keken naar blauwdrukken en formules, maar ze wisten niet echt hoe het was om er daadwerkelijk in te wonen.

Deze nieuwe studie gaat over een belangrijke verandering: mensen die het huis willen wonen (patiënten, ervaringsdeskundigen) en hun verzorgers worden nu uitgenodigd om mee te bouwen. Ze helpen met het ontwerp, het kiezen van de materialen en zelfs met het controleren of de deuren goed sluiten.

Maar hoe weet je of die samenwerking echt iets heeft opgeleverd? Hebben de bewoners echt invloed gehad op het eindresultaat, of waren ze alleen maar een 'vinkje' op een lijstje?

Hier komt METRE om de hoek kijken.

Wat is METRE eigenlijk?

METRE staat voor Measure of Engagement Tool for Research and lived Experience. In het Nederlands kunnen we het zien als een nieuwe meetlat of een kwaliteitsmeter.

Het is geen meetinstrument voor de kwaliteit van het huis zelf (is het dak goed?), maar voor de invloed van de bewoners op het bouwproces. Het meet: "Hoeveel heeft de mening van de bewoner het ontwerp veranderd?"

Hoe hebben ze dit gemaakt? (Het recept)

De onderzoekers hebben dit niet zomaar bedacht in een kantoortje. Ze hebben het samen met de mensen zelf gemaakt, net zoals je een recept samen met de koks zou ontwikkelen.

1. Het gesprek (De kwalitatieve fase):
   Eerst hebben ze met 40 mensen gepraat: 28 ervaringsdeskundigen en 12 onderzoekers. Ze stelden vragen als: "Waar hebben jullie echt iets aan veranderd?" en "Waar voelde het alsof jullie stem niet werd gehoord?"

   • Vergelijking: Het was alsof ze een enorme puzzel legden. Ze ontdekten 10 verschillende stukjes van de puzzel waar invloed mogelijk is: van het bedenken van het idee, het aanvragen van geld, het plannen van het onderzoek, tot het uitleggen van de resultaten aan de wereld.

2. Het proeflopen (De pilot):
   Vervolgens maakten ze een eerste versie van de meetlat (METRE) en lieten 23 mensen dit invullen alsof het een test was. Ze keken: "Is dit makkelijk te begrijpen? Klopt het met jullie ervaring?"

   • Vergelijking: Het was als het testen van een nieuw bordspel. Speelden de mensen het makkelijk? Begrepen ze de regels? Of waren sommige regels vaag?

3. De finetuning:
   Op basis van die test hebben ze de meetlat aangescherpt. Sommige vragen werden duidelijker gemaakt, net zoals je de handleiding van een apparaat herschrijft als mensen er niet uitkomen.

Wat leerden we?

De resultaten waren veelbelovend, maar ook leerzaam:

• Het werkt: De mensen vonden de meetlat makkelijk te gebruiken. Het gaf een goed beeld van hoe groot de invloed was.
• De plekken waar het misgaat: Ze ontdekten dat er nog een groot gat zit in de bouw. Er wordt vaak goed samengewerkt bij het ontwerpen van het huis, maar bij het analyseren van de data (het controleren van de steunbalken) worden ervaringsdeskundigen vaak buiten de deur gehouden. Dat is een plek waar we in de toekomst beter moeten samenwerken.
• Verschillende perspectieven: Soms zagen onderzoekers de impact als "groot", terwijl de ervaringsdeskundigen het als "klein" ervoeren. Dit is niet per se slecht, maar het laat zien dat we goed moeten luisteren naar hoe iedereen het ervaart.

Waarom is dit belangrijk?

Vroeger was het alsof je een auto bouwde zonder de bestuurder erbij te halen. Nu hebben we een tool waarmee we kunnen meten of de bestuurder echt heeft gezegd: "Ik wil hier een raam, want ik wil uitzicht" en of dat raam er ook daadwerkelijk in zit.

Deze METRE-meetlat helpt onderzoeksteams om te zien:

1. Waar ze het goed doen.
2. Waar ze nog kunnen verbeteren.
3. Of hun samenwerking echt eerlijk en effectief is.

Het is nog niet de definitieve, perfectie versie (die komt later met nog meer tests), maar het is een enorme stap vooruit. Het zorgt ervoor dat onderzoek niet langer iets is dat over mensen wordt gedaan, maar iets dat met mensen wordt gedaan. En dat maakt het eindresultaat veel waardevoller voor iedereen.

Technische samenvatting

Titel

Het meten van de impact van 'lived experience' (levenservaring) en de betrokkenheid van mantelzorgers in onderzoek: ontwikkeling en pilot-test van een beoordelingsinstrument.

1. Het Probleem

Hoewel mensen met levenservaring (patienten, gebruikers) en mantelzorgers steeds vaker worden betrokken bij gezondheidsresearch, bestaat er een significante leemte in de meetwetenschap op dit gebied. Bestaande instrumenten (zoals PEIRS, PPEET) meten voornamelijk de kwaliteit van het engagementproces of de ervaring van de partner, maar niet de daadwerkelijke impact van deze betrokkenheid op het onderzoeksproject zelf. Er is geen gevalideerd instrument dat meet in welke mate de input van partners het onderzoeksontwerp, de uitvoering, de analyse of de resultaten daadwerkelijk heeft veranderd. Deze studie richt zich op het dichten van deze kennislacune.

2. Methodologie

De studie volgde een sequentieel mixed-methods ontwerp, bestaande uit vier fasen:

• Fase 1: Kwalitatieve beschrijvende studie

  • Deelnemers: 28 partners met levenservaring/mantelzorgers en 12 academische onderzoekers (totaal N=40).
  • Procedures: Vijf virtuele focusgroepen en 12 individuele interviews.
  • Analyse: Framework-analyse met een codeboek dat aanvankelijk 8 domeinen omvatte, wat na iteratie leidde tot 10 specifieke domeinen van impact.
  • Doel: Identificeren van de gebieden waar engagement impact heeft en het definiëren van de schaal van deze impact (geen, klein, medium, groot).

• Fase 2: Ontwikkeling van het meetinstrument (METRE)

  • Op basis van de kwalitatieve data werd de METRE (Measure of Engagement Tool for Research and lived Experience) ontwikkeld.
  • Het instrument bevatte 10 items, elk met een 4-puntsschaal (geen impact tot grote positieve impact).
  • Er werden instructies en een educatieve video ontwikkeld in samenwerking met een Werkgroep voor Levenservaring en Mantelzorg.

• Fase 3: Pilot-test

  • Deelnemers: 13 partners met levenservaring/mantelzorgers en 10 academische onderzoekers (totaal N=23).
  • Procedures: Deelnemers vulden de METRE in voor een specifiek project, vergezeld van een "think-aloud" cognitieve interviewprocedure om de bruikbaarheid en face-validiteit te toetsen.
  • Data-analyse:
    • Kwantitatief: Beschrijvende statistieken (gemiddelde, SD, range, skewness, kurtosis) en Spearman-correlatie met een globale impactvraag.
    • Kwalitatief: Conventionele contentanalyse van de transcripties om verbeterpunten te identificeren.

• Fase 4: Na-pilot verfijning

  • De kwalitatieve en kwantitatieve bevindingen werden geïntegreerd door de Werkgroep en het onderzoeksteam om de items, terminologie en lay-out te optimaliseren voor de definitieve versie.

3. Key Contributions (Belangrijkste Bijdragen)

• Ontwikkeling van METRE: Het creëren van het eerste specifieke instrument dat de perceptie van impact van engagement op de verschillende fasen van de onderzoekscyclus meet.
• Co-creatie: Het instrument is volledig co-ontwikkeld met partners met levenservaring en mantelzorgers, wat de relevantie en toepasbaarheid verhoogt.
• Dekking van de onderzoekscyclus: METRE dekt tien specifieke domeinen:
  1. Onderzoeksprioriteiten en -onderwerpen
  2. Het formuleren van onderzoeksvragen
  3. Het vinden van financiering (grant applications)
  4. Projectplanning
  5. Deelnemerswerving en dataverzameling
  6. Data-analyse en het genereren van resultaten
  7. Interpretatie van resultaten
  8. Delen van resultaten en rapportage
  9. Onderzoeksklimaat
  10. Relevantie van het onderzoek
• Methodologische transparantie: Het artikel biedt een gedetailleerd verslag van de ontwikkeling van een meetinstrument, inclusief de iteratieve processtappen en de rol van de werkgroep.

4. Resultaten

• Kwalitatieve bevindingen (Fase 1): Deelnemers identificeerden impact in alle fasen, maar de mate varieerde sterk. "Onderzoeksklimaat" en "Relevantie" werden vaak als sterk beïnvloed beschouwd, terwijl "Data-analyse" vaak een punt was waar betrokkenheid beperkt was.
• Pilot-test (Fase 3):
  • Acceptabiliteit: De METRE werd over het algemeen als eenvoudig, duidelijk en nuttig ervaren. De instructies en video werden als behulpzaam beoordeeld.
  • Kwantitatieve prestaties: De items vertoonden variatie in antwoorden (range 1-4). Geen enkele item vertoonde significante scheefheid (skewness) of kurtosis op het conservatieve niveau (α < .01), wat wijst op acceptabele psychometrische eigenschappen voor een pilot.
  • Correlatie: Er was een matige correlatie (rs = .42) tussen de totale METRE-score en de globale vraag over impact (schaal 1-10).
  • Verbeterpunten: Deelnemers gaven feedback over de noodzaak van helderdere formuleringen, betere lay-out en meer voorbeelden om onderscheid te maken tussen de niveaus van impact.
• Verfijning: Na de pilot werden de items hernoemd en herformuleerd voor grotere duidelijkheid (bijv. "Grant applications" werd "Finding funding"). De definitieve versie gebruikt een schaal van 0 tot 3 punten.

5. Significantie en Conclusie

• Invulling van een gat in de wetenschap: METRE biedt onderzoeksteams een concrete manier om de waarde van hun engagement-inspanningen te evalueren en te rapporteren, wat essentieel is voor de verdere ontwikkeling van "patient-oriented research".
• Toekomstige validatie: Hoewel de pilot veelbelovend is, moet de psychometrische validiteit (constructvaliditeit, betrouwbaarheid, factorstructuur) nog worden vastgesteld in een grotere, internationale steekproef.
• Ethische dimensie: De auteurs benadrukken dat, hoewel METRE nuttig is voor het meten van impact, engagement op zichzelf een ethisch imperatief en een kwestie van epistemische rechtvaardigheid is, zelfs als de meetbare impact op het onderzoek beperkt lijkt.
• Toepassing: Het instrument kan onderzoeksteams helpen om engagement-modellen te verbeteren en te identificeren waar partners meer of effectiever kunnen worden betrokken, met name in ondervertegenwoordigde fasen zoals data-analyse.

Kortom, deze studie presenteert een robuust, co-ontwikkeld instrument dat een belangrijke stap zet in het kwantificeren en kwalificeren van de impact van patiëntenparticipatie in de wetenschap.