Measuring the impact of lived experience and caregiver engagement in research on the research conducted: development and pilot testing of an assessment tool

이 연구는 환자 및 간병인의 연구 참여가 연구에 미치는 영향을 측정하기 위해 'METRE'라는 새로운 평가 도구를 개발하고 파일럿 테스트를 통해 그 타당성을 검증한 결과를 보고합니다.

핵심

🍳 1. 문제: "요리사가 혼자 만든 요리, 정말 맛있을까?"

과거에는 의학 연구라는 '요리'를 전문 연구자 (요리사) 들만 혼자서 만들었습니다. 하지만 요즘은 요리를 먹을 '손님' (환자, 보호자, 즉 '삶의 경험을 가진 사람') 들이 주방에 들어와 "이건 너무 짜요", "이 재료는 빼는 게 좋겠어요"라고 조언을 해줍니다.

하지만 연구자들이 "손님이 와서 정말 요리에 도움이 되었나?"라고 물어보면, "글쎄요, 느낌이 왔어요"라고 막연하게 대답하는 경우가 많았습니다. 손님의 참여가 실제 요리 (연구 결과) 를 얼마나 맛있게, 혹은 훌륭하게 바꿔놓았는지 객관적으로 재는 '자'나 '저울'이 없었던 것입니다.

🛠️ 2. 해결책: 'METRE'라는 새로운 평가표 만들기

이 연구팀은 그 빈자리를 채우기 위해 **METRE(메트르)**라는 새로운 평가 도구를 만들었습니다. 이름은 '연구와 삶의 경험을 측정하는 도구 (Measure of Engagement Tool for Research and lived Experience)'의 약자입니다.

이 과정을 4 단계로 나누어 설명하면 다음과 같습니다.

1 단계: 손님들의 목소리 듣기 (질적 연구)

연구팀은 먼저 28 명의 '손님' (환자/보호자) 과 12 명의 '요리사' (연구자) 를 불러모았습니다.

• 질문: "요리할 때 우리가 당신들의 의견을 들었을 때, 어떤 부분이 가장 크게 바뀌었나요?"
• 결과: 손님들은 "연구 주제를 정할 때", "돈을 구할 때 (그랜트)", "사람을 모을 때", "데이터를 분석할 때" 등 연구의 10 가지 주요 단계에서 자신의 의견이 반영된 사례들을 이야기했습니다. 어떤 때는 아주 작은 변화였고, 어떤 때는 요리 전체의 방향을 뒤집는 큰 변화였습니다.

2 단계: 평가표 초안 작성

이 10 가지 이야기를 바탕으로, "어떤 정도까지 영향을 미쳤나요?"를 체크할 수 있는 체크리스트 (평가표) 를 만들었습니다.

• 척도: 영향이 전혀 없음 (0 점) → 아주 작음 (1 점) → 보통 (2 점) → 아주 큼 (3 점)
• 마치 요리에 넣은 소금의 양을 "없음, 약간, 적당, 많이"로 구분하는 것과 비슷합니다.

3 단계: 시험 요리 (파일럿 테스트)

이제 진짜 평가표가 쓸모 있는지 확인하기 위해 23 명 (손님 13 명, 요리사 10 명) 을 모아 시험해 보았습니다.

• 방법: "당신이 참여했던 한 가지 연구 프로젝트를 떠올리고, 이 평가표를 채워보세요"라고 요청했습니다.
• 피드백: 대부분의 사람들은 "이 평가표가 정말 이해하기 쉽고, 우리 경험을 잘 담아냈다"고 했습니다. 하지만 "어떤 문항은 설명이 조금 더 명확했으면 좋겠다", "어느 정도가 '중간'이고 '크다'인지 구분하기 어려웠다"는 의견도 나왔습니다.
• 통계: 숫자로 분석해 보니, 평가표의 문항들이 일관성 있게 작동하는지 확인했습니다.

4 단계: 최종 다듬기

피드백을 바탕으로 문장을 다듬고, 설명을 더 명확하게 고쳐 최종 버전의 METRE를 완성했습니다.

🌟 3. 이 도구의 핵심 메시지 (비유로 설명)

• 단순한 '만족도 조사'가 아님:
  기존에는 "연구에 참여해서 즐거웠나요?" (만족도) 를 물어봤다면, METRE 는 **"당신의 참여가 연구 결과물을 얼마나 '변화'시켰나요?" (영향력)**를 묻습니다.

  • 비유: 식당에서 "서비스가 좋았나요?" (만족도) vs "당신의 제안이 메뉴를 바꾸어 더 맛있는 요리를 만들었나요?" (영향력).

• 모두가 함께 쓰는 도구:
  이 평가표는 환자도, 연구자도 모두 채울 수 있습니다. 두 사람의 눈으로 같은 프로젝트를 바라봤을 때, "우리가 정말 큰 변화를 만들었다"고 느끼는지 확인해 줍니다.

• 연구의 '나침반' 역할:
  연구팀이 이 도구를 쓰면, "아, 우리는 연구 주제 정할 때는 손님의 의견을 잘 들었지만, 데이터 분석할 때는 못 들었구나"라고 깨닫게 됩니다. 이를 통해 앞으로 더 균형 잡힌 연구를 설계할 수 있습니다.

🏁 4. 결론: 왜 이 연구가 중요할까요?

이 논문은 **"환자와 보호자의 참여는 단순히 '착한 일'을 하는 게 아니라, 연구의 질을 높이는 핵심 요소"**임을 증명하기 위한 첫걸음을 뗐습니다.

앞으로 이 METRE라는 도구가 널리 쓰인다면:

1. 연구자들은 자신의 참여 방식을 객관적으로 점검할 수 있습니다.
2. 환자/보호자들은 자신의 목소리가 얼마나 큰 힘을 발휘했는지 숫자로 확인할 수 있습니다.
3. 궁극적으로는 더 현실적이고, 더 유용한 의학 연구 결과가 나올 것입니다.

한 줄 요약:

"연구에 일반인이 참여했을 때, 그 참여가 실제로 연구 결과를 얼마나 '맛있게' 바꿔놓았는지 재는 새로운 '자 (METRE)'를 만들었습니다."

기술 요약

논문 요약: METRE (Measure of Engagement Tool for Research and lived Experience) 개발 및 검증

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 건강 연구 분야에서 환자, 돌봄 제공자, 실생활 경험 (Lived/Living Experience) 을 가진 사람들의 참여가 급격히 증가하고 있습니다. 이는 윤리적 필수사항이자 연구의 질을 높이는 핵심 요소로 인식됩니다.
• 문제점: 참여의 '과정'이나 '경험의 질'을 측정하는 도구는 존재하지만 (예: PEIRS, PPEET 등), **참여가 실제 연구 결과나 연구 과정 자체에 얼마나 구체적인 영향을 미쳤는지 (Impact on the research itself)**를 측정하는 검증된 도구는 부재했습니다.
• 목표: 실생활 경험 및 돌봄 제공자 참여가 연구의 각 단계 (연구 주제 설정부터 결과 전파까지) 에 미치는 영향을 정량적, 정성적으로 평가할 수 있는 새로운 도구인 **METRE(Measure of Engagement Tool for Research and lived Experience)**를 개발하고 파일럿 테스트를 통해 타당성을 검증하는 것.

2. 연구 방법론 (Methodology)

이 연구는 **순차적 혼합 방법론 (Sequential Mixed-Methods Design)**을 사용하였으며, 크게 4 단계로 진행되었습니다.

• 단계 1: 정성적 기술 연구 (Qualitative Descriptive Study)

  • 참여자: 실생활 경험/돌봄 제공자 28 명, 학술 연구자 12 명 (총 40 명).
  • 절차: 포커스 그룹 인터뷰 (5 회) 와 개별 인터뷰 (12 회) 를 통해 참여가 연구에 미치는 영향을 탐색.
  • 분석: 프레임워크 분석 (Framework Analysis) 을 통해 참여의 영향 영역을 도출.
  • 결과: 연구 우선순위 설정, 연구 질문 개발, 보조금 신청, 연구 계획, 모집, 데이터 분석, 결과 해석, 지식 전파, 연구 환경, 연구 관련성 등 **10 가지 핵심 영향 영역 (Domains)**을 식별.

• 단계 2: 평가 도구 개발 (Tool Development)

  • 식별된 10 가지 영역을 기반으로 METRE 초안 작성.
  • 각 항목은 '영향 없음', '작은 긍정적 영향', '중간 긍정적 영향', '큰 긍정적 영향'의 4 점 척도로 구성.
  • 실생활 경험/돌봄 제공자 워킹 그룹과 학술 연구자 위원회의 반복적인 검토 및 피드백을 통해 항목과 설명 문구를 다듬음.

• 단계 3: 파일럿 테스트 (Pilot Testing)

  • 참여자: 새로운 실생활 경험/돌봄 제공자 13 명, 학술 연구자 10 명 (총 23 명).
  • 절차:
    1. 인지 인터뷰 (Think-aloud): 참가자가 METRE 를 작성하며 생각하는 과정을 녹음하여 이해도와 명확성 평가.
    2. 정량적 평가: METRE 점수 분포, 왜도 (Skewness), 첨도 (Kurtosis) 분석 및 전체 영향력 척도 (1-10 점) 와의 상관관계 분석.
  • 분석: SPSS 27 을 사용하여 기술 통계 및 상관관계 분석 수행.

• 단계 4: 사후 도구 정제 (Post-pilot Refinement)

  • 정성적 피드백과 정량적 데이터를 종합하여 워킹 그룹과 논의.
  • 항목명, 설명, 레이아웃을 최종 수정하여 명확성과 적용 범위 확대 (예: 인간 대상이 아닌 연구, 비기금 연구 포함).

3. 주요 결과 (Key Results)

• 도구의 구조: 최종 METRE 는 10 개의 항목으로 구성되며, 각 항목은 0(영향 없음) 에서 3(큰 긍정적 영향) 점까지의 척도로 평가됩니다.
  • 10 개 영역: 연구 주제 및 우선순위 설정, 연구 질문 개발, 자금 조달, 프로젝트 계획, 참여자 모집 및 데이터 수집, 데이터 분석 및 결과 생성, 결과 해석, 결과 공유 및 보고, 연구 환경, 연구 관련성.
• 정성적 피드백:
  • 참가자들은 METRE 가 이해하기 쉽고 직관적이며, 연구 전 과정을 포괄한다고 평가.
  • 일부 항목의 용어 명확성, 레이아웃 개선, 영향 수준 (작음 vs 중간) 을 구분하는 데 어려움이 있다는 피드백이 반영되어 수정됨.
• 정량적 결과:
  • 점수 분포: 모든 항목에서 1(영향 없음) 에서 4(큰 긍정적 영향) 범위의 응답이 확인됨 (하나의 항목 제외).
  • 통계적 성질: 왜도와 첨도 값이 통계적으로 유의하지 않아 (p < .01), 데이터 분포가 정규성에 가까우며 초기 심리측정적 특성이 수용 가능한 수준임을 시사.
  • 상관관계: METRE 총점과 참가자가 직접 평가한 전체 영향력 (1-10 점 척도) 간의 스피어만 상관관계는 $r_s = .42$ ($p = .053$) 로 moderate(중간) 수준의 연관성을 보임.
• 참여 패턴: 데이터 분석 단계에서의 참여는 상대적으로 적었으나, 결과 해석 및 연구 관련성 단계에서는 높은 영향력이 보고됨.

4. 주요 기여 및 의의 (Contributions & Significance)

• 새로운 측정 도구 개발: 연구 과정 전반에 걸친 참여의 '영향 (Impact)'을 측정하는 최초의 검증된 도구 (METRE) 를 제공함. 기존 도구들은 참여의 '과정'이나 '만족도'를 측정하는 데 그쳤으나, METRE 는 참여가 연구의 내용과 방향을 어떻게 구체적으로 변화시켰는지를 평가.
• 공동 생산 (Co-production) 모델: 도구 개발부터 파일럿 테스트, 수정, 논문 작성까지 전 과정에 실생활 경험자, 돌봄 제공자, 학술 연구자가 동등하게 참여하여 도구의 타당성과 실용성을 확보.
• 연구 실천의 개선: 연구 팀이 참여의 강점과 개선이 필요한 영역 (예: 데이터 분석 단계 참여 부족) 을 식별하여 향후 참여 전략을 수립하는 데 활용 가능.
• 과학적 기반 마련: 참여 연구 (Patient-Oriented Research) 의 효과를 측정하는 과학적 기반을 마련하여, 향후 대규모 심리측정적 검증 (신뢰도, 타당도, 요인 구조 등) 을 위한 초석을 다짐.

5. 결론 및 한계

• 결론: METRE 는 실생활 경험과 돌봄 제공자 참여가 연구에 미치는 영향을 평가하는 유용한 도구로, 향후 대규모 검증을 거쳐 널리 사용될 예정임.
• 한계:
  • 표본 크기가 작고 (N=23), 여성 비율이 높음.
  • 정신건강/약물중독 분야에 집중되어 있어 신체건강 연구와의 일반화 가능성은 추가 검증 필요.
  • 파일럿 테스트 시 '생각하기 소리 내기 (Think-aloud)' 과정이 응답에 편향을 일으킬 가능성 있음 (향후 검증 단계에서는 제거 예정).
  • 아직 심리측정적 특성 (신뢰도, 타당도) 이 완전히 확립되지 않았으므로, 임상적 판단보다는 연구 개선 목적으로 신중하게 사용해야 함.

이 연구는 참여 연구의 질적 향상을 위한 측정 과학 (Measurement Science) 의 중요한 진전을 이루었으며, 참여의 가치를 객관적으로 평가할 수 있는 기준을 제시했다는 점에서 의의가 큽니다.