Removing animal and nonhuman records in Ovid Embase: A comparison of 11 filters

이 연구는 Ovid Embase 에서 동물 및 비인간 기록을 제거하기 위해 사용되는 11 가지 필터의 성능을 3,000 건의 레코드로 평가하여 민감도와 특이도를 비교하고, 필터 선택 시 연구 주제와 기록 유형에 따른 차이를 고려해야 함을 강조했습니다.

핵심

이 논문은 의학 연구 데이터베이스 (Embase) 에서 '동물 실험' 관련 기록을 걸러내는 11 가지 다른 방법 (필터) 을 비교한 연구입니다.

의학 연구를 할 때, 인간을 대상으로 한 연구만 필요한 경우가 많습니다. 하지만 데이터베이스에는 동물 실험 결과도 섞여 있어서, 이를 걸러내는 '필터'를 사용하죠. 문제는 어떤 필터가 가장 잘 작동하는지, 어떤 인간 연구까지 실수로 지워버리는지에 대한 명확한 데이터가 없었다는 점입니다.

이 연구를 쉽게 이해할 수 있도록 거대한 도서관과 사서에 비유해서 설명해 드릴게요.

---

🏛️ 비유: 거대한 도서관과 11 명의 사서

상상해 보세요. 전 세계 의학 논문이 쌓여 있는 **거대한 도서관 (Embase)**이 있다고 칩시다. 연구자들은 여기서 '인간'에 대한 이야기만 찾고 싶어 합니다. 하지만 도서관에는 '동물'에 대한 이야기도 섞여 있어요.

이때 도서관에는 **11 명의 사서 (필터)**가 있습니다. 각 사서마다 "동물 이야기를 걸러내는 규칙"이 조금씩 다릅니다.

• 사서 A: "제목에 '동물'이라는 단어가 있으면 다 버려!" (너무 엄격해서 인간 이야기까지 버릴 수 있음)
• 사서 B: "제목이나 초록에 '인간'이라는 단어가 없으면 버려!" (너무 느슨해서 동물 이야기가 남을 수 있음)
• 사서 C: "전문적인 분류 태그를 보고 판단해." (가장 정교함)

연구자들은 이 11 명의 사서에게 3,000 권의 책을 건네주며 "인간 이야기만 남기고 동물 이야기는 모두 치워줘"라고 시켰습니다. 그리고 그 결과가 어땠는지 확인했죠.

🔍 연구 결과: 누가 가장 잘했을까?

연구 결과는 다음과 같이 요약할 수 있습니다.

1. 가장 '안전한' 사서 (Method 11)

• 특징: "인간 이야기"를 놓치지 않으려 노력했습니다.
• 결과: 인간에 관한 중요한 책 10 권 중 9 권 이상을 잘 찾아냈습니다 (민감도 90.6%).
• 단점: 대신 동물 이야기가 섞인 책 10 권 중 3 권 정도는 잘못 남겼습니다.
• 의미: "인간 연구"를 절대 놓치고 싶지 않은 연구자들에게 이 사서가 가장 좋습니다.

2. 가장 '엄격한' 사서 (Method 3)

• 특징: "동물 이야기"를 아주 철저하게 걸러내려 했습니다.
• 결과: 동물에 관한 책 10 권 중 9 권 이상을 잘 치웠습니다 (특이도 91.7%).
• 단점: 대신 인간에 관한 중요한 책 10 권 중 2~3 권은 실수로 버렸습니다.
• 의미: "동물 실험"이 절대 들어가면 안 되는 연구 (예: 인간 환자 치료법 연구) 에게는 이 사서가 나을 수 있습니다.

3. 가장 큰 실수 (잘못 지워진 책들)
가장 많이 실수로 버려진 책은 **"인간 환자를 직접 연구한 내용"**이었습니다.

• 왜? 책 제목이나 초록에 '인간'이라는 단어가 없거나, 도서관 사서 (인덱서) 가 '인간'이라는 태그를 붙이는 것을 깜빡했기 때문입니다.
• 예시: "개와 함께 하는 심리 치료" 같은 연구는 인간을 대상으로 하지만, '동물'이 제목에 들어가서 필터에 걸려서 실수로 버려질 위험이 큽니다.

💡 이 연구가 우리에게 주는 교훈

이 연구는 **"하나의 필터가 모든 상황에 완벽할 수는 없다"**는 것을 알려줍니다.

1. 상황에 따라 선택해야 합니다:

   • 만약 당신이 **"인간 치료제"**를 찾는다면, Method 11처럼 놓치지 않는 필터를 쓰는 게 좋습니다. (동물 실험이 섞여 있어도 나중에 걸러내면 되니까요.)
   • 만약 당신이 **"인간에게만 적용되는 데이터"**만 원하고, 동물 실험이 섞이는 것 자체가 치명적이라면 Method 3처럼 엄격한 필터를 쓸 수 있습니다.

2. 사서 (필터) 에 의존하기만 하면 안 됩니다:

   • 도서관 사서 (자동 필터) 가 모든 책을 완벽하게 분류하지는 못합니다. 특히 회의록, 초록, 비영어권 논문은 분류가 덜 되어 있어 실수로 버려질 확률이 높습니다.
   • 따라서 연구팀은 필터를 쓴다고 해서 끝내지 말고, "우리 연구 주제에 동물 실험이 포함될 수 있을까?"를 먼저 논의해야 합니다. (예: "동물이 인간 건강에 도움을 주는 치료법"을 찾는다면, 동물 실험을 걸러내는 필터는 오히려 방해가 됩니다.)

📝 한 줄 요약

"동물 실험을 걸러내는 11 가지 방법이 있지만, 가장 안전한 방법은 '인간 연구'를 놓치지 않는 필터 (Method 11) 를 쓰되, 연구 주제에 따라 동물 실험이 필요한지 아닌지 연구팀과 먼저 상의하는 것입니다."

이 연구는 정보 전문가 (도서관 사서) 와 연구자들이 함께 대화하며, 자신들의 연구 목적에 가장 맞는 '필터'를 선택하도록 도와주는 중요한 가이드가 됩니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 증거 종합 (Evidence Synthesis) 연구, 특히 인간을 대상으로 하는 연구에서는 임상 전 동물 실험 등 관련성이 없는 동물 및 비인간 기록을 검색 결과에서 제거하는 것이 일반적입니다. 이를 위해 사전에 검증된 검색 필터 (Search Filters) 를 사용합니다.
• 문제점:
  • Ovid Embase 데이터베이스에는 동물/비인간 기록을 제거하기 위해 다양한 필터가 사용되고 있으나, 이들 중 상당수는 성능 데이터 (검증 여부) 가 없습니다.
  • 기존 필터들은 설계 접근 방식 (Emtree 소제목 사용, 제목/초록 텍스트 검색 포함 여부 등) 이 다양하며, 어떤 필터가 가장 효과적인지에 대한 비교 연구가 부족합니다.
  • 단순히 'human/' 소제목이 없는 기록을 제거하는 내장 기능은 인간과 관련된 중요한 기록 (예: 인간 환자가 포함된 사례 보고서 등) 을 실수로 제외할 위험이 있습니다.
  • 따라서 정보 전문가와 연구팀은 어떤 필터를 선택해야 할지, 그리고 필터 사용 시 어떤 유형의 관련 기록이 잘못 제거될 수 있는지 명확히 알지 못합니다.

2. 연구 방법론 (Methodology)

이 연구는 Ovid Embase 에서 동물/비인간 기록을 제거하는 11 가지 필터의 성능을 비교 평가하는 탐색적 연구입니다.

• 데이터셋 구성:
  • 총 3,000 건의 기록을 3 개의 데이터셋으로 분류하여 생성했습니다:
    1. 동물/비인간 (Animals/Nonhumans)
    2. 인간 (Humans)
    3. 동물/비인간과 인간이 모두 포함된 기록 (Animals/Nonhumans and Humans)
  • 각 데이터셋에서 필터에 의해 제거되거나 유지된 기록 500 건씩을 무작위 추출하여 총 1,000 건씩 (전체 3,000 건) 을 대상으로 했습니다.
• 필터 대상:
  • Cochrane, CRD (Centre for Reviews and Dissemination), 캐나다 의약품청 등 다양한 출처에서 사용되는 11 가지 필터 (Method 1~11) 를 선정했습니다.
• 평가 과정:
  • 이중 검토: 두 명의 검토자가 제목과 초록을 기준으로 각 기록을 '제거해야 함 (Should be removed)' 또는 '유지해야 함 (Should be retained)'으로 분류했습니다.
  • 성능 지표 계산: 각 필터에 대해 민감도 (Sensitivity, 관련 기록을 올바르게 유지하는 비율), 특이도 (Specificity, 불필요한 기록을 올바르게 제거하는 비율), 전체 정확도 (Overall Accuracy) 를 계산했습니다.
  • 오류 분석: 필터에 의해 잘못 제거된 '유지해야 함' 기록을 7 가지 범주 (예: 인간 참여자 사용, 인간 건강 관련 리뷰 등) 로 분류하여 분석했습니다.
• 인덱싱 이해: Elsevier 의 2026 년 인덱싱 가이드 및 담당자 문의를 통해 Emtree 소제목 (특히 'human/', 'animal experiment/' 등) 이 어떻게 적용되는지 이해했습니다.

3. 주요 결과 (Key Results)

A. 필터 성능 비교 (성능 지표)

• 민감도 (Sensitivity):
  • Method 11이 가장 높은 민감도 (전체 데이터셋 기준 90.6%, 인간 데이터셋 기준 88.3%) 를 보였습니다. 이는 관련 기록을 가장 적게 누락한다는 의미입니다.
  • Method 10도 높은 민감도 (88.3%) 를 보였으나, 나머지 필터들은 75~79% 사이로 상대적으로 낮았습니다.
• 특이도 (Specificity):
  • Method 3이 가장 높은 특이도 (전체 데이터셋 기준 71.5%, 인간 데이터셋 기준 91.7%) 를 보였습니다. 이는 불필요한 기록을 가장 잘 걸러낸다는 의미입니다.
  • Method 11과 Method 10은 민감도는 높았으나 특이도가 상대적으로 낮았습니다 (전체 데이터셋 기준 각각 41.2%, 49.9%). 즉, 동물 기록을 제거하는 능력은 다른 필터보다 떨어졌습니다.
• 전체 정확도:
  • 데이터셋 구성에 따라 달라졌으나, 인간 중심 연구 (Humans Dataset) 에서는 Method 10 이 가장 높았으나, 전체 데이터셋에서는 Method 3 이 가장 높았습니다.

B. 잘못 제거된 기록의 유형 분석

• 필터에 의해 잘못 제거된 기록 중 가장 많은 비중을 차지한 것은 **'Category 1: 인간 참여자 또는 데이터를 사용한 연구 (uses human participants or data)'**였습니다 (평균 44.9%).
• 그다음으로 'Category 2: 인간에 영향을 미치는 상태 또는 중재에 대한 리뷰' (23.6%) 가 많았습니다.
• Method 10과 Method 11은 다른 필터들과 다르게 잘못 제거된 기록의 범주 순위가 달랐습니다. 특히 '인간 건강에 영향을 미치는 요인에 대한 연구 결과 (Category 5)'가 2 순위로 잘못 제거되는 경향이 있었습니다.

C. 설계적 차이와 성능의 연관성

• Emtree 소제목 사용: Method 10 과 11 은 'animal experiment/' 소제목만 사용하고 'animal/' 소제목은 사용하지 않아 민감도가 높았습니다. 반면 다른 필터들은 'animal/' 소제목 등을 포함하여 민감도가 낮았습니다.
• 검색 필드: Method 3은 제목 (Title) 과 초록 (Abstract) 필드를 함께 사용했는데, 이로 인해 가장 높은 특이도 (불필요한 기록 제거 능력) 를 보였으나 민감도 (관련 기록 유지 능력) 는 가장 낮았습니다. 제목/초록에 포함된 '동물 연구 제외' 등의 문구가 실제 내용과 무관하게 기록을 제외시키는 원인이 된 것으로 분석되었습니다.
• 인덱싱 영향: 자동 인덱싱을 받는 논문 (회의 초록, 프리프린트, 비영어권 논문 등) 은 수동 인덱싱된 논문보다 필터에 의해 잘못 제거될 확률이 높았습니다.

4. 주요 기여 및 의의 (Significance & Contributions)

• 최초의 체계적 비교: Ovid Embase 에서 널리 사용되는 11 가지 동물/비인간 제거 필터의 성능을 최초로 체계적으로 비교하고 검증했습니다.
• 실무적 가이드라인 제시:
  • 정보 전문가와 연구팀에게 필터 선택 시 민감도 (관련 기록 누락 방지) 와 특이도 (불필요한 기록 제거) 사이의 트레이드오프를 고려해야 함을 강조했습니다.
  • 인간을 대상으로 한 연구의 경우, 민감도가 높은 Method 11을 사용하는 것을 권장합니다.
  • 필터 사용 전, 리뷰 팀과 함께 '동물 또는 비인간 요소가 포함될 수 있는 관련 연구'가 있는지 논의할 것을 제안했습니다 (예: 동물 보조 치료, 감지견 연구 등).
• 인덱싱 정책의 한계 규명: Emtree 소제목의 적용 방식 (자동 vs 수동) 이 필터 성능에 큰 영향을 미친다는 점을 밝혔으며, 특히 회의 초록이나 프리프린트와 같은 자동 인덱싱 자료의 경우 필터 사용에 주의가 필요함을 지적했습니다.

5. 결론 (Conclusion)

이 연구는 Ovid Embase 에서 동물 및 비인간 기록을 제거하는 필터가 설계 방식과 인덱싱 정책에 따라 성능이 크게 달라진다는 것을 입증했습니다. 정보 전문가들은 특정 리뷰의 목적 (예: 인간 대상 연구의 포괄성 vs 동물 연구의 철저한 배제) 에 따라 필터를 선택해야 하며, 민감도가 높은 Method 11을 우선적으로 고려하되, 필터 사용이 적절한지 여부에 대해 연구팀과 충분한 논의를 거쳐야 한다고 결론지었습니다. 또한, 향후 회의 초록, 프리프린트, 비영어권 자료 등 다양한 출판 유형에 대한 필터 검증 연구가 필요함을 강조했습니다.