Development of a System of Indicators for Assessing the Quality of Search Strategies in Systematic Reviews: A Methodological Document Review

과학 연구의 세계에서 체계적 문헌고찰(systematic review)은 강력한 도구입니다. 특정 의학적 치료법이나 사회적 문제에 대한 진실을 알고 싶어 하는 과학자 팀을 상상해 보십시오. 그들은 새로운 실험을 단 하나 수행하는 대신, 해당 주제에 대해 지금까지 수행된 모든 연구를 모읍니다. 그들은 그 연구들을 모두 읽고, 품질을 점검하며, 그 결과들을 결합하여 하나의 명확하고 신뢰할 수 있는 답을 만들어냅니다. 이 과정은 개별 연구들의 소음을 뚫고 더 큰 그림을 드러내기 때문에 의학이나 공중 보건과 같은 분야에서 의사결정을 위한 '골드 스탠다드(gold standard)'로 여겨집니다. 그러나 이 전체 과정은 단 하나의 취약한 토대, 즉 '검색 전략(search strategy)'에 달려 있습니다. 이것은 연구자들이 연구들을 찾아내기 위해 사용하는 구체적인 지침 세트입니다. 만약 검색이 너무 좁으면 중요한 증거를 놓치게 됩니다. 만약 검색이 너무 엉망이거나 잘못 작성되면, 관련 없는 쓰레기를 찾거나 적절한 논문을 아예 찾지 못할 수도 있습니다. 검색이 실패하면 문헌고찰의 최종 결론은 결함이 생기며, 이는 의사와 정책 입안자들이 불완전하거나 편향된 정보에 기반하여 결정을 내리도록 유도할 위험이 있습니다.

이 단계가 얼마나 중요한지에도 불구하고, 이러한 검색 전략의 품질은 종종 간과되어 왔습니다. 연구자들은 오랫동안 자신들이 철저해야 한다는 점을 알고 있었지만, 검색이 실제로 잘 수행되었는지를 측정할 표준화된 방법은 없었습니다. 테헤란 대학교의 알리레자 자하니(Alireza Jahani)와 키반 살레히(Keyvan Salehi)의 새로운 연구는 이 격차를 메우고자 합니다. 연구진은 누구나 체계적 문헌고찰의 검색 전략 품질을 판단하는 데 사용할 수 있는 실용적인 지표 시스템, 즉 구체적이고 측정 가능한 징후들의 체크리스트를 구축하기 위해 노력했습니다. 그들의 목표는 막연한 조언을 넘어, 연구자, 검토자, 학술지 편집자들이 이러한 연구가 견고한 토대 위에 구축되도록 보장하는 데 사용할 수 있는 구체적인 프레임워크를 제공하는 것이었습니다.

이 시스템을 만들기 위해 저자들은 2단계 조사를 수행했습니다. 첫째, 그들은 기존 지식에 대한 심층 조사를 실시했습니다. 그들은 책, 국제 가이드라인, 그리고 검색 전략을 작성하고 평가하는 방법에 대해 논의한 이전 연구들을 포함하여 35개의 서로 다른 문헌을 수집하고 읽었습니다. 이 방대한 텍스트 모음으로부터 그들은 무엇이 좋은 검색을 만드는지에 대한 128개의 초기 아이디어를 추출했습니다. 그런 다음 그들은 이 아이디어들을 주의 깊게 정리하여, 의미가 같은 것들은 병합하고 중복된 것들은 제거했습니다. 이러한 정제 과정을 통해, 그들은 128개의 아이디어를 최종 39개의 구체적인 지표로 압축했으며, 이를 7개의 주요 범주로 그룹화했습니다. 이 범주들은 초기 계획부터 최종 보고에 이르기까지 검색의 전체 생애 주기를 다룹니다.

첫 번째 범주는 저자들이 "선택의 포괄성(Selection Comprehensiveness)"이라고 부르는 것으로, 검색이 어디에서 이루어지는지에 초점을 맞춥니다. 연구에 따르면 고품질의 검색은 주요 전문 데이터베이스와 다학제적 컬렉션을 포함한 다양한 곳에서 이루어져야 합니다. 연구진은 단 하나의 일반적인 검색 엔진에 의존하는 것은 충분하지 않다고 명시적으로 언급했습니다. 하나의 소스만을 사용하거나 일반적인 웹 검색에 너무 많이 의중하는 것은 중요한 연구를 놓칠 위험을 높이고 편향을 유발한다는 것을 발견했습니다. 좋은 검색 전략은 단일하고 쉬운 도구를 유일한 진실의 원천으로 사용하는 유혹을 피하면서, 다양한 과학적 출처로부터 관련 증거를 포착할 수 있을 만큼 충분히 넓어야 합니다.

두 번째 범주는 "검색 전략 구조 설계(Search Strategy Structure Design)"를 다룹니다. 이것은 검색 뒤에 숨겨진 논리에 관한 것입니다. 연구는 강력한 검색이 연구 대상이 되는 인구 집단이나 측정되는 결과와 같은 특정 요소들을 중심으로 구성된 명확하고 잘 정의된 질문에서 시작된다는 점을 강조합니다. 연구진은 효과적인 전략이 핵심 개념들을 함께 그룹화하고, 기술적인 의학 용어와 일상적인 언어를 모두 사용하여 그 개념들을 표현하는 모든 가능한 방법을 찾는다는 것을 발견했습니다. 또한 그들은 이 과정이 반복적(iterative)이어야 한다고 강조했는데, 즉 연구자들이 검색을 테스트하고, 무엇이 돌아오는지 확인한 다음, 발견한 내용에 따라 질문과 용어를 개선해야 한다는 것입니다. 이러한 테스트와 개선의 순환은 검색이 너무 좁아지거나 동일한 아이디어를 설명하는 다른 단어를 사용하는 연구들을 놓치는 것을 방지합니다.

세 번째 범주인 "구문 구성(Syntactic Formulation)"은 검색의 기술적 규칙을 다룹니다. 문장이 의미를 갖기 위해 문법 규칙을 따라야 하는 것처럼, 컴퓨터 검색도 올바르게 작동하기 위해 특정 구문 규칙을 따라야 합니다. 연구는 모든 데이터베이스가 단어를 조합하고, "and"나 "or"를 위한 기호를 사용하고, 특수 문자를 처리하는 고유한 규칙 세트를 가지고 있다는 점을 지적합니다. 연구진은 이러한 기술적인 세부 사항에서의 오류가 흔하며, 이로 인해 검색이 관련 문서를 놓치거나 수천 개의 무관한 문서를 반환할 수 있다는 것을 발견했습니다. 이를 피하기 위해 고품질 검색은 올바른 기호를 사용하며, 종종 검색을 한 데이터베이스에서 다른 데이터베이스로 번역하는 도구를 사용하여 서로 다른 플랫폼에서도 논리가 일관되게 유지되도록 합니다.

본 검색 외에 네 번째 범주인 "보충 검색(Supplementary Searching)"은 그림자 속에 숨어 있을지도 모르는 증거를 찾습니다. 연구는 특히 극적인 효과를 보여주지 못한 많은 중요한 발견들이 표준 학술지에 발표되지 않을 수 있음을 식별합니다. 이를 찾기 위해 고품질의 문헌고찰은 단순히 데이터베이스를 검색하는 것 이상을 수행해야 합니다. 이미 발견된 논문들의 참고 문헌 목록을 확인하고, 컨퍼런스 논문을 살펴보고, 발표되지 않은 임상 시험을 검색하며, 심지어 해당 분야의 전문가에게 연락하는 과정이 포함되어야 합니다. 저자들은 이러한 추가 단계를 건너뛰는 것이, 최종 결과가 전체적인 증거의 실상이 아니라 운 좋게 출판된 연구들만을 반영하게 되는 "출판 편향(publication bias)"에 취약하게 만든다고 주장합니다.

다섯 번째 범주는 "검증(Validation)"입니다. 이 단계는 작업이 완료되기 전에 확인하는 과정입니다. 연구는 정보 전문가, 즉 정보를 찾는 데 훈련된 전문가가 검색 전략을 검토하는 것이 최선의 관행이라는 점을 발견했습니다. 이 전문가는 원래의 연구자가 놓칠 수 있는 오류를 찾아낼 수 있습니다. 또한, 검색이 알려진 중요한 논문 목록을 성공적으로 찾아내는지 확인하기 위해 테스트되어야 합니다. 만약 검색이 이러한 알려진 핵심 연구들을 찾아내는 데 실패한다면, 그것은 충분히 민감하지 않은 것이며 조정이 필요합니다. 이 검증 과정은 안전망 역할을 하여, 검색이 문헌고찰에 필요한 결정적인 증거를 추출할 능력이 있는지 보장합니다.

여섯 번째 범주인 "보고의 투명성(Reporting Transparency)"은 검색이 어떻게 문서화되는지에 초점을 맞춥니다. 연구가 신뢰받기 위해서는 저자들이 자신이 무엇을 했는지 정확하게 기록해야 한다고 연구는 강조합니다. 여기에는 사용된 모든 데이터베이스, 검색이 수행된 정확한 날짜, 그리고 전체 검색어 목록이 포함됩니다. 또한 특정 연구를 왜 포함하거나 제외했는지, 그리고 중복된 결과를 어떻게 제거했는지도 설명해야 합니다. 이러한 수준의 세부 사항이 없다면 다른 과학자들이 결과를 검증하기 위해 검색을 재현할 수 없습니다. 연구진은 확립된 보고 체크리스트를 따르는 것이 중요한 단계가 누락되지 않도록 하고 과정이 읽는 이들에게 명확하게 전달되도록 돕는다는 것을 발견했습니다.

마지막으로 일곱 번째 범주인 "과정 업데이트(Process Updating)"는 문헌고찰이 출판될 때까지 최신 상태를 유지하도록 보장합니다. 새로운 연구들이 매일 발표되기 때문에, 1년 전에는 완벽했던 검색이 리뷰가 출시될 때쯤에는 구식이 될 수 있습니다. 연구는 새로운 증거를 포착하기 위해 출판 직전에 검색을 다시 실행할 것을 권장합니다. 또한 연구 대상 선정 과정은 개인의 오류를 줄이기 위해 최소 두 명의 연구자에 의해 독립적으로 수행되어야 하며, 팀은 발견한 방대한 양의 논문을 관리하기 위해 소프트웨어를 사용해야 한다고 제안합니다.

39개의 지표로 구성된 시스템을 개발한 후, 연구진은 이를 테스트했습니다. 그들은 이 새로운 체크리스트를 과학 학술지에 발표된 20개의 체계적 문헌고찰에 적용했습니다. 각 문헌고찰을 평가하여 연구진이 식별한 지표들을 충족하는지 확인했습니다. 결과는 일부 문헌고찰은 강력했지만, 많은 경우 특히 구문(syntax)의 기술적 영역과 전문가가 검색을 검증하는 결정적인 단계에서 상당한 격차가 있음을 보여주었습니다. 저자들은 자신들의 새로운 시스템이 체계적 문헌고찰의 품질을 향상시키기 위한 실용적이고 필수적인 도구를 제공한다고 결론지었습니다. 이 지표들을 사용함으로써 연구자들은 편향을 줄이고, 발견한 내용을 더 재현 가능하게 만들며, 수집한 증거가 세상의 실제 모습을 진정으로 반영하도록 보장할 수 있습니다. 이 연구는 학술지들이 이 시스템을 리뷰 과정의 표준적인 부분으로 사용하도록 요구함으로써, 이러한 중요한 과학적 요약들의 토대가 그들이 도출하는 결론만큼이나 견고하도록 보장해야 한다고 제안합니다.