Citation language changes little after findings fail to replicate: a longitudinal analysis
15,000개 이상의 인용 문장에 대한 종단적 분석 결과, 후속 논문들이 실패한 재현을 반영하기 위해 언어를 수정하거나 상충하는 증거를 언급하는 경우가 드물며, 이로 인해 독자들에게 원래의 연구 결과가 성공적으로 재현되었는지에 대한 단서를 거의 제공하지 않는다는 사실이 드러났다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기
과학은 새로운 증거가 우리의 세계에 대한 이해를 자동으로 업데이트하는, 자기 교정적인 기계로 흔히 상상되곤 한다. 어떤 연구가 반복되었을 때 동일한 결과를 도출하지 못한다면, 과학계가 이를 인지하고, 잠시 멈추어 서서 그 원래의 발견을 언급하는 방식을 조정할 것이라는 기대가 있다. 이 과정은 연구자들이 이전의 작업을 인용할 때 사용하는 언어에 달려 있다. 만약 어떤 주장이 흔들리는 것으로 드러났다면, 새로운 논문에서 그 주장을 기술하는 문장들은 이상적으로 더 신중해지거나, 적어도 원래의 결과가 확인되지 않았음을 언급해야 한다. 이것이 지식이 진화해야 하는 방식이다. 과거를 지우는 것이 아니라, 우리가 무엇을 알고 무엇을 알지 못하는지에 대한 설명을 정교하게 다듬음으로써 말이다.
한 연구팀은 이러한 자기 교정이 우리가 기대하는 방식으로 실제로 일어나는지 테스트하기 위해 연구를 시작했다. 그들은 구체적인 질문에 집중했다: 유명한 연구를 반복하려는 주요하고 계획된 시도가 실패했을 때, 이후의 논문 저자들은 그 원래의 발견을 설명하기 위해 사용하는 단어를 바꾸는가? 답을 찾기 위해, 그들은 심리학, 경제학, 사회과학 분야의 방대한 과학적 주장들을 조사했다. 그들은 세 개의 주요 재현 프로젝트에 포함되었던 110개의 독창적인 연구들을 식별했다. 각 연구에 대해, 그들은 해당 연구를 인용한 후속 논문들로부터 수천 개의 문장을 수집했다. 그런 다음 고급 컴퓨터 모델을 사용하여 이 문장들을 읽고 확신의 척도로 점수를 매겨, 저자들이 원래의 주장을 얼마나 단정적으로 기술했는지 측정했다. 그들은 재현에 실패한 결과에 사용된 언어와 성공적으로 재현된 결과에 사용된 언어를 비교했다.
결과는 놀라울 정도의 변화 부재를 드러냈다. 연구진은 실패한 발견을 설명하는 데 사용된 어휘가 성공적인 발견에 사용된 어휘와 거의 동일하게 유지된다는 것을 발견했다. 재현 시도가 원래의 결과를 재현할 수 없음을 보여준 지 몇 년이 지난 후에도, 후속 논문들은 여로 그 발견들을 동일한 수준의 확신을 가지고 계속해서 기술했다. 컴퓨터 모델은 확신 수준의 유의미한 변화를 감지하지 못했다. 사실, 두 집단 사이의 확신 차이는 통계적으로 0과 구별할 수 없을 정도로 작았다. 연구는 또한 명시적인 언급 여부도 조사했다. 그들은 대다수의 경우에서 저자들이 실패를 전혀 언급하지 않는다는 것을 발견했다. 단지 100문장 중 약 3~5문장 정도의 아주 적은 부분만이 원래의 발견이 도전받았거나 반박되었다는 사실을 인정했다.
이러한 패턴은 시간의 흐름에 따라서도 유지되었다. 연구진은 재현 결과가 발표된 후 8년에서 11년 동안의 언어를 추적했다. 그들은 신중함으로 향하는 점진적인 변화를 발견하지 못했다. 실패한 주장을 설명하는 문장들은 시간이 지나도 완화되거나 조건이 붙지 않았다. 연구팀은 이것이 연구자들이 새로운 증거를 다시 읽거나 새로운 모순된 데이터를 확인하지 않은 채, 이미 확립된 구절들을 자주 재사용하기 때문일 수 있다고 제안한다. 어떤 발견에 대한 원래의 설명은 근거가 흔들렸는지 여부와 상관없이, 표준적인 참조물처럼 논문에서 논문으로 전달되는 고정된 기록의 일부가 될 수 있다.
이 연구는 과학자들이 의도적으로 증거를 무시한다고 주장하는 것이 아니라, 발견이 어떻게 전달되는지의 체계가 일종의 관성을 가지고 있다고 주장한다. 심지어 어떤 발견이 신뢰할 수 없는 것으로 드러나더라도, 새로운 연구에서 그것이 기술되는 방식은 종종 변하지 않는다. 이는 우리가 과학을 읽는 방식과 과학을 이해하기 위한 도구를 구축하는 방식에 시사하는 바가 크다. 만약 과학의 언어가 어떤 발견이 실패했다는 사실을 자동으로 반영하지 못한다면, 독자, 편집자, 그리고 인공지능 시스템조차도 어떤 주장이 실제보다 더 견고하다고 오해할 수 있다. 연구진은 과학이 진정으로 자기 교정을 하기 위해서는, 우리는 원래의 연구를 그 재현 결과와 직접 연결하는 더 나은 방법들을 찾아내어, 발견의 이야기에 초기 성공뿐만 아니라 그 실패까지도 포함되도록 해야 한다고 결론지었다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.